-
Die Erfindung betrifft eine Architektur einer Bildauswertungsvorrichtung mit einem Bildsignalvorverarbeitungsprozessor und ein Verfahren zur Erkennung von Adversarial Attacks auf die Bilddatenauswertung, wie z.B. eine Objektdetektion eines intelligenten Kamerasensors für assistiertes oder automatisiertes Fahren.
-
Künstliche Intelligenz, Künstliche Neuronale Netze, Machine Learning (maschinelles Lernen) und Deep Learning finden zunehmend Verbreitung im Kontext von assistiertem und automatisiertem Fahren. Maschinelles Sehen (Computer Vision) ist hierbei das häufigste Anwendungsgebiet.
-
Hardwarebeschleunigten CNN-basierte Technologien werden immer häufiger in kamerabasierten Fahrerassistenzsystemen verwendet, um die Straßenteilnehmer und die Szene besser zu erkennen und klassifizieren zu können. Die neuronalen Netze haben dabei eindeutige Vorteile gegenüber klassischen Methoden, die eher handgefertigte Merkmale (Histogram of oriented Gradients, Local Binary Patterns, Gabor Filter usw.) mit angelernten Klassifikatoren wie Support Vector Machines oder AdaBoost verwenden. Bei CNNs (Convolutional Neural Network) wird die Merkmalextraktion algorithmisch durch maschinelles (tiefes) Lernen erzielt und dadurch wird die Dimensionalität und Tiefe des Merkmalsraum deutlich erhöht, was letztendlich zu einer deutlich besseren Performance z.B. in Form einer erhöhten Erkennungsrate führt.
-
Leistungsfähige CNN-Beschleuniger werden bei aktuellen intelligenten Kameras in der Regel nur auf dem Haupt-SoC eingebaut. Es gibt erste Vorschläge, derartige CNN-Beschleuniger auch in einen Bildsignalvorverarbeitungsprozessor bzw. ISP (Image Signal Processor) einzubauen. Die Aufgabe eines CNN-Beschleunigers auf einem ISP ist momentan sehr begrenzt und dient hauptsächlich dazu, die Leistung des Hauptprozessors zu steigern und seine Ressourcen zu schonen. Dies erfolgt durch eine sorgfältige Vorbereitung bzw. Aufbereitung des Input-Signals, beispielsweise kann eine primäre Merkmalsextraktion erfolgen. Siehe hierzu C. Wu et al., „VisionISP: Repurposing the Image Signal Processor for Computer Vision Applications," 2019 IEEE International Conference on Image Processing (ICIP), Taipei, Taiwan, 2019, pp. 4624-4628.
-
Die komplizierten und parameterreichen neuronalen Netzwerke können unter Umständen sehr empfindlich gegenüber fremden und ungewünschten Einflüssen und Eingriffen sein. Derartige „Adversarial Attacks“ (auf Deutsch etwa „feindliche Angriffe“) können die Erkennungsleistung der neuronalen Netzwerke sehr stark negativ beeinflussen. Solche Angriffe können grundsätzlich sowohl in der Trainings- als auch in der Anwendungs-(Inferenz-) Phase stattfinden. Während in der Trainingsphase Schutz relativ einfach ist (z.B. durch sorgfältige Auswahl von Trainingsdaten und Methoden), ist die Erkennung und besonders Bekämpfung von Fremd-Einflüssen im Inferenz-Modus deutlich schwieriger. Die Adversarial Attacks im „Online-Modus“ (bzw. in der Anwendungsphase) können sehr subtil sein. Zum Beispiel kann eine einfache Addition von bestimmten Rauschmustern zu dem Sensorsignal, die für das menschliche Auge nicht wahrnehmbar ist, für ein neuronales Netzwerk irreführend sein und das CNN zu einigen falschen Klassifikationen oder Detektionen bringen. Siehe hierzu: Explaining and Harnessing Adversarial Examples, I. J. Goodfellow et al., 2015, arXiv:1412.6572v3 [stat.ML].. Fehldetektionen und -klassifikationen können bei einem Fahrerassistenzsystem fatale Folgen haben.
-
Aufgabe der Erfindung ist es, eine ressourcenschonende Detektion von Adversarial Attacks auf eine Bildverarbeitung bereitzustellen.
-
Ausgangspunkt sind die folgenden Überlegungen:
- Schwierigkeiten bei der Abwehr von Adversarial Attacks auf einem Steuergerät mit laufenden CNNs in einem Fahrzeug werden vor allem durch eine begrenzte Rechenleistung des eingebauten SoC (System on a Chip) bedingt. Somit können die üblichen Abwehrmethoden, die z.B. von mehreren, parallel ausgeführten CNNs profitieren,
- nicht direkt angewendet werden. Ressourcenschonende und gleichzeitig wirksame sowie effektive Strategien und Algorithmen zur Erkennung und Bekämpfung von Fremd-Einflüssen auf CNNs in der Inferenz-Phase auf einem Steuergerät des Fahrzeugs werden im Folgenden vorgeschlagen. Im allgemeinsten Fall kann eine Adversarial Attack als Störung (von Bildsignalen) betrachtet werden. Diese können absichtlich von Dritten verursacht worden sein, unabsichtlich von elektronischen Störungen im System,
- bestimmten Verunreinigungen auf einer Scheibe vor der Kamera oder Linse der Kamera oder durch eine Beleuchtung mit moduliertem Licht.
-
Eine erfindungsgemäße Bildauswertungsvorrichtung umfasst eine Eingangsschnittstelle, einen Bildsignalvorverarbeitungsprozessor und einen Bilddatenauswertungsprozessor. Die Eingangsschnittstelle ist konfiguriert zum Empfangen von Rohsignalen bzw. Rohbilddaten einer Bildaufnahmevorrichtung. Primäre Aufgabe des
Bildsignalvorverarbeitungsprozessors ist die Aufbereitung (Preprocessing) von Rohsignalen der Bildaufnahmevorrichtung, z.B. in Form von De-mosaicking, Tone Mapping, Entrauschen. Der Bildsignalvorverarbeitungsprozessor bzw. ISP (Image Signal Processor) umfasst ein erstes künstliches neuronales Netzwerk. Das erste künstliche neuronale Netzwerk ist dazu konfiguriert, Adversarial Attacks auf die Auswertung der von der Bildaufnahmevorrichtung erfassten Bilddaten zu detektieren.
Der Bilddatenauswertungsprozessor kann auch als Haupt-Bildverarbeitungsprozessor (Main/Head Computer Vision Processor) bezeichnet werden. Der Bilddatenauswertungsprozessor umfasst ein zweites künstliches neuronales Netzwerk.
Das zweite neuronale Netzwerk ist dazu konfiguriert, die vom
Bildsignalvorverarbeitungsprozessor vorverarbeiteten Bilddaten zu verarbeiten, um relevante Objekte und/oder Umgebungsinformationen für ein ADAS/AD-System bzw. eine ADAS/AD-Steuereinheit zu bestimmen. ADAS steht für fortschrittliche Systeme zum assistierten Fahren und AD steht für automatisiertes Fahren (Englisch: Advanced Driver Assistance Systems bzw. Automated Driving). ADAS/AD-relevante Objekte und/oder Umgebungsinformationen sind z.B. Gegenstände, Verkehrsteilnehmer, die für ADAS/AD Systeme wichtige Eingangsgrößen darstellen. Beispiele für ADAS/AD-Detektionsfunktionen sind eine Spurerkennung, eine Objekterkennung, eine Tiefenerkennung (3D-Schätzung der Bildbestandteile), semantische Erkennung, Verkehrszeichenerkennung oder dergleichen mehr.
Zur Auswertung der Bilddaten ist mit anderen Worten ein zweites künstliches neuronales Netzwerk auf dem Bilddatenauswertungsprozessor konfiguriert. Gegen dieses zweite künstliche neuronale Netzwerk würden sich die Adversarial Attacks richten. Der Bildsignalvorverarbeitungsprozessor ist dazu konfiguriert, eine Gegenmaßnahme derart einzuleiten, dass eine Auswirkung der detektierten Adversarial Attack auf den Bilddatenauswertungsprozessor unterbunden oder minimiert wird. Beispielweise können detektierte Bildsignale durch den Bildsignalvorverarbeitungsprozessor entstört werden (spezielle, insbesondere vortrainierte Form der Bildsignalvorverarbeitung), der Bildsignalvorverarbeitungsprozessor kann Ressourcen des Bilddatenauswertungsprozessors umverteilen oder er kann ein Warnsignal generieren, welches einen Benutzer über die Nichtverfügbarkeit der Bildauswertungsvorrichtung informiert. Das erste und/oder zweite künstliche neuronale Netzwerk kann beispielsweise ein Convolutional Neural Network („faltendes neuronales Netzwerk“, CNN) sein. In einer Ausführungsform weisen der Bilddatenauswertungsprozessor und/oder der Bildsignalvorverarbeitungsprozessor jeweils einen Beschleuniger für künstliche neuronale Netzwerke auf. Derartige Hardwarebausteine können die im Wesentlichen softwareimplementierten neuronalen Netzwerke dediziert beschleunigen, so dass ein Echtzeitbetrieb der neuronalen Netzwerke möglich ist. Das zweite künstliche neuronale Netzwerk (und ggfs. der zweite Beschleuniger) ist typischerweise wesentlich leistungsfähiger als das erste neuronale Netzwerk (und ggfs. der erste Beschleuniger). Die Ressourcen des zweiten bzw. Haupt-Neuronalen-Netzwerks können mit den relativ kleinen Ressourcen des ersten neuronalen Netzwerks geschützt werden.
-
Von Vorteil ist die frühzeitige Erkennung und das frühzeitige Einleiten von Gegenmaßnahmen bei Adversarial Attacks auf künstliche neuronale Netzwerk - / CNN-Algorithmen, ohne dass dadurch die Ressourcen des Haupt-Vision-Prozessors beeinträchtigt werden, indem die geringere Rechenleistung des Bildsignalvorverarbeitungsprozessors effizient genutzt wird.
-
In einer Ausführungsform umfasst die Bildauswertungsvorrichtung ein Haupt-SoC. Auf dem Haupt-SOC ist der Bilddatenauswertungsprozessor integriert. Der Bildsignalvorverarbeitungsprozessor ist ebenfalls auf dem Haupt-SOC integriert.
-
In einer Ausführungsform umfasst die Bildauswertungsvorrichtung ein Haupt-SoC und einen separaten Companion-Chip. Auf dem Haupt-SOC ist der Bilddatenauswertungsprozessor integriert. Der Bildsignalvorverarbeitungsprozessor ist auf dem Companion Chip realisiert bzw. integriert.
-
In einer Ausführungsform ist der Bildsignalvorverarbeitungsprozessor dazu konfiguriert, im Falle der Detektion von Adversarial Attacks Fremd-Einflüsse in den Bilddaten zu korrigieren.
-
In einer Ausführungsform ist der Bildsignalvorverarbeitungsprozessor dazu konfiguriert, im Falle der Detektion von Adversarial Attacks, Ressourcen auf dem Bilddatenauswertungsprozessor bzw. dem Haupt-SOC einzuteilen, um Schaden durch Adversarial Attacks zu minimieren.
-
In einer Ausführungsform ist der Bildsignalvorverarbeitungsprozessor dazu konfiguriert, im Falle der Detektion von gravierenden Adversarial Attacks ein Warnsignal zu generieren, welches einen Benutzer über die Nichtverfügbarkeit der Bildauswertungsvorrichtung oder zumindest von Teilen der Bilddatenauswertung informiert. Letzteres kann dann der Fall sein, wenn der Bildsignalvorverarbeitungsprozessor die Adversarial Attacks nur Teile der Bilddatenauswertung betreffen. Als gravierende Adversarial Attacks werden beispielsweise solche Angriffe bezeichnet, deren Störeinflüsse durch den Bildsignalvorverarbeitungsprozessor nicht beseitigt oder minimiert werden können.
-
In einer Ausführungsform ist der Bildsignalvorverarbeitungsprozessor dazu konfiguriert, Adversarial Attacks zu erkennen, indem eine Analyse von Rausch-Profilen in den Bilddaten durchgeführt wird. Eine mögliche Gegenmaßnahme gegen diese Art von Adversarial Attacks besteht darin, bestimmte erkannte Rausch-Muster aktiv zu filtern.
-
In einer Ausführungsform das erste neuronale Netzwerk dazu konfiguriert, Testdetektionen oder Testklassifikationen in einem begrenzten Bildbereich auszuführen und Adversarial Attacks anhand der Ergebnisse der Testdetektionen oder -klassifikationen zu detektieren.
-
In einer Ausführungsform ist der Bildsignalvorverarbeitungsprozessor dazu konfiguriert, eine auf optischem Fluss basierende erste Objektdetektion und eine zweite Objektdetektion durch das erste neuronale Netzwerk, welches durch ein maschinelles Lernverfahren entsprechend trainiert wurde, in dem begrenzten Bildbereich durchzuführen und Adversarial Attacks zu erkennen anhand einer Plausibilisierung der Ergebnisse von erster und zweiter Objektdetektion. Eine Möglichkeit der Plausibilisierung besteht in einem Vergleich der Objektlisten von erster und zweiter Objektdetektion über mehrere zeitlich aufeinander folgenden Einzelbilder der Bildaufnahmevorrichtung. Im Falle einer Abweichung der Objektlisten wird eine Adversarial Attack detektiert.
-
In einer Ausführungsform ist der Bildsignalvorverarbeitungsprozessor dazu konfiguriert, ein oder mehrere vorgefertigte Muster in mindestens einen begrenzten Bildbereich einzufügen. Das Einfügen erfolgt vorzugsweise in Form einer Überlagerung des tatsächlichen Bildsignals mit einem vorgefertigten Muster. Das Muster kann als Pixelmuster ohne Hintergrund vorgefertigt werden. Überlagerung meint insbesondere eine Kombination von Bildsignal und Muster. Der begrenzte Bildbereich kann beispielsweise ein homogenes Bildsignal bzw. eine homogene Fläche im Bild beinhalten, z.B. die Fahrzeughaube oder einen Teil des Himmels. Die Testdetektionen oder Testklassifikationen werden in dem begrenzten Bildbereich durchgeführt, um Adversarial Attacks zu erkennen. Durch die Kombination eines gestörten Bildsignals mit dem vorgefertigten Muster können mögliche Adversarial Attacks im Rahmen der Testdetektionen erkannt werden.
-
In einer Ausführungsform das erste neuronale Netzwerk derart konfiguriert ist, dass es eine Ausgangsmappe umfasst, wobei die Ausgangsmappe die Wahrscheinlichkeit repräsentiert, dass Bereiche im Bild durch Adversarial Attacks beeinflusst sind.
-
In einer Ausführungsform ist der Bildsignalvorverarbeitungsprozessor dazu konfiguriert, bei der Vorverarbeitung eines aktuellen Einzelbilds (Frames) Informationen aus vorherigen Einzelbildern zu berücksichtigen. Solche Informationen können beispielsweise Objektdetektionen oder Hinweise auf Störungen in Bildbereichen aus den vorherigen Einzelbildern sein.
-
In einer Ausführungsform ist der Bildsignalvorverarbeitungsprozessor dazu konfiguriert, eine zuvor vom ersten neuronalen Netzwerk gelernte Vorverarbeitung der Bilddaten durchzuführen, welche die Fremd-Einflüsse aufgrund einer detektierten Adversarial Attack minimiert und die vorverarbeiteten Bilddaten an den Bilddatenauswertungsprozessor übermittelt.
-
Die Erfindung betrifft zudem ein Verfahren zur Detektion von Adversarial Attacks bei von einer Bildaufnahmevorrichtung erfassten Bilddaten. Das Verfahren umfasst die Schritte:
- a) Detektieren von Adversarial Attacks mittels einem Bildsignalvorverarbeitungsprozessor der ein erstes künstliches neuronales Netzwerk umfasst; und
- b) Einleiten einer Gegenmaßnahme, um eine Auswirkung der detektierten Adversarial Attack auf ein zweites künstliches neuronales Netzwerk eines Bilddatenauswertungsprozessors zu unterbinden oder zu minimieren.
-
Mit anderen Worten lassen sich Aspekte und Weiterbildungen der Erfindung wie folgt beschreiben:
- - Die Erkennung und (teilweise) Bekämpfung von Adversarial Attacks auf CNN-basierten Algorithmen, die auf einem Steuergerät des Fahrzeugs laufen, sollte auf einem ISP stattfinden. Der ISP sollte, wie üblich, Zugriff auf alle Sensor-relevanten Informationen haben. Der ISP kann sowohl auf dem SoC integriert werden, als auch ein Companion Chip sein. Er sollte ein separates/additives Modul zu dem Haupt-Vision-Prozessor sein. Zusätzlich sollte ISP mit einem relativ kleinen CNN-Beschleuniger (in Relation zu dem Haupt-SoC) ausgestattet werden. Der CNN-Beschleuniger bzw. die darauf ausgeführten neuronalen Netzwerke auf dem ISP sollte zu den Adversarial Attacks ähnlich empfindlich sein, wie die neuronalen Netzwerke auf dem Haupt-Vision-Prozessor und sollte es erlauben, die Fremd-Einflüsse auf Input-Signal (Bild) frühzeitig zu erkennen und, falls möglich, zu korrigieren oder die Ressourcen auf Vision-Prozessor so zu verteilen, um den Schaden zu minimieren. Hierzu können z.B. gegenüber den Fremd-Einflüssen weniger empfindliche Algorithmen priorisiert werden. Es ist vorteilhaft, dass der ISP:
- ◯ mit deutlich weniger CNN-Ressourcen als der Vision-Prozessor arbeitet (einzige ROIs des Bildes, wenige Test-Klassifikationen, sparsame Rauschen-Filter usw.),
- ◯ die Information über potentielle Adversarial Attacks hat, bevor das Signal an die Hauptrechen-Ressourcen weitergegeben wird, und deswegen eine Korrektur erlaubt (entweder mit eigenen Mittel oder auf dem Hauptprozessor, je nach Verfügbarkeit).
- - Einige Beispiele von Strategie und Algorithmen für die Erkennung und Bekämpfung von Adversarial Attacks werden im Folgenden vorgestellt. Die Erkennung beruht sich auf der Analyse von Rausch-Profilen, Plausibilitäts-Kontrollen aus den Ergebnissen früherer Frames, CNN-basierten Test-Messungen (wie Detektionen, Klassifikationen) in begrenzten Bildbereichen und für ausgewählte Templates usw.
- - Die Bekämpfung beinhaltet unter Anderen, einige Vorschläge für ein gemeinsames Training von ISP und Vision-Processor CNNs.
- - Die Algorithmen sind generell von der üblichen / vorgeschlagenen Hardware-Architektur unabhängig und können auch bei anderen Architekturen mit Erfolg ausgeführt werden.
-
Eine Erweiterung der Detektion von Adversarial Attacks auf andere Umgebungserfassungs-Sensortypen wie z.B. Radar oder Lidarsensoren ist prinzipiell möglich.
-
Im Folgenden werden Ausführungsbeispiele, weitere Aspekte und eine Figur näher erläutert.
- 1 zeigt schematisch eine Bildauswertungsvorrichtung 10, eine Bildaufnahmevorrichtung 1 und eine ADAS/AD-Steuereinheit 20. Die Bildaufnahmevorrichtung 1 kann eine Frontkamera eines Fahrzeugs sein. Die Frontkamera dient als Umfeldsensor der Erfassung der Umgebung, die vor dem Fahrzeug liegt. Basierend auf den Signalen bzw. Bilddaten der Frontkamera können mehrere ADAS- oder AD-Funktionen durch die ADAS/AD-Steuereinheit 20 bereitgestellt werden, z.B. eine Fahrspurerkennung, Spurhalteunterstützung, Verkehrszeichenerkennung, Tempolimit-Assistenz, Verkehrsteilnehmererkennung, Kollisionswarnung, Notbremsassistenz, Abstandsfolgeregelung.
-
Die Bildaufnahmevorrichtung 1 umfasst eine Optik bzw. ein Objektiv und einen Bildaufnahmesensor, z.B. einen CMOS-Sensor. Die vom Bildaufnahmesensor erfassten (Roh-) Bilddaten bzw. -signale werden an eine Eingangsschnittstelle 11 der Bildauswertungsvorrichtung 10 übertragen. Die Roh-Bilddaten werden in der Bildauswertungsvorrichtung 10 von einem Bildsignalvorverarbeitungsprozessor 12 vorverarbeitet. Der Bildsignalvorverarbeitungsprozessor 12 umfasst ein erstes künstliches neuronales Netzwerk 14, beispielsweise ein CNN (Convolutional Neural Network), welches dazu konfiguriert ist, Adversarial Attacks auf die Auswertung der von dem Bildaufnahmesensor 10 erfassten Bilddaten zu detektieren. Der Bildsignalvorverarbeitungsprozessor 12 kann dann eine Ausgabe detektierter Adversarial Attacks an den Bilddatenauswertungsprozessor 16 generieren. Durch eine Auswertung der vorverarbeiteten Bilddaten können vom Bilddatenauswertungsprozessor 16 mittels eines zweiten künstlichen neuronalen Netzwerks 18 beispielsweise relevante Objekte detektiert und Ihre Lage in Bezug auf das Fahrzeug modelliert werden. Detektierte ADAS-relevante Objekte und Umgebungsinformationen können über eine Ausgabeschnittstelle 19 an eine ADAS/AD-Steuereinheit 20 ausgegeben werden. Die Bildauswertungsvorrichtung 10 kann wie durch den gestrichelt dargestellten Rahmen symbolisiert eine eigenständige Recheneinheit sein. Dadurch ist die Bildaufnahmevorrichtung 1 kompakt realisierbar und thermisch entkoppelbar von der Bildauswertungsvorrichtung 10. Sowohl der Bildsignalvorverarbeitungsprozessor 12 als auch der Bilddatenauswertungsprozessor 16 können auf dem Haupt-SoC der Bildauswertungsvorrichtung 10 implementiert sein.
-
Alternativ zu der in 1 dargestellten modularen Architektur, bei der die Bildauswertungsvorrichtung 10 ein eigenständiges Modul darstellt, kann die Bildauswertungsvorrichtung 10 in ein Gehäuse einer Bildaufnahmevorrichtung 1 integriert sein. Diese Kamera mit integrierter Bildauswertung kann als intelligente Kamera oder Smart-Kamera bezeichnet werden. Eine derartige „One-Box“ Lösung bietet den Vorteil, dass die Kamera insgesamt kompakt und mit kurzen Übertragungswegen innerhalb eines Gehäuses realisierbar ist.
-
Ein weiteres Ausführungsbeispiel sieht eine Anwendung einer Bildauswertungsvorrichtung mit mehreren Kameras in einem Fahrzeug mit einem oder mehreren SoCs vor. Beispielsweise können mehrere Satellitenkameras (bzw. Kameraköpfe) zu einem Camera-Belt (Kameragürtel) zusammengefasst sein. Die Satellitenkameras können Sensoren eines Rundumsichtkamerasystems (Surround View System) sein.
In einer ersten Variante ist ein Bildsignalvorverarbeitungsprozessor 12 in einer zentralen Recheneinheit vorgesehen. Die Satellitenkameras übertragen ihre Rohbilddaten an den zentralen Bildsignalvorverarbeitungsprozessor 12. Dort führt das erste neuronale Netzwerk 14 die Detektion von Adversarial Attacks aus und leitet im Falle einer detektierten Adversarial Attack eine Gegenmaßnahme ein. Der Bilddatenauswertungsprozessor 16 ist ebenfalls Bestandteil der zentralen Recheneinheit.
In einer zweiten Variante befindet sich der Bildsignalvorverarbeitungsprozessor 12 bei den Satelittenkameras und vorverarbeitete Bilddaten werden an die zentrale Recheneinheit gesendet. Dabei können die Eingangsbilddaten für den weiteren Datentransfer an die zentrale Recheneinheit reduziert werden und haben die reduzierten Daten die Eigenschaft, dass Störungen, wie Adversarial Attacks, in der Vorverarbeitung gefiltert werden oder/und Informationen hinsichtlich des Auftretens einer Störung in einer der Satelittenkameras an die zentrale Recheneinheit weitergeleitet werden. Durch eine solche Gegenmaßnahme wird die Auswirkung der detektierten Adversarial Attack auf den Bilddatenauswertungsprozessor in der zentralen Recheneinheit unterbunden oder minimiert.
-
Erkennung und Bekämpfen von Fremdeinflüssen
-
Die mögliche Strategie gegen ungewünschte Einflüsse zu kämpfen kann bis zu drei der folgenden Schritte beinhalten:
- - Die fremden / ungewünschten Einflüsse in die Signalkette möglichst früh zu erkennen und zu analysieren, welche algorithmische Methode der Bilddatenverarbeitung dadurch am schwersten und welche an wenigsten beeinflusst werden können. Basierend auf dieser Analyse können bestimmte Methoden priorisiert werden (mehr Rechen-Leistung für bestimmte weniger empfindliche Methoden zugewiesen werden). Diese Erkennung sollte bereits auf dem ISP stattfinden, solange das verfälschte Signal noch keine Haupt-Module (Algorithmen) wie z.B. einen leistungsfähigeren CNN Beschleuniger, erreicht hat. Ein ISP hat in der Regel einen Zugriff auf alle Sensordaten (z.B. Verstärkungsfaktoren des Bildaufnahmesensors), sodass man die gemessenen und erwarteten Rauschmuster vergleichen kann. Eine Analyse der Rückmeldung von den Haupt-Algorithmen, die in früheren Frames ausgeführt wurden, kann auch hier analysiert werden.
- - Falls möglich werden die ungewünschten Einflüsse minimiert oder ganz beseitigt. Ein ISP kann z.B. bestimmte erkannte Rauschen-Muster aktiv filtern. Sollte das nicht ausreichend sein, kann rechtzeitig ein Alarm-Signal auslöst werden, um den Fahrer über (Nicht-) Verfügbarkeit von des Assistenzsystems zu informieren
- - Falls möglich ungewünschten Einflüssen vorzubeugen. Beispielsweise können die für die Vorverarbeitung gedachten Netzwerke auf dem ISP robust gegenüber Adversarial Attacks im off-line Modus trainiert werden. So können die ersten Schichten eines Netzwerkes robust gegenüber Adversarial Attacks trainiert werden durch a) Hinzufügen von Adversarial Attacks in den Trainingsdaten, b) injizieren von Rauschen in die ersten Schichten eines Netzwerken während dem Training, oder/und c) Hinzufügen von Rauschfiltern in den ersten Schichten eines Netzwerkes. Somit sind die vorverarbeiteten Bilddaten, welche an die zentrale Recheneinheit weitergeliefert werden, robuster gegenüber Adversarial Attacks.
-
In dieser Variante werden die Adversarial Attacks nicht ‚direkt' erkannt, sondern die Schichten des Netzwerks werden derart trainiert, dass diese während der Laufzeit robuster gegenüber Adversarial Attacks sind.
-
Um diese Aufgaben erfüllen zu können, sollte der CNN Processor auf dem ISP in der Lage sein:
- - Testdetektionen/Klassifikationen in einem begrenztem Bildbereich durchzuführen
- - Eine zusätzliche, z.B. Decoder/Encoder, Rausch-Filterung auszuführen bzw. Fremd-Rausch Muster zu filtern.
- - Entsprechende Bild-Vorverarbeitung (Preprocessing) in der Richtung durchzuführen, um die Fremd-Einflüsse zu minimieren (was zuvor offline trainiert wurde für bereits bekannte Fremd-Einflüsse).
-
Diese zusätzliche Leistung des ISPs sollte in entsprechender Relation zu der Leistung von Haupt-Vision-Prozessor (Haupt-Signal-Prozessor) stehen.
-
Erkennung von fremden Einflüssen
-
Zur Erkennung von fremden Einflüssen können diverse Methoden vorgesehen werden.
- 1. Plausibilisierung von Ausgängen von verschiedenen Methoden/Algorithmen.
-
Man geht dabei davon aus, dass auch bei einfachstem Smart-Kamera SoC zumindest zwei unterschiedliche Verfahren zur Objekt-Detektion parallel laufen: ein auf Maschine Learning- und ein anderes auf Optischem Fluss- (Bewegungsbasierte 3D-Rekonstruktion oder „Structure from Motion“) basiertes Verfahren. Wichtig ist, dass die Optischer Fluss-basierte Methode kein CNN Machine Learning verwendet, sondern eher deterministische Methoden erschließt. Da die Methoden unterschiedlicher Natur sind, erwartet man unterschiedliche Auswirkungen im Falle einer Manipulation / Störung des Input-Signals im Rahmen einer Adversarial Attack. Ein Vergleich von beiden Outputs (z.B. Objektlisten) kann maschinell antrainiert werden, um zumindest nach einigen Frames einen Angriff erkennen zu können. Zur Erkennung einer Adversarial Attack kann z.B. eine Regressionsanalyse für beide Listen durchgeführt werden. Bei mehr Rechenleistung können ausgeklügelte Methoden verwendet werden, die auf der Analyse von mehreren CNNs basieren, siehe beispielsweise I. Daya, M. Shafiee, M. Karg, C. Scharfenberger, A. Wong, „SANE: Exploring Adversarial Robustness With Stochastically Activated Network Ensembles“ CVPR Workshop, Deep-Vision: New Frontiers and Advances in Theory in Deep Learning for Computer Vision, 2019.
-
Test-Klassifikationen von bekannten vorgefertigten Mustern durch das erste neuronale Netzwerk
-
In der Methode werden einige bestimmte Muster bzw. Templates (z.B. Fußgänger, Straßenschilder) als Pixel ohne Hintergrund vorgefertigt. Weiterhin werden in dem Input-Bild einige kleine Bereiche ausgewählt, in denen man keine Abbildungen von Straßen-Teilnehmer erwartet (z.B. Motorhaube, Himmel). Die Muster werden auf die Bereiche „projiziert“ (die Pixel von Hintergrund und Templates fusioniert, entweder durch einfache Addition und Normierung oder durch eine kompliziertere Methode, z.B. als Input-Kanäle von einem CNN Netzwerk). Die Hauptidee ist dabei, das Rausch-Muster des Bild-Hintergrundes mit dem des Templates zu fusionieren. Sollte ein CNN-Klassifikator für die Templates mit dem Hintergrund von realen Bildern im offline Modus vortrainiert werden, ist zu erwarten, dass er im Online-Modus als ein Indikator für Fremd-Einflüsse dienen kann. Mit anderen Worten: sofern dem Bild ein unerwünschtes Rauschen zugefügt wurde, sollte es in der Klassifikation (Miss-Klassifikation, abweichenden Konfidenzen) mit CNN auf dem ISP erkennbar sein. Da die Test-Bereiche relativ klein sind, ist es mit begrenzter Rechenleistung machbar, auch mit einem Netzwerk, das dem Haupt-Netzwerk auf dem SoC ähnlich ist. Weiterhin sollten die Test-Templates in den irrelevanten Bereichen (ohne reale Objekte) in dem Bild beibehalten werden, damit sie mit leistungsfähigem CNN auf dem SoC analysiert werden können und auch als Indikation für Fremd- Einflüssen dienen können. Diese Information kann allerdings erst am Ende des Frames verfügbar sein.
-
Test-Auswertung durch Bildverarbeitungsmethoden ohne künstliche neuronale Netzwerke
-
Ähnliche Test-Auswertungen für Muster-Projektionen können auch für nicht CNN-basierte Algorithmen gemacht werden, z.B. für den Optischen Fluss. Dafür können einfachere Merkmals-Projektionen verwendet werden (z.B. Ecken) oder die im Bild vorhandene statische Objekte (Grenze von Motorhaube, Car-Logo...). An diesen Test-Mustern sollten eine flussrelevante Merkmalextraktion gemacht (z.B. Signaturen aus Power Flow Algorithmus) und analysiert werden, ob die Abweichungen von Mustersignatur in erwartetem Bereich liegen, oder die Verfälschungen in dem Bild auch den Optischen Fluss beeinträchtigen können.
-
Erweiterung des ersten neuronalen Netzwerks auf dem ISP um eine Ausgangsmappe
-
Weiterhin kann das Netzwerk auf dem ISP um eine Ausgangsmappe erweitert werden, welche die Wahrscheinlichkeit darstellt, dass Bereiche im Bild durch eine Störung, z.B. einer Adversarial Attack, beeinflusst sind. Diese Mappe kann im Vergleich zum Original-Bild eine kleinere Auflösung besitzen. Des Weiteren können die Einträge in dieser Mappe entweder binär sein (0: keine Störung/1: eine Störung) oder aus mehreren Bits bestehen, um Wahrscheinlichkeiten einer Störung in einem Bildbereich zu repräsentieren. Während des Trainings werden gezielt Daten mit Störungen, z.B. Adversarial Attacks, generiert, um das Netzwerk für eine robuste Schätzung einer möglichen Störungsanfälligkeit zu trainieren. Das Netzwerk auf dem ISP lernt somit sensibel auf Störungen in den Bilddaten zu reagieren und diese und deren Lokalisation im Bild zu registrieren.
-
Direkte Analyse von Rauschen-Profilen im Bild
-
Eine direkte Analyse von Rausch-Profilen im Bild kann vom ISP durchgeführt werden, da ein ISP die vollständigen Sensordaten auslesen kann und die erwartete Rauschen-Profile abschätzen kann. Weiterhin können diese Profile mit dem gemessenen Rauschen auf homogenen Flächen im Bild verglichen werden. Der Vergleich kann weiterhin mit Hilfe von einem off-line antrainiertem Netz für ISP CNN-Beschleuniger durchgeführt werden.
-
Robustheit gegenüber Störungen im Design von neuronalen Netzwerkschichten
-
Eine weitere Möglichkeit besteht darin, die Netzwerkschichten auf dem ISP robust gegenüber Störungen, wie Adversarial Attacks, zu trainieren. Zur Trainingszeit kann dies durch die beiden folgenden Methoden erreicht werden:
- a) Die Trainingsdaten werden erweitert durch Trainingsdaten welche Störungen und Adversarial Attacks enthalten; und/oder
- b) Während dem Training des neuronalen Netzwerkes für den ISP wird Rauschen injiziert. Somit wird ein neuronales Netz gelernt, welches robust gegenüber möglichen Störungen zur Laufzeit ist.
-
Berücksichtigung der Information aus vorherigen Frames (zeitliche Komponente)
-
Die Robustheit gegenüber Adversarial Attacks kann weiterhin verbessert werden, durch die Einbindung von zeitlicher Information aus vorherigen Frames. Somit können kurzfristige Störungen in dem Eingangsbild leichter erkannt werden. Die Ausgangsmerkmalsmappen des ISP werden somit weniger durch kurzfristige Störungen beeinflusst. Hierzu kann ein rekurrentes neuronales Netzwerk, wie ein LSTM (Long Short Term Memory) oder eine GRU (Gated Recurrent Unit), verwendet werden, um die zeitliche Information in das Netzwerk auf dem ISP zu integrieren.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- C. Wu et al., „VisionISP: Repurposing the Image Signal Processor for Computer Vision Applications,“ 2019 IEEE International Conference on Image Processing (ICIP), Taipei, Taiwan, 2019, pp. 4624-4628 [0004]
- Explaining and Harnessing Adversarial Examples, I. J. Goodfellow et al., 2015, arXiv:1412.6572v3 [0005]
