-
EINLEITUNG
-
Das Thema der Offenbarung bezieht sich auf einen gegnerischen Angriff auf einen Black-Box-Obj ekterkennungs-Algorithmus.
-
Bei einem Sensor wird ein Objekterkennungs-Algorithmus verwendet (z.B. Funkerkennungs- und Entfernungsmesssystem (Radar), Kamera, Lichterkennungs- und Entfernungsmesssystem (Lidar)). Der Objekterkennungs-Algorithmus bezieht sich auf die besondere Verarbeitung der vom Sensor gewonnenen Daten, um ein oder mehrere Objekte im Sichtfeld des Sensors zu erkennen. In einem Radarsystem kann der Obj ekterkennungs-Algorithmus eine oder mehrere Fourier-Transformationen und einen anschließenden Strahlformungsprozess zur Identifizierung und Lokalisierung von Objekten beinhalten. In einem kamerabasierten System kann der Objekterkennungs-Algorithmus die Identifizierung einer Reihe von Pixelwerten beinhalten, die über einem Schwellenwert liegen. Der gegnerische Angriff bezieht sich auf einen Prozess der Bestimmung der Betriebsgrenzen eines Erkennungsalgorithmus. Im Wesentlichen werden Daten erzeugt, bei denen der Objekterkennungs-Algorithmus versagt. Wenn die funktionalen Details des Objekterkennungs-Algorithmus bekannt sind, wird der gegnerische Angriff des Objekterkennungs-Algorithmus nach bekannten Verfahren erleichtert. Allerdings ist der Algorithmus zur Objekterkennung möglicherweise nicht bekannt und kann als Black-Box behandelt werden. Dementsprechend ist es wünschenswert, einen gegnerischen Angriff auf einen Black-Box-Objekterkennungs-Algorithmus zu bieten.
-
BESCHREIBUNG
-
In einer beispielhaften Ausführungsform beinhaltet ein Verfahren zur Erzeugung eines gegnerischen Angriffs auf einen Black-Box-Objekterkennungs-Algorithmus eines Sensors die Gewinnung eines ersten Trainingsdatensatzes aus dem Black-Box-Objekterkennungs-Algorithmus. Der Black-Box-Objekterkennungs-Algorithmus führt eine Objekterkennung bei den anfänglichen Eingabedaten durch, um die Ausgabe des Black-Box Objekterkennungs-Algorithmus zu ermöglichen, der den anfänglichen Trainingsdatensatz liefert. Das Verfahren beinhaltet auch das Training eines Ersatzmodells mit dem anfänglichen Trainingsdatensatz, so dass die Ausgabe des Ersatzmodells die Ausgabe des Black-Box-Objekterkennungs-Algorithmus repliziert, aus dem der anfängliche Trainingsdatensatz besteht. Die Details der Funktionsweise des Black-Box-Objekterkennungs-Algorithmus sind unbekannt und die Funktionsweise des Ersatzmodells ist bekannt. Das Ersatzmodell wird zur Durchführung des gegnerischen Angriffs verwendet, wobei sich der gegnerische Angriff auf die Identifizierung von gegnerischen Eingabedaten bezieht, für die der Black-Box-Objekterkennungs-Algorithmus keine genaue Erkennung durchführen kann.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Verfahren auch die Erfassung der ersten Eingangsdaten vom Sensor.
-
Zusätzlich zu einer oder mehreren der hier beschriebenen Funktionen umfasst die Erfassung der anfänglichen Eingabedaten die Erfassung eines Bildes von einer Kamera.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Verfahren auch den Erhalt der Ausgabe des Black-Box-Objekterkennungs-Algorithmus als Begrenzungsrahmen um ein erkanntes Objekt im Bild und die Verarbeitung der Ausgabe des Black-Box-Objekterkennungs-Algorithmus, um den anfänglichen Trainingsdatensatz zu erhalten.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst die Verarbeitung die Überlagerung eines Gitters auf dem Bild mit dem Begrenzungsrahmen um das erkannte Objekt und die Zuweisung eines Wertes zu jedem Element des Gitters auf der Grundlage des Vorhandenseins oder eines Prozentsatzes des Begrenzungsrahmens im Element des Gitters.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Verfahren auch die Auswahl einer Architektur für das Ersatzmodell.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Verfahren auch die Modifizierung der ursprünglichen Eingabedaten, um zweite Eingabedaten zu erhalten.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Verfahren auch die Gewinnung eines zweiten Trainingsdatensatzes, der auf dem Black-Box-Objekterkennungs-Algorithmus basiert, der die Objekterkennung auf den zweiten Eingabedaten durchführt.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale beinhaltet das Training des Ersatzmodells die Sicherstellung, dass die Ausgabe des Ersatzmodells den zweiten Trainingsdatensatz auf der Basis der zweiten Eingabedaten repliziert.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Verfahren auch die Wiederholung von Prozessen zur Modifizierung der ursprünglichen Eingabedaten, um neue Eingabedaten zu erhalten, die Gewinnung neuer Trainingsdaten auf der Grundlage des Black-Box-Objekterkennungs-Algorithmus, der die Objekterkennung auf den neuen Eingabedaten durchführt, und das Training des Ersatzmodells unter Verwendung der neuen Trainingsdaten.
-
In einer anderen beispielhaften Ausführungsform enthält ein System zur Erzeugung eines gegnerischen Angriffs auf einen Black-Box-Objekterkennungs-Algorithmus einen Sensor, der erste Eingabedaten liefert, und einen Prozessor, der einen ersten Trainingsdatensatz aus dem Black-Box-Objekterkennungs-Algorithmus erhält. Der Black-Box Objekterkennungs-Algorithmus führt eine Objekterkennung bei den anfänglichen Eingabedaten durch, um die Ausgabe des Black-Box Objekterkennungs-Algorithmus zu ermöglichen, der den anfänglichen Trainingsdatensatz bildet. Der Prozessor trainiert ein Ersatzmodell mit dem anfänglichen Trainingsdatensatz, so dass die Ausgabe des Ersatzmodells die Ausgabe des Black-Box-Objekterkennungs-Algorithmus repliziert, der den anfänglichen Trainingsdatensatz liefert. Die Details der Funktionsweise des Black-Box-Objekterkennungs-Algorithmus sind unbekannt und die Funktionsweise des Ersatzmodells ist bekannt. Der Prozessor verwendet das Ersatzmodell, um den gegnerischen Angriff durchzuführen. Der gegnerische Angriff bezieht sich auf die Identifizierung von gegnerischen Eingabedaten, bei denen der Black-Box-Objekterkennungs-Algorithmus keine genaue Erkennung durchführen kann.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale ist der Sensor eine Kamera.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthalten die anfänglichen Eingabedaten ein Bild der Kamera.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält die Ausgabe des Black-Box-Objekterkennungs-Algorithmus ein Begrenzungsrechteck um ein erkanntes Objekt im Bild, und der Prozessor verarbeitet die Ausgabe des Black-Box-Objekterkennungs-Algorithmus, um den anfänglichen Trainingsdatensatz zu erhalten.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale ist der Prozessor weiterhin so eingerichtet, dass er die Ausgabe des Black-Box-Objekterkennungs-Algorithmus verarbeitet, indem er ein Gitter auf dem Bild mit dem Begrenzungsrahmen um das erkannte Objekt überlagert und jedem Element des Gitters einen Wert zuweist, der auf dem Vorhandensein oder einem Prozentsatz des Begrenzungsrahmens im Element des Gitters basiert.
-
Zusätzlich zu einer oder mehreren der hier beschriebenen Funktionen ist der Prozessor weiter eingerichtet, um die ursprünglichen Eingangsdaten zu modifizieren, um zweite Eingangsdaten zu erhalten.
-
Zusätzlich zu einer oder mehreren der hier beschriebenen Funktionen wird der Prozessor weiter eingerichtet, um einen zweiten Trainingsdatensatz zu erhalten, der auf dem Black-Box-Objekterkennungs-Algorithmus basiert, der die Objekterkennung an den zweiten Eingabedaten durchführt.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale wird der Prozessor weiter eingerichtet, um das Ersatzmodell zu trainieren, um sicherzustellen, dass die Ausgabe des Ersatzmodells den zweiten Trainingsdatensatz auf der Grundlage der zweiten Eingabedaten repliziert.
-
Zusätzlich zu einer oder mehreren der hier beschriebenen Funktionen ist der Prozessor weiterhin so eingerichtet, dass er die anfänglichen Eingabedaten wiederholt modifiziert, um neue Eingabedaten zu erhalten, neue Trainingsdaten auf der Grundlage des Black-Box-Objekterkennungs-Algorithmus zu erhalten, der die Objekterkennung auf den neuen Eingabedaten durchführt, und das Ersatzmodell unter Verwendung der neuen Trainingsdaten trainiert.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale befindet sich der Sensor in einem Fahrzeug.
-
Die oben genannten Merkmale und Vorteile sowie weitere Merkmale und Vorteile der Offenlegung ergeben sich aus der folgenden detaillierten Beschreibung in Verbindung mit den beigefügten Figuren.
-
Figurenliste
-
Weitere Merkmale, Vorteile und Details erscheinen nur beispielhaft in der folgenden Detailbeschreibung, wobei sich die Detailbeschreibung auf die Figuren bezieht, in denen:
- 1 ist ein Blockdiagramm eines Fahrzeugs mit Sensoren, die einem gegnerischen Angriff auf einen Black-Box-Objekterkennungs-Algorithmus nach einer oder mehreren Ausführungsformen ausgesetzt sind;
- 2 ist ein Prozessablauf einer Methode zur Erzeugung eines gegnerischen Angriffs auf einen Black-Box-Objekterkennungs-Algorithmus für einen Sensor nach einer oder mehreren Ausführungsformen; und
- 3 illustriert die exemplarische Generierung eines Trainingsdatensatzes im Rahmen der Generierung eines gegnerischen Angriffs auf einen Black-Box-Objekterkennungs-Algorithmus nach einer oder mehreren Ausführungsformen.
-
AUSFÜHRLICHE DARSTELLUNG
-
Die folgende Beschreibung hat lediglich beispielhaften Charakter und soll die vorliegende Offenbarung, ihre Anwendung oder ihren Gebrauch nicht einschränken. Es ist zu verstehen, dass in den Figuren durchgehend entsprechende Bezugszeichen auf gleiche oder entsprechende Teile und Merkmale hinweisen.
-
Wie bereits erwähnt, wird ein Objekterkennungs-Algorithmus in Verbindung mit den mit einem Sensor (z.B. Kamera, Radarsystem) gewonnenen Daten verwendet, um Informationen über ein oder mehrere Objekte im Sichtfeld des Sensors zu erhalten. Ein Objekterkennungs-Algorithmus sagt die Klasse oder den Typ eines Objekts sowie dessen Lage und Größe voraus. Allerdings erleichtern die vorhandenen gegnerischen Angriffsmethoden die Charakterisierung der Klassifikation, nicht aber den Nachweisaspekt. Durch einen gegnerischen Angriff kann der Bereich der vom Sensor gewonnenen Daten bestimmt werden, für den der Objekterkennungs-Algorithmus korrekt arbeitet (d.h. das Objekt genau erkennt). Konkret können die vom Sensor mit einem Objekt im Sichtfeld gewonnenen Daten so lange verändert werden, bis der Objekterkennungs-Algorithmus das Objekt nicht mehr erkennt. Wie auch schon erwähnt, ist die Kenntnis der Details des Objekterkennungs-Algorithmus für einen erfolgreichen gegnerischen Angriff relativ einfach.
-
Allerdings sind die operativen Details des Objekterkennungs-Algorithmus möglicherweise nicht bekannt. In diesem Fall muss der Objekterkennungs-Algorithmus wie eine Black-Box behandelt werden, d.h. es dürfen nur die Ausgänge bestimmt werden, die einen bekannten Satz von Eingängen haben.
-
Ausführungsformen der hier beschriebenen Systeme und Methoden beziehen sich auf einen gegnerischen Angriff auf einen Black-Box-Objekterkennungs-Algorithmus. Basierend auf der Kenntnis nur der Ausgänge, die sich aus dem Objekterkennungs-Algorithmus für eine Menge bekannter Eingänge ergeben, wird ein Ersatzmodell für den Objekterkennungs-Algorithmus entwickelt. Da die Details des Ersatzmodells bekannt sind, kann das Ersatzmodell zur Entwicklung des gegnerischen Angriffs verwendet werden, der dann auf dem Objekterkennungs-Algorithmus implementiert werden kann. Eine oder mehrere Ausführungsformen können sich auf einen Sensor beziehen, der Teil eines Fahrzeugs ist (z.B. PKW, LKW, Baumaschinen, landwirtschaftliche Geräte, automatisierte Fabrikeinrichtungen).
-
Das nach einer oder mehreren der hier beschriebenen Ausführungsformen entwickelte Ersatzmodell kann zur Gestaltung eines gegnerischen Angriffs auf den mit dem Sensor des Fahrzeugs verwendeten Objekterkennungs-Algorithmus verwendet werden.
-
Entsprechend einer beispielhaften Ausführungsform ist 1 ein Blockschaltbild eines Fahrzeugs 100 mit Sensoren 115, die einem gegnerischen Angriff auf einen Black-Box-Objekterkennungs-Algorithmus ausgesetzt sind.
-
Das in 1 dargestellte Fahrzeug 100 ist ein Automobil 101. Das Fahrzeug 100 verfügt über einen oder mehrere Sensoren 115 zur Erkennung von Objekten 150, wie der in 1 dargestellte Fußgänger 155. Das Beispielfahrzeug 100 aus 1 enthält eine Kamera 120, ein Radarsystem 130 und ein Lidarsystem 140. Die von jedem dieser Sensoren 115 gewonnenen Daten werden mit einem Erkennungsalgorithmus verarbeitet. Der Erkennungsalgorithmus kann in einem Sensor 115 oder in einer Steuerung 110 implementiert werden. Die in 1 gezeigten beispielhaften Sensoren 115 und die beispielhafte Platzierung der Sensoren 115 und der Steuerung 110 können nach alternativen Ausführungsformen modifiziert werden.
-
Für einen oder mehrere der Sensoren 115 kann ein gegnerischer Angriff auf den Objekterkennungs-Algorithmus durch eine Verarbeitungsschaltung im Sensor 115 oder in der Steuerung 110 erfolgen. Da der gegnerische Angriff und die Charakterisierung des Objekterkennungs-Algorithmus eines Sensors 115 offline erfolgen kann, kann auch die Verarbeitungsschaltung einer anderen Steuerung 110, nicht unbedingt im Fahrzeug 100, verwendet werden. Wie bereits erwähnt, müssen die operativen Details des Objekterkennungs-Algorithmus nicht bekannt sein, um den gegnerischen Angriff nach einer oder mehreren Ausführungsformen durchzuführen. Zur Erläuterung wird die Kamera 120 als ein exemplarischer Sensor 115 diskutiert, dessen Objekterkennung von der Steuerung 110 gegnerisch angegriffen wird. Die Steuerung 110 kann eine Verarbeitungsschaltung enthalten, die einen anwendungsspezifischen integrierten Schaltkreis (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder gruppenweise) und einen Speicher, der ein oder mehrere Software- oder Firmwareprogramme ausführt, eine kombinierte Logikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen, umfassen kann.
-
2 ist ein Prozessablauf einer Methode 200 zur Erzeugung eines gegnerischen Angriffs auf einen Black-Box-Objekterkennungs-Algorithmus für einen Sensor 115 nach einer oder mehreren Ausführungsformen. Wie in 1 gezeigt, kann sich der Sensor 115, der den Objekterkennungs-Algorithmus verwendet, der auf der Grundlage des gegnerischen Angriffs charakterisiert ist, in einem Fahrzeug 100 befinden. In Block 210 wird unter anderem eine Architektur für ein Ersatzmodell ausgewählt. Es kann jede bekannte Architektur gewählt werden. Beispielsweise kann eine Faltungs-Encoder-Decoder-Architektur gewählt werden, wenn der Sensor 115 die Kamera 120 ist und der Objekterkennungs-Algorithmus ein Bilderkennungs-Algorithmus ist. Der Faltungs-Encoder-Decoder, der eine neuronale Netzwerkarchitektur darstellt, enthält Encoder-Decoder-Paare, die Merkmals-Karten und eine pixelweise Klassifizierungsschicht erzeugen. Jedes Pixel im Bild wird klassifiziert, und die Klassifizierungen umfassen Objekte von Interesse.
-
Das Sammeln von Daten vom Sensor
115, im Block
220, und das Erhalten eines Trainingssatzes, im Block
230, bezieht sich auf das Sammeln der Daten, die als Eingabe für den Objekterkennungs-Algorithmus dienen, und das Erhalten von Ergebnissen vom Objekterkennungs-Algorithmus. Die Daten werden verwendet, um den Erstausbildungssatz für das Ersatzmodell zu erhalten. Im Beispielfall des Sensors
115, der eine Kamera
120 ist, sind die Daten Bilder S, die vom Objekterkennungs-Algorithmus verarbeitet werden, um alle interessanten Objekte im Bild zu identifizieren. Im Beispielfall, dass das Ersatzmodell ein Faltungs-Encoder-Decoder ist, kann der Trainingssatz D basierend auf den Bildern S als dargestellt werden:
-
In GL. 1,
ist jedes Bild (d.h. Pixelmatrix), aus dem sich die Bilder S zusammensetzen, und O gibt den eigentlichen Objekterkennungs-Algorithmus an, der als Black-Box behandelt wird. Also,
stellt das für das Bild erhaltene Erkennungsergebnis dar
unter Verwendung des (Black-Box) Objekterkennungs-Algorithmus. Dies ist das Ergebnis, das das Ersatzmodell auch liefern muss, um als Ersatz für den eigentlichen Objekterkennungs-Algorithmus zu fungieren, und wird in Bezug auf
3 weiter diskutiert.
-
In Block 240 umfassen die Prozesse das Training des Ersatzmodells auf Basis der Daten (zunächst in Block 220) und des Trainingssets (in Block 230). Für den exemplarischen Fall, dass das Ersatzmodell ein Faltungs-Encoder-Decoder ist, müssen im Trainingsprozess die Parameter θF des neuronalen Netzes bestimmt werden. Während des Trainings werden die Parameter θF des Faltungs-Encoder-Decoders, der im Beispielfall vom Ersatzmodell verwendet wird, so angepasst, dass das Ergebnis des Ersatzmodells mit dem des tatsächlichen (Black-Box-)Objekterkennungs-Algorithmus möglichst genau übereinstimmt.
-
Im Block
250 bezieht sich die Änderung der Daten auf die Änderung der Ausgangsdaten (gesammelt im Block
220). Im Beispielfall der Daten, die Bilder S sind, kann eine jakobianische Datensatzvergrößerung wie durchgeführt werden:
-
In GL. 2,
ist die Jacobimatrix (d.h. eine Matrix aus partiellen Ableitungen erster Ordnung der Detektionsergebnisse) und X ist ein Hyperparameter (d.h. ein vordefinierter Wert), der steuert, wie viel die ursprüngliche Eingabe
wird von der Jakobinerin modifiziert werden. Die modifizierten Daten werden dann mit den vorhandenen Bildern S zu einem weiteren Trainingsset am Block
230 kombiniert. Mit diesem neuen Trainingsset wird das Ersatzmodell, am Block
240, weiter trainiert. Dieses iterative Training (Änderung der Daten in Block
250, Erhalt eines Trainingssatzes für die geänderten Daten in Block
230 und Training des Ersatzmodells in Block
240) kann so lange fortgesetzt werden, bis eine vorgegebene maximale Anzahl von Trainingsepochen erreicht ist. Eine Epoche bezieht sich auf einen Zyklus, in dem alle verfügbaren Beispiele im Trainingsset verwendet werden, um die Parameter zu aktualisieren θ
F.
-
Sobald das Ersatzmodell trainiert ist (d.h. die Parameter θ
F im Beispielfall erhalten sind), erleichtert die Durchführung eines gegnerischen Angriffs auf das Ersatzmodell im Block
260 die Charakterisierung des eigentlichen (Black-Box) Objekterkennungs-Algorithmus, ohne die Details dieses Algorithmus zu kennen. Im Beispielfall, mit dem durch F dargestellten Ersatzmodell, ist eine kontradiktorische Datenprobe
kann bestimmt werden als:
In GL. 3,
ist gegeben von:
In GL. 4, C ist die Kostenfunktion.
-
3 zeigt die exemplarische Generierung eines Trainingsdatensatzes D (Block
230,
2) im Rahmen der Generierung eines gegnerischen Angriffs auf einen Black-Box-Objekterkennungs-Algorithmus nach einer oder mehreren Ausführungsformen. Im Beispiel ist der Sensor
115 eine Kamera
120. Ein Bild
310 unter den Bildern S enthält ein Objekt, gekennzeichnet als OBJ. Durch die Bereitstellung des Bildes
als Input für den eigentlichen (Black-Box) Objekterkennungs-Algorithmus, ein Output
320 erhalten wird. Basierend auf dem Objekterkennungs-Algorithmus hat das Objekt-OBJ im Ausgabebild einen Begrenzungsrahmen
325 um sich herum. Auf diesem Ausgabebild
320 wird ein Gitter überlagert, um ein Gitterüberlagerungsbild
330 zu erhalten, wobei das Ausgabebild in eine Anzahl von Gittern
335 unterteilt ist, die auch als Elemente oder Boxen des Gitters bezeichnet werden können. Die Trainingsdaten
340 werden erzeugt, indem man eine „1“ in ein beliebiges Gitter
335 legt, in dem der Begrenzungsrahmen
325 erscheint, und eine „0“ in jedes andere Gitter
335. Alternativ kann eine Schwellenüberlappung der Begrenzungsrahmen
325 innerhalb eines Gitters
335 erforderlich sein, damit das Gitter
335 eine „1“ anstelle von „0“ erhält, oder es kann eine reelle Zahl zwischen 0 und 1 an jedes Gitter
335 ausgegeben werden, basierend auf dem Prozentsatz der Überlappung der Begrenzungsrahmen
325 im Gitter
335. Wie bereits erwähnt, dienen die Trainingsdaten
340 als Grundwahrheit beim Training des Ersatzmodells (bei Block
240).
-
Während die vorstehende Offenbarung unter Bezugnahme auf beispielhafte Ausführungsformen beschrieben wurde, wird es von den Fachleuten verstanden, dass verschiedene Änderungen vorgenommen werden können und Elemente davon durch Äquivalente ersetzt werden können, ohne dass der Geltungsbereich verlassen wird. Darüber hinaus können viele Änderungen vorgenommen werden, um eine bestimmte Situation oder ein bestimmtes Material an die Lehren der Offenbarung anzupassen, ohne von deren wesentlichem Umfang abzuweichen. Es ist daher beabsichtigt, dass sich die vorliegende Offenbarung nicht auf die einzelnen offenbarten Ausführungsformen beschränkt, sondern alle Ausführungsformen umfasst, die in den Geltungsbereich dieser Ausführungsform fallen.