DE102020103769A1

DE102020103769A1 - Gegnerischer Angriff auf den Algorithmus zur Erkennung von Black-Box-Objekten

Info

Publication number: DE102020103769A1
Application number: DE102020103769.4A
Authority: DE
Inventors: Wei Tong; Shuqing Zeng; Upali P. Mudalige
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2019-03-28
Filing date: 2020-02-13
Publication date: 2020-10-01
Also published as: US20200311481A1; CN111753868A; US10929719B2

Abstract

Systeme und Verfahren zur Generierung eines gegnerischen Angriffs auf einen Black-Box-Objekterkennungs-Algorithmus eines Sensors beinhalten die Gewinnung eines ersten Trainingsdatensatzes aus dem Black-Box-Objekterkennungs-Algorithmus. Der Black-Box Objekterkennungs-Algorithmus führt eine Objekterkennung bei den anfänglichen Eingabedaten durch, um die Ausgabe des Black-Box-Objekterkennungs-Algorithmus zu ermöglichen, der den anfänglichen Trainingsdatensatz liefert. Ein Ersatzmodell wird mit dem anfänglichen Trainingsdatensatz so trainiert, dass die Ersatzmodell-Ausgabe die Black-Box-Objekterkennungs-Algorithmus-Ausgabe, aus dem der anfängliche Trainingsdatensatz besteht, repliziert. Die Details der Funktionsweise des Black-Box-Objekterkennungs-Algorithmus sind unbekannt und die Funktionsweise des Ersatzmodells ist bekannt. Das Ersatzmodell wird zur Durchführung des gegnerischen Angriffs verwendet. Der gegnerische Angriff bezieht sich auf die Identifizierung von gegnerischen Eingabedaten, bei denen der Black-Box-Objekterkennungs-Algorithmus keine genaue Erkennung durchführen kann.

Description

EINLEITUNG
Das Thema der Offenbarung bezieht sich auf einen gegnerischen Angriff auf einen Black-Box-Obj ekterkennungs-Algorithmus.
Bei einem Sensor wird ein Objekterkennungs-Algorithmus verwendet (z.B. Funkerkennungs- und Entfernungsmesssystem (Radar), Kamera, Lichterkennungs- und Entfernungsmesssystem (Lidar)). Der Objekterkennungs-Algorithmus bezieht sich auf die besondere Verarbeitung der vom Sensor gewonnenen Daten, um ein oder mehrere Objekte im Sichtfeld des Sensors zu erkennen. In einem Radarsystem kann der Obj ekterkennungs-Algorithmus eine oder mehrere Fourier-Transformationen und einen anschließenden Strahlformungsprozess zur Identifizierung und Lokalisierung von Objekten beinhalten. In einem kamerabasierten System kann der Objekterkennungs-Algorithmus die Identifizierung einer Reihe von Pixelwerten beinhalten, die über einem Schwellenwert liegen. Der gegnerische Angriff bezieht sich auf einen Prozess der Bestimmung der Betriebsgrenzen eines Erkennungsalgorithmus. Im Wesentlichen werden Daten erzeugt, bei denen der Objekterkennungs-Algorithmus versagt. Wenn die funktionalen Details des Objekterkennungs-Algorithmus bekannt sind, wird der gegnerische Angriff des Objekterkennungs-Algorithmus nach bekannten Verfahren erleichtert. Allerdings ist der Algorithmus zur Objekterkennung möglicherweise nicht bekannt und kann als Black-Box behandelt werden. Dementsprechend ist es wünschenswert, einen gegnerischen Angriff auf einen Black-Box-Objekterkennungs-Algorithmus zu bieten.
BESCHREIBUNG
In einer beispielhaften Ausführungsform beinhaltet ein Verfahren zur Erzeugung eines gegnerischen Angriffs auf einen Black-Box-Objekterkennungs-Algorithmus eines Sensors die Gewinnung eines ersten Trainingsdatensatzes aus dem Black-Box-Objekterkennungs-Algorithmus. Der Black-Box-Objekterkennungs-Algorithmus führt eine Objekterkennung bei den anfänglichen Eingabedaten durch, um die Ausgabe des Black-Box Objekterkennungs-Algorithmus zu ermöglichen, der den anfänglichen Trainingsdatensatz liefert. Das Verfahren beinhaltet auch das Training eines Ersatzmodells mit dem anfänglichen Trainingsdatensatz, so dass die Ausgabe des Ersatzmodells die Ausgabe des Black-Box-Objekterkennungs-Algorithmus repliziert, aus dem der anfängliche Trainingsdatensatz besteht. Die Details der Funktionsweise des Black-Box-Objekterkennungs-Algorithmus sind unbekannt und die Funktionsweise des Ersatzmodells ist bekannt. Das Ersatzmodell wird zur Durchführung des gegnerischen Angriffs verwendet, wobei sich der gegnerische Angriff auf die Identifizierung von gegnerischen Eingabedaten bezieht, für die der Black-Box-Objekterkennungs-Algorithmus keine genaue Erkennung durchführen kann.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Verfahren auch die Erfassung der ersten Eingangsdaten vom Sensor.
Zusätzlich zu einer oder mehreren der hier beschriebenen Funktionen umfasst die Erfassung der anfänglichen Eingabedaten die Erfassung eines Bildes von einer Kamera.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Verfahren auch den Erhalt der Ausgabe des Black-Box-Objekterkennungs-Algorithmus als Begrenzungsrahmen um ein erkanntes Objekt im Bild und die Verarbeitung der Ausgabe des Black-Box-Objekterkennungs-Algorithmus, um den anfänglichen Trainingsdatensatz zu erhalten.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst die Verarbeitung die Überlagerung eines Gitters auf dem Bild mit dem Begrenzungsrahmen um das erkannte Objekt und die Zuweisung eines Wertes zu jedem Element des Gitters auf der Grundlage des Vorhandenseins oder eines Prozentsatzes des Begrenzungsrahmens im Element des Gitters.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Verfahren auch die Auswahl einer Architektur für das Ersatzmodell.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Verfahren auch die Modifizierung der ursprünglichen Eingabedaten, um zweite Eingabedaten zu erhalten.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Verfahren auch die Gewinnung eines zweiten Trainingsdatensatzes, der auf dem Black-Box-Objekterkennungs-Algorithmus basiert, der die Objekterkennung auf den zweiten Eingabedaten durchführt.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale beinhaltet das Training des Ersatzmodells die Sicherstellung, dass die Ausgabe des Ersatzmodells den zweiten Trainingsdatensatz auf der Basis der zweiten Eingabedaten repliziert.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Verfahren auch die Wiederholung von Prozessen zur Modifizierung der ursprünglichen Eingabedaten, um neue Eingabedaten zu erhalten, die Gewinnung neuer Trainingsdaten auf der Grundlage des Black-Box-Objekterkennungs-Algorithmus, der die Objekterkennung auf den neuen Eingabedaten durchführt, und das Training des Ersatzmodells unter Verwendung der neuen Trainingsdaten.
In einer anderen beispielhaften Ausführungsform enthält ein System zur Erzeugung eines gegnerischen Angriffs auf einen Black-Box-Objekterkennungs-Algorithmus einen Sensor, der erste Eingabedaten liefert, und einen Prozessor, der einen ersten Trainingsdatensatz aus dem Black-Box-Objekterkennungs-Algorithmus erhält. Der Black-Box Objekterkennungs-Algorithmus führt eine Objekterkennung bei den anfänglichen Eingabedaten durch, um die Ausgabe des Black-Box Objekterkennungs-Algorithmus zu ermöglichen, der den anfänglichen Trainingsdatensatz bildet. Der Prozessor trainiert ein Ersatzmodell mit dem anfänglichen Trainingsdatensatz, so dass die Ausgabe des Ersatzmodells die Ausgabe des Black-Box-Objekterkennungs-Algorithmus repliziert, der den anfänglichen Trainingsdatensatz liefert. Die Details der Funktionsweise des Black-Box-Objekterkennungs-Algorithmus sind unbekannt und die Funktionsweise des Ersatzmodells ist bekannt. Der Prozessor verwendet das Ersatzmodell, um den gegnerischen Angriff durchzuführen. Der gegnerische Angriff bezieht sich auf die Identifizierung von gegnerischen Eingabedaten, bei denen der Black-Box-Objekterkennungs-Algorithmus keine genaue Erkennung durchführen kann.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale ist der Sensor eine Kamera.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthalten die anfänglichen Eingabedaten ein Bild der Kamera.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält die Ausgabe des Black-Box-Objekterkennungs-Algorithmus ein Begrenzungsrechteck um ein erkanntes Objekt im Bild, und der Prozessor verarbeitet die Ausgabe des Black-Box-Objekterkennungs-Algorithmus, um den anfänglichen Trainingsdatensatz zu erhalten.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale ist der Prozessor weiterhin so eingerichtet, dass er die Ausgabe des Black-Box-Objekterkennungs-Algorithmus verarbeitet, indem er ein Gitter auf dem Bild mit dem Begrenzungsrahmen um das erkannte Objekt überlagert und jedem Element des Gitters einen Wert zuweist, der auf dem Vorhandensein oder einem Prozentsatz des Begrenzungsrahmens im Element des Gitters basiert.
Zusätzlich zu einer oder mehreren der hier beschriebenen Funktionen ist der Prozessor weiter eingerichtet, um die ursprünglichen Eingangsdaten zu modifizieren, um zweite Eingangsdaten zu erhalten.
Zusätzlich zu einer oder mehreren der hier beschriebenen Funktionen wird der Prozessor weiter eingerichtet, um einen zweiten Trainingsdatensatz zu erhalten, der auf dem Black-Box-Objekterkennungs-Algorithmus basiert, der die Objekterkennung an den zweiten Eingabedaten durchführt.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale wird der Prozessor weiter eingerichtet, um das Ersatzmodell zu trainieren, um sicherzustellen, dass die Ausgabe des Ersatzmodells den zweiten Trainingsdatensatz auf der Grundlage der zweiten Eingabedaten repliziert.
Zusätzlich zu einer oder mehreren der hier beschriebenen Funktionen ist der Prozessor weiterhin so eingerichtet, dass er die anfänglichen Eingabedaten wiederholt modifiziert, um neue Eingabedaten zu erhalten, neue Trainingsdaten auf der Grundlage des Black-Box-Objekterkennungs-Algorithmus zu erhalten, der die Objekterkennung auf den neuen Eingabedaten durchführt, und das Ersatzmodell unter Verwendung der neuen Trainingsdaten trainiert.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale befindet sich der Sensor in einem Fahrzeug.
Die oben genannten Merkmale und Vorteile sowie weitere Merkmale und Vorteile der Offenlegung ergeben sich aus der folgenden detaillierten Beschreibung in Verbindung mit den beigefügten Figuren.
Figurenliste
Weitere Merkmale, Vorteile und Details erscheinen nur beispielhaft in der folgenden Detailbeschreibung, wobei sich die Detailbeschreibung auf die Figuren bezieht, in denen:

1 ist ein Blockdiagramm eines Fahrzeugs mit Sensoren, die einem gegnerischen Angriff auf einen Black-Box-Objekterkennungs-Algorithmus nach einer oder mehreren Ausführungsformen ausgesetzt sind;
2 ist ein Prozessablauf einer Methode zur Erzeugung eines gegnerischen Angriffs auf einen Black-Box-Objekterkennungs-Algorithmus für einen Sensor nach einer oder mehreren Ausführungsformen; und
3 illustriert die exemplarische Generierung eines Trainingsdatensatzes im Rahmen der Generierung eines gegnerischen Angriffs auf einen Black-Box-Objekterkennungs-Algorithmus nach einer oder mehreren Ausführungsformen.

AUSFÜHRLICHE DARSTELLUNG
Die folgende Beschreibung hat lediglich beispielhaften Charakter und soll die vorliegende Offenbarung, ihre Anwendung oder ihren Gebrauch nicht einschränken. Es ist zu verstehen, dass in den Figuren durchgehend entsprechende Bezugszeichen auf gleiche oder entsprechende Teile und Merkmale hinweisen.
Wie bereits erwähnt, wird ein Objekterkennungs-Algorithmus in Verbindung mit den mit einem Sensor (z.B. Kamera, Radarsystem) gewonnenen Daten verwendet, um Informationen über ein oder mehrere Objekte im Sichtfeld des Sensors zu erhalten. Ein Objekterkennungs-Algorithmus sagt die Klasse oder den Typ eines Objekts sowie dessen Lage und Größe voraus. Allerdings erleichtern die vorhandenen gegnerischen Angriffsmethoden die Charakterisierung der Klassifikation, nicht aber den Nachweisaspekt. Durch einen gegnerischen Angriff kann der Bereich der vom Sensor gewonnenen Daten bestimmt werden, für den der Objekterkennungs-Algorithmus korrekt arbeitet (d.h. das Objekt genau erkennt). Konkret können die vom Sensor mit einem Objekt im Sichtfeld gewonnenen Daten so lange verändert werden, bis der Objekterkennungs-Algorithmus das Objekt nicht mehr erkennt. Wie auch schon erwähnt, ist die Kenntnis der Details des Objekterkennungs-Algorithmus für einen erfolgreichen gegnerischen Angriff relativ einfach.
Allerdings sind die operativen Details des Objekterkennungs-Algorithmus möglicherweise nicht bekannt. In diesem Fall muss der Objekterkennungs-Algorithmus wie eine Black-Box behandelt werden, d.h. es dürfen nur die Ausgänge bestimmt werden, die einen bekannten Satz von Eingängen haben.
Ausführungsformen der hier beschriebenen Systeme und Methoden beziehen sich auf einen gegnerischen Angriff auf einen Black-Box-Objekterkennungs-Algorithmus. Basierend auf der Kenntnis nur der Ausgänge, die sich aus dem Objekterkennungs-Algorithmus für eine Menge bekannter Eingänge ergeben, wird ein Ersatzmodell für den Objekterkennungs-Algorithmus entwickelt. Da die Details des Ersatzmodells bekannt sind, kann das Ersatzmodell zur Entwicklung des gegnerischen Angriffs verwendet werden, der dann auf dem Objekterkennungs-Algorithmus implementiert werden kann. Eine oder mehrere Ausführungsformen können sich auf einen Sensor beziehen, der Teil eines Fahrzeugs ist (z.B. PKW, LKW, Baumaschinen, landwirtschaftliche Geräte, automatisierte Fabrikeinrichtungen).
Das nach einer oder mehreren der hier beschriebenen Ausführungsformen entwickelte Ersatzmodell kann zur Gestaltung eines gegnerischen Angriffs auf den mit dem Sensor des Fahrzeugs verwendeten Objekterkennungs-Algorithmus verwendet werden.
Entsprechend einer beispielhaften Ausführungsform ist 1 ein Blockschaltbild eines Fahrzeugs 100 mit Sensoren 115, die einem gegnerischen Angriff auf einen Black-Box-Objekterkennungs-Algorithmus ausgesetzt sind.
Das in 1 dargestellte Fahrzeug 100 ist ein Automobil 101. Das Fahrzeug 100 verfügt über einen oder mehrere Sensoren 115 zur Erkennung von Objekten 150, wie der in 1 dargestellte Fußgänger 155. Das Beispielfahrzeug 100 aus 1 enthält eine Kamera 120, ein Radarsystem 130 und ein Lidarsystem 140. Die von jedem dieser Sensoren 115 gewonnenen Daten werden mit einem Erkennungsalgorithmus verarbeitet. Der Erkennungsalgorithmus kann in einem Sensor 115 oder in einer Steuerung 110 implementiert werden. Die in 1 gezeigten beispielhaften Sensoren 115 und die beispielhafte Platzierung der Sensoren 115 und der Steuerung 110 können nach alternativen Ausführungsformen modifiziert werden.
Für einen oder mehrere der Sensoren 115 kann ein gegnerischer Angriff auf den Objekterkennungs-Algorithmus durch eine Verarbeitungsschaltung im Sensor 115 oder in der Steuerung 110 erfolgen. Da der gegnerische Angriff und die Charakterisierung des Objekterkennungs-Algorithmus eines Sensors 115 offline erfolgen kann, kann auch die Verarbeitungsschaltung einer anderen Steuerung 110, nicht unbedingt im Fahrzeug 100, verwendet werden. Wie bereits erwähnt, müssen die operativen Details des Objekterkennungs-Algorithmus nicht bekannt sein, um den gegnerischen Angriff nach einer oder mehreren Ausführungsformen durchzuführen. Zur Erläuterung wird die Kamera 120 als ein exemplarischer Sensor 115 diskutiert, dessen Objekterkennung von der Steuerung 110 gegnerisch angegriffen wird. Die Steuerung 110 kann eine Verarbeitungsschaltung enthalten, die einen anwendungsspezifischen integrierten Schaltkreis (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder gruppenweise) und einen Speicher, der ein oder mehrere Software- oder Firmwareprogramme ausführt, eine kombinierte Logikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen, umfassen kann.
2 ist ein Prozessablauf einer Methode 200 zur Erzeugung eines gegnerischen Angriffs auf einen Black-Box-Objekterkennungs-Algorithmus für einen Sensor 115 nach einer oder mehreren Ausführungsformen. Wie in 1 gezeigt, kann sich der Sensor 115, der den Objekterkennungs-Algorithmus verwendet, der auf der Grundlage des gegnerischen Angriffs charakterisiert ist, in einem Fahrzeug 100 befinden. In Block 210 wird unter anderem eine Architektur für ein Ersatzmodell ausgewählt. Es kann jede bekannte Architektur gewählt werden. Beispielsweise kann eine Faltungs-Encoder-Decoder-Architektur gewählt werden, wenn der Sensor 115 die Kamera 120 ist und der Objekterkennungs-Algorithmus ein Bilderkennungs-Algorithmus ist. Der Faltungs-Encoder-Decoder, der eine neuronale Netzwerkarchitektur darstellt, enthält Encoder-Decoder-Paare, die Merkmals-Karten und eine pixelweise Klassifizierungsschicht erzeugen. Jedes Pixel im Bild wird klassifiziert, und die Klassifizierungen umfassen Objekte von Interesse.
Das Sammeln von Daten vom Sensor 115, im Block 220, und das Erhalten eines Trainingssatzes, im Block 230, bezieht sich auf das Sammeln der Daten, die als Eingabe für den Objekterkennungs-Algorithmus dienen, und das Erhalten von Ergebnissen vom Objekterkennungs-Algorithmus. Die Daten werden verwendet, um den Erstausbildungssatz für das Ersatzmodell zu erhalten. Im Beispielfall des Sensors 115, der eine Kamera 120 ist, sind die Daten Bilder S, die vom Objekterkennungs-Algorithmus verarbeitet werden, um alle interessanten Objekte im Bild zu identifizieren. Im Beispielfall, dass das Ersatzmodell ein Faltungs-Encoder-Decoder ist, kann der Trainingssatz D basierend auf den Bildern S als dargestellt werden: $D = {(\overset{⇀}{x}, \overset{⇀}{O} (\overset{⇀}{x}) : \overset{⇀}{x} \in S} .$
In GL. 1, $\overset{⇀}{x}$
ist jedes Bild (d.h. Pixelmatrix), aus dem sich die Bilder S zusammensetzen, und O gibt den eigentlichen Objekterkennungs-Algorithmus an, der als Black-Box behandelt wird. Also, $\overset{⇀}{O} (\overset{⇀}{x})$
stellt das für das Bild erhaltene Erkennungsergebnis dar $\overset{⇀}{x}$
unter Verwendung des (Black-Box) Objekterkennungs-Algorithmus. Dies ist das Ergebnis, das das Ersatzmodell auch liefern muss, um als Ersatz für den eigentlichen Objekterkennungs-Algorithmus zu fungieren, und wird in Bezug auf 3 weiter diskutiert.
In Block 240 umfassen die Prozesse das Training des Ersatzmodells auf Basis der Daten (zunächst in Block 220) und des Trainingssets (in Block 230). Für den exemplarischen Fall, dass das Ersatzmodell ein Faltungs-Encoder-Decoder ist, müssen im Trainingsprozess die Parameter θ_F des neuronalen Netzes bestimmt werden. Während des Trainings werden die Parameter θ_F des Faltungs-Encoder-Decoders, der im Beispielfall vom Ersatzmodell verwendet wird, so angepasst, dass das Ergebnis des Ersatzmodells mit dem des tatsächlichen (Black-Box-)Objekterkennungs-Algorithmus möglichst genau übereinstimmt.
Im Block 250 bezieht sich die Änderung der Daten auf die Änderung der Ausgangsdaten (gesammelt im Block 220). Im Beispielfall der Daten, die Bilder S sind, kann eine jakobianische Datensatzvergrößerung wie durchgeführt werden: $S \leftarrow {\overset{⇀}{x} + λ \cdot sgn (J_{F} [\overset{⇀}{O} (\overset{⇀}{x})]) : \overset{⇀}{x} \in S} \cup S$
In GL. 2, $J_{F} [\overset{⇀}{O} (\overset{⇀}{x})]$
ist die Jacobimatrix (d.h. eine Matrix aus partiellen Ableitungen erster Ordnung der Detektionsergebnisse) und X ist ein Hyperparameter (d.h. ein vordefinierter Wert), der steuert, wie viel die ursprüngliche Eingabe $\overset{⇀}{x}$
wird von der Jakobinerin modifiziert werden. Die modifizierten Daten werden dann mit den vorhandenen Bildern S zu einem weiteren Trainingsset am Block 230 kombiniert. Mit diesem neuen Trainingsset wird das Ersatzmodell, am Block 240, weiter trainiert. Dieses iterative Training (Änderung der Daten in Block 250, Erhalt eines Trainingssatzes für die geänderten Daten in Block 230 und Training des Ersatzmodells in Block 240) kann so lange fortgesetzt werden, bis eine vorgegebene maximale Anzahl von Trainingsepochen erreicht ist. Eine Epoche bezieht sich auf einen Zyklus, in dem alle verfügbaren Beispiele im Trainingsset verwendet werden, um die Parameter zu aktualisieren θ_F.
Sobald das Ersatzmodell trainiert ist (d.h. die Parameter θ_F im Beispielfall erhalten sind), erleichtert die Durchführung eines gegnerischen Angriffs auf das Ersatzmodell im Block 260 die Charakterisierung des eigentlichen (Black-Box) Objekterkennungs-Algorithmus, ohne die Details dieses Algorithmus zu kennen. Im Beispielfall, mit dem durch F dargestellten Ersatzmodell, ist eine kontradiktorische Datenprobe $\overset{⇀}{x*}$
kann bestimmt werden als: $\overset{⇀}{x*} = \overset{⇀}{x} + δ_{\overset{⇀}{x}}$
In GL. 3, $δ_{\overset{⇀}{x}}$
ist gegeben von: $δ_{\overset{⇀}{x}} = \in sgn (\nabla_{\overset{⇀}{x}} C (F, \overset{⇀}{x}, y))$
In GL. 4, C ist die Kostenfunktion.
3 zeigt die exemplarische Generierung eines Trainingsdatensatzes D (Block 230, 2) im Rahmen der Generierung eines gegnerischen Angriffs auf einen Black-Box-Objekterkennungs-Algorithmus nach einer oder mehreren Ausführungsformen. Im Beispiel ist der Sensor 115 eine Kamera 120. Ein Bild $\overset{⇀}{x}$
310 unter den Bildern S enthält ein Objekt, gekennzeichnet als OBJ. Durch die Bereitstellung des Bildes $\overset{⇀}{x}$
als Input für den eigentlichen (Black-Box) Objekterkennungs-Algorithmus, ein Output $\overset{⇀}{O} (\overset{⇀}{x})$
320 erhalten wird. Basierend auf dem Objekterkennungs-Algorithmus hat das Objekt-OBJ im Ausgabebild einen Begrenzungsrahmen 325 um sich herum. Auf diesem Ausgabebild 320 wird ein Gitter überlagert, um ein Gitterüberlagerungsbild 330 zu erhalten, wobei das Ausgabebild in eine Anzahl von Gittern 335 unterteilt ist, die auch als Elemente oder Boxen des Gitters bezeichnet werden können. Die Trainingsdaten 340 werden erzeugt, indem man eine „1“ in ein beliebiges Gitter 335 legt, in dem der Begrenzungsrahmen 325 erscheint, und eine „0“ in jedes andere Gitter 335. Alternativ kann eine Schwellenüberlappung der Begrenzungsrahmen 325 innerhalb eines Gitters 335 erforderlich sein, damit das Gitter 335 eine „1“ anstelle von „0“ erhält, oder es kann eine reelle Zahl zwischen 0 und 1 an jedes Gitter 335 ausgegeben werden, basierend auf dem Prozentsatz der Überlappung der Begrenzungsrahmen 325 im Gitter 335. Wie bereits erwähnt, dienen die Trainingsdaten 340 als Grundwahrheit beim Training des Ersatzmodells (bei Block 240).
Während die vorstehende Offenbarung unter Bezugnahme auf beispielhafte Ausführungsformen beschrieben wurde, wird es von den Fachleuten verstanden, dass verschiedene Änderungen vorgenommen werden können und Elemente davon durch Äquivalente ersetzt werden können, ohne dass der Geltungsbereich verlassen wird. Darüber hinaus können viele Änderungen vorgenommen werden, um eine bestimmte Situation oder ein bestimmtes Material an die Lehren der Offenbarung anzupassen, ohne von deren wesentlichem Umfang abzuweichen. Es ist daher beabsichtigt, dass sich die vorliegende Offenbarung nicht auf die einzelnen offenbarten Ausführungsformen beschränkt, sondern alle Ausführungsformen umfasst, die in den Geltungsbereich dieser Ausführungsform fallen.

Claims

Ein Verfahren zum Erzeugen eines gegnerischen Angriffs auf einen Black-Box-Objekterkennungs-Algorithmus eines Sensors, wobei das Verfahren umfasst: Erhalten eines anfänglichen Trainingsdatensatzes aus dem Black-Box-Objekterkennungs-Algorithmus, wobei der Black-Box-Objekterkennungs-Algorithmus eine Objekterkennung auf anfänglichen Eingangsdaten durchführt, um eine Black-Box-Objekterkennungs-Algorithmus-Ausgabe bereitzustellen, die den anfänglichen Trainingsdatensatz liefert; Trainieren eines Ersatzmodells mit dem anfänglichen Trainingsdatensatz, so dass die Ersatzmodell-Ausgabe die Black-Box-Objekterkennungs-Algorithmus-Ausgabe, aus der der anfängliche Trainingsdatensatz besteht, repliziert, wobei Details der Funktionsweise des Black-Box-Objekterkennungs-Algorithmus unbekannt und Details der Funktionsweise des Ersatzmodells bekannt sind, und Verwenden des Ersatzmodells zur Durchführung des gegnerischen Angriffs, wobei sich der gegnerische Angriff auf das Identifizieren von gegnerischen Eingabedaten bezieht, für die der Black-Box-Objekterkennungs-Algorithmus keine genaue Erkennung durchführen kann.
Das Verfahren nach Anspruch 1, ferner umfassend das Sammeln der anfänglichen Eingabedaten von dem Sensor, wobei das Sammeln der anfänglichen Eingabedaten das Sammeln eines Bildes von einer Kamera einschließt und das Verfahren auch das Erhalten der Black-Box-Objekterkennungs-Algorithmus-Ausgabe, die als Begrenzungsrahmen um ein erfasstes Objekt in dem Bild ausgegeben wird, und das Verarbeiten der Black-Box-Objekterkennungs-Algorithmus-Ausgabe einschließt, um den anfänglichen Trainingsdatensatz zu erhalten, wobei das Verarbeiten das Überlagern eines Gitters auf dem Bild mit dem Begrenzungsrahmen um das erfasste Objekt und das Zuweisen eines Wertes zu jedem Element des Gitters basierend auf einem Vorhandensein oder einem Prozentsatz des Begrenzungsrahmens in dem Element des Gitters einschließt.
Das Verfahren nach Anspruch 1, ferner umfassend das Auswählen einer Architektur für das Ersatzmodell.
Das Verfahren nach Anspruch 1, ferner umfassend die Modifizierung der ursprünglichen Eingangsdaten, um zweite Eingangsdaten zu erhalten.
Das Verfahren nach Anspruch 7, ferner umfassend das Erhalten eines zweiten Trainingsdatensatzes basierend auf dem Black-Box-Objekterkennungs-Algorithmus, der die Objekterfassung auf den zweiten Eingabedaten durchführt, wobei das Trainieren des Ersatzmodells das Sicherstellen umfasst, dass die Ersatzmodell-Ausgabe den zweiten Trainingsdatensatz basierend auf der Verwendung der zweiten Eingabedaten repliziert, und das Verfahren das Wiederholen von Modifizierungs-Prozessen der anfänglichen Eingabedaten, um neue Eingabedaten zu erhalten, das Erhalten neuer Trainingsdaten basierend auf dem Black-Box-Objekterkennungs-Algorithmus, der die Objekterfassung auf den neuen Eingabedaten durchführt, und das Trainieren des Ersatzmodells unter Verwendung der neuen Trainingsdaten umfasst.
Ein System zur Erzeugung eines gegnerischen Angriffs auf einen Black-Box-Objekterkennungs-Algorithmus, wobei das System umfasst: einen Sensor, der eingerichtet ist erste Eingangsdaten zu liefern; einen Prozessor, der eingerichtet ist einen anfänglichen Trainingsdatensatz von dem Black-Box-Objekterkennungs-Algorithmus zu erhalten, wobei der Black-Box-Objekterkennungs-Algorithmus eine Objekterkennung auf anfänglichen Eingabedaten durchführt, um eine Black-Box-Objekterkennungs-Algorithmus-Ausgabe bereitzustellen, die den anfänglichen Trainingsdatensatz ausmacht, um ein Ersatzmodell mit dem anfänglichen Trainingsdatensatz zu trainieren, so dass die Ausgabe von dem Ersatzmodell die Black-Box-Objekterkennungs-Algorithmus-Ausgabe, die den anfänglichen Trainingsdatensatz bereitstellt, repliziert, wobei Details der Funktionsweise des Black-Box-Objekterkennungs-Algorithmus unbekannt und Details der Funktionsweise des Ersatzmodells bekannt sind, und das Ersatzmodell zu verwenden, um den gegnerischen Angriff durchzuführen, wobei sich der gegnerische Angriff auf die Identifizierung von gegnerischen Eingangsdaten bezieht, für die der Black-Box-Objekterkennungs-Algorithmus keine genaue Erkennung durchführen wird.
Das System nach Anspruch 6, wobei der Sensor eine Kamera ist, die anfänglichen Eingabedaten ein Bild von der Kamera enthalten, die Black-Box-Objekterkennungs-Algorithmus-Ausgabe einen Begrenzungsrahmen um ein erkanntes Objekt in dem Bild herum enthält und der Prozessor die Black-Box-Objekterkennungs-Algorithmus-Ausgabe verarbeitet, um den anfänglichen Trainingsdatensatz zu erhalten, und der Prozessor ferner eingerichtet ist, die Black-Box-Objekterkennungs-Algorithmus-Ausgabe zu verarbeiten, indem ein Gitter auf dem Bild mit dem Begrenzungsrahmen um das erkannte Objekt herum überlagert wird und jedem Element des Gitters ein Wert zugewiesen wird, der auf dem Vorhandensein oder einem Prozentsatz des Begrenzungsrahmens in dem Element des Gitters basiert.
Das System nach Anspruch 6, wobei der Prozessor ferner eingerichtet ist, die ursprünglichen Eingabedaten zu modifizieren, um zweite Eingabedaten zu erhalten.
Das System nach Anspruch 8, wobei der Prozessor ferner eingerichtet ist, einen zweiten Trainingsdatensatz basierend auf dem Black-Box-Objekterkennungs-Algorithmus zu erhalten, der die Objekterkennung basierend auf den zweiten Eingangsdaten durchführt, um das Ersatzmodell zu trainieren, um sicherzustellen, dass die Ersatzmodell-Ausgabe den zweiten Trainingsdatensatz basierend auf der Verwendung der zweiten Eingangsdaten repliziert, und um das Modifizieren der anfänglichen Eingangsdaten zu wiederholen, um neue Eingangsdaten zu erhalten, um neue Trainingsdaten basierend auf dem Black-Box-Objekterkennungs-Algorithmus zu erhalten, der die Objekterkennung basierend auf den neuen Eingangsdaten durchführt, und um das Ersatzmodell unter Verwendung der neuen Trainingsdaten zu trainieren.
Das System nach Anspruch 6, wobei sich der Sensor in einem Fahrzeug befindet.