DE102019219925A1 - Verfahren und Vorrichtung zum Robustifizieren eines Neuronalen Netzes gegen adversariale Störungen - Google Patents

Verfahren und Vorrichtung zum Robustifizieren eines Neuronalen Netzes gegen adversariale Störungen Download PDF

Info

Publication number
DE102019219925A1
DE102019219925A1 DE102019219925.9A DE102019219925A DE102019219925A1 DE 102019219925 A1 DE102019219925 A1 DE 102019219925A1 DE 102019219925 A DE102019219925 A DE 102019219925A DE 102019219925 A1 DE102019219925 A1 DE 102019219925A1
Authority
DE
Germany
Prior art keywords
neural network
piece
data
output data
quilting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019219925.9A
Other languages
English (en)
Inventor
Peter Schlicht
Fabian Hüger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102019219925.9A priority Critical patent/DE102019219925A1/de
Priority to PCT/EP2020/085651 priority patent/WO2021122339A1/de
Priority to EP20829548.5A priority patent/EP4078239A1/de
Priority to CN202080087609.0A priority patent/CN114787650A/zh
Publication of DE102019219925A1 publication Critical patent/DE102019219925A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/36—Means for anti-jamming, e.g. ECCM, i.e. electronic counter-counter measures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/495—Counter-measures or counter-counter-measures using electronic or electro-optical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/023—Interference mitigation, e.g. reducing or avoiding non-intentional interference with other HF-transmitters, base station transmitters for mobile communication or other radar systems, e.g. using electro-magnetic interference [EMI] reduction techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Robustifizieren eines Neuronalen Netzes (15) gegen adversariale Störungen, wobei dem Neuronalen Netz (15) erfasste Sensordaten (20) mindestens eines Sensors (51) als Eingangsdaten zugeführt werden, wobei Ausgabedaten (18) mindestens einer Schicht (16-x,17-x) des Neuronalen Netzes (15) mittels Quilting stückweise ersetzt werden, und wobei die stückweise ersetzten Ausgabedaten (28) als Eingangsdaten mindestens einer nachfolgenden Schicht (16-x,17-x) des Neuronalen Netzes (15) zugeführt werden. Ferner betrifft die Erfindung eine Vorrichtung (1) zum Robustifizieren eines Neuronalen Netzes (15) gegen adversariale Störungen, ein Kraftfahrzeug (50), ein Computerprogramm und ein Datenträgersignal.

Description

  • Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Robustifizieren eines Neuronalen Netzes gegen adversariale Störungen. Ferner betrifft die Erfindung ein Kraftfahrzeug, ein Computerprogramm und ein Datenträgersignal.
  • Maschinelles Lernen, beispielsweise auf Grundlage von Neuronalen Netzen, hat großes Potenzial für eine Anwendung in modernen Fahrerassistenzsystemen und automatisiert fahrenden Kraftfahrzeugen. Auf tiefen Neuronalen Netzen basierende Funktionen verarbeiten hierbei Sensordaten (zum Beispiel von Kameras, Radar- oder Lidarsensoren), um hieraus relevante Informationen abzuleiten. Diese Informationen umfassen zum Beispiel eine Art und eine Position von Objekten in einem Umfeld des Kraftfahrzeugs, ein Verhalten der Objekte oder eine Fahrbahngeometrie oder -topologie.
  • Unter den Neuronalen Netzen haben sich insbesondere Faltungsnetze (engl. Convolutional Neural Networks, CNN) als besonders geeignet für Anwendungen in der Bildverarbeitung erwiesen. Faltungsnetze extrahieren in unüberwachter Form stufenweise verschiedene hochwertige Merkmale aus Eingangsdaten (z.B. Bilddaten). Das Faltungsnetz entwickelt hierbei während einer Trainingsphase eigenständig Merkmalskarten basierend auf Filterkanälen, die die Eingangsdaten lokal verarbeiten, um hierdurch lokale Eigenschaften abzuleiten. Diese Merkmalskarten werden dann erneut von weiteren Filterkanälen verarbeitet, die daraus höherwertigere Merkmalskarten ableiten. Auf Grundlage dieser derart aus den Eingangsdaten verdichteten Informationen leitet das tiefe Neuronale Netz schließlich seine Entscheidung ab und stellt diese als Ausgabedaten bereit.
  • Während Faltungsnetze klassische Ansätze an funktionaler Genauigkeit übertreffen, besitzen diese jedoch auch Nachteile. So können beispielsweise auf adversarialen Störungen in den Sensordaten/Eingangsdaten basierende Angriffe dazu führen, dass trotz eines semantisch nicht veränderten Inhalts in den erfassten Sensordaten eine Fehlklassifizierung bzw. eine falsche semantische Segmentierung oder Objektdetektion erfolgt.
  • Aus Chuan Guo et al., Countering Adversarial Images Using Input Transformations,
    arXiv: 1711.00117v3 [cs.CV], 25. Jan. 2018, https://arxiv.org/pdf/1711.00117.pdf, ist ein Quilting-Verfahren zum Beseitigen von adversarialen Störungen in Bilddaten bekannt.
  • Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung zum Robustifizieren eines Neuronalen Netzes gegen adversariale Störungen zu schaffen.
  • Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 7 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
  • Insbesondere wird ein Verfahren zum Robustifizieren eines Neuronalen Netzes gegen adversariale Störungen zur Verfügung gestellt, wobei dem Neuronalen Netz erfasste Sensordaten mindestens eines Sensors als Eingangsdaten zugeführt werden, wobei Ausgabedaten mindestens einer Schicht des Neuronalen Netzes mittels Quilting stückweise ersetzt werden, und wobei die stückweise ersetzten Ausgabedaten als Eingangsdaten mindestens einer nachfolgenden Schicht des Neuronalen Netzes zugeführt werden.
  • Ferner wird insbesondere eine Vorrichtung zum Robustifizieren eines Neuronalen Netzes gegen adversariale Störungen geschaffen, umfassend eine Recheneinrichtung, wobei die Recheneinrichtung dazu eingerichtet ist, ein Neuronales Netz bereitzustellen oder auf ein bereitgestelltes Neuronales Netz zuzugreifen, erfasste Sensordaten mindestens eines Sensors zu empfangen und dem Neuronalen Netz als Eingangsdaten zuzuführen, Ausgabedaten mindestens einer Schicht des Neuronalen Netzes mittels Quilting stückweise zu ersetzen, und die stückweise ersetzten Ausgabedaten als Eingangsdaten mindestens einer nachfolgenden Schicht des Neuronalen Netzes zuzuführen.
  • Das Verfahren und die Vorrichtung ermöglichen es, eine Wirkung von in den erfassten Sensordaten potentiell enthaltenen adversarialen Störungen auf eine Endausgabe des Neuronalen Netzes zu beseitigen oder zumindest zu verringern. Das Neuronale Netz bzw. eine Funktion des Neuronalen Netzes wird hierdurch gegen adversariale Störungen robustifiziert. Hierzu werden die Ausgabedaten mindestens einer Schicht des Neuronalen Netzes mittels Quilting stückweise ersetzt. Bei der Schicht handelt es sich insbesondere um eine innenliegende Schicht des Neuronalen Netzes. Die stückweise ersetzten Ausgabedaten werden mindestens einer nachfolgenden Schicht des Neuronalen Netzes zugeführt. Eine Wirkung von adversarialen Störungen auf einen Datenfluss innerhalb des Neuronalen Netzes kann hierdurch beseitigt oder zumindest verringert werden, sodass eine Wirkung auf die Endausgabe des Neuronalen Netzes beseitigt oder zumindest verringert ist.
  • Ein Vorteil des Verfahrens und der Vorrichtung ist, dass die Robustifizierung insbesondere unabhängig von einer konkreten Ausgestaltung einer in den Sensordaten enthaltenen adversarialen Störung ist, da das stückweise Ersetzen mittels Quilting unabhängig von einem Vorliegen einer adversarialen Störung und insbesondere unabhängig von einer Art der adversarialen Störung erfolgt. Ein weiterer Vorteil ist, dass das Verfahren und die Vorrichtung auf einfache Weise in bereits bestehende Neuronale Netze bzw. hiermit bereitgestellte Kl-Funktionen integriert werden kann. Eine Struktur des Neuronalen Netzes muss nicht angepasst werden, es müssen lediglich die Ausgabedaten der mindestens einen Schicht des Neuronalen Netzes mittels Quilting stückweise ersetzt bzw. ausgetauscht werden. Ferner muss insbesondere auch eine Trainingsphase des Neuronalen Netzes nicht angepasst oder wiederholt werden. Hierdurch können trotz der erzielten Robustifizierung Aufwand und Kosten eingespart werden.
  • Die Ausgabedaten umfassen insbesondere Aktivierungen der mindestens einen Schicht des Neuronalen Netzes. Hierbei liegen die Aktivierungen insbesondere in Form einer Aktivierungskarte der Schicht vor. Die Aktivierungskarte kann auch eine Merkmalskarte einer als Faltungsschicht ausgebildeten Schicht des Neuronalen Netzes sein.
  • Das Quilting umfasst insbesondere das stückweise Ersetzen von Ausgabedaten, welches auch als stückweise Rekonstruktion der Ausgabedaten bezeichnet werden kann. Die Ausgabedaten werden hierzu in mehrere Teilausschnitte unterteilt. Im Falle von zweidimensionalen Ausgabedaten (z.B. in Form von Aktivierungskarten) werden hierzu kleine, insbesondere rechteckige Teilausschnitte (auch als Patches bezeichnet) definiert. Die einzelnen Teilausschnitte werden mit Teilausschnitten, nachfolgend als Ausgabedatenpatches bezeichnet, verglichen, die beispielsweise in einer Datenbank hinterlegt sind. Der Vergleich erfolgt auf Grundlage eines Abstandsmaßes, welches beispielsweise über einen euklidischen Abstand auf Bildelementvektoren definiert ist. Hierzu wird ein Teilausschnitt als Vektor linearisiert. Das Bestimmen eines Abstands erfolgt dann über eine Vektornorm, beispielsweise über die L2-Norm. Zum Quilting werden die Teilausschnitte jeweils durch den nächstliegenden bzw. ähnlichsten Ausgabedatenpatch aus der Datenbank ersetzt. Es kann hierbei vorgesehen sein, dass ein Mindestabstand eingehalten werden muss bzw. dass zumindest keine Identität zwischen dem Teilausschnitt aus den Ausgabedaten und dem Ausgabedatenpatch vorliegen darf. Haben die Ausgabedaten eine andere Form bzw. ein anderes Format, so erfolgt das stückweise Ersetzen in analoger Weise.
  • Die mindestens eine Schicht kann prinzipiell jede Schicht in dem Neuronalen Netz sein. Es kann auch vorgesehen sein, dass Ausgabedaten von mehreren Schichten des Neuronalen Netzes jeweils mittels Quilting stückweise ersetzt werden. Hierbei werden für die Ausgabedaten jeder der Schichten insbesondere jeweils schichtindividuell erzeugte und bereitgestellte Ausgabedatenpatches verwendet. Die mindestens eine Schicht ist insbesondere eine innenliegende Schicht des Neuronalen Netzes.
  • Die Sensordaten des mindestens einen Sensors können prinzipiell eindimensional oder mehrdimensional, insbesondere zweidimensional, sein. Beispielsweise können die Sensordaten zweidimensionale Kamerabilder einer Kamera und/oder zweidimensionale Lidardaten eines Lidar- oder Radarsensors sein.
  • Eine adversariale Störung (engl. adversarial perturbation) ist insbesondere eine gezielt vorgenommene Störung der, beispielsweise in Form von Sensordaten bereitgestellten, Eingangsdaten eines Neuronalen Netzes, bei der ein semantischer Inhalt in den Eingangsdaten zwar nicht verändert wird, die Störung jedoch dazu führt, dass das Neuronale Netz ein falsches Ergebnis inferiert, das heißt beispielsweise eine Fehlklassifikation oder eine falsche semantische Segmentierung der Eingangsdaten oder eine falsche Detektion oder Lokalisierung von Objekten darin vornimmt.
  • Ein Neuronales Netz ist insbesondere ein tiefes Neuronales Netz, insbesondere ein Faltungsnetz (engl. Convolutional Neural Network, CNN). Das Neuronale Netz ist beispielsweise auf eine bestimmte Wahrnehmungsfunktion trainiert, beispielsweise auf eine Wahrnehmung von Fußgängern oder anderen Objekten in erfassten Kamerabildern.
  • Das Verfahren und die Vorrichtung werden insbesondere auf ein (vollständig) trainiertes Neuronales Netz angewendet.
  • Das Verfahren kann als computerimplementiertes Verfahren ausgeführt werden. Insbesondere kann das Verfahren mittels einer Datenverarbeitungseinrichtung ausgeführt werden. Die Datenverarbeitungseinrichtung umfasst insbesondere mindestens eine Recheneinrichtung und mindestens eine Speichereinrichtung.
  • Es wird insbesondere auch ein Computerprogramm geschaffen, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, die Verfahrensschritte des offenbarten Verfahrens gemäß einer beliebigen der beschriebenen Ausführungsformen auszuführen.
  • Darüber hinaus wird insbesondere auch ein Datenträgersignal geschaffen, das das vorgenannte Computerprogramm überträgt.
  • Es kann vorgesehen sein, dass das Verfahren ein Erfassen der Sensordaten mittels des mindestens einen Sensors umfasst.
  • Es kann ferner vorgesehen sein, dass eine Endausgabe des Neuronalen Netzes mindestens einer Steuereinrichtung, insbesondere eines Fahrzeugs, zugeführt wird. Die Steuereinrichtung kann beispielsweise eine Funktion für das automatisierte Fahren eines Fahrzeugs und/oder für eine Fahrerassistenz des Fahrzeugs und/oder für eine Umfelderfassung und/oder Umfeldwahrnehmung bereitstellen. Die Steuereinrichtung kann beispielsweise eine Längs- und Querführung des Fahrzeugs steuern oder regeln. Prinzipiell können das Verfahren und die Vorrichtung jedoch auch in anderen Anwendungsgebieten eingesetzt werden, beispielsweise in der industriellen Fertigung oder bei medizinischen Robotern.
  • Teile der Vorrichtung, insbesondere die Recheneinrichtung, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird. Es kann jedoch auch vorgesehen sein, dass Teile einzeln oder zusammengefasst als anwendungsspezifische integrierte Schaltung (ASIC) ausgebildet sind.
  • In einer Ausführungsform ist vorgesehen, dass zum Quilting eine Datenbank mit Ausgabedatenpatches bereitgestellt wird, wobei die Ausgabedatenpatches auf Grundlage von Ausgabedaten der mindestens einen Schicht des Neuronalen Netzes erzeugt werden oder erzeugt wurden, welche mit Hilfe von ungestörten Eingangsdaten erhalten wurden. Hierdurch können adversariale Störungen in den Ausgabedaten der mindestens einen Schicht des Neuronalen Netzes sicher entfernt werden, ohne dass eine in den Ausgabedaten enthaltene inhaltliche bzw. semantische Information verloren geht. Die ungestörten Eingangsdaten werden insbesondere derart ausgewählt und zusammengestellt, dass diese mit Sicherheit oder zumindest mit erhöhter Wahrscheinlichkeit keine adversarialen Störungen aufweisen. Die ausgehend von den ungestörten Eingangsdaten von der mindestens einen Schicht des Neuronalen Netzes inferierten Ausgabedaten werden dann in Teilausschnitte zerlegt, wobei jeder Teilausschnitt einen Ausgabedatenpatch bildet. Eine Größe der Teilausschnitte wird hierbei in Abhängigkeit eines konkreten Anwendungsszenarios des Verfahrens und der Vorrichtung gewählt. Die auf diese Weise erzeugten Ausgabedatenpatches werden in der Datenbank hinterlegt. Die Datenbank wird beispielsweise mittels einer Speichereinrichtung bereitgestellt, auf die die Recheneinrichtung zugreifen kann. Die Ausgabedatenpatches können in der Datenbank beispielsweise linearisiert als Vektoren hinterlegt sein. Beim Anwenden des Verfahrens bzw. beim Quilting werden Ausgabedaten, die von der mindestens eine Schicht des Neuronalen Netzes bereitgestellt werden, dann ebenfalls in Teilausschnitte zerlegt und zu einem Vektor linearisiert. Die jeweiligen Vektoren der Teilausschnitte können dann mittels einer Vektornorm, beispielsweise der L2-Norm, mit den in der Datenbank hinterlegten Vektoren der Ausgabedatenpatches verglichen werden. Ein Teilausschnitt der Ausgabedaten wird dann ausgehend von den bestimmten Abständen durch das jeweils ähnlichste bzw. nächstliegende Ausgabedatenpatch ersetzt.
  • In einer Ausführungsform ist vorgesehen, dass beim Quilting die Ausgabedaten in Form von zweidimensionalen Bilddaten verarbeitet werden, wobei Bildausschnitte der zweidimensionalen Bilddaten mittels des Quiltings stückweise ersetzt werden. Insbesondere werden hierbei Aktivierungskarten („activation maps“), die die mindestens eine Schicht des Neuronalen Netzes als Ausgabedaten erzeugt, als zweidimensionale Bilddaten bzw. Bilder behandelt. Das zum Quilting durchgeführte stückweise Ersetzen erfolgt über, insbesondere rechteckige, Bildausschnitte, die ersetzt werden. Diese Bildausschnitte können beispielsweise eine Größe von 8x8 Bildelementen (Pixeln) aufweisen. Die Ausgabedatenpatches weisen in diesem Beispiel ebenfalls eine Größe von jeweils 8x8 Bildelementen auf.
  • In einer Ausführungsform ist vorgesehen, dass mindestens eine Kennzeichnungsinformation erhalten wird, wobei das stückweise Ersetzen beim Quilting zusätzlich unter Berücksichtigung der mindestens einen erhaltenen Kennzeichnungsinformation erfolgt. Eine Kennzeichnungsinformation kann auch als Tag oder Label bezeichnet werden. Hierdurch können beispielsweise die Einträge in der Datenbank, das heißt darin hinterlegte Ausgabedatenpatches, mit zusätzlichen Informationen markiert werden, sodass diese später schneller aufgefunden werden können. Insbesondere kann vorgesehen sein, dass die Datenbank mit Hilfe einer Hashfunktion indiziert wird, sodass eine Suche in der Datenbank beschleunigt werden kann, da eine Anzahl von Einträgen der Datenbank bereits vor einem Vergleich mit den Ausgabedaten der mindestens einen Schicht des Neuronalen Netzes über eine Vorauswahl reduziert werden kann.
  • In einer weiterbildenden Ausführungsform ist vorgesehen, dass die erhaltene Kennzeichnungsinformation von einer Kontextinformation eines Umfelds, in dem die Sensordaten des mindestens einen Sensors erfasst werden oder erfasst wurden, abgeleitet wird oder abgeleitet ist. Eine Kontextinformation kann beispielsweise eine geographische Koordinate (z.B. GPS-Koordinate), eine Tages- und/oder Jahreszeit, einen Monat, einen Wochentag, eine Witterung (Sonne, Regen, Nebel, Schnee etc.) und/oder ein Verkehrskontext (Stadt, Land, Autobahn, Fußgängerzone, Landstraße, Hauptstraße, Nebenstraße etc.)
    umfassen. Hierdurch kann zum einen eine Qualität der stückweise ersetzten Ausgabedaten erhöht werden, da beim stückweise Ersetzen ein Kontext, in dem die Ausgabedaten von der mindestens einen Schicht des Neuronalen Netzes erzeugt wurden, berücksichtigt werden kann. Insbesondere können Ausgabedatenpatches markiert („getaggt“) mit mindestens einer Kontextinformation in der Datenbank hinterlegt sein. In Abhängigkeit der mindestens einen erhaltenen Kennzeichnungsinformation bzw. der mindestens einen Kontextinformation kann zum anderen vor dem Suchen in der Datenbank eine Vorauswahl getroffen werden, sodass beim Suchen nur noch Einträge bzw. Ausgabedatenpatches berücksichtigt werden, die eine teilweise oder vollständige Übereinstimmung mit der mindestens einen Kennzeichnungsinformation bzw. der mindestens einen Kontextinformation haben. Hierdurch kann das stückweise Ersetzen beschleunigt werden.
  • Werden in einer Schicht des Neuronalen Netzes viele Merkmalskarten mit mehreren Kanälen ausgegeben, so kann das stückweise Ersetzen der Kanäle abhängig voneinander erfolgen. Hierbei können alle Kanäle entweder zusammen als ein Datum behandelt und stückweise ersetzt werden, wobei dieses Ersetzen die räumliche Korrelation zwischen den Kanälen berücksichtigen kann, oder die Kanäle können unabhängig voneinander ersetzt werden, wobei jeder Kanal einzeln zerlegt und stückweise durch Ausgabedatenpatches aus einer eigenen Datenbank rekonstruiert wird.
  • In einer Ausführungsform ist vorgesehen, dass das Neuronale Netz eine Funktion für das automatisierte Fahren eines Fahrzeugs und/oder für eine Fahrerassistenz des Fahrzeugs
    und/oder für eine Umfelderfassung und/oder Umfeldwahrnehmung bereitstellt. Ein Fahrzeug ist insbesondere ein Kraftfahrzeug. Prinzipiell kann das Fahrzeug jedoch auch ein anderes Land-, Luft-, Wasser-, Schienen- oder Raumfahrzeug sein. Das Verfahren kann prinzipiell jedoch auch in anderen Bereichen eingesetzt werden, beispielsweise in der industriellen Fertigung, z.B. bei Fertigungsrobotern, die Sensordaten verarbeiten müssen, oder bei medizinischen Robotern.
  • Merkmale zur Ausgestaltung der Vorrichtung ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile der Vorrichtung sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens.
  • Weiter wird insbesondere auch ein Kraftfahrzeug geschaffen, umfassend mindestens eine Vorrichtung nach einer der beschriebenen Ausführungsformen.
  • Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:
    • 1 eine schematische Darstellung einer Ausführungsform der Vorrichtung zum Robustifizieren von Sensordaten gegen adversariale Störungen;
    • 2 eine schematische Darstellung zur Verdeutlichung des Quilting (Stand der Technik);
    • 3 eine schematische Darstellung zur Verdeutlichung einer Ausführungsform des Verfahrens zum Robustifizieren eines Neuronalen Netzes gegen adversariale Störungen.
  • In 1 ist eine schematische Darstellung einer Ausführungsform der Vorrichtung 1 zum Robustifizieren eines Neuronalen Netzes 15 gegen adversariale Störungen gezeigt. Die Vorrichtung 1 umfasst eine Recheneinrichtung 2 und eine Speichereinrichtung 3. Die Vorrichtung 1 kann insbesondere in einem Kraftfahrzeug 50 zum Einsatz kommen, um ein Neuronalen Netz 15 gegen adversariale Störungen zu robustifizieren. Die Vorrichtung 1 führt das in dieser Offenbarung beschriebene Verfahren zum Robustifizieren des Neuronalen Netzes 15 gegen adversariale Störungen aus.
  • Teile der Vorrichtung 1, insbesondere die Recheneinrichtung 2, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird.
  • Die Recheneinrichtung 2 stellt das Neuronale Netz 15 bereit, das heißt es stellt eine Funktionalität des Neuronalen Netzes 15 bereit. Eine Struktur und Parameter des Neuronalen Netzes 15 sind beispielsweise in der Speichereinrichtung 3 hinterlegt. Alternativ kann die Recheneinrichtung 2 lediglich auf ein auf sonstige Weise bereitgestelltes Neuronales Netz 15 zugreifen. Der Recheneinrichtung 2 werden erfasste Sensordaten 20 eines Sensors 51, beispielsweise einer Kamera oder eines Lidarsensors des Kraftfahrzeugs 50, zugeführt.
  • Die Recheneinrichtung 2 empfängt die erfassten Sensordaten 20 und führt diese dem Neuronalen Netz 15 als Eingangsdaten zu. Ferner ersetzt die Recheneinrichtung 2 Ausgabedaten mindestens einer Schicht des Neuronalen Netzes 15 stückweise mittels Quilting. Die stückweise ersetzten Ausgabedaten werden anschließend als Eingangsdaten mindestens einer nachfolgenden Schicht des Neuronalen Netzes 15 zugeführt.
  • Eine Endausgabe 30 des Neuronalen Netzes 15 wird von der Recheneinrichtung 2 ausgegeben, beispielsweise in Form eines digitalen Datenpakets. Die Endausgabe 30 wird beispielsweise einer Steuereinrichtung 52 des Kraftfahrzeugs 50 zugeführt, welche beispielsweise ausgehend von der Endausgabe 30 eine Längs- und/oder eine Querführung des Kraftfahrzeugs 50 steuert bzw. regelt.
  • Die stückweise ersetzten Ausgabedaten haben nach dem Quilting bzw. nach dem stückweisen Ersetzen das gleiche Format wie die (ursprünglichen) Ausgabedaten, sodass es möglich ist, das Verfahren bzw. die Vorrichtung 1 in bereits bestehende Anwendungen von Neuronalen Netzen 15 einzufügen und zu verwenden.
  • Insbesondere ist vorgesehen, dass zum Quilting eine Datenbank 40 mit Ausgabedatenpatches 60 bereitgestellt wird, wobei die Ausgabedatenpatches 60 auf Grundlage von Ausgabedaten der mindestens einen Schicht des Neuronalen Netzes 15 erzeugt werden oder erzeugt wurden, welche mit Hilfe von ungestörten Eingangsdaten erhalten wurden. Die ungestörten Eingangsdaten basieren beispielsweise auf vertrauenswürdigen Trainingsdaten, mit denen das Neuronale Netz 15 trainiert wurde.
  • Es kann vorgesehen sein, dass mindestens eine Kennzeichnungsinformation 10 erhalten wird, wobei das stückweise Ersetzen beim Quilting zusätzlich unter Berücksichtigung der mindestens einen erhaltenen Kennzeichnungsinformation 10 erfolgt. Die Kennzeichnungsinformation 10 wird der Recheneinrichtung 2 beispielsweise zugeführt und kann zur Vorauswahl von beim Quilting verwendeten Ausgabedatenpatches 60 der Datenbank 40 verwendet werden, sodass das Quilting beschleunigt werden kann.
  • Weiterbildend kann vorgesehen sein, dass die erhaltene Kennzeichnungsinformation 10 von einer Kontextinformation 11 eines Umfelds, in dem die Sensordaten 20 des Sensors 51 erfasst werden oder erfasst wurden, abgeleitet wird oder abgeleitet ist. Eine Kontextinformation kann beispielsweise eine geographische Koordinate (z.B. GPS-Koordinate), eine Tages- und/oder Jahreszeit, einen Monat, einen Wochentag, eine Witterung (Sonne, Regen, Nebel, Schnee etc.) und/oder ein Verkehrskontext (Stadt, Land, Autobahn, Fußgängerzone, Landstraße, Hauptstraße, Nebenstraße etc.) umfassen.
  • Die Kontextinformation 11 kann beispielsweise mittels einer hierfür eingerichteten Kontextsensorik (nicht gezeigt) des Kraftfahrzeugs 50 erfasst werden (z.B. Regensensor, Temperatursensor etc.), kann aber auch von einer Steuerung des Kraftfahrzeugs 50 bereitgestellt und beispielsweise über einen Controller Area Network-(CAN)-Bus abgerufen und/oder bereitgestellt werden (z.B. Fahrzeuggeschwindigkeit, Fahrzeugausrichtung etc.).
  • In 2 ist eine schematische Darstellung zur Verdeutlichung des Quilting aus dem Stand der Technik am Beispiel eines Kamerabildes 22 gezeigt. Sensordaten 20, vorliegend ein Kamerabild 22, werden in Teilausschnitte 23 zerteilt. Für jeden der Teilausschnitte 23 (d.h. Bildausschnitt) des Kamerabildes 22 wird im Rahmen eines Quiltingschritts 100 in einer Datenbank 40 nach einem Sensordatenpatch 61 gesucht, das in Bezug auf ein Abstandsmaß den geringsten Abstand zu dem jeweiligen Teilausschnitt 23 aufweist. Ein Sensordatenpatch 61 ist vorliegend ein Bildausschnitt, der die Größe der Teilausschnitte 23, das heißt dieselbe Anzahl von Bildelementen (Pixeln), aufweist. Das Abstandsmaß ist beispielsweise die L2-Norm, die auf Vektoren angewandt wird, die durch Linearisierung der Teilausschnitte 23 bzw. Bildausschnitte erzeugt wurden. Im Quiltingschritt 100 wird dann jeder Teilausschnitt 23 bzw. Bildausschnitt durch das jeweilige Sensordatenpatch 61 mit dem jeweils hierzu kleinsten Abstand ersetzt. Es kann hierbei vorgesehen sein, dass ein Mindestabstand eingehalten werden muss. Auf diese Weise werden sämtliche Teilausschnitte 23 bzw. Bildausschnitte durch Sensordatenpatches 61 aus der Datenbank 40 ersetzt. Es entstehen ersetzte
    Teilausschnitte 24, die zusammengenommen die ersetzten Sensordaten 21 bzw. ein ersetztes Kamerabild 25 ausbilden.
  • In 3 ist eine schematische Darstellung zur Verdeutlichung einer Ausführungsform des Verfahrens zum Robustifizieren eines Neuronalen Netzes 15 gegen adversariale Störungen gezeigt.
  • Das Neuronale Netz 15 umfasst in dem gezeigten Beispiel mehrere Faltungsschichten 16-x (engl. convolutional layers) und vollständig verbundene Schichten 17-x (engl. fully connected layers).
  • Dem Neuronalen Netz 15 werden als Eingangsdaten erfasste Sensordaten 20, beispielsweise ein Kamerabild 22, zugeführt.
  • Die letzte Faltungsschicht 16-4 liefert als Ausgabedaten 18 eine Aktivierungskarte 19 (engl. activation map), welche auch als Merkmalskarte bezeichnet werden kann und insbesondere als Bilder mit vielen Bildkanälen (d.h. Filterkanälen) aufgefasst werden kann. Die Ausgabedaten 18 bzw. die Aktivierungskarte 19 werden in einem Quiltingschritt 100 mittels Quilting stückweise ersetzt.
  • Das Quilting erfolgt hierbei prinzipiell auf die gleiche Weise, wie dies in Zusammenhang mit der 2 beschrieben wurde, mit dem Unterschied, dass nicht die Sensordaten 20 stückweise mittels Quilting ersetzt werden, sondern die Ausgabedaten 18. Es erfolgt also ein Eingriff in einen Datenfluss innerhalb des Neuronalen Netzes 15. Insbesondere erfolgt das Quilting, indem Teilausschnitte 23 der Ausgabedaten 18, das heißt Bildausschnitte der Bilder der Aktivierungskarte 19, durch Ausgabedatenpatches 60 ersetzt werden, welche bezüglich eines Abstandsmaßes den geringsten Abstand zu den jeweiligen Teilausschnitten 23 bzw. Bildausschnitten aufweisen. Die Ausgabedatenpatches 60 sind in einer Datenbank 40 hinterlegt und werden aus dieser abgerufen. Da insbesondere mehrere Filterkanäle von der Aktivierungskarte 19 umfasst sind, kann der Quiltingschritt 100 auch als Vielkanal-Quilting bezeichnet werden.
  • Nach dem stückweise Ersetzen mittels des Quilting stehen ersetzte Teilausschnitte 24 bzw. ersetzte Bildausschnitte als ersetzte Ausgabedaten 28 bzw. ersetzte Aktivierungskarte 29 zur Verfügung. Die ersetzten Ausgabedaten 28 bzw. die ersetzte Aktivierungskarte 29 werden einer nachfolgenden Schicht 17-1 als Eingangsdaten zugeführt. In den ersetzten Ausgabedaten 28 bzw. der ersetzten Aktivierungskarte 29 ist ein Einfluss bzw. eine Wirkung einer adversarialen Störung beseitigt oder zumindest gegenüber den ursprünglichen Ausgabedaten 18 bzw. der ursprünglichen Aktivierungskarte 19 verringert.
  • Das Neuronale Netz 15 stellt eine Endausgabe 30 bereit, welche beispielsweise eine Objekterkennung oder eine semantische Segmentierung auf den erfassten Sensordaten 20 beinhalten kann. Insbesondere ist vorgesehen, dass das Neuronale Netz 15 eine Funktion für das automatisierte Fahren eines Kraftfahrzeugs und/oder für eine Fahrerassistenz des Kraftfahrzeugs und/oder für eine Umfelderfassung und/oder Umfeldwahrnehmung bereitstellt.
  • Die Endausgabe 30 kann beispielsweise einem Steuergerät des Kraftfahrzeugs zugeführt werden, das beispielsweise eine Längs- und/oder Querführung des Kraftfahrzeugs steuert oder regelt.
  • Das Verfahren ist beispielhaft für die Ausgabedaten 18 einer einzigen Schicht 16-4 des Neuronalen Netzes 15 gezeigt. Es kann jedoch vorgesehen sein, dass das Verfahren für weitere Schichten 16-x, 17-x durchgeführt wird. Werden die Ausgabedaten mehrerer Schichten 16-x, 17-x des Neuronalen Netzes 15 mittels Quilting stückweise ersetzt, so werden insbesondere jeweils schichtindividuell für jede der Schichten 16-x, 17-x erzeugte bzw. bereitgestellte Ausgabedatenpatches 60 verwendet. Die Datenbank 40 umfasst hierfür insbesondere schichtindividuelle Ausgabedatenpatches 60.
  • Bezugszeichenliste
    • 1
    Vorrichtung
    2
    Recheneinrichtung
    3
    Speichereinrichtung
    10
    Kennzeichnungsinformation
    11
    Kontextinformation
    15
    Neuronales Netz
    16-x
    Faltungsschicht
    17-x
    vollständig verbundene Schicht
    18
    Ausgabedaten
    19
    Aktivierungskarte
    20
    Sensordaten
    21
    ersetzte Sensordaten
    22
    Kamerabild
    23
    Teilausschnitt
    24
    ersetzter Teilausschnitt
    25
    ersetztes Kamerabild
    28
    ersetzte Ausgabedaten
    29
    ersetzte Aktivierungskarte
    30
    Endausgabe
    40
    Datenbank
    50
    Kraftfahrzeug
    51
    Sensor
    52
    Steuereinrichtung
    60
    Ausgabedatenpatches
    61
    Sensordatenpatch
    100
    Quiltingschritt

Claims (10)

  1. Verfahren zum Robustifizieren eines Neuronalen Netzes (15) gegen adversariale Störungen, wobei dem Neuronalen Netz (15) erfasste Sensordaten (20) mindestens eines Sensors (51) als Eingangsdaten zugeführt werden, wobei Ausgabedaten (18) mindestens einer Schicht (16-x,17-x) des Neuronalen Netzes (15) mittels Quilting stückweise ersetzt werden, und wobei die stückweise ersetzten Ausgabedaten (28) als Eingangsdaten mindestens einer nachfolgenden Schicht (16-x, 17-x) des Neuronalen Netzes (15) zugeführt werden.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zum Quilting eine Datenbank (40) mit Ausgabedatenpatches (60) bereitgestellt wird, wobei die Ausgabedatenpatches (60) auf Grundlage von Ausgabedaten (18) der mindestens einen Schicht (16-x, 17-x) des Neuronalen Netzes (15) erzeugt werden oder erzeugt wurden, welche mit Hilfe von ungestörten Eingangsdaten erhalten wurden.
  3. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass beim Quilting die Ausgabedaten (18) in Form von zweidimensionalen Bilddaten verarbeitet werden, wobei Bildausschnitte der zweidimensionalen Bilddaten mittels des Quiltings stückweise ersetzt werden.
  4. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass mindestens eine Kennzeichnungsinformation (10) erhalten wird, wobei das stückweise Ersetzen beim Quilting zusätzlich unter Berücksichtigung der mindestens einen erhaltenen Kennzeichnungsinformation (10) erfolgt.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die erhaltene Kennzeichnungsinformation (10) von einer Kontextinformation (11) eines Umfelds, in dem die Sensordaten (20) des mindestens einen Sensors (51) erfasst werden oder erfasst wurden, abgeleitet wird oder abgeleitet ist.
  6. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Neuronale Netz (15) eine Funktion für das automatisierte Fahren eines Fahrzeugs und/oder für eine Fahrerassistenz des Fahrzeugs und/oder für eine Umfelderfassung und/oder Umfeldwahrnehmung bereitstellt.
  7. Vorrichtung (1) zum Robustifizieren eines Neuronalen Netzes (15) gegen adversariale Störungen, umfassend eine Recheneinrichtung (2), wobei die Recheneinrichtung (2) dazu eingerichtet ist, ein Neuronales Netz (15) bereitzustellen oder auf ein bereitgestelltes Neuronales Netz (15) zuzugreifen, erfasste Sensordaten (20) mindestens eines Sensors (51) zu empfangen und dem Neuronalen Netz (15) als Eingangsdaten zuzuführen, Ausgabedaten (18) mindestens einer Schicht (16-x,17-x) des Neuronalen Netzes (15) mittels Quilting stückweise zu ersetzen, und die stückweise ersetzten Ausgabedaten (28) als Eingangsdaten mindestens einer nachfolgenden Schicht (16-x,17-x) des Neuronalen Netzes (15) zuzuführen.
  8. Kraftfahrzeug (50), umfassend mindestens eine Vorrichtung (1) nach Anspruch 7.
  9. Computerprogramm, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, die Verfahrensschritte des Verfahrens nach einem beliebigen der Ansprüche 1 bis 6 auszuführen.
  10. Datenträgersignal, das das Computerprogramm nach Anspruch 9 überträgt.
DE102019219925.9A 2019-12-17 2019-12-17 Verfahren und Vorrichtung zum Robustifizieren eines Neuronalen Netzes gegen adversariale Störungen Pending DE102019219925A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102019219925.9A DE102019219925A1 (de) 2019-12-17 2019-12-17 Verfahren und Vorrichtung zum Robustifizieren eines Neuronalen Netzes gegen adversariale Störungen
PCT/EP2020/085651 WO2021122339A1 (de) 2019-12-17 2020-12-10 Verfahren und vorrichtung zum robustifizieren eines neuronalen netzes gegen adversariale störungen
EP20829548.5A EP4078239A1 (de) 2019-12-17 2020-12-10 Verfahren und vorrichtung zum robustifizieren eines neuronalen netzes gegen adversariale störungen
CN202080087609.0A CN114787650A (zh) 2019-12-17 2020-12-10 用于使神经网络针对对抗性干扰鲁棒化的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019219925.9A DE102019219925A1 (de) 2019-12-17 2019-12-17 Verfahren und Vorrichtung zum Robustifizieren eines Neuronalen Netzes gegen adversariale Störungen

Publications (1)

Publication Number Publication Date
DE102019219925A1 true DE102019219925A1 (de) 2021-06-17

Family

ID=74068255

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019219925.9A Pending DE102019219925A1 (de) 2019-12-17 2019-12-17 Verfahren und Vorrichtung zum Robustifizieren eines Neuronalen Netzes gegen adversariale Störungen

Country Status (4)

Country Link
EP (1) EP4078239A1 (de)
CN (1) CN114787650A (de)
DE (1) DE102019219925A1 (de)
WO (1) WO2021122339A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022205084B3 (de) 2022-05-20 2023-10-12 Volkswagen Aktiengesellschaft Verfahren, Computerprogramm und Vorrichtung zur Umfeldwahrnehmung im Fahrzeug sowie entsprechendes Fahrzeug

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AKHTAR, Z.; DASGUPTA, D.: A brief survey of adversarial machine learning and defense strategies. 01. Dezember 2019. URL: https://www.memphis.edu/cs/research/tech_reports/tr-cs-19-002.pdf [abgerufen am 28.04.2021] *
GUO, C. [et al.]: Countering adversarial images using input transformations. Version 3. arXiv:1711.00117v3 [cs.CV], 25. Januar 2018. URL: https://arxiv.org/pdf/1711.00117.pdf [abgerufen am 28.04.2021] (selbstgenannter Stand der Technik) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022205084B3 (de) 2022-05-20 2023-10-12 Volkswagen Aktiengesellschaft Verfahren, Computerprogramm und Vorrichtung zur Umfeldwahrnehmung im Fahrzeug sowie entsprechendes Fahrzeug

Also Published As

Publication number Publication date
EP4078239A1 (de) 2022-10-26
WO2021122339A1 (de) 2021-06-24
CN114787650A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
WO2019001649A1 (de) Wissenstransfer zwischen verschiedenen deep-learning architekturen
DE102010035813A1 (de) Strassenmarkierungslinien-Erkennungsvorrichtung für Fahrzeuge
DE102016210534A1 (de) Verfahren zum Klassifizieren einer Umgebung eines Fahrzeugs
EP3789926A1 (de) Verfahren zum erkennen einer adversarialen störung in eingangsdaten eines neuronalen netzes
DE102012107886A1 (de) Verfahren zur elektronischen Erkennung von Verkehrszeichen
EP3857437A1 (de) Verfahren und vorrichtung zur analyse eines sensordatenstroms sowie verfahren zum führen eines fahrzeugs
DE102019008093A1 (de) Verfahren zum Fusionieren von Sensordaten einer Vielzahl von Erfassungseinrichtungen mittels eines spärlichen Belegungsgitters, sowie Fahrerassistenzsystem
EP4078238A1 (de) Verfahren und vorrichtung zum robustifizieren von sensordaten gegen adversariale störungen
DE102018113344A1 (de) Verfahren zum Lokalisieren eines Kraftfahrzeugs in einer Umgebung nach einer Lernfahrt; Steuereinrichtung sowie Fahrassistenzsystem
WO2021122339A1 (de) Verfahren und vorrichtung zum robustifizieren eines neuronalen netzes gegen adversariale störungen
DE102017128082A1 (de) Meta-Architektur-Design für ein CNN-Netzwerk
EP4078237A1 (de) Verfahren und vorrichtung zum erkennen einer entfremdung einer sensordatendomäne von einer referenzdatendomäne
DE102019208234A1 (de) Verfahren und Vorrichtung zum automatischen Ausführen einer Steuerfunktion eines Fahrzeugs
DE102022212343A1 (de) Autonom-fahrsystem
EP4049186A1 (de) Verfahren zum robustifizieren eines neuronalen netzes gegen adversariale störungen
DE102018132627A1 (de) Verfahren zum Erfassen einer Umgebung eines Kraftfahrzeugs mittels zeitlicher Fusion von Bildern durch ein künstliches neuronales Netz; Steuereinheit, Fahrerassistenzsystem; Computerprogrammprodukt
DE102020128952A1 (de) Verfahren und Assistenzeinrichtung zur zweistufigen bildbasierten Szenenerkennung und Kraftfahrzeug
DE102019207580A1 (de) Verfahren zum Betreiben eines tiefen Neuronalen Netzes
DE112019004315T5 (de) Kartenerzeugungsvorrichtung und kartenerzeugungsverfahren
DE102020200875A1 (de) Verfahren zum Bereitstellen von Sensordaten durch eine Sensorik eines Fahrzeugs
DE102019219924B4 (de) Verfahren und Vorrichtung zum Erzeugen und Bereitstellen einer Datenbank mit darin hinterlegten Sensordatenpatches zur Verwendung beim Quilting
EP2696310A1 (de) Verfahren zum Identifizieren eines Straßenrands
DE102012020778A1 (de) Verfahren zum Labeln einer Sequenz von in zeitlicher Abfolge aufgenommenen Bildern mit integrierter Qualitätsprüfung
DE102019219926A1 (de) Verfahren und Vorrichtung zum Trainieren eines Neuronalen Netzes
DE112021007341T5 (de) Steuervorrichtung und Steuerverfahren

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009000000

Ipc: G06V0010000000