DE102020204321A1

DE102020204321A1 - Verfahren zum Betreiben eines Fahrerassistenzsystems und Fahrerassistenzsystem für ein Fahrzeug

Info

Publication number: DE102020204321A1
Application number: DE102020204321.3A
Authority: DE
Inventors: Peter Schlicht; Fabian Hüger; Nikhil Kapoor
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2020-04-02
Filing date: 2020-04-02
Publication date: 2021-10-07

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben eines Fahrassistenzsystems (1), das ein neuronales Netz (4) aufweist. Bei dem Verfahren werden aufeinanderfolgend Sensordaten aufgenommen werden, aus den aufgenommenen Sensordaten werden Eingangsdaten für das neuronale Netz erzeugt, die von den verdeckten Schichten des neuronalen Netzes nacheinander verarbeitet werden und daraus Ausgabedaten berechnet werden, welche über die Ausgabeschicht des neuronalen Netzes ausgegeben werden. Auf Basis der Ausgabedaten werden Steuerdaten für zumindest eine Einrichtung des Fahrzeugs erzeugt. Bei einem Training des neuronalen Netzes wird ein neuer Parametersatz aus einem ursprünglichen Parametersatz erzeugt, indem bei der aufeinanderfolgenden Verarbeitung der Eingangsdaten in den nacheinander angeordneten verdeckten Schichten mittels des ursprünglichen Parametersatzes eine sekundäre Lossfunktion auf erste Zwischendaten, die von einer ersten verdeckten Schicht erzeugt werden, angewendet wird und ein sekundärer Verlustterm bestimmt wird und eine primäre Lossfunktion auf die Ausgabedaten angewendet wird und ein primärer Verlustterm bestimmt wird. Ein Gesamtverlustterm wird dann den gewichteten Verlusttermen berechnet wird und ein neuer Parametersatz wird aus dem ursprünglichen Parametersatz so ermittelt wird, dass der Gesamtverlustterm minimiert wird. Ferner betrifft die Erfindung ein entsprechendes Fahrassistenzsystem (1) mit einem derart trainierten neuronalem Netz.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs, wobei das Fahrerassistenzsystem ein neuronales Netz mit künstlichen Neuronen aufweist, die über einen Parametersatz miteinander verknüpft sind und die auf einer Eingabeschicht, mehreren nacheinander angeordneten verdeckten Schichten und einer Ausgabeschicht angeordnet sind. Bei dem Verfahren werden aufeinanderfolgend Sensordaten von der Umgebung des Fahrzeugs aufgenommen. Aus den aufgenommenen Sensordaten werden Eingangsdaten für die Eingabeschicht des neuronalen Netzes erzeugt, die von den verdeckten Schichten des neuronalen Netzes nacheinander verarbeitet werden, und daraus werden Ausgabedaten berechnet, welche über die Ausgabeschicht des neuronalen Netzes ausgegeben werden. Auf Basis der Ausgabedaten werden Steuerdaten für zumindest eine Einrichtung des Fahrzeugs erzeugt, durch welche der Fahrer des Fahrzeugs beim Führen des Fahrzeugs unterstützt wird. Des Weiteren betrifft die Erfindung ein Fahrerassistenzsystem für ein Fahrzeug mit einer in dem Fahrzeug angeordneten Sensoreinheit zum aufeinanderfolgenden Aufnehmen von Sensordaten der Umgebung des Fahrzeugs. Das Fahrerassistenzsystem umfasst ferner eine mit der Sensoreinheit gekoppelte Auswertungseinheit, in welcher ein solches neuronales Netz gespeichert ist. Die Auswertungseinheit ist eingerichtet, aus den aufgenommenen Sensordaten Eingangsdaten für die Eingabeschicht des neuronalen Netzes zu erzeugen, die von den verdeckten Schichten des neuronalen Netzes verarbeitet werden, und daraus Ausgabedaten zu berechnen, welche über die Ausgabeschicht des neuronalen Netzes ausgegeben werden. Des Weiteren umfasst das Fahrerassistenzsystem eine Steuereinheit, die mit der Auswertungseinheit gekoppelt ist und die ausgebildet ist, auf Basis der Ausgabedaten Steuerdaten für zumindest eine Einrichtung des Fahrzeugs zu erzeugen, durch welche der Fahrer des Fahrzeugs beim Führen des Fahrzeugs unterstützt wird.
Moderne Fahrzeuge umfassen Fahrerassistenzsysteme, welche den Fahrer bei der Steuerung des Fahrzeugs unterstützen oder die Fahraufgabe teilweise oder vollständig übernehmen. Durch die Verwendung von solchen Fahrerassistenzsystemen können verschiedene Grade der Automatisierung der Fahrzeugsteuerung erreicht werden. Bei einem niedrigen Automatisierungsgrad werden dem Fahrer nur Informationen und Warnungen ausgegeben. Bei höheren Automatisierungsgraden greift das Fahrerassistenzsystem aktiv in die Steuerung des Fahrzeugs ein. Beispielsweise wird in die Lenkung des Fahrzeugs oder die Beschleunigung in positiver oder negativer Richtung eingegriffen. Bei einem noch höheren Grad der Automatisierung wird so weit in Einrichtungen des Fahrzeugs eingegriffen, dass bestimmte Fortbewegungsarten des Fahrzeugs, zum Beispiel eine Geradeausfahrt, automatisch ausgeführt werden können. Beim höchsten Grad der Automatisierung kann das Fahrzeug autonom fahren.
Bei derartigen Fahrerassistenzsystemen ist die Analyse von Sensordaten, insbesondere digitalen Bildern, die von der Umgebung des Fahrzeugs während der Fahrt aufgenommen werden, von essentieller Bedeutung. Nur wenn die digitalen Bilder korrekt analysiert werden, kann das Fahrerassistenzsystem das Fahrzeug sicher steuern. Bei der Analyse von digitalen Bildern eines Fahrerassistenzsystems hat das maschinelle Lernen großes Potential. Die Sensorrohdaten, die zum Beispiel von einer Kamera, einem Radarsensor oder einem Lidar-Sensor eines Fahrzeugs erzeugt werden, werden mittels eines tiefen neuronalen Netzes verarbeitet. Das neuronale Netz erzeugt Ausgabedaten, aus denen das Fahrerassistenzsystem relevante Informationen zum teilautomatisierten oder vollautomatisierten Fahren ableitet. Beispielsweise wird die Art und Position von Objekten im Fahrzeugumfeld und deren Verhalten ermittelt. Ferner kann mittels neuronaler Netze die Fahrbahngeometrie und Fahrbahntopologie ermittelt werden. Für die Verarbeitung von digitalen Bildern sind insbesondere Faltungsnetze (convolutional neuronal networks) besonders geeignet.
Für den Einsatz in einem Fahrerassistenzsystem werden solche tiefen neuronalen Netze trainiert. Dabei können die Parameter des neuronalen Netzes durch die Eingabe von Daten geeignet angepasst werden, ohne dass ein menschlicher Experte eingreifen muss. Für eine gegebene Parametrisierung wird dabei die Abweichung einer Ausgabe eines neuronalen Netzes von einer Grundwahrheit gemessen. Diese Abweichung wird auch als „Loss“ bezeichnet. Dabei wird eine so genannte Lossfunktion in einer Weise gewählt, dass die Parameter differenzierbar von ihr abhängen. Im Rahmen eines Gradientenabstiegs werden in jedem Trainingsschritt dann die Parameter des neuronalen Netzes in Abhängigkeit von der Ableitung der Abweichung, die auf Basis mehrerer Beispiele ermittelt wird, angepasst. Diese Trainingsschritte werden sehr oft wiederholt, bis sich die Abweichung, d. h. der Loss, nicht mehr verringert.
Die Parameter werden bei dieser Vorgehensweise ohne die Einschätzung eines menschlichen Experten oder eine semantisch motivierte Modellierung ermittelt. Dies hat für die neuronalen Netze zur Folge, dass sie vielfach für Menschen weitgehend intransparent sind und ihre Berechnungen nicht interpretierbar sind. Dies führt dazu, dass insbesondere tiefe neuronale Netze vielfach nicht systematisch getestet oder formal verifiziert werden können.
Um neuronale Netze, die bei Fahrerassistenzsystemen eingesetzt werden, zu verbessern, werden diese mit möglichst diversen Datensätzen trainiert. Die Datensätze decken dabei ein möglichst breites Spektrum an Daten ab. Die Daten beziehen sich insbesondere auf verschiedenste Kontexte, verschiedene Quellen, d. h. auf Simulationsdaten und Realdaten, die wiederum von verschiedenen Sensoren erzeugt worden sind. Außerdem können augmentierte Daten eingesetzt werden. Ziel ist es dabei, dass das Fahrerassistenzsystem in sehr unterschiedlichen Umgebungen zuverlässige Ausgabedaten für das Fahrerassistenzsystem erzeugt.
Bei dem Einsatz eines neuronalen Netzes in einem Fahrerassistenzsystem ergibt sich die besondere Herausforderung, dass die aufgenommenen Sensordaten Beeinträchtigungen unterliegen, die von den besonderen Bedingungen beim Einsatz für ein Fahrerassistenzsystem herrühren, es gleichermaßen jedoch erforderlich ist, besonders verlässliche Ausgabedaten zu erzeugen, um einen sicheren Betrieb des Fahrzeugs zu gewährleisten.
Der vorliegenden Erfindung liegt daher das technische Problem zugrunde, ein Verfahren und ein Fahrerassistenzsystem der eingangs genannten Art bereitzustellen, welche ein neuronales Netz verwenden, welches verlässliche und stabile Ausgabedaten berechnet, mit denen Steuerdaten für eine Einrichtung des Fahrzeugs erzeugt werden können, durch welche der Fahrer des Fahrzeugs beim Führen des Fahrzeugs unterstützt wird.
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen des Anspruchs 1 und ein Fahrerassistenzsystem mit den Merkmalen des Anspruchs 15 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den abhängigen Ansprüchen.
Das erfindungsgemäße Verfahren ist dadurch gekennzeichnet, dass bei einem Training des neuronalen Netzes ein neuer Parametersatz des neuronalen Netzes aus einem ursprünglichen Parametersatz dadurch erzeugt wird, dass

(a) eine primäre Lossfunktion, die zum Erreichen einer funktionalen Güte der Ausgabedaten für die Steuerdaten ausgebildet ist, definiert wird,
(b) eine sekundäre Lossfunktion, die zum Erreichen einer sekundären Anforderung für die Ausgabedaten ausgebildet ist, definiert wird,
(c) bei der aufeinanderfolgenden Verarbeitung der Eingangsdaten in den nacheinander angeordneten verdeckten Schichten mittels des ursprünglichen Parametersatzes die sekundäre Lossfunktion auf erste Zwischendaten, die von einer ersten verdeckten Schicht erzeugt werden, angewendet wird und ein sekundärer Verlustterm bezüglich der sekundären Lossfunktion bestimmt wird,
(d) die primäre Lossfunktion auf die Ausgabedaten angewendet wird und ein primärer Verlustterm bezüglich der primären Lossfunktion bestimmt wird,
(e) ein Gesamtverlustterm aus dem primären Verlustterm, der mit einer ersten Gewichtung versehen wird, und dem sekundären Verlustterm, der mit einer zweitem Gewichtung versehen wird, berechnet wird und
(f) ein neuer Parametersatz aus dem ursprünglichen Parametersatz so ermittelt wird, dass der Gesamtverlustterm minimiert wird.

Bei dem Training des neuronalen Netzes sind die Gewichtungen insbesondere ungleich Null, so dass der Gesamtverlustterm sowohl von dem primären Verlustterm als auch von dem zweiten Verlustterm abhängt.
Bei dem erfindungsgemäßen Verfahren werden insbesondere Stabilitäts- und Robustheitsziele in das Training des neuronalen Netzes eingebunden, um eine nachvollziehbare Stabilität und Robustheit des trainierten neuronalen Netzes sicherzustellen. Dabei werden verschiedene Lossfunktionen definiert, welche die Stabilität und Robustheit des neuronalen Netzes beim Training verbessern. Die Lossfunktionen können sich dabei auf bestimmte Teilnetze des neuronalen Netzes, insbesondere auf vordere verdeckte Schichten in der Nähe der Eingabeschicht, beziehen oder alle Parameter des neuronalen Netzes betreffen. Dies sorgt für eine konzeptionell verständliche Arbeitsweise des neuronalen Netzes im Sinne eines Datenverarbeitungsflusses zwischen der Eingabeschicht, frühen verdeckten Schichten, späten verdeckten Schichten und der Ausgabeschicht. Auf diese Weise werden für bestimmte Phasen bestimmte funktionale Anforderungen sichergestellt.
Das erfindungsgemäße Verfahren verwendet eine Lossfunktion bei einer verdeckten Schicht und eine andere Lossfunktion für die Ausgabe des gleichen neuronalen Netzes zum Zwecke der Konsolidierung verschiedener Zielanforderungen an das neuronale Netz. Die Lossfunktionen betreffen dabei mindestens zwei Klassen: Die primäre Lossfunktion ist zum Erreichen einer funktionalen Güte der Ausgabedaten für die Steuerdaten ausgebildet. Es erfolgt ein Vergleich der Ausgabedaten des neuronalen Netzes mit einer Grundwahrheit. Dabei können zum Beispiel die Kreuzentropie (cross-entropy), eine Likelihood-Funktion, die geringste absolute Abweichung (least absolute deviation; 11-loss) oder der Fehler der kleinsten Quadrate (least squares error; l2-loss) oder auch Regularisierungsterme eingesetzt werden. Die primäre Lossfunktion kann auch durch einen Ansatz eines generativen adverserialen Netzwerks (generative adversarial network; GAN) erweitert werden.
Durch die sekundäre Lossfunktion, welche beim Training des neuronalen Netzes gemäß dem erfindungsgemäßen Verfahren verwendet wird, wird eine sekundäre Anforderung für die Ausgabedaten erreicht. Die sekundäre Lossfunktion kann dabei durch Abweichungsnormen oder über Rekonstruktionsverluste definiert sein. Sie können ähnlich zu funktionalen Lossfunktionen nach vollständiger Netzinferenz berechnet werden oder nach einer unvollständigen Netzinferenz ausgeleitet werden. Im ersten Fall können Gradienten für alle Netzparameter berechnet werden, im zweiten Fall werden die Gradienten zum Beispiel nur für frühe verdeckte Schichten des neuronalen Netzes berechnet. In diesem Fall kann nach erfolgreicher Konvergenz bezüglich der entsprechenden Lossfunktion im Verlauf des Trainings eine Stabilität bzw. Robustheit des entstehenden Modells bereits nach Inferenz durch wenige verdeckte Schichten plausibel, d. h. nachvollziehbar argumentiert werden.
Beim Training eines neuronalen Netzes ergibt sich das Problem, dass verschiedene Anforderungen bzw. Ziele erfüllt werden sollen. Wird das neuronale Netz zunächst so trainiert, dass es der ersten Anforderung genügt, und danach trainiert, um die zweite Anforderung zu erfüllen, ergibt sich das Problem, dass das neuronale Netz die Parameter vergisst, welche zur Erfüllung der ersten Anforderung notwendig waren. Möglicherweise erfüllt es dann am Ende nur die zweite Anforderung und nicht mehr die erste Anforderung. Das neuronale Netz des erfindungsgemäßen Verfahrens wird durch zwei verschiedene Lossfunktionen trainiert, welche verschiedene Anforderungen abbilden können. Dabei werden die Lossfunktionen bei verschiedenen Schichten eingesetzt. Die primäre Lossfunktion kann auf die Ausgabedaten angewendet werden, die der Ausgabeschicht erzeugt werden. Es ergibt sich dabei ein primärer Verlustterm. Die sekundäre Lossfunktion wird auf ersten Zwischendaten angewendet, die von einer ersten, zum Beispiel frühen, verdeckten Schicht erzeugt werden. Dabei wird der sekundäre Verlustterm bezüglich der sekundären Lossfunktion bestimmt. Die Verarbeitung der Daten in dem neuronalen Netz läuft bei dem Training weiter, und zwar unabhängig von dem Ergebnis des sekundären Verlustterms. Das Training des neuronalen Netzes wird somit fortgeführt. Da die beiden Lossfunktionen für unterschiedliche Anforderungen definiert wurden, ist es möglich das neuronale Netz optimal für beide Anforderungen zu trainieren. Der Gesamtverlustterm, welcher beim Training des neuronalen Netzes erzeugt wird, setzt sich dann aus dem gewichteten primären Verlustterm und dem gewichteten sekundären Verlustterm zusammen.
Durch das bei dem erfindungsgemäßen Verfahren eingesetzte Training des neuronalen Netzes wird die Stabilität und Robustheit des neuronalen Netzes erhöht. Sie sind ein direkter Bestandteil der Entwicklung des Fahrerassistenzsystems. Da das Training nachvollziehbar die Stabilität und Robustheit erhöht, kann auch die Freigabe des Verfahrens zum Betreiben des Fahrerassistenzsystems auf Basis dieses Trainings begründet werden. Außerdem ist diese Nachvollziehbarkeit für die Zertifizierung des Verfahrens wichtig.
Vorteilhafterweise weist das erfindungsgemäße Verfahren außerdem beim Training im Vergleich zu multipler Inferenz und zum sogenannten Ensembling einen deutlich geringeren Rechenaufwand zur Inferenzzeit auf.
Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens sind die Sensordaten digitale Bilder einer Kamera des Fahrzeugs. Anhand der primären Lossfunktion wird dann bestimmt, ob Objekte in den digitalen Bildern mittels des neuronalen Netzes erkannt werden. Bei den Objekten kann es sich beispielsweise um Verkehrsteilnehmer, insbesondere Personen, Verkehrsschilder oder Verkehrswege handeln. Die primäre Lossfunktion, welche die funktionale Güte des neuronalen Netzes sicherstellen soll, kann eine Standard-Lossfunktion sein. Beispiele hierfür sind die quadratische Abweichung (mean squared error), Kreuzentropie und regularisierte Versionen davon, zum Beispiel die Kreuzentropie mit der Summe der Betragsquadrate der Netzwerkgewichte.
Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens gibt der sekundäre Verlustterm der sekundären Lossfunktion an, wie verlässlich mit Rauschisignalen überlagerte Basissignale von Sensordaten mittels des neuronalen Netzes erkannt werden. Die sekundäre Anforderung ist in diesem Fall somit die Stabilität des neuronalen Netzes gegenüber Rauschen.
Bei dem Verfahren werden insbesondere Sensordaten eines Sensors des Fahrzeugs erfasst. Daraufhin werden Fahrzeugsensor-Rauschsignale dieser Sensordaten ermittelt und der sekundäre Verlustterm der sekundären Lossfunktion gibt dann an, wie verlässlich mit Fahrzeugsensor-Rauschsignalen überlagerte Basissignale mittels des neuronalen Netzes verarbeitet werden. Die Signale des Sensors des Fahrzeugs werden somit in Basissignale, zum Beispiel ein von dem Sensor aufgenommenes digitales Bild, und Rauschsignale zerlegt. Bei der Definition der sekundären Lossfunktion wird berücksichtigt, welcher Sensortyp im Fahrzeug verwendet wird und welchen Datentyp dieser Sensor verwendet. Es kann spezifisch die Art einer im Fahrzeug verwendeten Kamera berücksichtigt werden, wobei auch das Kameramodell, die Winkelstellung der Kamera, die Linsen der Kamera und die von der Kamera verwendete Firmware berücksichtigt werden kann. Außerdem kann die von der Kamera verwendete Datenkompression und Datenauflösung berücksichtigt werden. Des Weiteren kann die Hardware berücksichtigt werden, welche die Sensordaten verarbeitet. Die sekundäre Lossfunktion kann vorteilhafterweise an die spezifischen Bedingungen und Parameter des im Fahrzeug verwendeten Sensors angepasst werden, um Beeinträchtigungen der Sensordaten aufgrund von Rauschen bei dem Training des neuronalen Netzes zu berücksichtigen. Eine solche Berücksichtigung trägt wesentlich dazu bei, dass verlässlichere Ausgabedaten auf Basis der vom Sensor des Fahrzeugs erzeugten Sensordaten erzeugt werden, wodurch die Sicherheit beim Führen des Fahrzeugs erhöht wird. Vorteilhafterweise wird das neuronale Netz spezifisch für Sensorsignale der Sensoren des Fahrzeugs trainiert.
Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens werden Sensordaten eines Sensors des Fahrzeugs erfasst, wobei die Sensordaten von der Umgebung des Fahrzeugs herrührenden Beeinträchtigungen unterliegen, welche die Sensordaten verändern. Der sekundäre Verlustterm der sekundären Lossfunktion gibt in diesem Fall an, wie verlässlich Sensordaten, die den von der Umgebung des Fahrzeugs herrührenden Beeinträchtigungen unterliegen, mittels des neuronalen Netzes verarbeitet werden. Eine Beeinträchtigung bewirkt, dass sich ein Sensordatensatz, der ohne die Beeinträchtigung erfasst wurde, von einem Sensordatensatz unterscheidet, welcher der Beeinträchtigung unterlag. Das neuronale Netz wird mittels der sekundären Lossfunktion so trainiert, dass die Sensordaten selbst dann korrekt, d. h. wie unbeeinträchtigte Sensordaten, verarbeitet werden, wenn sie den Beeinträchtigungen unterliegen. Die Beeinträchtigungen umfassen insbesondere Umgebungseinflüsse, welchen das Fahrzeug und somit die Sensoren des Fahrzeugs im Betrieb ausgesetzt sind. Hierzu zählen Witterungseinflüsse, unterschiedliche Licht- und Temperaturverhältnisse sowie etwaige Verschmutzungen, insbesondere bei den Sensoren und Erschütterungen, die im Betrieb des Fahrzeugs auftreten. Vorteilhafterweise wird das neuronale Netz, welches bei dem erfindungsgemäßen Verfahren zum Betreiben des Fahrerassistenzsystems eingesetzt wird, so trainiert, dass es trotz der spezifischen Beeinträchtigungen, welche beim Einsatz des Fahrerassistenzsystems in einem Fahrzeug auftreten, verlässliche, stabile und robuste Ausgabedaten erzeugt, auf deren Basis die Steuerdaten für die Einrichtung des Fahrzeugs erzeugt werden können.
Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens werden Sensordaten eines Sensors des Fahrzeugs erfasst, wobei die Sensordaten von der Bewegung des Fahrzeugs herrührenden Beeinträchtigungen unterliegen, welche die Sensordaten verändern. Der sekundäre Verlustterm der sekundären Lossfunktion gibt in diesem Fall an, wie verlässlich Sensordaten, die den von der Bewegung des Fahrzeugs herrührenden Beeinträchtigungen unterliegen, mittels des neuronalen Netzes verarbeitet werden. Es werden hierbei insbesondere die erwarteten dynamischen Eigenschaften des Fahrzeugs berücksichtigt. Insbesondere werden Kippbewegungen, Neigungsbewegungen und Schwingbewegungen des Fahrzeugs berücksichtigt. Außerdem werden Unschärfen der Sensordaten aufgrund der Bewegung des Fahrzeugs berücksichtigt. Vorteilhafterweise kann auch in diesem Fall das neuronale Netz so trainiert werden, dass es im Betrieb des Fahrerassistenzsystems verlässliche Ausgabedaten erzeugt.
Gemäß einer noch weiteren Ausgestaltung des erfindungsgemäßen Verfahrens werden Sensordaten mehrerer Sensoren des Fahrzeugs erfasst, wobei die Sensordaten von der Verbauposition der Sensoren und/oder der Kalibrierung der Sensoren zueinander herrührenden Beeinträchtigungen unterliegen, welche die Sensordaten verändern. In diesem Fall gibt der sekundäre Verlustterm der sekundären Lossfunktion an, wie verlässlich Sensordaten, die Beeinträchtigungen, die von der Verbauposition der Sensoren und/oder der Kalibrierung der Sensoren zueinander herrühren, unterliegen, mittels des neuronalen Netzes verarbeitet werden. Vorteilhafterweise kann auch hierdurch das Training des neuronalen Netzes an die tatsächlich verbauten Sensoren im Fahrzeug angepasst werden, um verlässliche Ausgabedaten für den Betrieb des Fahrerassistenzsystems zu erzeugen. In diesem Fall wird insbesondere mittels der sekundären Lossfunktion das neuronale Netz so trainiert, dass etwaige Fehlkalibrierungen der Sensoren zueinander einen möglichst geringen Einfluss auf die Verarbeitung der Sensordaten haben.
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens wird eine tertiäre Lossfunktion definiert, die zum Erreichen einer tertiären Anforderung für die Ausgabedaten ausgebildet ist. Im Schritt (c) wird bei der aufeinanderfolgenden Verarbeitung der Eingangsdaten in den nacheinander angeordneten verdeckten Schichten mittels des ursprünglichen Parametersatzes ferner die tertiäre Lossfunktion auf zweite Zwischendaten angewendet, die von einer zweiten verdeckten Schicht erzeugt werden, und ein tertiärer Verlustterm wird bezüglich der tertiären Lossfunktion bestimmt. Im Schritt (e) wird der Gesamtverlustterm aus dem primären Verlustterm, der mit einer ersten Gewichtung versehen wird, dem sekundären Verlustterm, der mit einer zweiten Gewichtung versehen wird, und dem tertiären Verlustterm, der mit einer dritten Gewichtung versehen wird, berechnet.
Der tertiäre Verlustterm der tertiären Lossfunktion gibt insbesondere an, wie robust mit adverserialen Störungen überlagerte Basissignale von Sensordaten mittels des neuronalen Netzes erkannt werden. Die tertiäre Anforderung ist somit die Robustheit gegen adverseriale Störungen. Die tertiäre Lossfunktion kann beispielsweise ähnlich zu funktionalen Lossfunktionen nach vollständiger Netzinferenz berechnet werden, indem zum Beispiel Gradienten für alle Netzparameter berechnet werden, oder nach einer unvollständigen Netzinferenz ausgeleitet werden. Die Gradienten werden zum Beispiel für frühere verdeckte Schichten berechnet. In diesem Fall kann nach erfolgreicher Konvergenz bezüglich der entsprechenden tertiären Lossfunktion im Verlauf des Trainings bereits eine Stabilität bzw. Robustheit des entstehenden Modells bereits nach Inferenz durch wenige Schichten plausibilisiert werden. Konzeptionell kann das neuronale Netz dann als iterativer Filter gegen adverseriale Störungen verstanden werden.
Allgemein ergibt sich das Problem, dass tiefe neuronale Netze anfällig für schädliche Störeinflüsse (adversial perturbations) sind. Kleine, für den Menschen kaum oder gar nicht wahrnehmbare Manipulationen an den Eingangsdaten oder Manipulationen, welche die Situationseinschätzung nicht verändern, können zu Ausgabedaten führen, welche sich erheblich von den Ausgabedaten unterscheiden, welche sich ohne die Manipulation ergeben würden. Solche Manipulationen können sowohl mutwillig herbeigeführte Veränderungen der Sensordaten sein als auch zufällig auftretende Bildveränderungen aufgrund von Sensorrauschen, Witterungseinflüssen oder bestimmten Farben und Kontrasten.
Es ist dabei nicht vorhersehbar, auf welche Eingangsmerkmale ein neuronales Netz so sensibel reagiert, dass sich die Ausgabedaten auch bei geringfügigen Veränderungen der Eingangsdaten erheblich ändern. Dies hat zur Folge, dass synthetische Daten nicht erfolgreich für das Training von neuronalen Netzen, die in solchen Fahrerassistenzsystemen eingesetzt werden, verwendet werden können. Es hat sich herausgestellt, dass neuronale Netze, die in Simulationen oder auf anderweitig synthetischen Daten trainiert wurden, eine schwache Performance beim Einsatz in einem Fahrerassistenzsystem mit reellen Sensordaten aufweisen. Außerdem hat sich herausgestellt, dass auch eine Ausführung eines Fahrerassistenzsystems mit einem neuronalen Netz in einer anderen Domäne die funktionale Güte stark reduzieren kann. Beispielsweise kann es passieren, dass ein Fahrerassistenzsystem mit einem neuronalen Netz, das im Sommer trainiert wurde, für die Ausführung im Winter ungeeignet ist. Die Entwicklung und Freigabe von neuronalen Netzen für Fahrerassistenzsysteme auf der Basis einer Simulation ist daher problematisch.
Es besteht daher ein Bedürfnis neuronale Netze für Fahrerassistenzsysteme zu entwickeln, welche robust gegen Störungen sind. Die neuronalen Netze sollen auch dann für das Fahrerassistenzsystem brauchbare Ausgabedaten erzeugen, wenn die Eingangsdaten gestört sind.
Um dies zu erreichen, ist es bekannt, mittels bekannter Störungen gestörte Eingangsdaten für ein neuronales Netz zu erzeugen und zu testen, wie die Ausgabedaten des neuronalen Netzes auf diese gestörten Eingangsdaten reagieren. Es gibt Sammlungen für Störungen der Eingangsdaten, mittels derer getestet werden kann, wie robust ein neuronales Netz gegen solche Störungen ist. Dabei ergibt sich jedoch das Problem, dass gestörte Eingangsdaten nur in einem begrenzten Ausmaß durch bekannte Störungen erzeugt werden können. Es besteht somit ein Bedürfnis, gestörte Eingangsdaten für ein neuronales Netz zum Analysieren von Sensordaten, insbesondere digitalen Bildern, eines Fahrerassistenzsystems, zu erzeugen, um neuronale Netze zu testen und zu verbessern.
Die tertiäre Lossfunktion kann beispielsweise durch Lösen eines Optimierungsproblems gefunden werden, welches die tertiäre Lossfunktion für das neuronale Netz enthält, welches als Parameter einen Störungsparameter und ein sich durch die Störung ergebendes Bild enthält. Es wird bei dem Optimierungsproblem das Minimum des Störungsparameters gefunden, und zwar z. B. für die digitalen Bilder, die nach der bestimmten Metrik definiert sind, und unter der Bedingung, dass das Ausmaß der Veränderung des erzeugten Bildes relativ zu dem Ausgangsbild gemäß einer anderen Metrik unterhalb eines bestimmten Wertes liegt.
Um die tertiäre Lossfunktion zu definieren kann ein Verfahren zum Erzeugen von gestörten Eingangsdaten für das neuronale Netz eingesetzt werden.
Bei diesem Verfahren zum Erzeugen von gestörten Eingangsdaten für das neuronale Netz wird eine erste Metrik definiert, die angibt, wie das Ausmaß einer Veränderung eines digitalen Bildes gemessen wird, und eine zweite Metrik definiert, die angibt, worauf eine Störung der Eingangsdaten eines digitalen Bildes gerichtet ist. Aus einer Kombination der ersten Metrik und der zweiten Metrik wird ein Optimierungsproblem erzeugt. Das Optimierungsproblem wird mittels zumindest eines Lösungsalgorithmus gelöst, wobei die Lösung eine Ziel-Störung der Eingangsdaten angibt, und mittels der Ziel-Störung gestörte Eingangsdaten von Sensordaten für das neuronale Netz erzeugt werden.
Bei den Sensordaten handelt es sich insbesondere um digitale Bilder. Die Ziel-Störung erzeugt in diesem Fall somit gestörte, d. h. veränderte digitale Bilder, welche die Eingangsdaten für das neuronale Netz bilden, welches das digitale Bild analysiert.
Bei dem Verfahren werden mögliche schädliche Störungen eines neuronalen Netzes, welches zur Analyse von Sensordaten eingesetzt wird, auf einer strukturellen Ebene betrachtet. Die Störung wird als eine Komposition verschiedener Elemente betrachtet, für die verschiedene Metriken definiert werden. Überraschenderweise konnte hierdurch erreicht werden, dass nicht mehr nur willkürlich zusammengesetzte Störungen verwendet werden, sondern es wird möglich, eine große Anzahl neuer schädlicher Ziel-Störungen auf der Basis von bekannten Störungen zu generieren, indem die Struktur bekannter Störungen hinsichtlich der Metriken analysiert wird.
Bei dem Verfahren wird vorteilhafterweise aus zwei Metriken, welche Veränderungen von Sensordaten, insbesondere eines digitalen Bildes, messen, ein Optimierungsproblem erzeugt. Für ein solches Optimierungsproblem gibt es eine große Anzahl von bekannten Lösungsalgorithmen. Mit diesen Lösungsalgorithmen kann das Optimierungsproblem somit gelöst werden. Hierdurch wird eine Ziel-Störung der Eingangsdaten erzeugt. Mittels dieser Ziel-Störung können dann gestörte Eingangsdaten von Sensordaten für das neuronale Netz erzeugt werden. Auf Basis dieser gestörten Eingangsdaten kann das neuronale Netz dann getestet und trainiert werden. Vorteilhafterweise ermöglicht das erfindungsgemäße Verfahren, sehr schnell und auf einfache Weise neue Störungen zu generieren.
Die bei dem Verfahren eingesetzte erste Metrik gibt an, wie das Ausmaß einer Veränderung von Sensordaten gemessen wird. Handelt es sich bei den Sensordaten um ein digitales Bild einer Kamera, soll die Störung zum Testen des neuronalen Netzes üblicherweise möglichst klein sein. Die erste Metrik gibt an, wie das Ausmaß der Veränderung des digitalen Bildes quantifiziert werden kann. Ein digitales Bild kann beispielsweise dadurch verändert werden, dass die Pixel des Bildes verschoben werden, gedreht werden oder gespiegelt werden. Die erste Metrik gibt das Ausmaß der Veränderung bei derartigen Transformationen an. Eine Rotation oder Translation eines digitalen Bildes kann nach der ersten Metrik durch einen Fixpunkt und den Rotationswinkel bzw. den Translationsabstand in horizontaler und vertikaler Richtung definiert sein. Ferner kann für jedes Pixel des Bildes die erste Metrik die Bildabstände dadurch bestimmen, dass die Summe der Differenzen aller Pixelwerte ermittelt wird. Der Pixelwert kann beispielsweise ein Graustufenwert oder ein Farbwert sein. Für jedes Pixel bildet man die Differenz des Pixelwerts für das ursprüngliche Bild und für das gestörte Bild. Diese Differenz wird für jedes Pixel bestimmt und die Differenzen werden dann addiert. Im Ergebnis ergibt sich ein Bildabstand, welcher den Unterschied der beiden Bilder nach der ersten Metrik angibt.
Des Weiteren kann man nach der ersten Metrik veränderte Bildbereiche betrachten. Die Bildbereiche können durch einen Ausgangspunkt und eine Ausdehnung in horizontaler und vertikaler Richtung, oder durch eine Liste von Pixeln definiert sein. Für diese Bildbereiche kann man nach der ersten Metrik Bildabstände bestimmen.
Des Weiteren kann die erste Metrik das Ausmaß einer Veränderung eines digitalen Bildes in Bezug auf Bildcharakteristika, wie z. B. Luminanz-, Kontrast- und/oder Strukturwerte, oder beliebige Kombinationen davon, angeben.
Bei der Definition der ersten Metrik können auch Einschränkungen enthalten sein, beispielsweise dass die Veränderungen, welche bei der ersten Metrik betrachtet werden, nur solche Bildbereiche berücksichtigen, bei denen beispielsweise bestimmte Bildcharakteristika vorliegen. Beispielsweise können nur solche Bereiche betrachtet werden, bei denen der Kontrast einen bestimmten Schwellwert überschreitet.
Gemäß einer Ausgestaltung dieses Verfahrens ist die erste Metrik ausgewählt unter ersten Metriken, die potentielle natürlich vorkommende Störungen messen, da durch diese Metriken ermittelte Störungen tatsächlich in der Ausführung im Feld auftreten können. Solche natürlichen Störungen sind beispielsweise Veränderungen der Sensordaten, die aufgrund von Witterungseinflüssen, wie Nebel oder Schnee, Sensorrauschen oder durch Kameraverschmutzung erzeugt werden oder die durch Texturen erzeugt werden. Ferner sind natürlich vorkommende Störungen natürlich vorkommende Objekte in der Umgebung eines Fahrzeugs, wie beispielsweise gedruckte Plakate oder Aufkleber auf Objekten. Wenn beispielsweise die Störung der zweiten Metrik darauf gerichtet ist, Objekte einer bestimmten Klasse verschwinden zu lassen, ist es möglich in ein digitales Bild ein gedrucktes Plakat, einen Aufkleber auf einem Objekt, Nebel oder Texturen hinzuzufügen. Mittels derartiger Störungen, die gemäß der zweiten Metrik auf einen bestimmten Effekt bei den Sensordaten gerichtet ist, können vorteilhafterweise solche gestörten Eingangsdaten für ein neuronales Netz erzeugt werden, die für den Einsatz in einem Fahrerassistenzsystem besonders relevant sind.
Gemäß einer weiteren Ausgestaltung dieses Verfahrens ist die zweite Metrik auf eine Änderung der Klassifikation von Objekten gerichtet. Sie misst insbesondere die Abweichung der wahren Modellausgabe vom der angestrebten falschen Modellausgabe, also das Ziel der adverserialen Störung. Bei einem digitalen Bild können beispielsweise kleine Bildbereiche oder eine kleine Anzahl von Pixeln so gestört werden, dass ein Objekt des digitalen Bildes nicht mehr als Verkehrsteilnehmer, wie beispielsweise als Fußgänger, erkannt wird, sondern als ein anders klassifiziertes Objekt, zum Beispiel ein Bereich einer Fahrbahn. Ferner kann die Störung darauf gerichtet sein, dass immer dann, wenn ein Bereich als Straße erkannt wird, diese Straße immer als leere Straße ohne andere Verkehrsteilnehmer erkannt wird.
Gemäß einer weiteren Ausgestaltung dieses Verfahrens kann die zweite Metrik auf ein Verschwinden von Objekten gerichtet sein. Die Störung ist zum Beispiel darauf gerichtet, dass erkannte Objekte so verändert werden, dass sie verschwinden. Die zweite Metrik kann sich dabei auch nur auf bestimmte Bildbereiche beziehen. Beispielsweise kann die Störung, die durch die zweite Metrik beschrieben wird, darauf gerichtet sein, dass Objekte einer bestimmten Klasse in einem bestimmten Bildbereich nicht vorkommen können.
Gemäß einer weiteren Ausgestaltung dieses Verfahrens ist die zweiten Metrik auf eine Veränderung eines Objekts einer bestimmten Klasse gerichtet. Beispielsweise kann ein Objekt erkannt und klassifiziert werden. Beispielsweise kann ein Bildbereich einem Verkehrsteilnehmer zugeordnet werden. Die zweite Metrik ist dann beispielsweise darauf gerichtet, dieses Objekt größer oder kleiner oder an einer anderen Position darzustellen. Beispielsweise können als Fußgänger klassifizierte Objekte kleiner oder größer dargestellt werden. Die Vergrößerung wird in diesem Fall beispielsweise durch die absolute Angabe von Pixeln, durch die das Objekt durch die Störung links, rechts, oben und unten vergrößert bzw. verkleinert wird, definiert.
Es gibt eine große Anzahl möglicher Störungen, die durch die zweite Metrik beschrieben werden können. Es können beliebige Änderungen der Sensordaten herbeigeführt werden, um die Sensordaten so zu verändern, dass bei der Analyse der Sensordaten in einem Fahrerassistenzsystem insbesondere sicherheitsrelevante Ergebnisse nicht mehr korrekt erzielt werden können. Beispielsweise kann ein Muster oder ein Raster auf die Sensordaten angewandt werden, damit bei einem digitalen Bild Objekte einer bestimmten Klasse, beispielsweise Fußgänger, verschwinden, andere Objekte jedoch weiterhin korrekt klassifiziert werden. Für die Anwendung des erfindungsgemäßen Verfahrens in einem Fahrerassistenzsystem sind dabei insbesondere solche zweite Metriken relevant, welche die natürlich erscheinende Störungen bemessen: die Modellausgabe erscheint plausibel, weicht von der Wahrheit aber in bestimmten, sicherheitsrelevanten Einzelheiten ab.
Gemäß einer Ausgestaltung des Verfahrens sind die Störungen, die durch die erste und/oder zweite Metrik beschrieben werden, natürlich vorkommende Störungen. Für die Anwendung in einem Fahrerassistenzsystem wird für die möglichen Störungen, die durch die erste und/oder zweite Metrik beschrieben werde, somit eine Auswahl getroffen, die für die Überprüfung und Verbesserung von neuronalen Netzen für einen Einsatz in einem Fahrerassistenzsystem besonders relevant sind.
Gemäß einer weiteren Ausgestaltung des Verfahrens sind die ersten und/oder zweiten Metriken in einer Datenbank gespeichert. Ein Datensatz zu einer natürlich vorkommenden Störung, die mit der ersten und/oder zweiten Metrik gemessen wird, wird dann aus der Datenbank geladen. Die Metriken für mögliche Störungen an den Eingangsdaten (erste Metriken) und für mögliche Veränderungen an den Modellausgaben (zweite Metriken) können beispielsweise in der Datenbank gespeichert sein. Gemäß einer Ausgestaltung des Verfahrens wird dann ein Datensatz zu einer natürlich vorkommenden Störung (gemessen mit einer ersten Metrik) und für ein mögliches Ziel (eine avisierte Veränderung der Modellausgabe - z.B. Übersehen aller Fußgänger - gemessen mit einer zweiten Metrik) aus der Datenbank geladen.
Gemäß einer weiteren Ausgestaltung des Verfahrens wird eine dritte Metrik definiert, die angibt, auf was für Sensordaten eine dritte Störung Anwendung findet. Z. B. wird die Störung auf allen Daten, auf nur einem Datenpunkt oder auf Daten mit bestimmten Bedingungen, beispielsweise bei allen Daten mit mehrspurigen Straßen, angewendet. Das Optimierungsproblem wird dann aus einer Kombination zumindest zweier Metriken der ersten, der zweiten und der dritten Metrik erzeugt. Das Optimierungsproblem wird insbesondere aus einer Kombination der ersten, der zweiten und der dritten Metrik erzeugt. Bei den Sensordaten handelt es sich insbesondere um digitale Bilder. Diese werden insbesondere durch ein neuronales Netz in einem Fahrerassistenzsystem analysiert.
Die dritte Metrik kann sich insbesondere auf alle Sensordaten, zum Beispiel alle digitalen Bilder, beziehen. Beispielsweise kann die Störung bei allen digitalen Bildern ein Verschwinden von Objekten einer bestimmten Klasse zur Folge haben.
Ferner kann sich die dritte Metrik nur auf eine Teilmenge der Sensordaten, insbesondere der digitalen Bilder, auswirken. Die Störung kann beispielsweise nur solche digitalen Bilder beschreiben, die Objekte einer bestimmten Klasse, beispielsweise als Fußgänger klassifizierte Objekte, enthalten. Ferner kann die dritte Metrik digitale Bilder beschreiben, die an Tagen mit Schneefall oder Regen aufgenommen wurden. Hierdurch können die gestörten Eingangsdaten für das neuronale Netz bei einem Einsatz in einem Fahrerassistenzsystem beispielsweise eine andere Bewertung einer speziellen Verkehrssituation oder Umweltsituation bewirken.
Gemäß einer weiteren Ausgestaltung des Verfahrens beschreibt die dritte Metrik nur Sensordaten, die ein bestimmtes Objekt enthalten. Alternativ oder zusätzlich kann die dritte Metrik nur ein bestimmtes digitales Bild auswählen.
Das Optimierungsproblem, welches auf Basis der Metriken erzeugt worden ist, kann sich beispielsweise wie folgt darstellen: Bei einer vorgegebenen maximalen Änderung eines digitalen Bildes, zum Beispiel durch Drehung eines bestimmten Bildbereichs, soll die Anzahl der als Personen klassifizierten Pixeln minimiert werden, und zwar für möglichst viele Bilder, in denen Personen vorkommen.
Bei einem anderen Beispiel soll bei einer minimalen Änderung des Eingangsbildes in Bereichen mit hohem Kontrast die Anzahl der als Person klassifizierten Pixeln minimiert werden, und zwar für möglichst viele Bilder, in denen Personen vorkommen.
Für derartige Optimierungsprobleme wird bei dem Verfahren ein Lösungsalgorithmus angegeben. Gemäß einer Ausgestaltung des Verfahrens umfasst der Lösungsalgorithmus iterative Verfahren unter Nutzung der Gradienten des neuronalen Netzes zur Bestimmung der Änderungsrichtungen. Ferner können iterative Verfahren unter Nutzung von Sampling, Evaluation und Kombinationen davon eingesetzt werden.
Gemäß einer weiteren Ausgestaltung des Verfahrens wird als Lösungsalgorithmus eine Monte-Carlo-Methode verwendet, bei der beispielsweise ein Rauschen für ein digitales Bild erzeugt wird, und das Ergebnis überprüft wird. Gemäß einer anderen Ausgestaltung kann ein genetischer Algorithmus zur Lösung des Optimierungsproblems eingesetzt werden.
Die Lösung des Optimierungsproblems kann beispielsweise ein gestörtes digitales Bild oder eine Störung sein, mit der Sensordaten gestört werden können, um gestörte Eingangsdaten für ein neuronales Netz zu erzeugen. Die gestörten Sensordaten oder das gestörte digitale Bild stellen dann die Eingangsdaten für das neuronale Netz dar, welches überprüft werden soll. Eine Störung kann auch auf einen Satz von Eingangsdaten durch Kombination auf Pixelebene angewendet werden, zum Beispiel durch Summation.
Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens werden die Schritte (a) bis (e) iterativ wiederholt, wobei sich die bei einer ersten Wiederholung verwendeten Gewichtungen der Verlustterme von den bei einer zweiten Wiederholung verwendeten Gewichtungen der Verlustterme unterscheiden. Des Weiteren können sich die bei der ersten Wiederholung verwendeten Lossfunktionen von der bei der zweiten Wiederholung verwendeten Lossfunktionen unterscheiden. Die Unterscheidung kann dabei in der primären, der sekundären und/oder der tertiären Lossfunktion liegen. Im Training des neuronalen Netzes werden dann die verschiedenen Lossfunktionen zum Beispiel abwechselnd verwendet. Das gesamte Training des neuronalen Netzes ist dann ein Training in Hinsicht auf alle verwendeten Lossfunktionen.
Vorteilhafterweise führt die Veränderung der Gewichtungen im Verlauf des Trainings des neuronalen Netzes zu einer Verbesserung des Parametersatzes des neuronalen Netzes. Beispielsweise können bei einem ersten Durchlauf der Iteration die Verlustterme aus frühen verdeckten Schichten stärker berücksichtigt werden als Verlustterme aus späteren verdeckten Schichten. Nach mehreren Iterationen können sich die Verlustterme aus den frühen verdeckten Schichten stabilisiert haben, so dass sie dann nicht mehr so stark gewichtet werden und Verlustterme aus späteren verdeckten Schichten stärker gewichtet werden. Eine derartige Iteration berücksichtigt die verschiedenen Anforderungen, denen das neuronale Netz genügen soll.
Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens werden bei einer Vielzahl von Wiederholungen der Iteration verschiedene primäre, sekundäre und/oder tertiäre Lossfunktionen zum Erzeugen der Verlustterme verwendet, wobei die Wechselfrequenz, mit der die Lossfunktionen verändert werden, wechselt.
Insbesondere wird nach Implementierung der Lossfunktionen im Training regelmäßig ein Gradientenabstieg in Hinsicht auf die verschiedenen Lossfunktionen durchgeführt. Hierfür werden so genannte Minibatches immer bezüglich einer Lossfunktion verarbeitet. Die Lossfunktionen werden dabei regelmäßig gewechselt. Die Wechselfrequenz sowie auch Metaparameter für die Adaption des Parametersatzes bei dem Training können im Verlauf des Trainings variiert werden, um eine gesamtheitliche Konvergenz des Trainings herbeizuführen. Dabei können die Metaparameter online optimiert werden, um zu einem geringeren Rechenaufwand und zu einem geringeren manuellen Überwachungsaufwand zu kommen.
Erfindungsgemäß ist es außerdem möglich, während des Trainings neue Lossfunktionen hinzuzuziehen. Hierdurch können weitere Optimierungsziele für die Lernaufgabe beim Training oder andere Formulierungen der Lernaufgabe, zum Beispiel eine veränderte Sensitivität, berücksichtigt werden. Ferner können bestimmte Lossfunktionen unter Umständen nicht mehr für die Updates des durch das neuronale Netz gebildeten Modells verwendet werden. Beispielsweise kann kein Verlustterm mehr für die frühen verdeckten Schichten zum Zwecke der Stabilisierung in späteren verdeckten Schichten eingesetzt werden. Ferner ist es möglich, zwischen verschiedenen Lossfunktionen zu iterieren, beispielsweise weil sie nicht gleichzeitig verwendet werden können. Beispielsweise ist es nicht möglich, gleichzeitig ein Bild heller und dunkler zu machen, um die Robustheit gegenüber beiden Veränderungen zu inzentivieren. In diesem Fall hat es sich herausgestellt, dass es vorteilhaft ist, im Training zwischen den beiden Lossfunktionen zu iterieren. Es kann dabei effizient sein, die Frequenz der Iteration im Verlauf des Trainings zu verändern. Erfindungsgemäß wird die Wechselfrequenz insbesondere im Laufe des Trainings erhöht.
Des Weiteren werden bei dem erfindungsgemäßen Verfahren insbesondere die Gewichtungen bei den Wiederholungen der Verlustterme so verändert, dass zunächst Verlustterme, die mittels einer Lossfunktion bestimmt worden sind, die auf Zwischendaten angewandt wurden, die von einer vorderen verdeckten Schicht erzeugt wurden, die Eingangsdaten früher verarbeitet, zunächst stärker gewichtet werden als Verlustterme, die mittels einer Lossfunktion bestimmt worden sind, die auf Zwischendaten, die von einer hinteren verdeckten Schicht erzeugt wurden, oder auf die Ausgabedaten angewandt wurden. Später werden dann Verlustterme, die mittels einer Lossfunktion bestimmt worden sind, die auf Zwischendaten angewandt wurde, die von einer vorderen verdeckten Schicht erzeugt wurden, die Eingangsdaten früher verarbeitet, geringer gewichtet als Verlustterme, die mittels einer Lossfunktion bestimmt worden sind, die auf Zwischendaten, die von einer hinteren verdeckten Schicht erzeugt wurden, oder auf die Ausgabedaten angewandt wurden. Vorteilhafterweise werden somit erst vordere Schichten stärker gewichtet, später dann werden hintere Schichten stärker gewichtet.
Die Sensordaten, die bei dem erfindungsgemäßen Verfahren verwendet werden, sind insbesondere digitale Bilder einer Kamera des Fahrzeugs. Diese digitalen Bilder nehmen insbesondere die Umgebung des Fahrzeugs auf.
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens steuern die Steuerdaten Einrichtungen zum Fortbewegen des Fahrzeugs autonom. Das Verfahren wird somit insbesondere dafür eingesetzt, ein autonomes oder teilautonomes Fahren zu realisieren.
Das vorstehend beschriebene Verfahren ist insbesondere ein computerimplementiertes Verfahren.
Die vorliegende Erfindung betrifft des Weiteren das eingangs beschriebene Fahrerassistenzsystem, bei dem das neuronale Netz so ausgebildet ist, dass es mittels einer Trainingseinheit trainiert worden ist, die ausgebildet ist, durch ein Training des neuronalen Netzes einen neuen Parametersatz des neuronalen Netzes aus einem ursprünglichen Parametersatz dadurch zu erzeugen, dass

(a) eine primäre Lossfunktion, die zum Erreichen einer funktionalen Güte der Ausgabedaten für die Steuerdaten ausgebildet ist, definiert wird,
(b) eine sekundäre Lossfunktion, die zum Erreichen einer sekundären Anforderung für die Ausgabedaten ausgebildet ist, definiert wird,
(c) bei der aufeinanderfolgenden Verarbeitung der Eingangsdate in den nacheinander angeordneten verdeckten Schichten mittels des ursprünglichen Parametersatzes die sekundäre Lossfunktion auf erste Zwischendaten, die von einer ersten verdeckten Schicht erzeugt werden, angewendet wird und ein sekundärer Verlustterm bezüglich der sekundären Lossfunktion bestimmt wird,
(d) die primäre Lossfunktion auf die Ausgabedaten angewendet wird und ein primärer Verlustterm bezüglich der primären Lossfunktion bestimmt wird,
(e) ein Gesamtverlustterm aus dem primären Verlustterm, der mit einer ersten Gewichtung versehen wird, und dem sekundären Verlustterm, der mit einer zweitem Gewichtung versehen wird, berechnet wird und
(f) ein neuer Parametersatz aus dem ursprünglichen Parametersatz so ermittelt wird, dass der Gesamtverlustterm minimiert wird.

Das erfindungsgemäße Fahrerassistenzsystem ist insbesondere dazu ausgebildet, das erfindungsgemäße Verfahren zum Betreiben eines Fahrerassistenzsystems auszuführen. Es weist daher auch dieselben Vorteile auf.
Die Sensoreinheit des erfindungsgemäßen Fahrerassistenzsystems ist insbesondere eine Kamera zum Aufnehmen von digitalen Bildern, wobei die digitalen Bilder die Umgebung des Fahrzeugs aufnehmen.
Die vorliegende Erfindung betrifft außerdem ein computerimplementiertes Verfahren zum Trainieren eines neuronalen Netzes, das ein neuronales Netz mit künstlichen Neuronen aufweist, die über einen Parametersatz miteinander verknüpft sind und die auf einer Eingabeschicht, mehreren nacheinander angeordneten verdeckten Schichten und einer Ausgabeschicht angeordnet sind, zum Betreiben eines Fahrerassistenzsystems, bei dem ein neuer Parametersatz des neuronalen Netzes aus einem ursprünglichen Parametersatz dadurch erzeugt wird, dass

(a) eine primäre Lossfunktion, die zum Erreichen einer funktionalen Güte der Ausgabedaten für Steuerdaten des Fahrerassistenzsystems ausgebildet ist, definiert wird,
(b) eine sekundäre Lossfunktion, die zum Erreichen einer sekundären Anforderung für die Ausgabedaten ausgebildet ist, definiert wird,
(c) bei der aufeinanderfolgenden Verarbeitung der Eingangsdaten in den nacheinander angeordneten verdeckten Schichten mittels des ursprünglichen Parametersatzes die sekundäre Lossfunktion auf erste Zwischendaten, die von einer ersten verdeckten Schicht erzeugt werden, angewendet wird und ein sekundärer Verlustterm bezüglich der sekundären Lossfunktion bestimmt wird,
(d) die primäre Lossfunktion auf die Ausgabedaten angewendet wird und ein primärer Verlustterm bezüglich der primären Lossfunktion bestimmt wird,
(e) ein Gesamtverlustterm aus dem primären Verlustterm, der mit einer ersten Gewichtung versehen wird, und dem sekundären Verlustterm, der mit einer zweitem Gewichtung versehen wird, berechnet wird und
(f) ein neuer Parametersatz aus dem ursprünglichen Parametersatz so ermittelt wird, dass der Gesamtverlustterm minimiert wird.

Dieses computerimplementiertes Verfahren ist insbesondere ausgebildet das neuronale Netz des vorstehend angegebenen Verfahrens zum Betreiben eines Fahrerassistenzsystems zu trainieren. Es kann somit ferner die vorstehend angegebenen Merkmale dieses Verfahrens aufweisen.
Die vorliegende Erfindung betrifft ferner ein System zur Datenverarbeitung, umfassend Mittel zur Ausführung der vorstehend genannten Schritte (a) bis (f).
Die vorliegende Erfindung betrifft ferner ein System zur Datenverarbeitung, umfassend einen Prozessor, der so konfiguriert ist, dass er das Verfahren nach Anspruch 1 ausführt.
Die vorliegende Erfindung betrifft ferner ein Programmprodukt, umfassend Befehle, die bei der Ausführung des Programms durch eine Datenverarbeitungsvorrichtung diese veranlassen, das vorstehend angegebene Verfahren auszuführen.
Die vorliegende Erfindung betrifft ferner einen computerlesbaren Datenträger, auf dem ein solches Programmprodukt gespeichert ist.
Die Erfindung wird nun anhand eines Ausführungsbeispiels mit Bezug zu den Zeichnungen erläutert.

1 zeigt ein Ausführungsbeispiel des erfindungsgemäßen Fahrerassistenzsystems,
2 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens und
3 zeigt, wie das neuronale Netz bei dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens trainiert wird.

Bei dem Ausführungsbeispiel der Erfindung werden Sensordaten zum Trainieren eines neuronalen Netzes verwendet. Bei den Sensordaten handelt es sich um Rohdaten von Sensoren eines Fahrzeugs. Bei dem Sensor kann es sich um eine Kamera, einen Radarsensor, einen Lidar-Sensor oder einen beliebigen anderen Sensor handeln, welcher Sensordaten erzeugt, welche in einem Fahrerassistenzsystem weiter verarbeitet werden. Im Folgenden wird als Beispiel angenommen, dass es sich bei den Sensordaten um digitale Bilder handelt, welche von einer Kamera eines Fahrzeugs aufgenommen worden sind. Die Erfindung ist jedoch auf gleiche Weise auch auf andere Sensordaten anwendbar.
Im Folgenden wird ein Ausführungsbeispiel des Fahrerassistenzsystems 1 mit Bezug zu 1 erläutert:

Das Fahrerassistenzsystem 1 ist in einem Fahrzeug angeordnet und unterstützt den Fahrer beim Fahren des Fahrzeugs. Es kann passiv Hinweise für den Fahrer ausgeben oder aktiv Einrichtungen zur Fortbewegung des Fahrzeugs steuern. Das Fahrerassistenzsystem 1 umfasst eine Sensoreinheit 2, die zum aufeinanderfolgenden Aufnehmen von Sensordaten der Umgebung des Fahrzeugs ausgebildet ist. Wie vorstehend ausgeführt, umfasst die Sensoreinheit zum Beispiel eine Kamera, einen Radarsensor, einen Lidar-Sensor sowie gegebenenfalls weitere Sensoren zum Erfassen der Umgebung des Fahrzeugs.

Die Sensoreinheit 2 ist mit einer Auswertungseinheit 3 gekoppelt, in welcher ein neuronales Netz 4 gespeichert ist. Das neuronale Netz 4 weist künstliche Neuronen auf, die über einen Parametersatz miteinander verknüpft sind. Die Ausgestaltung des neuronalen Netzes 4 wird später mit Bezug zu dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens und mit Bezug zu 3 erläutert.
Die Auswertungseinheit 3 ist mit einer Steuereinheit 5 gekoppelt. Die Steuereinheit 5 ist ausgebildet, auf Basis von Ausgabedaten des neuronalen Netzes 4 Steuerdaten für Einrichtungen 6 des Fahrzeugs zu erzeugen. Durch die Steuerdaten wird der Fahrer des Fahrzeugs beim Führen des Fahrzeugs unterstützt. Die Einrichtungen 6 können eine Anzeigeeinheit, eine Antriebseinheit, eine Bremseinheit und/oder eine Lenkeinheit des Fahrzeugs umfassen.
Das in der Auswertungseinheit 3 gespeicherte neuronale Netz 4 umfasst einen Parametersatz, welcher mittels einer Trainingseinheit 7 erzeugt worden ist. Die Trainingseinheit 7 ist ausgebildet, durch ein Training des neuronalen Netzes 4 einen neuen Parametersatz des neuronalen Netzes 4 aus einem ursprünglichen Parametersatz zu erzeugen wie es später mit Bezug zu dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens erläutert wird. Das in der Auswertungseinheit 3 gespeicherte neuronale Netz 4 ist somit so ausgebildet, dass es mittels der Trainingseinheit 7 trainiert wurde. Die Ausbildung der Trainingseinheit 7 und die Durchführung des Trainings wird später mit Bezug zu dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens und mit Bezug zu 3 erläutert.
Im Folgenden wird ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens mit Bezug zu 2 und 3 erläutert. Dabei werden weitere Einrichtungen und Ausgestaltungen des erfindungsgemäßen Fahrerassistenzsystems 1, insbesondere der Trainingseinheit 7 weiter beschrieben.
Im Schritt S1 wird ein neuronales Netz 4 definiert, welches in dem Fahrerassistenzsystem 1 zum Einsatz kommen soll.
Im Schritt S2 wird ein anfänglicher Parametersatz für dieses neuronale Netz 4 definiert.
In einem Schritt S3 wird das neuronale Netz 4 iterativ trainiert, wobei bei jeder Wiederholung des Trainings ein jeweils veränderter Parametersatz für das neuronale Netz 4 ermittelt wird.
In einem Schritt S4 wird das neuronale Netz 4 als Computerprogramm in einem Speicher der Auswertungseinheit 3 gespeichert.
Im Betrieb des Fahrerassistenzsystems 1 in einem Fahrzeug werden dann in einem Schritt S5 von der Sensoreinheit 2 Sensordaten von der Umgebung des Fahrzeugs aufgenommen. Beispielsweise werden digitale Bilder von der Umgebung des Fahrzeugs erzeugt.
In einem Schritt S6 werden aus den aufgenommenen Sensordaten Eingangsdaten für eine Eingabeschicht des neuronalen Netzes 4 erzeugt.
In einem Schritt S7 werden die Eingangsdaten von verdeckten Schichten des neuronalen Netzes 4 nacheinander verarbeitet. Daraus werden in einem Schritt S8 Ausgabedaten berechnet, welche über eine Ausgabeschicht des neuronalen Netzes 4 ausgegeben werden.
In einem Schritt S9 werden auf Basis der Ausgabedaten des neuronalen Netzes 4 Steuerdaten für die Einrichtungen 6 des Fahrzeugs erzeugt, durch welche der Fahrer des Fahrzeugs beim Führen des Fahrzeugs unterstützt wird.
Im Folgenden wird mit Bezug zu 3 das Training des neuronalen Netzes 4 mittels der Trainingseinheit 7 erläutert:

Das Training des neuronalen Netzes 4 erfolgt mit Eingangsdaten, die vorab mit einer Sensoreinheit 2 gewonnen wurden, wie sie auch später während des Betriebs des Fahrerassistenzsystems 1 zum Einsatz kommt. Im Folgenden wird davon ausgegangen, dass es sich bei den Sensordaten um digitale Bilder handelt, die während der Fahrt eines Fahrzeugs von der Umgebung des Fahrzeugs aufgenommen wurden. In gleicher Weise können jedoch auch andere Sensordaten verwendet werden, um das neuronale Netz 4 zu trainieren. Das neuronale Netz 4 ist daher nach dem Training in besondere Weise an die im Fahrzeug verwendete Sensoreinheit 2 angepasst und in besondere Weise für den Einsatz in dem Fahrerassistenzsystem 1 geeignet.

Bei der Aufnahme der digitalen Bilder unterliegen diese Störungen. Außerdem enthalten die digitalen Bilder Rauschen. Es kann sich dabei z. B. um Sensorrauschen, Gauß-Rauschen, um Salz-und-Pfeffer-Rauschen oder um ein gleichmäßiges Rauschen handeln. Des Weiteren kann das digitale Bild adverseriale Störungen enthalten.
Das Ziel des Trainings ist es, einen Parametersatz für das neuronale Netz 4 zu finden, welcher eine hohe funktionale Güte des neuronalen Netzes erreicht. Beispielsweise sollen Objekte, wie Verkehrsteilnehmer, Verkehrsschilder oder die Fahrbahn, die von einem digitalen Bild aufgenommen wurden, zuverlässig erkannt werden. Dabei sollen die Objekte auch dann erkannt werden, wenn das digitale Bild verrauscht ist oder von einer adverserialen Störung verändert wurde.
Bei dem neuronalen Netz 4 handelt es sich um ein tiefes neuronales Netz mit einer Eingabeschicht 9, welche mit einer Schnittstelle für die Eingangsdaten 8 verbunden ist, mit einer Ausgabeschicht 10, über welche Ausgabedaten 11 ausgegeben werden, und einer Vielzahl verdeckter Schichten 13. Die verdeckten Schichten 13 sind nacheinander angeordnet, so dass zunächst die Eingangsdaten 8 von der ersten verdeckten Schicht 13-1 verarbeitet werden. Die von der ersten verdeckten Schicht 13-1 erzeugten Zwischendaten werden anschließend von der zweiten verdeckten Schicht 13-2 verarbeitet. Die von dieser Schicht 13-2 erzeugten Zwischendaten werden in der dritten verdeckten Schicht 13-3 verarbeitet, welche sich wiederum in die Schichten 13-3-1 und 13-3-2 aufteilt. Die Zwischendaten der dritten verdeckten Schicht 13-3 werden dann an die vierte verdeckte Schicht 13-4 übertragen, welche wiederum in die Schichten 13-4-1, 13-4-2 und 13-4-3 aufgeteilt ist. An diese vierte verdeckte Schicht 13-4 können sich weitere verdeckte Schichten 13-5 anschließen. Die Anordnung der Schichten 13-1 bis 13-5 ist in 3 beispielhaft dargestellt. Die Darstellung soll das Training des neuronalen Netzes 4 veranschaulichen.
Der Datenfluss in dem neuronalen Netz 4 verläuft von der Eingabeschicht 9 aufeinanderfolgend durch die verdeckten Schichten bis zur Ausgabeschicht 10. Für das Training des neuronalen Netzes 4 werden bei dem hier beschriebenen Ausführungsbeispiel drei Lossfunktionen definiert. Die primäre Lossfunktion ist ausgebildet, eine funktionale Güte der Ausgabedaten für die Steuerdaten zu erreichen. Anhand der primären Lossfunktion kann bestimmt werden, ob Objekte in den digitalen Bildern mittels des neuronalen Netzes 4 korrekt erkannt werden. Die primäre Lossfunktion wird auf die Ausgabedaten der Ausgabeschicht 10 angewendet.
Eine erste sekundäre Lossfunktion ist ausgebildet, eine sekundäre Anforderung für die Ausgabedaten zu erreichen. Im Ausführungsbeispiel der 3 ermittelt die erste sekundäre Lossfunktion, wie verlässlich mit geringen Rauschsignalen überlagerte Basissignale von Sensordaten mittels des neuronalen Netzes 4 erkannt werden. Hierfür wird das Sensorsignal in ein Basissignal, bei diesem Ausführungsbeispiel das digitale Bild, und Rauschsignale zerlegt. Die erste sekundäre Lossfunktion wird auf erste Zwischendaten angewendet, die von einer früh verarbeitenden verdeckten Schicht erzeugt werden. Bei dem in 3 gezeigten Beispiel wird die erste sekundäre Lossfunktion auf die zweite verdeckte Schicht 13-2 angewendet und ein erster sekundärer Verlustterm 14-1 berechnet
Eine zweite sekundäre Lossfunktion ist ausgebildet, eine weitere sekundäre Anforderung für die Ausgabedaten zu erreichen. Im Ausführungsbeispiel der 3 ermittelt die zweite sekundäre Lossfunktion, wie verlässlich mit starken Rauschsignalen überlagerte Basissignale von Sensordaten mittels des neuronalen Netzes 4 erkannt werden. Auch in diesem Fall wird das Sensorsignal in ein Basissignal, bei diesem Ausführungsbeispiel das digitale Bild, und Rauschsignale zerlegt. Die zweite sekundäre Lossfunktion wird auf zweite Zwischendaten angewendet, die von einer später verarbeitenden verdeckten Schicht erzeugt werden. Diese später verarbeitende Schicht ist bei dem Ausführungsbeispiel der 3 die Schicht 13-3-2. Ferner kann die zweite sekundäre Lossfunktion auch auf zweite Zwischendaten der Schicht 13-4-1 angewendet werden, wie es in 3 gezeigt ist. Mittels der zweiten sekundären Lossfunktion wird ein zweiter sekundärer Verlustterm 14-2 erzeugt, der angibt, wie verlässlich mit starken Fahrzeugsensor-Rauschsignalen überlagerte Basissignale mittels des neuronalen Netzes 4 verarbeitet werden.
Die geringen und starken Rauschsignale des digitalen Bildes können aufgrund verschiedenster Beeinträchtigungen bei der Aufnahme des digitalen Bildes verursacht werden. Hierzu gehören der Sensortyp und der verwendete Datentyp. Ferner können Beeinträchtigungen aufgrund von Umgebungseinflüssen wie Witterung, Lichtverhältnissen, Temperaturverhältnissen, Verschmutzungen oder Erschütterungen herrühren. Des Weiteren können sich Beeinträchtigungen aufgrund der Bewegung des Fahrzeugs ergeben, da dieses während der Aufnahme des digitalen Bildes eine Kippbewegung, Neigungsbewegung oder eine Schwingung ausführt. Ferner führt die Bewegung des Fahrzeugs relativ zu der aufgenommenen Umgebung zu einer Beeinträchtigung. Des Weiteren können Beeinträchtigungen von der Verbauposition des Sensors oder mehrerer Sensoren herrühren. Schließlich kann die Kalibrierung der Sensoren zueinander die Aufnahme des digitalen Bildes beeinträchtigen, wenn dieses mittels mehrerer Sensoren, d. h. mehrerer Kameras, aufgenommen wurde.
Die sekundären Verlustterme 14-1 und 14-2 gibt an, wie stark die Auswertung des digitalen Bildes von einem Rauschen oder anderen Beeinträchtigungen beeinflusst wird.
Schließlich ist noch eine tertiäre Lossfunktion definiert, die zum Erreichen einer tertiären Anforderung für die Ausgabedaten 11 ausgebildet ist. Diese tertiäre Anforderung ist die Robustheit des neuronalen Netzes 4 gegen adverseriale Störungen.
Im Folgenden wird beschrieben, wie solche adverserialen Störungen mittels bereits bekannter adverserialer Störungen erzeugt werden können und auf Basis dieser Störungen kann die tertiäre Lossfunktion definiert werden, mittels welcher der dritte Verlustterm 14-3 erzeugt wird, welcher ein Maß für die Robustheit des neuronalen Netzes 4 gegen solche Störungen ist.
Zum Erzeugen der adverserialen Störung wird zunächst eine erste Metrik definiert, die angibt, wie das Ausmaß einer Veränderung von digitalen Bildern gemessen wird. Die erste Metrik bzw. ein Datensatz, welcher die erste Metrik beschreibt, wird in einer ersten Metrikeinheit gespeichert.
Ferner wird eine zweite Metrik definiert, die angibt, worauf eine Störung der digitalen Bilder gerichtet ist. Auch diese zweite Metrik bzw. ein Datensatz, der die zweite Metrik beschreibt, wird in einer zweiten Metrikeinheit gespeichert.
Schließlich wird eine dritte Metrik definiert, die angibt, auf was für digitale Bilder eine Störung Anwendung findet. Diese dritte Metrik bzw. ein Datensatz, der diese dritte Metrik beschreibt, wird in der dritten Metrikeinheit gespeichert.
Dann werden die Datensätze, welche die drei Metriken beschreiben, an eine Verarbeitungseinheit übertragen.
Die Verarbeitungseinheit erzeugt aus einer Kombination der drei Metriken ein Optimierungsproblem. Die Verarbeitungseinheit überträgt einen Datensatz, welcher das erzeugte Optimierungsproblem beschreibt, an eine Lösungseinheit.
Die Lösungseinheit löst das Optimierungsproblem mittels zumindest eines Lösungsalgorithmus, welcher der Lösungseinheit beispielsweise durch Zugriff auf die Datenbank übertragen worden ist. Die Lösung ist eine Ziel-Störung für digitale Bilder.
Ein Datensatz für diese Ziel-Störung wird an eine Erzeugungseinheit übertragen. Diese erzeugt durch Zugriff auf die Datenbank gestörte digitale Bilder.
Mittels dieser gestörten digitalen Bilder kann die tertiäre Lossfunktion gebildet werden, mit der überprüft werden kann, wie stabil das neuronale Netz 4 gegen solche Störungen ist. Beispielsweise kann der quadratische Abstand zwischen einer Aktivierung auf dem gestörten und dem ungestörten Bild in einer Schicht gemessen werden, um einen Verlustterm zu erzeugen. Ein robustes Netz wird in späteren Schichten keine Aktivierungsdifferenz zwischen einem gestörten und einem ungestörten Bild zeigen, wenn sich der semantische Inhalt nicht ändert.
Im Folgenden wird dieses Verfahren zum Erzeugen gestörter digitaler Bilder anhand eines Beispiels, bei welchem Objekte der Klasse Fußgänger vergrößert werden, im Detail erläutert:

Gegeben ist ein Modell M. Für dieses Modell gibt es den Input x. Dieser Input x ist ein digitales Bild. Des Weiteren ist der Output M(x) = y definiert. Eine Störung wird mit Δ bezeichnet, so dass sich als geänderter Input x' = x + Δ ergibt. Der geänderte Output ist dann y' = M(x + Δ). Der Zieloutput wird mit y'' bezeichnet.

Das digitale Bild x wurde segmentiert, d. h. den Pixeln des digitalen Bildes x wurden Klassen zugeordnet. Folgende Klassenzuordnungen haben sich dabei ergeben:

K1: Himmel;

K2: Natur;

K3: Gebäude;

K4: Fußgänger;

K5: Verkehrsschild;

K6: Straße;

K7: Markierung.
Das Ziel der Störung Δ ist es, dass der Fußgänger vergrößert dargestellt wird. Als Zielstörung wird definiert, dass höchstens eine Verschiebung einzelner Pixelwerte um den Wert 3 erfolgen darf. Die Zieldaten bestehen aus einem konkreten Bild x.
Die erste Metrik ist dann wie folgt definiert: $d_{1} (Δ) = {‖ Δ ‖}_{\infty} = max_{p i x e l} | Δ (p i x e l) |$
Die Größe der Störung wird also bemessen als der maximale Pixelwert zwischen 0 und 255 in der Störung Δ.
Die zweite Metrik ist wie folgt definiert: $\begin{array}{l} d_{2} (Δ) = {‖ M (x + Δ) - y'' ‖}_{1} = {‖ y' - y'' ‖}_{1} \\ = \sum_{p i x e l} | y' (p i x e l) - y'' (p i x e l) | \end{array}$
Sie definiert die Summe der Pixelabweichungen vom Zieloutput.
Die dritte Metrik ist wie folgt definiert: $d_{3} (x') = {\begin{matrix} D; x' = x \\ 1; x' \neq x \end{matrix}$
Gemäß dieser dritten Metrik hat also nur das Inputbild x eine kleine Größe. Folglich bezieht sich der Angriff nur auf das Inputbild x, wenn man d₃(x') < 1 fordert. Der Fokus in Hinsicht auf die anzugreifenden Daten ändert sich dramatisch, wenn man d₃(x') < 2 fordert: dann bezieht sich die Attacke auf alle Bilder.
Aus diesen drei Metriken wird dann das Optimierungsproblem wie folgt gebildet: $\bar{Λ} = \underset{d_{1} < 3; d_{s} (x') < 1}{argmin} (d_{2} (Λ))$
Gemäß dem Optimierungsproblem soll ein Δ gefunden werden, so dass d₂(Δ) minimal ist, wobei d₁(Δ) < 3 auf x ist.
Dieses Optimierungsproblem kann anhand an sich bekannter Lösungsalgorithmen gelöst werden. Hierdurch erhält man eine neue adverseriale Störung aus bereits bekannten (d₁, d₃) und neuartigen (d₂) Metriken. Auch durch Rekombination bereits bekannter Metriken (d₁,..,d₃) auf neuartige Weise oder deren Verbindung mit einem anderen Lösungsalgorithmus entstehen neue adverseriale Störungen. Das Verfahren erlaubt so auf einfache Weise eine Konstruktion quasi beliebig vieler neuartiger adverserialer Störungen.
Gemäß einer Variante dieses Beispiels kann man bei der ersten Metrik nur Pixeländerungen in einem Bildbereich zulassen, die als „Baum“ klassifiziert werden. Als Optimierungsproblem ergibt sich dann folgendes: Es soll ein Δ in Bildbereichen „Baum“ in dem digitalen Bild x gefunden werden, so dass d₂(Δ) minimal ist, wobei d₁(Δ) < 3 ist.
Gemäß einer weiteren Variation dieses Beispiels kann man für die dritte Metrik eine Störung für alle Bilder suchen, wobei die erste Metrik d₁ und die zweite Metrik d₂ unverändert gelassen wird. Das Optimierungsproblem kann dann wie folgt formuliert werden: Es soll ein Δ gefunden werden, so dass d₂(Δ) für alle Bilder minimal ist, wobei d₁(Δ) < 3 ist. Mit anderen Worten: Es soll ein Δ mit d₁(Δ) < 3 gefunden werden, so dass die Modellausgabe für alle Inputbilder x wie y'' aussieht.
Bei einem Durchlauf der Eingangsdaten 8 durch das neuronale Netz 4 werden somit die Verlustterme 14-1, 14-2 und 14-3 erzeugt. Ferner werden Ausgabedaten 11 berechnet. Die Ausgabedaten 11 werden den Einheiten 15, 16 und 17 zugeführt. In der Einheit 15 wird ein finaler Verlustterm gegenüber adverserialen Störungen auf Basis des Verlustterms 14-3 erzeugt, von der Einheit 16 wird ein finaler Verlustterm gegenüber den sekundären Anforderungen, wie Beeinträchtigungen durch Rauschen, auf Basis der Verlustterme 14-1 und 14-2 erzeugt. Von der Einheit 17 wird schließlich ein primärer Verlustterm für die funktionale Güte, ein so genannter Funktionsloss, erzeugt, der angibt, wie gut Objekte in den digitalen Bildern mittels des neuronalen Netzes 4 erkannt worden sind. Die Verlustterme der Einheiten 15 bis 17 werden an eine Gewichtungseinheit 12 übertragen. Diese versieht die Verlustterme mit unterschiedlichen Gewichtungen. Hieraus wird ein Gesamtverlustterm von der Gewichtungseinheit 12 berechnet.
Mit der Gewichtungseinheit 12 ist eine Einheit 18 zum Erzeugen eines neuen Parametersatzes verbunden. Diese ermittelt einen neuen Parametersatz aus dem vorherigen Parametersatz so, dass der Gesamtverlustterm, welcher sich aus den gewichteten Verlusttermen 14-1, 14-2 und 14-3 ergibt, minimiert wird.
Mit diesem neuen Parametersatz als neue Eingabedaten wird das neuronale Netz 4 nun erneut durchlaufen. Auf diese Weise wird ein wieder neuer Parametersatz für das neuronale Netz 4 erzeugt. Die zuvor erläuterten Schritte werden somit iterativ wiederholt.
Bei einer Weiterbildung des Ausführungsbeispiels werden bei verschiedenen Durchläufen durch das neuronale Netz 4 jeweils verschiedene Lossfunktionen verwendet. Ferner können bei verschiedenen Wiederholungen jeweils unterschiedliche Gewichtungen der Verlustterme 14-1, 14-2 bzw. 14-3 verwendet werden. Dabei wird die Wechselfrequenz, mit der die Lossfunktionen verändert werden, im Verlauf des Trainings erhöht. Ferner werden die Gewichtungen bei den Durchläufen so verändert, dass zunächst, d. h. bei früheren Durchläufen, Zwischendaten vorderer Schichten, zum Beispiel die zweite Schicht 13-2, stärker gewichtet werden. Der Verlustterm 14-1, der auf Basis von Zwischendaten dieser zweiten verdeckten Schicht 13-2 erzeugt wurde, wird somit mit einer stärkeren Gewichtung versehen. Bei späteren Wiederholungen der Iteration werden dann Zwischendaten hintere Schichten, beispielsweise eine der Schichten 13-5, stärker gewichtet, d. h. der Verlustterm 14-3 wird bei späteren Wiederholungen bei der Iteration stärker gewichtet.
Das mit Bezug zu 3 beschriebene Training des neuronalen Netzes 4 führt zu einem Parametersatz, welcher sehr gut an die verschiedenartigen Anforderungen an den Einsatz in einem Fahrerassistenzsystem 1 angepasst ist, wobei auch die Besonderheit der verwendeten Sensoreinheit 2 berücksichtigt wird.
Bezugszeichenliste

1: Assistenzsysteme
2: Sensoreinheit
3: Auswertungseinheit
4: neuronales Netz
5: Steuereinheit
6: Einrichtungen des Fahrzeugs
7: Trainingseinheit
8: Eingangsdaten
9: Eingabeschicht
10: Ausgabeschicht
11: Ausgabedaten
12: Gewichtungseinheit
13: verdeckte Schichten
13-1: erste verdeckte Schicht
13-2: zweite verdeckte Schicht
13-3: dritte verdeckte Schichten
13-4: vierte verdeckte Schichten
13-5: fünfte verdeckte Schichten..
14: Verlustterme
14-1: primärer Verlustterm
14-2: sekundärer Verlustterm
14-3: dritter Verlustterm
15: Einheit
16: Einheit
17: Einheit
18: Einheit zum Erzeugen eines neuen Parametersatzes

Claims

Verfahren zum Betreiben eines Fahrassistenzsystems (1) eines Fahrzeugs, wobei das Fahrassistenzsystem (1) ein neuronales Netz (4) mit künstlichen Neuronen aufweist, die über einen Parametersatz miteinander verknüpft sind und die auf einer Eingabeschicht (9), mehreren nacheinander angeordneten verdeckten Schichten (13) und einer Ausgabeschicht (10) angeordnet sind, wobei bei dem Verfahren: aufeinanderfolgend Sensordaten von der Umgebung des Fahrzeugs aufgenommen werden, aus den aufgenommenen Sensordaten Eingangsdaten (8) für die Eingabeschicht (9) des neuronalen Netzes (4) erzeugt werden, die von den verdeckten Schichten (13) des neuronalen Netzes (4) nacheinander verarbeitet werden und daraus Ausgabedaten (11) berechnet werden, welche über die Ausgabeschicht (10) des neuronalen Netzes (4) ausgegeben werden, und auf Basis der Ausgabedaten (11) Steuerdaten für zumindest eine Einrichtung des Fahrzeugs erzeugt werden, durch welche der Fahrer des Fahrzeugs beim Führen des Fahrzeugs unterstützt wird, dadurch gekennzeichnet, dass bei einem Training des neuronalen Netzes (4) ein neuer Parametersatz des neuronalen Netzes (4) aus einem ursprünglichen Parametersatz durch folgende Schritte erzeugt wird: (a) eine primäre Lossfunktion, die zum Erreichen einer funktionalen Güte der Ausgabedaten (11) für die Steuerdaten ausgebildet ist, definiert wird, (b) eine sekundäre Lossfunktion, die zum Erreichen einer sekundären Anforderung für die Ausgabedaten (11) ausgebildet ist, definiert wird, (c) bei der aufeinanderfolgenden Verarbeitung der Eingangsdaten (8) in den nacheinander angeordneten verdeckten Schichten (13) mittels des ursprünglichen Parametersatzes die sekundäre Lossfunktion auf erste Zwischendaten, die von einer ersten verdeckten Schicht (13-2) erzeugt werden, angewendet wird und ein sekundärer Verlustterm (14-1, 14-2) bezüglich der sekundären Lossfunktion bestimmt wird, (d) die primäre Lossfunktion auf die Ausgabedaten (11) angewendet wird und ein primärer Verlustterm bezüglich der primären Lossfunktion bestimmt wird, (e) ein Gesamtverlustterm aus dem primären Verlustterm, der mit einer ersten Gewichtung versehen wird, und dem sekundären Verlustterm (14-1, 14-2), der mit einer zweitem Gewichtung versehen wird, berechnet wird und (f) ein neuer Parametersatz aus dem ursprünglichen Parametersatz so ermittelt wird, dass der Gesamtverlustterm minimiert wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Sensordaten digitale Bilder einer Kamera des Fahrzeugs sind und anhand der primären Lossfunktion bestimmt wird, ob Objekte in den digitalen Bildern mittels des neuronalen Netzes (4) erkannt werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der sekundäre Verlustterm (14-1, 14-2) der sekundären Lossfunktion angibt, wie verlässlich mit Rauschsignalen überlagerte Basissignale von Sensordaten mittels des neuronalen Netzes (4) erkannt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Sensordaten eines Sensors des Fahrzeugs erfasst werden, Fahrzeugsensor-Rauschsignale dieser Sensordaten ermittelt werden und der sekundäre Verlustterm (14-1, 14-2) der sekundären Lossfunktion angibt, wie verlässlich mit Fahrzeugsensor-Rauschsignalen überlagerte Basissignale mittels des neuronalen Netzes (4) verarbeitet werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Sensordaten eines Sensors des Fahrzeugs erfasst werden, wobei die Sensordaten von der Umgebung des Fahrzeugs herrührenden Beeinträchtigungen unterliegen, welche die Sensordaten verändern, der sekundäre Verlustterm (14-1, 14-2) der sekundären Lossfunktion angibt, wie verlässlich Sensordaten, die den von der Umgebung des Fahrzeugs herrührenden Beeinträchtigungen unterliegen, mittels des neuronalen Netzes (4) verarbeitet werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Sensordaten eines Sensors des Fahrzeugs erfasst werden, wobei die Sensordaten von der Bewegung des Fahrzeugs herrührenden Beeinträchtigungen unterliegen, welche die Sensordaten verändern, der sekundäre Verlustterm (14-1, 14-2) der sekundären Lossfunktion angibt, wie verlässlich Sensordaten, die den von der Bewegung des Fahrzeugs herrührenden Beeinträchtigungen unterliegen, mittels des neuronalen Netzes (4) verarbeitet werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Sensordaten mehrerer Sensoren des Fahrzeugs erfasst werden, wobei die Sensordaten von der Verbauposition der Sensoren und/oder der Kalibrierung der Sensoren zueinander herrührenden Beeinträchtigungen unterliegen, welche die Sensordaten verändern, der sekundäre Verlustterm (14-1, 14-2) der sekundären Lossfunktion angibt, wie verlässlich Sensordaten, die Beeinträchtigungen, die von der Verbauposition der Sensoren und/oder der Kalibrierung der Sensoren zueinander herrühren, unterliegen, mittels des neuronalen Netzes (4) verarbeitet werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine tertiäre Lossfunktion, die zum Erreichen einer tertiären Anforderung für die Ausgabedaten (11) ausgebildet ist, definiert wird und im Schritt (c) bei der aufeinanderfolgenden Verarbeitung der Eingangsdaten (8) in den nacheinander angeordneten verdeckten Schichten (13) mittels des ursprünglichen Parametersatzes ferner die tertiäre Lossfunktion auf zweite Zwischendaten, die von einer zweiten verdeckten Schicht (13-4, 13-5) erzeugt werden, angewendet wird und ein tertiärer Verlustterm (14-3) bezüglich der tertiären Lossfunktion bestimmt wird, im Schritt (e) der Gesamtverlustterm aus dem primären Verlustterm, der mit einer ersten Gewichtung versehen wird, dem sekundären Verlustterm (14-1, 14-2), der mit einer zweiten Gewichtung versehen wird, und dem tertiären Verlustterm (14-3), der mit einer dritten Gewichtung versehen wird, berechnet wird.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass der tertiäre Verlustterm (14-3) der tertiären Lossfunktion angibt, wie robust mit adverserialen Störungen überlagerte Basissignale von Sensordaten mittels des neuronalen Netzes (4) erkannt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Schritte (a) bis (f) iterativ wiederholt werden, wobei sich die bei einer ersten Wiederholung verwendeten Gewichtungen der Verlustterme (14) von den bei einer zweiten Wiederholung verwendeten Gewichtungen der Verlustterme (14) unterscheiden.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass bei einer Vielzahl von Wiederholungen der Iteration verschiedene Lossfunktionen zum Erzeugen der Verlustterme (14) verwendet werden, wobei die Wechselfrequenz, mit der die Lossfunktionen verändert werden, wechselt.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass die Wechselfrequenz im Verlauf des Trainings erhöht wird.
Verfahren nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass die Gewichtungen bei den Wiederholungen der Verlustterme (14) so verändert werden, dass zunächst Verlustterme (14), die mittels einer Lossfunktion bestimmt worden sind, die auf Zwischendaten angewandt wurde, die von einer vorderen verdeckten Schicht (13-2) erzeugt wurden, die Eingangsdaten (8) früher verarbeitet, zunächst stärker gewichtet werden als Verlustterme (14), die mittels einer Lossfunktion bestimmt worden sind, die auf Zwischendaten angewandt wurde, die von einer hinteren verdeckten Schicht (13-5) erzeugt wurden, die Eingangsdaten (8) später verarbeitet, und später dann Verlustterme (14), die mittels einer Lossfunktion bestimmt worden sind, die auf Zwischendaten angewandt wurde, die von einer vorderen verdeckten Schicht (13-1) erzeugt wurden, die Eingangsdaten (8) früher verarbeitet, geringer gewichtet werden als Verlustterme (14), die mittels einer Lossfunktion bestimmt worden sind, die auf Zwischendaten angewandt wurde, die von einer hinteren verdeckten Schicht (13-5) erzeugt wurden, die Eingangsdaten (8) später verarbeitet.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuerdaten Einrichtungen zum Fortbewegen des Fahrzeugs autonom steuern.
Fahrerassistenzsystem (1) für ein Fahrzeug mit: einer in dem Fahrzeug angeordneten Sensoreinheit (2) zum aufeinanderfolgenden Aufnehmen von Sensordaten der Umgebung des Fahrzeugs, einer mit der Sensoreinheit (2) gekoppelten Auswertungseinheit (3), in welcher ein neuronales Netz (4) gespeichert ist, das künstliche Neuronen aufweist, die über einen Parametersatz miteinander verknüpft sind und die auf einer Eingabeschicht (9), mehreren hintereinander angeordneten verdeckten Schichten (13) und einer Ausgabeschicht (10) angeordnet sind, wobei die Auswertungseinheit (3) eingerichtet ist, aus den aufgenommenen Sensordaten Eingangsdaten (8) für die Eingabeschicht (9) des neuronalen Netzes (4) zu erzeugen, die von den verdeckten Schichten (13) des neuronalen Netzes (4) verarbeitet werden und daraus Ausgabedaten (11) zu berechnen, welche über die Ausgabeschicht (10) des neuronalen Netzes (4) ausgegeben werden, und einer Steuereinheit, die mit der Auswertungseinheit (3) gekoppelt ist und die ausgebildet ist, auf Basis der Ausgabedaten (11) Steuerdaten für zumindest eine Einrichtung (6) des Fahrzeugs zu erzeugen, durch welche der Fahrer des Fahrzeugs beim Führen des Fahrzeugs unterstützt wird, dadurch gekennzeichnet, dass das neuronale Netz (4) so ausgebildet ist, dass es mittels einer Trainingseinheit (7) trainiert worden ist, die ausgebildet ist, durch ein Training des neuronalen Netzes (4) einen neuen Parametersatz des neuronalen Netzes (4) aus einem ursprünglichen Parametersatz dadurch zu erzeugen, dass (a) eine primäre Lossfunktion, die zum Erreichen einer funktionalen Güte der Ausgabedaten (11) für die Steuerdaten ausgebildet ist, definiert wird, (b) eine sekundäre Lossfunktion, die zum Erreichen einer sekundären Anforderung für die Ausgabedaten (11) ausgebildet ist, definiert wird, (c) bei der aufeinanderfolgenden Verarbeitung der Eingangsdaten (8) in den nacheinander angeordneten verdeckten Schichten (13) mittels des ursprünglichen Parametersatzes die sekundäre Lossfunktion auf erste Zwischendaten, die von einer ersten verdeckten Schicht (13-2) erzeugt werden, angewendet wird und ein sekundärer Verlustterm (14-1, 14-2) bezüglich der sekundären Lossfunktion bestimmt wird, (d) die primäre Lossfunktion auf die Ausgabedaten (11) angewendet wird und ein primärer Verlustterm bezüglich der primären Lossfunktion bestimmt wird, (e) ein Gesamtverlustterm aus dem primären Verlustterm, der mit einer ersten Gewichtung versehen wird, und dem sekundären Verlustterm (14-1, 14-2), der mit einer zweitem Gewichtung versehen wird, berechnet wird und (f) ein neuer Parametersatz aus dem ursprünglichen Parametersatz so ermittelt wird, dass der Gesamtverlustterm minimiert wird.