DE102019208735B4

DE102019208735B4 - Verfahren zum Betreiben eines Fahrassistenzsystems eines Fahrzeugs und Fahrerassistenzsystem für ein Fahrzeug

Info

Publication number: DE102019208735B4
Application number: DE102019208735.3A
Authority: DE
Inventors: Fabian Hüger; Peter Schlicht; Nico Maurice Schmidt
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2019-06-14
Filing date: 2019-06-14
Publication date: 2021-12-23
Anticipated expiration: 2039-06-15
Also published as: WO2020249755A1; CN114008683A; US20220266854A1; DE102019208735A1; EP3983934A1

Abstract

Verfahren zum Betreiben eines Fahrassistenzsystems (20) eines Fahrzeugs, bei dem aufeinanderfolgend Sensordaten von der Umgebung des Fahrzeugs aufgenommen werden,die aufgenommenen Sensordaten verifiziert werden,die verifizierten Sensordaten mittels eines neuronalen Netzes (11) analysiert werden und dadurch analysierte Sensordaten erzeugt werden, undauf Basis der analysierten Sensordaten Steuerdaten zum teilautomatisierten oder vollautomatisierten Steuern des Fahrzeugs erzeugt werden,dadurch gekennzeichnet, dassbei der Verifikation der Sensordaten zumindest erste Sensordaten, die zu einem ersten, früheren Zeitpunkt aufgenommen wurden, mit zweiten Sensordaten, die zu einem zweiten, späteren Zeitpunkt aufgenommen wurden, verglichen werden,das Ergebnis des Vergleichs mit Daten einer Datenbank (16) abgeglichen wird, in welcher Daten zu Störungen von Eingangsdaten eines neuronalen Netzes gespeichert sind, wobei geprüft wird, ob die zweiten Sensordaten zumindest teilweise durch eine in der Datenbank (16) gespeicherte Störung der ersten Sensordaten erzeugt wurden,wobei die in der Datenbank (16) gespeicherten Daten natürlich vorkommende Störungen und andere Störungen beschreiben,wobei in der Datenbank (16) eine Klassifizierung der Störungen gespeichert ist, mit der geprüft wird, ob eine Veränderung der Sensordaten von einer natürlich vorkommenden Störung oder einer anderen Störung erzeugt wurde,wobei bei Veränderungen der Sensordaten, die durch eine natürlich vorkommende Störung verursacht wurden, die Sensordaten verifiziert werden und bei Sensordaten, die durch eine andere Störung verursacht wurden, die Sensordaten nicht verifiziert werden und diese Sensordaten dann nicht zur Erzeugung der analysierten Sensordaten mittels des neuronalen Netzes genutzt werden.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs, bei dem aufeinanderfolgend Sensordaten von der Umgebung des Fahrzeugs aufgenommen werden. Die aufgenommenen Sensordaten werden verifiziert. Die verifizierten Sensordaten werden dann mittels eines neuronalen Netzes analysiert. Dadurch werden analysierte Sensordaten erzeugt. Auf Basis der analysierten Sensordaten werden Steuerdaten zum teilautomatisierten oder vollautomatisierten Steuern des Fahrzeugs erzeugt. Ferner betrifft die Erfindung ein Fahrerassistenzsystem für ein Fahrzeug mit einer in dem Fahrzeug angeordneten Sensoreinheit zum Aufnehmen von Sensordaten der Umgebung des Fahrzeugs.
Moderne Fahrzeuge umfassen Fahrerassistenzsysteme, welche den Fahrer bei der Steuerung des Fahrzeugs unterstützen oder die Fahraufgabe teilweise oder vollständig übernehmen. Durch die Verwendung von solchen Fahrerassistenzsystemen können verschiedene Grade der Automatisierung der Fahrzeugsteuerung erreicht werden. Bei einem niedrigen Automatisierungsgrad werden dem Fahrer nur Informationen und Warnungen ausgegeben. Bei höheren Automatisierungsgraden greift das Fahrerassistenzsystem aktiv in die Steuerung des Fahrzeugs ein. Beispielsweise wird in die Lenkung des Fahrzeugs oder die Beschleunigung in positiver oder negativer Richtung eingegriffen. Bei einem noch höheren Grad der Automatisierung wird so weit in Einrichtungen des Fahrzeugs eingegriffen, dass bestimmte Fortbewegungsarten des Fahrzeugs, zum Beispiel eine Geradeausfahrt, automatisch ausgeführt werden können. Beim höchsten Grad der Automatisierung kann das Fahrzeug autonom fahren.
Bei derartigen Fahrerassistenzsystemen ist die Analyse von digitalen Bildern, die von der Umgebung des Fahrzeugs während der Fahrt aufgenommen werden, von essentieller Bedeutung. Nur wenn die digitalen Bilder korrekt analysiert werden, kann das Fahrerassistenzsystem das Fahrzeug sicher steuern. Bei der Analyse von digitalen Bildern eines Fahrerassistenzsystems hat das maschinelle Lernen großes Potential. Die Sensorrohdaten, die zum Beispiel von einer Kamera, einem Radarsensor oder einem Lidar-Sensor eines Fahrzeugs erzeugt werden, werden mittels eines tiefen neuronalen Netzes verarbeitet. Das neuronale Netz erzeugt Ausgangsdaten, aus denen das Fahrerassistenzsystem relevante Informationen zum teilautomatisierten oder vollautomatisierten Fahren ableitet. Beispielsweise wird die Art und Position von Objekten im Fahrzeugumfeld und deren Verhalten ermittelt. Ferner kann mittels neuronaler Netze die Fahrbahngeometrie und Fahrbahntopologie ermittelt werden. Für die Verarbeitung von digitalen Bildern sind insbesondere Faltungsnetze (convolutional neuronal networks) besonders geeignet.
Für den Einsatz in einem Fahrerassistenzsystem werden solche tiefen neuronalen Netze trainiert. Dabei können die Parameter des neuronalen Netzes durch die Eingabe von Daten geeignet angepasst werden, ohne dass ein menschlicher Experte eingreifen muss. Für eine gegebene Parametrisierung wird dabei die Abweichung einer Ausgabe eines neuronalen Netzes von einer Grundwahrheit gemessen. Diese Abweichung wird auch als „Loss“ bezeichnet. Dabei wird eine so genannte Lossfunktion in einer Weise gewählt, dass die Parameter differenzierbar von ihr abhängen. Im Rahmen eines Gradientenabstiegs werden in jedem Trainingsschritt dann die Parameter des neuronalen Netzes in Abhängigkeit von der Ableitung der Abweichung, die auf Basis mehrerer Beispiele ermittelt wird, angepasst. Diese Trainingsschritte werden sehr oft wiederholt, bis sich die Abweichung, d. h. der Loss, nicht mehr verringert.
Die Parameter werden bei dieser Vorgehensweise ohne die Einschätzung eines menschlichen Experten oder eine semantisch motivierte Modellierung ermittelt. Dies hat für die neuronalen Netze zur Folge, dass sie vielfach für Menschen weitgehend intransparent sind und ihre Berechnungen nicht interpretierbar sind. Dies führt dazu, dass insbesondere tiefe neuronale Netze vielfach nicht systematisch getestet oder formell verifiziert werden können.
Des Weiteren ergibt sich das Problem, dass tiefe neuronale Netze anfällig für schädliche Störeinflüsse (adversial perturbations) sind. Kleine, für den Menschen kaum oder gar nicht wahrnehmbare Manipulationen an den Eingangsdaten oder Manipulationen, welche die Situationseinschätzung nicht verändern, können zu Ausgangsdaten führen, welche sich erheblich von den Ausgangsdaten unterscheiden, welche sich ohne die Manipulation ergeben würden. Solche Manipulationen können sowohl mutwillig herbeigeführte Veränderungen der Sensordaten sein als auch zufällig auftretende Bildveränderungen aufgrund von Sensorrauschen, Witterungseinflüssen oder bestimmten Farben und Kontrasten.
Es ist dabei nicht vorhersehbar, auf welche Eingangsmerkmale ein neuronales Netz so sensibel reagiert, dass sich die Ausgangsdaten auch bei geringfügigen Veränderungen der Eingangsdaten erheblich ändern. Dies hat zur Folge, dass synthetische Daten nicht erfolgreich für das Training von neuronalen Netzen, die in solchen Fahrerassistenzsystemen eingesetzt werden, verwendet werden können. Es hat sich herausgestellt, dass neuronale Netze, die in Simulationen oder auf anderweitig synthetischen Daten trainiert wurden, eine schwache Performance beim Einsatz in einem Fahrerassistenzsystem mit reellen Sensordaten aufweisen. Außerdem hat sich herausgestellt, dass auch eine Ausführung eines Fahrerassistenzsystems mit einem neuronalen Netz in einer anderen Domäne die funktionale Güte stark reduzieren kann. Beispielsweise kann es passieren, dass ein Fahrerassistenzsystem mit einem neuronalen Netz, das im Sommer trainiert wurde, für die Ausführung im Winter ungeeignet ist. Die Entwicklung und Freigabe von neuronalen Netzen für Fahrerassistenzsysteme auf der Basis einer Simulation ist daher problematisch.
Es besteht daher ein Bedürfnis neuronale Netze für Fahrerassistenzsysteme zu entwickeln, welche robust gegen Störungen sind. Die neuronalen Netze sollen auch dann für das Fahrerassistenzsystem brauchbare Ausgangsdaten erzeugen, wenn die Eingangsdaten gestört sind.
Die DE 10 2016 202 805 A1 beschreibt ein Verfahren zum Ermitteln eines Indizes dafür, dass ein erster Umfeldsensor eines ersten Fahrzeugs durch einen zweiten Umfeldsensor eines zweiten Fahrzeugs gestört wird. Weiterhin wird das Anpassen eines Moduls zur Erfassung und Auswertung der Sensordaten in Abhängigkeit des Indizes beschrieben.
Die DE 10 2017 204 404 B3 schlägt ein Verfahren und eine Vorrichtung zum Vorhersagen eines Verhaltens eines Objekts in einer Umgebung eines Kraftfahrzeugs vor, wobei mittels Umgebungsdaten das Objekt automatisch erkannt und klassifiziert wird.
Die DE 10 2010 012 682 A1 beschreibt ein Verfahren zur Regelung einer Stellgröße unter Verwendung eines auf einem Chip basierenden, neuronalen Netzes, das an einen Sensor angeschlossen ist und Zugriff auf eine Datenbank hat. Die Sensordaten werden im neuronalen Netz verarbeitet, welches eine Abweichungsfunktion erkennt, und mittels einem iterativen Verfahren die Störung korrigiert wird.
Beim Einsatz des neuronalen Netzes in einem Fahrerassistenzsystem soll außerdem erkannt werden, ob die aufgenommenen Sensordaten authentisch sind. Die Sensordaten sollen zuverlässig verifiziert werden können. Es soll insbesondere erkannt werden, ob die Sensordaten durch eine schädliche Störung verändert worden sind.
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde ein Verfahren und ein Fahrerassistenzsystem der eingangs genannten Art anzugeben, bei welchen die aufgenommenen Sensordaten zuverlässig verifiziert werden.
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen des Anspruchs 1 und einem Fahrerassistenzsysteme mit den Merkmalen des Anspruchs 8 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den abhängigen Ansprüchen.
Bei dem erfindungsgemäßen Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs werden aufeinanderfolgend Sensordaten von der Umgebung des Fahrzeugs aufgenommen. Die aufgenommenen Sensordaten werden verifiziert. Bei der Verifikation der Sensordaten werden zumindest erste Sensordaten, die zu einem ersten, früheren Zeitpunkt aufgenommen wurden, mit zweiten Sensordaten, die zu einem zweiten, späteren Zeitpunkt aufgenommen wurden, verglichen. Das Ergebnis des Vergleichs wird mit Daten einer Datenbank abgeglichen, in welcher die Daten zu Störungen von Eingangsdaten eines neuronalen Netzes gespeichert sind, wobei geprüft wird, ob die zweiten Sensordaten zumindest teilweise durch eine in der Datenbank gespeicherte Störung der ersten Sensordaten erzeugt wurden. Die verifizierten Sensordaten werden dann mittels eines neuronalen Netzes analysiert. Dadurch werden analysierte Sensordaten erzeugt. Auf Basis der analysierten Sensordaten werden dann Steuerdaten zum teilautomatisierten oder vollautomatisierten Steuern des Fahrzeugs erzeugt.
Bei dem erfindungsgemäßen Verfahren werden die Sensordaten, die von der Umgebung des Fahrzeugs aufgenommen werden, zuverlässig anhand von Störungen verifiziert, die vorab in einer Datenbank gespeichert sind. Auf diese Weise ist es möglich, bekannte schädliche Störungen für neuronale Netze, die in einem Fahrerassistenzsystem eingesetzt werden, zuverlässig beim Einsatz des neuronalen Netzes in einem Fahrerassistenzsystem zu erkennen. Die Störungen können dabei insbesondere in Echtzeit erkannt werden. Auf diese Weise ist es außerdem möglich, zeitliche Veränderungen der Sensordaten, die durch natürliche Veränderungen der Umgebung des Fahrzeugs verursacht werden, von schädlichen Störungen abzugrenzen.
Die Sensordaten sind insbesondere digitale Bilder einer Kamera des Fahrzeugs. Die digitalen Bilder nehmen die Umgebung des Fahrzeugs auf. Bei den Sensordaten handelt es sich insbesondere um Sensorrohdaten, insbesondere Sensorrohdaten der Kamera.
Die Sensordaten können des Weiteren die von einem Radarsensor oder einem Lidar-Sensor erzeugten Daten sein. Auch in diesem Fall sind die Sensordaten insbesondere Sensorrohdaten.
Die Datenbank, in welcher die Daten zu Störungen von Eingangsdaten des neuronalen Netzes gespeichert sind, ist insbesondere in dem Fahrzeug angeordnet. Bei dem Abgleich des Vergleichs der zu verschiedenen Zeitpunkten aufgenommenen Sensordaten mit der Datenbank, kann somit direkt, das heißt ohne eine drahtlose Schnittstelle, auf die Datenbank zugegriffen werden. Hierdurch wird sichergestellt, dass der Abgleich jederzeit im Fahrzeug ausgeführt werden kann, auch dann, wenn das Fahrzeug keine Datenverbindung zu externen Einrichtungen hat.
Die in der Datenbank gespeicherten Daten beschreiben erfindungsgemäß natürlich vorkommende Störungen. Hierbei handelt es sich beispielsweise um Witterungseinflüsse, wie Nebel oder Schnee, Sensorrauschen, Kameraverschmutzungen oder durch Texturen erzeugte Veränderungen. Ferner sind natürlich vorkommende Störungen natürlich vorkommende Objekte in der Umgebung eines Fahrzeugs, wie beispielsweise gedruckte Plakate oder Aufkleber auf Objekten. Alternativ können in der Datenbank auch weitere, zum Beispiel künstliche Störungen gespeichert sein, wobei jedoch zusätzlich erfindungsgemäß eine Klassifizierung der Störungen gespeichert ist, so dass bei dem Abgleich des Ergebnisses des Vergleichs der zu verschiedenen Zeitpunkten aufgenommenen Sensordaten mit der Datenbank geprüft wird, ob eine Veränderung der Sensordaten von einer natürlich vorkommenden Störung oder einer anderen, zum Beispiel künstlichen, insbesondere schädlichen Störung erzeugt wurde.
Wird bei einer schädlichen Störung beispielsweise ein Muster oder Raster über die Sensordaten gelegt, kann dies durch die Plausibilitätsprüfung von der Verifikation erkannt werden, da derartige Muster oder Raster keine natürlich vorkommenden Störungen sind.
Erfindungsgemäß werden bei Veränderungen der Sensordaten, die durch eine natürlich vorkommende Störung verursacht wurden, die Sensordaten verifiziert. Wenn dies nicht der Fall ist, ist die Wahrscheinlichkeit hoch, dass die Veränderung der Sensordaten durch eine schädliche Störung ausgelöst wurde. In diesem Fall werden erfindungsgemäß die Sensordaten nicht verifiziert und diese Sensordaten werden dann nicht zur Erzeugung der analysierten Sensordaten mittels des neuronalen Netzes genutzt.
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens werden die verifizierten Sensordaten plausibilisiert, indem ergänzende Sensordaten von der Umgebung des Fahrzeugs gewonnen werden, die ergänzenden Sensordaten analysiert werden, Abweichungen der zweiten Sensordaten von den ersten Sensordaten ermittelt werden und geprüft wird, ob die Abweichungen in Übereinstimmung mit der Analyse der ergänzenden Sensordaten ist. Die Ursache für Abweichungen der zu verschiedenen Zeitpunkten aufgenommenen Sensordaten liegt zum einen in der Bewegung des Fahrzeugs relativ zu der Umgebung. Zusätzlich zu diesen mit der Bewegung des Fahrzeugs verbundenen Abweichungen können jedoch auch Abweichungen erzeugt werden, die von einer Veränderung der Umgebung herrühren. Durch die ergänzenden Sensordaten kann geprüft werden, ob diese weiteren Abweichungen von solchen Umgebungsveränderungen verursacht werden. Durch die Plausibilitätsprüfung kann eine schädliche Störung erkannt werden, welche an sich einer natürlich vorkommenden Störung entspricht oder einer solchen ähnelt. Ergibt sich beispielsweise aus den Sensordaten, dass sich die Witterungsverhältnisse so geändert haben, dass sich Nebel in der Umgebung des Fahrzeugs zeigt, kann dies durch die ergänzenden Sensordaten plausibilisiert werden. Wenn beispielsweise ein optischer Sensor anzeigt, dass kein Nebel vorliegt, das heißt, dass klare Sichtverhältnisse vorliegen, kann erkannt werden, dass die Veränderungen der Sensordaten, welche von Nebel hätten verursacht werden können, tatsächlich durch eine schädliche Störung verursacht wurden. Durch die Plausibilisierung der Sensordaten kann die Überprüfung der gewonnenen Sensordaten weiter verbessert werden. Hierdurch wird die Sicherheit beim Einsatz des Verfahrens in einem Fahrerassistenzsystem erhöht.
Bei der Analyse der ergänzenden Sensordaten werden insbesondere Sichtverhältnisse in der Umgebung des Fahrzeugs gewonnen. Es wird dann geprüft, ob die Abweichungen der zweiten Sensordaten von den ersten Sensordaten zumindest teilweise von den Sichtverhältnissen in der Umgebung des Fahrzeugs herrühren. Die Sichtverhältnisse in der Umgebung des Fahrzeugs lassen sich besonders einfach durch Sensoren, die üblicherweise bereits im Fahrzeug vorgesehen sind, unabhängig von den Sensoren des Fahrerassistenzsystems überprüfen. Auf diese Weise kann eine schädliche Störung des Fahrerassistenzsystems durch Sensoren erkannt werden, welche nicht direkt vom Fahrerassistenzsystem zum Erzeugen der Steuerdaten verwendet werden. Auch hierdurch wird die Sicherheit beim Betrieb des Verfahrens in einem Fahrerassistenzsystem erhöht.
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens, wird ein verbesserter Parametersatz des neuronalen Netzes, welches bei dem Verfahren eingesetzt wird, durch folgende Schritte erzeugt:

a. Bereitstellen eines neuronalen Netzes mit dem zugehörigen Parametersatz,
b. Erzeugen von Trainingsdaten mittels eines Beispiel-Sensordatensatzes,
c. Erzeugen einer ersten Analyse des Beispiel-Datensatzes auf Basis der Trainingsdaten mittels des neuronalen Netzes,
d. Erzeugen von gestörten Eingangsdaten als Trainingsdaten für den Beispiel-Sensordatensatz mittels des vorstehend beschriebenen Verfahrens zum Erzeugen von gestörten Eingangsdaten für ein neuronales Netz,
e. Erzeugen einer zweiten Analyse des Beispiel-Sensordatensatzes auf Basis der gestörten Eingangsdaten mittels des neuronalen Netzes,
f. Vergleichen der ersten und zweiten Analyse und
g. Erzeugen eines verbesserten Parametersatzes für das neuronale Netz auf Basis des Ergebnisses des Vergleichs der ersten und zweiten Analyse.

Bei dem Beispiel-Sensordatensatz handelt es sich insbesondere um ein digitales Beispielbild. Bei den Sensordaten, die zur Verbesserung des Parametersatzes verwendet werden, handelt es sich um vorab gewonnene Sensordaten, die für das Training des neuronalen Netzes verwendet werden. Diese können jedoch ähnliche Sensordaten, zum Beispiel ähnliche digitale Bilder, zeigen, wie sie im Einsatz des Verfahrens in einem Fahrerassistenzsystem im Feld erzeugt werden.
Den verbesserten Parametersatz erhält man somit durch ein Training des neuronalen Netzes. Das Training wird für gestörte und ungestörte Sensordaten, d. h. insbesondere digitale Bilder, durchgeführt. Der verbesserte Parametersatz ergibt sich dann beispielsweise aus einem Gradientenabstieg (adverseriales Training).
Bei dieser Weiterbildung des erfindungsgemäßen Verfahrens können insbesondere die gestörten Eingangsdaten dadurch erzeugt werden, dass eine erste Metrik definiert wird, die angibt, wie das Ausmaß einer Veränderung eines digitalen Bildes gemessen wird, und eine zweite Metrik definiert wird, die angibt, worauf eine Störung der Eingangsdaten eines digitalen Bildes gerichtet ist. Aus einer Kombination der ersten Metrik und der zweiten Metrik wird ein Optimierungsproblem erzeugt. Das Optimierungsproblem wird mittels zumindest eines Lösungsalgorithmus gelöst, wobei die Lösung eine Ziel-Störung der Eingangsdaten angibt, und mittels der Ziel-Störung gestörte Eingangsdaten von Sensordaten für das neuronale Netz erzeugt werden.
Bei den Sensordaten handelt es sich insbesondere um digitale Bilder. Die Ziel-Störung erzeugt in diesem Fall somit gestörte, d. h. veränderte digitale Bilder, welche die Eingangsdaten für das neuronale Netz bilden, welches das digitale Bild analysiert.
Bei dem erfindungsgemäßen Verfahren werden mögliche schädliche Störungen eines neuronalen Netzes, welches zur Analyse von Sensordaten eingesetzt wird, auf einer strukturellen Ebene betrachtet. Die Störung wird als eine Komposition verschiedener Elemente betrachtet, für die verschiedene Metriken definiert werden. Überraschenderweise konnte hierdurch erreicht werden, dass nicht mehr nur willkürlich zusammengesetzte Störungen verwendet werden, sondern es wird möglich, eine große Anzahl neuer schädlicher Ziel-Störungen auf der Basis von bekannten Störungen zu generieren, indem die Struktur bekannter Störungen hinsichtlich der Metriken analysiert wird.
Bei dem erfindungsgemäßen Verfahren wird vorteilhafterweise aus zwei Metriken, welche Veränderungen von Sensordaten, insbesondere eines digitalen Bildes, messen, ein Optimierungsproblem erzeugt. Für ein solches Optimierungsproblem gibt es eine große Anzahl von bekannten Lösungsalgorithmen. Mit diesen Lösungsalgorithmen kann das Optimierungsproblem somit gelöst werden. Hierdurch wird eine Ziel-Störung der Eingangsdaten erzeugt. Mittels dieser Ziel-Störung können dann gestörte Eingangsdaten von Sensordaten für das neuronale Netz erzeugt werden. Auf Basis dieser gestörten Eingangsdaten kann das neuronale Netz dann getestet und trainiert werden. Vorteilhafterweise ermöglicht das erfindungsgemäße Verfahren, sehr schnell und auf einfache Weise neue Störungen zu generieren.
Die bei dem erfindungsgemäßen Verfahren eingesetzte erste Metrik gibt an, wie das Ausmaß einer Veränderung von Sensordaten gemessen wird. Handelt es sich bei den Sensordaten um ein digitales Bild einer Kamera, soll die Störung zum Testen des neuronalen Netzes üblicherweise möglichst klein sein. Die erste Metrik gibt an, wie das Ausmaß der Veränderung des digitalen Bildes quantifiziert werden kann. Ein digitales Bild kann beispielsweise dadurch verändert werden, dass die Pixel des Bildes verschoben werden, gedreht werden oder gespiegelt werden. Die erste Metrik gibt das Ausmaß der Veränderung bei derartigen Transformationen an. Eine Rotation oder Translation eines digitalen Bildes kann nach der ersten Metrik durch einen Fixpunkt und den Rotationswinkel bzw. den Translationsabstand in horizontaler und vertikaler Richtung definiert sein. Ferner kann für jedes Pixel des Bildes die erste Metrik die Bildabstände dadurch bestimmen, dass die Summe der Differenzen aller Pixelwerte ermittelt wird. Der Pixelwert kann beispielsweise ein Graustufenwert oder ein Farbwert sein. Für jedes Pixel bildet man die Differenz des Pixelwerts für das ursprüngliche Bild und für das gestörte Bild. Diese Differenz wird für jedes Pixel bestimmt und die Differenzen werden dann addiert. Im Ergebnis ergibt sich ein Bildabstand, welcher den Unterschied der beiden Bilder nach der ersten Metrik angibt.
Des Weiteren kann man nach der ersten Metrik veränderte Bildbereiche betrachten. Die Bildbereiche können durch einen Ausgangspunkt und eine Ausdehnung in horizontaler und vertikaler Richtung, oder durch eine Liste von Pixeln definiert sein. Für diese Bildbereiche kann man nach der ersten Metrik Bildabstände bestimmen.
Des Weiteren kann die erste Metrik das Ausmaß einer Veränderung eines digitalen Bildes in Bezug auf Bildcharakteristika, wie z. B. Luminanz-, Kontrast- und/oder Strukturwerte, oder beliebige Kombinationen davon, angeben.
Bei der Definition der ersten Metrik können auch Einschränkungen enthalten sein, beispielsweise dass die Veränderungen, welche bei der ersten Metrik betrachtet werden, nur solche Bildbereiche berücksichtigen, bei denen beispielsweise bestimmte Bildcharakteristika vorliegen. Beispielsweise können nur solche Bereiche betrachtet werden, bei denen der Kontrast einen bestimmten Schwellwert überschreitet.
Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens ist die zweite Metrik auf eine Änderung der Klassifikation von Objekten gerichtet. Sie misst insbesondere die Abweichung der wahren Modellausgabe vom der angestrebten falschen Modellausgabe, also das Ziel der adverserialen Störung. Bei einem digitalen Bild können beispielsweise kleine Bildbereiche oder eine kleine Anzahl von Pixeln so gestört werden, dass ein Objekt des digitalen Bildes nicht mehr als Verkehrsteilnehmer, wie beispielsweise als Fußgänger, erkannt wird, sondern als ein anders klassifiziertes Objekt, zum Beispiel ein Bereich einer Fahrbahn. Ferner kann die Störung darauf gerichtet sein, dass immer dann, wenn ein Bereich als Straße erkannt wird, diese Straße immer als leere Straße ohne andere Verkehrsteilnehmer erkannt wird.
Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens kann die zweite Metrik auf ein Verschwinden von Objekten gerichtet sein. Die Störung ist zum Beispiel darauf gerichtet, dass erkannte Objekte so verändert werden, dass sie verschwinden. Die zweite Metrik kann sich dabei auch nur auf bestimmte Bildbereiche beziehen. Beispielsweise kann die Störung, die durch die zweite Metrik beschrieben wird, darauf gerichtet sein, dass Objekte einer bestimmten Klasse in einem bestimmten Bildbereich nicht vorkommen können.
Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens ist die zweiten Metrik auf eine Veränderung eines Objekts einer bestimmten Klasse gerichtet. Beispielsweise kann ein Objekt erkannt und klassifiziert werden. Beispielsweise kann ein Bildbereich einem Verkehrsteilnehmer zugeordnet werden. Die zweite Metrik ist dann beispielsweise darauf gerichtet, dieses Objekt größer oder kleiner oder an einer anderen Position darzustellen. Beispielsweise können als Fußgänger klassifizierte Objekte kleiner oder größer dargestellt werden. Die Vergrößerung wird in diesem Fall beispielsweise durch die absolute Angabe von Pixeln, durch die das Objekt durch die Störung links, rechts, oben und unten vergrößert bzw. verkleinert wird, definiert.
Es gibt eine große Anzahl möglicher Störungen, die durch die zweite Metrik beschrieben werden können. Es können beliebige Änderungen der Sensordaten herbeigeführt werden, um die Sensordaten so zu verändern, dass bei der Analyse der Sensordaten in einem Fahrerassistenzsystem insbesondere sicherheitsrelevante Ergebnisse nicht mehr korrekt erzielt werden können. Beispielsweise kann ein Muster oder ein Raster auf die Sensordaten angewandt werden, damit bei einem digitalen Bild Objekte einer bestimmten Klasse, beispielsweise Fußgänger, verschwinden, andere Objekte jedoch weiterhin korrekt klassifiziert werden. Für die Anwendung des erfindungsgemäßen Verfahrens in einem Fahrerassistenzsystem sind dabei insbesondere solche zweite Metriken relevant, welche die natürlich erscheinende Störungen bemessen: die Modellausgabe erscheint plausibel, weicht von der Wahrheit aber in bestimmten, sicherheitsrelevanten Einzelheiten ab.
Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens sind die Störungen, die durch die erste und/oder zweite Metrik beschrieben werden, natürlich vorkommende Störungen. Für die Anwendung in einem Fahrerassistenzsystem wird für die möglichen Störungen, die durch die erste und/oder zweite Metrik beschrieben werde, somit eine Auswahl getroffen, die für die Überprüfung und Verbesserung von neuronalen Netzen für einen Einsatz in einem Fahrerassistenzsystem besonders relevant sind.
Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens sind die ersten und/oder zweiten Metriken in einer Datenbank gespeichert. Ein Datensatz zu einer natürlich vorkommenden Störung, die mit der ersten und/oder zweiten Metrik gemessen wird, wird dann aus der Datenbank geladen. Die Metriken für mögliche Störungen an den Eingangsdaten (erste Metriken) und für mögliche Veränderungen an den Modellausgaben (zweite Metriken) können beispielsweise in der Datenbank gespeichert sein. Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens wird dann ein Datensatz zu einer natürlich vorkommenden Störung (gemessen mit einer ersten Metrik) und für ein mögliches Ziel (eine avisierte Veränderung der Modellausgabe - z.B. Übersehen aller Fußgänger - gemessen mit einer zweiten Metrik) aus der Datenbank geladen.
Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird eine dritte Metrik definiert, die angibt, auf was für Sensordaten eine dritte Störung Anwendung findet. Z. B. wird die Störung auf allen Daten, auf nur einem Datenpunkt oder auf Daten mit bestimmten Bedingungen, beispielsweise bei allen Daten mit mehrspurigen Straßen, angewendet. Das Optimierungsproblem wird dann aus einer Kombination zumindest zweier Metriken der ersten, der zweiten und der dritten Metrik erzeugt. Das Optimierungsproblem wird insbesondere aus einer Kombination der ersten, der zweiten und der dritten Metrik erzeugt. Bei den Sensordaten handelt es sich insbesondere um digitale Bilder. Diese werden insbesondere durch ein neuronales Netz in einem Fahrerassistenzsystem analysiert.
Die dritte Metrik kann sich insbesondere auf alle Sensordaten, zum Beispiel alle digitalen Bilder, beziehen. Beispielsweise kann die Störung bei allen digitalen Bildern ein Verschwinden von Objekten einer bestimmten Klasse zur Folge haben.
Ferner kann sich die dritte Metrik nur auf eine Teilmenge der Sensordaten, insbesondere der digitalen Bilder, auswirken. Die Störung kann beispielsweise nur solche digitalen Bilder beschreiben, die Objekte einer bestimmten Klasse, beispielsweise als Fußgänger klassifizierte Objekte, enthalten. Ferner kann die dritte Metrik digitale Bilder beschreiben, die an Tagen mit Schneefall oder Regen aufgenommen wurden. Hierdurch können die gestörten Eingangsdaten für das neuronale Netz bei einem Einsatz in einem Fahrerassistenzsystem beispielsweise eine andere Bewertung einer speziellen Verkehrssituation oder Umweltsituation bewirken.
Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens beschreibt die dritte Metrik nur Sensordaten, die ein bestimmtes Objekt enthalten. Alternativ oder zusätzlich kann die dritte Metrik nur ein bestimmtes digitales Bild auswählen.
Das Optimierungsproblem, welches auf Basis der Metriken erzeugt worden ist, kann sich beispielsweise wie folgt darstellen: Bei einer vorgegebenen maximalen Änderung eines digitalen Bildes, zum Beispiel durch Drehung eines bestimmten Bildbereichs, soll die Anzahl der als Personen klassifizierten Pixeln minimiert werden, und zwar für möglichst viele Bilder, in denen Personen vorkommen.
Bei einem anderen Beispiel soll bei einer minimalen Änderung des Eingangsbildes in Bereichen mit hohem Kontrast die Anzahl der als Person klassifizierten Pixeln minimiert werden, und zwar für möglichst viele Bilder, in denen Personen vorkommen.
Für derartige Optimierungsprobleme wird bei dem erfindungsgemäßen Verfahren ein Lösungsalgorithmus angegeben. Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens umfasst der Lösungsalgorithmus iterative Verfahren unter Nutzung der Gradienten des neuronalen Netzes zur Bestimmung der Änderungsrichtungen. Ferner können iterative Verfahren unter Nutzung von Sampling, Evaluation und Kombinationen davon eingesetzt werden.
Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird als Lösungsalgorithmus eine Monte-Carlo-Methode verwendet, bei der beispielsweise ein Rauschen für ein digitales Bild erzeugt wird, und das Ergebnis überprüft wird. Gemäß einer anderen Ausgestaltung kann ein genetischer Algorithmus zur Lösung des Optimierungsproblems eingesetzt werden.
Die Lösung des Optimierungsproblems kann beispielsweise ein gestörtes digitales Bild oder eine Störung sein, mit der Sensordaten gestört werden können, um gestörte Eingangsdaten für ein neuronales Netz zu erzeugen. Die gestörten Sensordaten oder das gestörte digitale Bild stellen dann die Eingangsdaten für das neuronale Netz dar, welches überprüft werden soll. Eine Störung kann auch auf einen Satz von Eingangsdaten durch Kombination auf Pixelebene angewendet werden, zum Beispiel durch Summation.
Handelt es sich bei den Sensordaten um digitale Bilder, kann die erste und zweite Analyse ein semantisches Segmentieren des digitalen Bildes, ein Erkennen von Objekten des digitalen Bildes, ein Klassifizieren von Objekten des digitalen Bildes oder ein Erkennen der Position eines Objektes im digitalen Bild umfassen. Außerdem kann mittels der Analysen erkannt werden, wie sich ein Objekt im digitalen Bild verändert. Diese Analysen sind bei einem Einsatz des neuronalen Netzes in einem Fahrerassistenzsystem besonders relevant, so dass es wichtig ist, dass das neuronale Netz gegen Störungen, die bei solchen Analysen auftreten, robust ist, es somit zu geringen Veränderungen bei der Analyse kommt, wenn gestörte Eingangsdaten verwendet werden.
Des Weiteren betrifft die Erfindung ein Fahrerassistenzsystem für ein Fahrzeug. Das Fahrerassistenzsystem weist eine in dem Fahrzeug angeordnete Sensoreinheit zum Aufnehmen von Sensordaten der Umgebung des Fahrzeugs auf. Ferner weist es eine Verifiziereinheit zum Verifizieren der aufgenommenen Sensordaten auf, wobei die Verifiziereinheit ausgebildet ist, bei der Verifikation der Sensordaten zumindest erste Sensordaten, die zu einem ersten, früheren Zeitpunkt aufgenommen wurden, mit zweiten Sensordaten, die zu einem zweiten, späteren Zeitpunkt aufgenommen wurden, zu vergleichen, das Ergebnis des Vergleichs mit Daten einer Datenbank abzugleichen, in welcher Daten zu Störungen von Eingangsdaten eines neuronalen Netzes gespeichert sind, wobei geprüft wird, ob die zweiten Sensordaten zumindest teilweise durch eine in der Datenbank gespeicherte Störung der ersten Sensordaten erzeugt wurden. Ferner umfasst das Fahrerassistenzsystem eine mit der Sensoreinheit gekoppelte Auswertungseinheit, in welcher ein neuronales Netz gespeichert ist und die ausgebildet ist, die verifizierten Sensordaten mittels des neuronalen Netzes zu analysieren und dadurch analysierte Sensordaten zu erzeugen. Ferner weist das Fahrerassistenzsystem eine Steuereinheit auf, die mit der Auswertungseinheit gekoppelt ist und die ausgebildet ist, auf Basis der analysierten Sensordaten Steuerdaten zum teilautomatisierten oder vorrautomatisierten Steuern des Fahrzeugs zu erzeugen.
Das erfindungsgemäße Fahrerassistenzsystem ist insbesondere ausgebildet, das erfindungsgemäße Verfahren auszuführen. Es weist somit auch dieselben Vorteile auf.
Die Daten zu Störungen von Eingangsdaten, die in der Datenbank gespeichert sind, weisen insbesondere gestörte Eingangsdaten für ein solches neuronales Netz auf, wie es auch in der Auswertungseinheit gespeichert ist. Alternativ können jedoch auch Daten zu Störungen von Eingangsdaten für beliebige neuronale Netze in der Datenbank gespeichert sein, so dass die Datenbank für den Einsatz verschiedener neuronaler Netze in der Auswertungseinheit ausgelegt sein kann.
Bei der Sensoreinheit handelt es sich insbesondere um eine Kamera zum Aufnehmen von digitalen Bildern. Die digitalen Bilder nehmen dann die Umgebung des Fahrzeugs auf. Die Kamera ist insbesondere im Fahrzeug angeordnet. Gleichermaßen ist bevorzugt auch die Datenbank im Fahrzeug angeordnet und über eine Drahtverbindung mit der Verifiziereinheit gekoppelt.
Gemäß einer Weiterbildung des erfindungsgemäßen Fahrerassistenzsystems ist die Verifiziereinheit ausgebildet, Abweichungen der zweiten Sensordaten von den ersten Sensordaten zu ermitteln. Ferner weist gemäß dieser Ausgestaltung das Fahrerassistenzsystem eine ergänzende Sensoreinheit auf, die ausgebildet ist, ergänzende Sensordaten von der Umgebung des Fahrzeugs zu gewinnen. Das Fahrerassistenzsystem weist insbesondere ferner eine mit der ergänzenden Sensoreinheit und der Verifiziereinheit gekoppelte Plausibilitätseinheit auf, die ausgebildet ist, die ergänzenden Sensordaten zu analysieren und zu prüfen, ob die Abweichungen in Übereinstimmung mit der Analyse der ergänzenden Sensordaten ist. Dabei kann insbesondere überprüft werden, ob die Abweichungen von Störungen herrühren können, welche durch die Analyse der ergänzenden Sensordaten ermittelt wurden.
Die Erfindung wird nun anhand von Ausführungsbeispielen mit Bezug zu den Figuren erläutert.

1 zeigt schematisch den Aufbau eines Ausführungsbeispiels des erfindungsgemäßen Fahrassistenzsystems,
2 zeigt schematisch den Ablauf eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens zum Betreiben des Fahrassistenzsystems in einem Fahrzeug,
3 zeigt schematisch den Aufbau eines Generators zum Erzeugen von gestörten Eingangsdaten,
4 zeigt schematisch den Ablauf eines Verfahrens zum Erzeugen von gestörten Eingangsdaten,
5 zeigt ein Beispiel einer Störung,
6 zeigt schematisch den Aufbau einer Vorrichtung zum Erzeugen eines Parametersatzes und
7 zeigt den Ablauf eines Verfahrens zum Verbessern eines Parametersatzes eines neuronalen Netzes.

Mit Bezug zu 1 wird ein Ausführungsbeispiel des erfindungsgemäßen Fahrerassistenzsystems 20 erläutert.
Das Fahrerassistenzsystem 20 umfasst eine Sensoreinheit 21, die in dem Fahrzeug angeordnet ist. Bei dem Ausführungsbeispiel handelt es sich um eine Kamera, die digitale Bilder der Umgebung des Fahrzeugs aufnimmt. Während des Einsatzes des Fahrzeugs können diese digitalen Bilder aufeinanderfolgend generiert werden.
Die Sensoreinheit 21 ist mit einer Verifiziereinheit 22 verbunden. Die Verifiziereinheit 22 kann die von der Sensoreinheit 21 aufgenommenen Sensordaten verifizieren, das heißt ermitteln, ob ungewollte Veränderungen, insbesondere schädliche Störungen, an den Sensordaten erfolgt sind. Auf diese Weise werden die Sensordaten auch authentifiziert, das heißt, die unveränderte Herkunft der Sensordaten von der Sensoreinheit 21 wird überprüft. Die Verifiziereinheit 22 vergleicht hierfür Sensordaten, die zu verschiedenen Zeitpunkten aufgenommen wurden, insbesondere aufeinanderfolgende Sensordatensätze. Es können beispielsweise zwei aufeinanderfolgende Sensordatensätze verglichen werden. Es ist jedoch auch möglich, eine Vielzahl von aufeinanderfolgenden Sensordatensätzen zu vergleichen, um Veränderungen festzustellen. Die Verifiziereinheit 22 ermittelt dabei Abweichungen später aufgenommener Sensordaten von früher aufgenommenen Sensordaten.
Die Verifiziereinheit 22 ist mit einer Datenbank 16 gekoppelt. In der Datenbank 16 sind Daten zu Störungen von Eingangsdaten eines neuronalen Netzes gespeichert. Dabei ist in der Datenbank 16 unterschieden, ob die Störung eine natürliche Störung ist, oder ob dies nicht der Fall ist. Unter einer natürlichen Störung wird eine Störung verstanden, welche Sensordaten, im vorliegenden Fall digitale Bilder, der Umgebung des Fahrzeugs so beeinflusst, wie sie auch durch natürlich vorkommende Phänomene in der Umgebung des Fahrzeugs hervorgerufen werden können.
Die Veränderung eines digitalen Bildes durch eine natürliche Störung entspricht beispielsweise der Veränderung eines digitalen Bildes, wie es sich beim Auftreten von Wetterphänomenen, wie beispielsweise beim Auftreten von Nebel, Schneefall oder Regen ergibt. Ferner werden unter natürlichen Störungen Bildveränderungen verstanden, bei denen Objekte in das Bild eingefügt werden oder aus dem Bild verschwinden, wie es auch in der Umgebung eines Fahrzeugs auftreten kann. Beispielsweise kann im Umfeld des Fahrzeugs ein Plakat oder ein Aufkleber auf einem Objekt auftreten.
Andere, nicht natürlich vorkommende Störungen umfassen insbesondere schädliche Störungen eines neuronalen Netzes, durch welche der sichere Betrieb des Fahrerassistenzsystems gestört werden soll. Solche Störungen sind in der Datenbank 16 gekennzeichnet. Auf diese Weise kann mittels der Verifiziereinheit 22 ermittelt werden, ob eine Veränderung von Sensordaten von einer natürlichen Störung herrührt oder ob es wahrscheinlich ist, dass die Veränderung durch eine schädliche Störung verursacht wurde. Die Verifiziereinheit 22 ist ausgebildet, das Ergebnis des Vergleichs der zu verschiedenen Zeitpunkten aufgenommenen Sensordaten mit den Daten der Datenbank 16 abzugleichen. Dabei kann geprüft werden, ob die später aufgenommenen Sensordaten zumindest teilweise durch eine in der Datenbank gespeicherte Störung der ersten Sensordaten erzeugt wurden. Ergibt sich, dass die Veränderungen nicht durch natürliche Störungen verursacht wurden, verifiziert die Verifiziereinheit 22 die aufgenommenen Sensordaten und überträgt sie an eine Plausibilitätseinheit 23.
Die Plausibilitätseinheit 23 ist mit einer ergänzenden Sensoreinheit 24 verbunden. Alternativ oder zusätzlich kann die Plausibilitätseinheit 23 auch mit einer Schnittstelle 25 verbunden sein, über welche die ergänzenden Sensordaten der Plausibilitätseinheit 23 übertragen werden können. Beispielsweise erfasst die ergänzende Sensoreinheit 24 die Sichtweite in der Umgebung des Fahrzeugs, und zwar unabhängig von der als Kamera ausgebildeten Sensoreinheit 21. Alternativ oder zusätzlich können der Plausibilitätseinheit 23 auch Wetterdaten über die Schnittstelle 25 übertragen werden. Hieraus kann die Plausibilitätseinheit 23 die Sichtweite in der Umgebung des Fahrzeugs bestimmen.
Die Plausibilitätseinheit 23 kann nun die ergänzenden Sensordaten analysieren und prüfen, ob die Abweichungen der aufgenommenen Sensordaten, welche von der Verifiziereinheit 22 bestimmt worden sind, in Übereinstimmung mit der Analyse der ergänzenden Sensordaten ist. Wenn sich beispielsweise mittels der Verifiziereinheit 22 ergibt, dass sich die Sichtweite in der Umgebung des Fahrzeugs stark verringert hat, da die von der Sensoreinheit 21 aufgenommenen digitalen Bilder das Aufziehen von Nebel zeigen, die ergänzenden Sensordaten, die der Plausibilitätseinheit 23 von der ergänzenden Sensoreinheit 24 oder über die Schnittstelle 25 übertragen worden sind, zeigen, dass klare Sichtverhältnisse herrschen, ist die Plausibilitätsprüfung in der Plausibilitätseinheit 23 negativ. Obwohl die Veränderung der aufgenommenen Sensordaten der Sensoreinheit 21 von einer natürlichen Störung herrühren könnte, ergibt sich, dass mit hoher Wahrscheinlichkeit diese Veränderung von einer schädlichen Störung verursacht worden ist. In einem solchen Fall werden die nicht plausibilisierten Sensordaten nicht weiterverarbeitet.
Die Plausibilitätseinheit 23 ist mit einer Auswertungseinheit 26 gekoppelt. In der Auswertungseinheit 26 ist ein neuronales Netz 11 gespeichert. Die Auswertungseinheit 26 ist ausgebildet, die verifizierten und plausibilisierten Sensordaten mittels des neuronalen Netzes 11 zu analysieren und dadurch analysierte Sensordaten zu erzeugen. Diese Analyse erfolgt auf an sich bekannte Weise. Die digitalen Bilder werden beispielsweise semantisch segmentiert und die erkannten Objekte auf den digitalen Bildern werden verschiedenen Klassen zugeordnet. Auf diese Weise kann bestimmt werden, ob sich beispielsweise ein Fußgänger auf einer Fahrbahn befindet und wie sich dieser Fußgänger relativ zum Fahrzeug und relativ zur Fahrbahn bewegt.
Die Auswertungseinheit 26 ist mit einer Steuereinheit 27 gekoppelt. Die Steuereinheit 27 ist ausgebildet, auf Basis der analysierten Sensordaten Steuerdaten zum teilautomatisierten oder vollautomatisierten Steuern des Fahrzeugs zu erzeugen. Diese Steuerdaten werden von dem Fahrerassistenzsystem 20 an Aktoren 28 übertragen, welche beispielsweise die Lenkung und den Vortrieb bzw. das Bremsen des Fahrzeugs steuern. Ferner können die Aktoren 28 von dem Fahrzeug ausgehende Signalisierungen steuern. Eine solche teilautomatisierte oder vollautomatisierte Steuerung des Fahrzeugs mittels eines Fahrerassistenzsystems 20 ist an sich bekannt.
Mit Bezug zu 2 wird im Folgenden ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens zum Betreiben des Fahrerassistenzsystems 20 erläutert:

In einem Schritt T1 werden aufeinanderfolgend Sensordaten mittels der Sensoreinheit 21 von der Umgebung des Fahrzeugs aufgenommen.

In einem Schritt T2 werden erste Sensordaten, die zu einem ersten, früheren Zeitpunkt aufgenommen wurden, mit zweiten Sensordaten, die zu einem zweiten, späteren Zeitpunkt aufgenommen wurden, verglichen. Es ergibt sich ein Ergebnis des Vergleichs.
In einem Schritt T3 wird das Ergebnis des Vergleichs mit den Daten der Datenbank 16 abgeglichen. Dabei wird berücksichtigt, ob die Daten der Datenbank 16 zu Störungen gehören, die eine natürliche Ursache haben können, oder zu schädlichen Störungen gehören.
In einem Schritt T4 wird geprüft, ob die zweiten Sensordaten zumindest teilweise durch eine in der Datenbank gespeicherte Störung der ersten Sensordaten erzeugt wurden. Ist diese gespeicherte Störung eine natürliche Störung, werden die aufgenommenen Sensordaten in einem Schritt T5 verifiziert.
In einem Schritt T6 werden die verifizierten Sensordaten plausibilisiert. Hierfür werden ergänzende Sensordaten von der Umgebung des Fahrzeugs gewonnen und die ergänzenden Sensordaten analysiert. Ferner werden Abweichungen der zweiten Sensordaten von den ersten Sensordaten ermittelt und es wird geprüft, ob die Abweichungen in Übereinstimmung mit der Analyse der ergänzenden Sensordaten sind.
In einem Schritt T7 werden die verifizierten und plausibilisierten Sensordaten mittels eines neuronalen Netzes 11 analysiert. In einem Schritt T8 werden dadurch analysierte Sensordaten erzeugt.
Schließlich werden in einem Schritt T9 auf Basis der analysierten Sensordaten Steuerdaten zum teilautomatisierten oder vollautomatisierten Steuern des Fahrzeugs erzeugt und ausgegeben.
Bei einer Weiterbildung des Ausführungsbeispiels des erfindungsgemäßen Verfahrens und bei einer Weiterbildung des Ausführungsbeispiels des erfindungsgemäßen Fahrerassistenzsystems 20 wird auf besondere Weise ein Parametersatz für das eingesetzte neuronale Netz 11 gewonnen. Dabei werden für das Training des neuronalen Netzes 11 vor dem eigentlichen Einsatz in einem Fahrerassistenzsystem 20 gestörte Eingangsdaten generiert, die auf spezielle Weise gewonnen wurden.
Im Folgenden wird hierfür mit Bezug zu 3 ein Ausführungsbeispiel des Generators 10 zum Erzeugen von gestörten Eingangsdaten für ein neuronales Netz zum Analysieren von digitalen Bildern des Ausführungsbeispiels des Fahrerassistenzsystems beschrieben.
Es werden bei diesem Ausführungsbeispiel Sensordaten von einem neuronalen Netz analysiert oder es werden aus solchen Sensordaten gestörte Eingangsdaten für ein neuronales Netz erzeugt. Bei den Sensordaten handelt es sich bei den Ausführungsbeispielen um Rohdaten von Sensoren eines Fahrzeugs, die vor dem eigentlichen Einsatz des neuronalen Netzes in einem Fahrerassistenzsystem gewonnen wurden. Bei dem Sensor kann es sich um eine Kamera, einen Radarsensor, einen Lidar-Sensor oder einen beliebigen anderen Sensor handeln, welcher Sensordaten erzeugt, welche in einem Fahrerassistenzsystem weiter verarbeitet werden. Im Folgenden wird als Beispiel angenommen, dass es sich bei den Sensordaten um digitale Bilder handelt, welche von einer Kamera eines Fahrzeugs aufgenommen worden sind. Es können auf gleiche Weise jedoch auch andere Sensordaten verwendet werden.
Der Generator 10 umfasst eine erste Metrikeinheit 1, eine zweite Metrikeinheit 2 und eine dritte Metrikeinheit 3. Die erst Metrikeinheit 1 umfasst eine erste Metrik, die angibt, wie das Ausmaß einer Veränderung von digitalen Bildern gemessen wird. Es ist von der ersten Metrikeinheit 1 definiert, wie das Ausmaß einer Veränderung von digitalen Bildern gemessen wird. Die Definition der ersten Metrik kann in die erste Metrikeinheit 1 eingegeben werden. Die erste Metrikeinheit 1 kann jedoch auch über eine Schnittstelle auf eine Datenbank 16 zugreifen, in welcher Daten mit einer Vielzahl möglicher Definitionen für Metriken gespeichert ist, die das Ausmaß einer Veränderung von digitalen Bildern messen. Beispielsweise kann die erste Metrik die Bildabstände zweier digitaler Bilder vergleichen und für diesen Bildabstand einen Wert ausgeben. Der Bildabstand kann beispielsweise durch die Summe der Differenzen aller Pixelwerte der zu vergleichenden digitalen Bilder definiert sein.
Bei dem Ausführungsbeispiel wählt die erste Metrikeinheit 1 aus der Datenbank 16 eine möglichst natürliche Störung aus. Unter einer natürlichen Störung wird eine Störung verstanden, welche digitale Bilder der Umgebung eines Fahrzeugs so beeinflusst, wie dies auch durch natürlich vorkommende Phänomene in der Umgebung des Fahrzeugs auftreten kann. Die Veränderung eines digitalen Bildes durch eine natürliche Störung entspricht beispielsweise der Veränderung eines digitalen Bildes, wie es sich beim Auftreten von Wetterphänomenen, wie beispielsweise beim Auftreten von Nebel, Schneefall oder Regen ergibt. Ferner werden unter natürlichen Störungen Bildveränderungen verstanden, bei denen Objekte in das Bild eingefügt werden oder aus dem Bild verschwinden, wie es auch in der Umgebung eines Fahrzeugs auftreten kann. Beispielsweise kann im Umfeld des Fahrzeugs ein Plakat oder ein Aufkleber auf einem Objekt eingefügt werden. Andere, nicht natürlich vorkommende Störungen, wie sie in der Datenbank 16 auch enthalten sein können, werden von der zweiten Metrikeinheit 1 nicht berücksichtigt, da sie für die Prüfung eines neuronalen Netzes, welches in einem Fahrerassistenzsystem eingesetzt wird, von geringerer Relevanz sind.
Die zweite Metrikeinheit 2 umfasst eine zweite Metrik, die angibt, worauf eine Störung der Eingangsdaten der digitalen Bilder gerichtet ist, d. h. die zweite Metrik definiert, worauf eine Störung eines digitalen Bildes gerichtet ist. Die Definition der zweiten Metrik kann durch eine Eingabe an die zweite Metrikeinheit 2 übertragen werden. Gleichermaßen kann auch die zweite Metrikeinheit 2 mit der Datenbank 16 gekoppelt sein, in welcher Daten zu einer Vielzahl von Störungen gespeichert sind, welche auf eine bestimmte Veränderung von digitalen Bildern gerichtet ist. Es kann sich hierbei um Sammlungen solcher Störungen handeln.
Bei dem Ausführungsbeispiel wählt die zweite Metrikeinheit 2 aus der Datenbank 16 eine möglichst plausible Störung aus. Unter einer plausiblen Störung wird eine Störung verstanden, welche scheinbar realistische Modellausgabe zur Folge hat, sich aber in relevanten Einzelheiten von dieser unterscheidet. Bei einer plausiblen Störung erfolgt beispielsweise eine korrekte Segmentierung, bei der allerdings die Spurmarkierungen konsistent verschoben wurden. Andere, nicht plausible Störungen, wie sie in der Datenbank 16 auch enthalten sein können, werden von der zweiten Metrikeinheit 2 nicht berücksichtigt, da sie für die Prüfung eines neuronalen Netzes, welches in einem Fahrerassistenzsystem eingesetzt wird, von geringerer Relevanz sind. Gravierend unplausible Modellausgaben sind nämlich leicht detektierbar.
Die zweite Metrik kann beispielsweise darauf gerichtet sein, die Größe aller Objekte, die einer bestimmten Klasse zugeordnet sind, zum Beispiel der Klasse der Fußgänger, zu vergrößern. Die Störung erzeugt somit ein digitales Bild, bei welchem ein Objekt des Ausgangsbildes, welches als Fußgänger klassifiziert ist, iterativ in allen vier Richtungen vergrößert ist, wobei die sich ergebende Segmentierung des gestörten digitalen Bildes wieder miteinander kombiniert wird. Das Ergebnis ist ein digitales Bild, bei dem alle Objekte, die nicht zu der Klasse der Fußgänger gehören, unverändert bleiben, die Objekte, die zu der Klasse der Fußgänger gehören, jedoch vergrößert dargestellt sind. Die anderen Objekte sind nur insofern verändert, als dass sie durch die Vergrößerung der Objekte der Klasse Fußgänger verändert wurden.
Die dritte Metrikeinheit 3 umfasst eine dritte Metrik, die angibt, auf was für digitale Bilder die Störung Anwendung findet. Beispielsweise kann durch die Metrik definiert sein, dass die Störung nur auf digitale Bilder angewandt wird, welche andere Verkehrsteilnehmer zeigen, d. h. zum Beispiel Fußgänger, Fahrradfahrer und andere Fahrzeuge.
Die drei Metrikeinheiten 1 bis 3 sind mit einer Verarbeitungseinheit 4 verbunden. Die Verarbeitungseinheit 4 ist ausgebildet, aus den drei Metriken der ersten bis dritten Metrikeinheit 1 bis 3 ein Optimierungsproblem zu erzeugen. Beispielsweise umfasst das Optimierungsproblem eine Loss-Funktion für ein neuronales Netz, welches als Parameter einen Störungsparameter und ein sich durch die Störung ergebendes Bild enthält (zweite Metrik). Es soll bei dem Optimierungsproblem das Minimum des Störungsparameters gefunden werden, und zwar für die digitalen Bilder, die nach der dritten Metrik definiert sind und unter der Bedingung, dass das Ausmaß der Veränderung des erzeugten Bildes relativ zu dem Ausgangsbild gemäß der ersten Metrik unterhalb eines bestimmten Wertes liegt.
Die Verarbeitungseinheit 4 überträgt das Optimierungsproblem als Datensatz an eine Lösungseinheit 5. Die Lösungseinheit 5 ist mit einer Datenbank 6 gekoppelt, in welcher zumindest ein Lösungsalgorithmus, bevorzugt eine Vielzahl von Lösungsalgorithmen, für Optimierungsprobleme gespeichert ist. Derartige Lösungsalgorithmen sind an sich bekannt. Beispielsweise können in der Datenbank 6 Monte-Carlo-Methoden, genetische Algorithmen und/oder Gradienten-basierte Methoden gespeichert sein, auf welche die Lösungseinheit 5 zugreifen kann. Mittels dieser Lösungsalgorithmen kann die Lösungseinheit 5 als die Lösung des Optimierungsproblems eine Ziel-Störung der Eingangsdaten von digitalen Bildern erzeugen. Die Ziel-Störung erzeugt somit ein gestörtes digitales Bild, welche als Eingangsdaten für ein neuronales Netz zum Analysieren von digitalen Bildern verwendet werden kann. Das neuronale Netz ist insbesondere eingerichtet, digitale Bilder eines Fahrerassistenzsystems zu analysieren.
Die Lösungseinheit 5 überträgt die Ziel-Störung an eine Erzeugungseinheit 7. Die Erzeugungseinheit 7 ist ferner mit einer Datenbank 8 gekoppelt, in welcher eine Vielzahl von digitalen Bildern gespeichert sind. Mittels der Ziel-Störung kann die Erzeugungseinheit 7 digitale Bilder der Datenbank 8 so stören, dass gestörte Eingangsdaten 9 der digitalen Bilder für ein neuronales Netz erzeugt werden. Die gestörten Eingangsdaten 9 werden dann von der Erzeugungseinheit 7 ausgegeben. Mit diesen gestörten Eingangsdaten 9 kann dann ein neuronales Netz getestet, trainiert oder der Parametersatz des neuronalen Netzes verbessert werden.
Mit Bezug zu 4 wird ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens zum Erzeugen von gestörten Eingangsdaten 9 erläutert:

In einem Schritt S1 wird eine erste Metrik definiert, die angibt, wie das Ausmaß einer Veränderung von digitalen Bildern gemessen wird. Die erste Metrik bzw. ein Datensatz, welcher die erste Metrik beschreibt, wird in der ersten Metrikeinheit 1 gespeichert.

In einem Schritt S2 wird eine zweite Metrik definiert, die angibt, worauf eine Störung der digitalen Bilder gerichtet ist. Auch diese zweite Metrik bzw. ein Datensatz, der die zweite Metrik beschreibt, wird in der zweiten Metrikeinheit 2 gespeichert.
Schließlich wird in einem Schritt S3 eine dritte Metrik definiert, die angibt, auf was für digitale Bilder eine Störung Anwendung findet. Diese dritte Metrik bzw. ein Datensatz, der diese dritte Metrik beschreibt, wird in der dritten Metrikeinheit 3 gespeichert.
In einem Schritt S4 werden die Datensätze, welche die drei Metriken beschreiben, an die Verarbeitungseinheit 4 übertragen.
In einem Schritt S5 erzeugt die Verarbeitungseinheit 4 aus einer Kombination der drei Metriken ein Optimierungsproblem. In einem Schritt S6 überträgt die Verarbeitungseinheit 4 einen Datensatz, welcher das erzeugte Optimierungsproblem beschreibt, an die Lösungseinheit 5.
In einem Schritt S7 löst die Lösungseinheit 5 das Optimierungsproblem mittels zumindest eines Lösungsalgorithmus, welcher der Lösungseinheit 5 beispielsweise durch Zugriff auf die Datenbank 6 übertragen worden ist. Die Lösung ist eine Ziel-Störung für digitale Bilder.
In einem Schritt S8 wird ein Datensatz für diese Ziel-Störung an die Erzeugungseinheit 7 übertragen.
In einem Schritt S9 erzeugt die Erzeugungseinheit 7 durch Zugriff auf die Datenbank 8 gestörte digitale Bilder als Eingangsdaten 9 für ein neuronales Netz. Diese gestörten Eingangsdaten 9 werden in einem Schritt S10 ausgegeben.
Im Folgenden wird das erfindungsgemäße Verfahren anhand eines Beispiels, bei welchem Objekte der Klasse Fußgänger vergrößert werden, im Detail erläutert:

Im Folgenden wird das erfindungsgemäße Verfahren anhand eines Beispiels, bei welchem Objekte der Klasse Fußgänger vergrößert werden, im Detail mit Bezug zu den 5A bis 5C erläutert:
- Gegeben ist ein Modell M. Für dieses Modell gibt es den Input x. Dieser Input x ist ein digitales Bild, wie es in 5A gezeigt ist. Des Weiteren ist der Output M(x) = y definiert. Eine Störung wird mit Δ bezeichnet, so dass sich als geänderter Input x' = x + Δ ergibt. Der geänderte Output ist dann y' = M(x + Δ). Der Zieloutput wird mit y'' bezeichnet.

In 5B ist der Output y des Modells M dargestellt. Das digitale Bild x wurde segmentiert, d. h. den Pixeln des digitalen Bildes x wurden, wie in 5B gezeigt, Klassen zugeordnet. Folgende Klassenzuordnungen haben sich dabei ergeben:

K1:: Himmel;
K2:: Natur;
K3:: Gebäude;
K4:: Fußgänger;
K5:: Verkehrsschild;
K6:: Straße;
K7:: Markierung.

Der Zieloutput y'', welcher durch die Störung Δ erzeugt werden soll, ist in 5C dargestellt. Das Ziel der Störung Δ ist es, dass der Fußgänger vergrößert dargestellt wird. Als Zielstörung wird definiert, dass höchstens eine Verschiebung einzelner Pixelwerte um den Wert 3 erfolgen darf. Die Zieldaten bestehen aus einem konkreten Bild x.
Die erste Metrik ist dann wie folgt definiert: $d_{1} (Δ) = {‖ Δ ‖}_{\propto} = max_{p i x e l} | Δ (p i x e l) |$
Die Größe der Störung wird also bemessen als der maximale Pixelwert zwischen 0 und 255 in der Störung Δ.
Die zweite Metrik ist wie folgt definiert: $\begin{matrix} d_{2} (Δ) = {‖ M (x + Δ) - y'' ‖}_{1} = {‖ y' - y'' ‖}_{1} \\ = \sum_{p i x e l} | y' (p i x e l) - y'' (p i x e l) | \end{matrix}$
Sie definiert die Summe der Pixelabweichungen vom Zieloutput.
Die dritte Metrik ist wie folgt definiert: $d_{3} (x') = {\begin{matrix} 0; x' = x \\ 1; x' \neq x \end{matrix}$
Gemäß dieser dritten Metrik hat also nur das Inputbild x eine kleine Größe. Folglich bezieht sich der Angriff nur auf das Inputbild x, wenn man d₃(x') < 1 fordert. Der Fokus in Hinsicht auf die anzugreifenden Daten ändert sich dramatisch, wenn man d₃(x') < 2 fordert: dann bezieht sich die Attacke auf alle Bilder.
Aus diesen drei Metriken wird dann das Optimierungsproblem wie folgt gebildet: $\bar{Δ} = \underset{d_{1} < 3 : d_{s} (x') < 1}{argmin} (d_{2} (Δ))$
Gemäß dem Optimierungsproblem soll ein Δ gefunden werden, so dass d₂(Δ) minimal ist, wobei d₁(Δ) < 3 auf x ist.
Dieses Optimierungsproblem kann anhand an sich bekannter Lösungsalgorithmen gelöst werden. Hierdurch erhält man eine neue adverseriale Störung aus bereits bekannten (d₁, d₃) und neuartigen (d₂) Metriken. Auch durch Rekombination bereits bekannter Metriken (d₁,..,d₃) auf neuartige Weise oder deren Verbindung mit einem anderen Lösungsalgorithmus entstehen neue adverseriale Störungen. Das erfindungsgemäße Verfahren erlaubt so auf einfache Weise eine Konstruktion quasi beliebig vieler neuartiger adverserialer Störungen.
Gemäß einer Variante dieses Beispiels kann man bei der ersten Metrik nur Pixeländerungen in einem Bildbereich zulassen, die als „Baum“ klassifiziert werden. Als Optimierungsproblem ergibt sich dann folgendes: Es soll ein Δ in Bildbereichen „Baum“ in dem digitalen Bild x gefunden werden, so dass d₂(Δ) minimal ist, wobei d₁(Δ) < 3 ist.
Gemäß einer weiteren Variation dieses Beispiels kann man für die dritte Metrik eine Störung für alle Bilder suchen, wobei die erste Metrik d₁ und die zweite Metrik d₂ unverändert gelassen wird. Das Optimierungsproblem kann dann wie folgt formuliert werden: Es soll ein Δ gefunden werden, so dass d₂(Δ) für alle Bilder minimal ist, wobei d₁(Δ) < 3 ist. Mit anderen Worten: Es soll ein Δ mit d₁(Δ) < 3 gefunden werden, so dass die Modellausgabe für alle Inputbilder x wie y'' aussieht.
Mit Bezug zu 6 wird ein Ausführungsbeispiel einer Vorrichtung zum Erzeugen eines Parametersatzes für ein neuronales Netz beschrieben:

Die Vorrichtung umfasst die Datenbank 8 mit digitalen Bildern. Mit dieser Datenbank 8 ist der mit Bezug zu 3 beschriebene Generator 10 verbunden. Mit der Datenbank 8 und dem Generator 10 ist ein neuronales Netz 11 gekoppelt. Der Ausgang des neuronalen Netzes 11 ist mit einer ersten Analyseeinheit 12 und einer zweiten Analyseeinheit 13 gekoppelt. Die erste Analyseeinheit 12 erzeugt eine erste Analyse mittels des neuronalen Netzes 11 auf Basis von digitalen Bildern, welche als Eingangsdaten von der Datenbank 8 dem neuronalen Netz 11 zugeführt werden. Die zweite Analyseeinheit 13 erzeugt eine zweite Analyse auf Basis von gestörten Eingangsdaten 9, die von dem Generator 10 dem neuronalen Netz 11 zugeführt werden. Zum Erzeugen der gestörten Eingangsdaten 9 greift der Generator 10 auf die Datenbank 8 mit den digitalen Bildern zu und wendet auf diese die von dem Generator 10 erzeugte Ziel-Störung an.

Die erste Analyseeinheit 12 und die zweite Analyseeinheit 13 sind mit einer Vergleichseinheit 14 gekoppelt. Diese ist ausgebildet, die erste und die zweite Analyse miteinander zu vergleichen.
Die Vergleichseinheit 14 ist mit einer Parametersatz-Erzeugungseinheit 15 gekoppelt. Die Parametersatz-Erzeugungseinheit 15 ist ausgebildet, einen verbesserten Parametersatz für das neuronale Netz 11 auf Basis des Ergebnisses des Vergleichs der ersten und der zweiten Analyse zu erzeugen, welcher von der Vergleichseinheit 14 übertragen wurde. Der Parametersatz für das neuronale Netz 11 wird von der Parametersatz-Erzeugungseinheit 15 so erzeugt, dass die von dem Generator 10 erzeugten gestörten Eingangsdaten 9 der digitalen Bilder einen geringen Einfluss auf die Analyse dieser Eingangsdaten mittels des neuronalen Netzes 11 haben. Insbesondere wird der verbesserte Parametersatz so erzeugt, dass die Auswirkungen der gestörten Eingangsdaten 9 auf die semantische Segmentierung des digitalen Bildes mittels des neuronalen Netzes 11 für die gestörten Eingangsdaten nicht dazu führt, dass für ein Fahrerassistenzsystem sicherheitsrelevante Objekte falsch klassifiziert werden, diese Objekte verschwinden oder verändert dargestellt werden. Das neuronale Netz 11 kann somit mittels der gestörten Eingangsdaten 9, welche von dem Generator 10 erzeugt werden, trainiert werden.
Mit Bezug zu 7 wird ein Verfahren zum Verbessern eines Parametersatzes eines neuronalen Netzes beschrieben:

In einem Schritt R1 wird ein neuronales Netz mit einem zugehörigen Parametersatz bereitgestellt. Dieses neuronale Netz soll überprüft werden.

In einem Schritt R2 werden Trainingsdaten mittels einer Vielzahl von digitalen Bildern erzeugt.
In einem Schritt R3 wird das neuronale Netz auf an sich bekannte Weise mit Trainingsdaten trainiert und es wird eine erste Analyse der digitalen Bilder auf Basis der Trainingsdaten mittels des neuronalen Netzes erzeugt.
In einem Schritt R4 werden gestörte Eingangsdaten als Trainingsdaten für die digitalen Bilder mittels des Verfahrens erzeugt, wie es mit Bezug zu 4 erläutert wurde.
In einem Schritt R5 wird eine zweite Analyse der digitalen Bilder auf Basis der gestörten Eingangsdaten, das heißt auf Basis der digitalen Bilder, auf welche die Ziel-Störung angewandt wurde, mittels des neuronalen Netzes erzeugt.
In einem Schritt R6 wird die erste und die zweite Analyse miteinander verglichen.
In einem Schritt R8 wird ein verbesserter Parametersatz für das neuronale Netz auf Basis des Ergebnisses des Vergleichs und zweiten Analyse erzeugt.
Bezugszeichenliste

1: erste Metrikeinheit
2: zweite Metrikeinheit
3: dritte Metrikeinheit
4: Verarbeitungseinheit
5: Lösungseinheit
6: Datenbank mit Lösungsalgorithmen
7: Erzeugungseinheit
8: Datenbank mit digitalen Bilddaten
9: gestörte Eingangsdaten
10: Generator
11: neuronales Netz
12: erste Analyseeinheit
13: zweite Analyseeinheit
14: Vergleichseinheit
15: Parametersatz-Erzeugungseinheit
16: Datenbank mit Störungen
20: Fahrassistenzsystem
21: Sensoreinheit
22: Verifiziereinheit
23: Plausibilitätseinheit
24: ergänzende Sensoreinheit
25: Schnittstelle für ergänzende Sensordaten
26: Auswertungseinheit
27: Steuereinheit
28: Aktoren

Claims

Verfahren zum Betreiben eines Fahrassistenzsystems (20) eines Fahrzeugs, bei dem aufeinanderfolgend Sensordaten von der Umgebung des Fahrzeugs aufgenommen werden, die aufgenommenen Sensordaten verifiziert werden, die verifizierten Sensordaten mittels eines neuronalen Netzes (11) analysiert werden und dadurch analysierte Sensordaten erzeugt werden, und auf Basis der analysierten Sensordaten Steuerdaten zum teilautomatisierten oder vollautomatisierten Steuern des Fahrzeugs erzeugt werden, dadurch gekennzeichnet, dass bei der Verifikation der Sensordaten zumindest erste Sensordaten, die zu einem ersten, früheren Zeitpunkt aufgenommen wurden, mit zweiten Sensordaten, die zu einem zweiten, späteren Zeitpunkt aufgenommen wurden, verglichen werden, das Ergebnis des Vergleichs mit Daten einer Datenbank (16) abgeglichen wird, in welcher Daten zu Störungen von Eingangsdaten eines neuronalen Netzes gespeichert sind, wobei geprüft wird, ob die zweiten Sensordaten zumindest teilweise durch eine in der Datenbank (16) gespeicherte Störung der ersten Sensordaten erzeugt wurden, wobei die in der Datenbank (16) gespeicherten Daten natürlich vorkommende Störungen und andere Störungen beschreiben, wobei in der Datenbank (16) eine Klassifizierung der Störungen gespeichert ist, mit der geprüft wird, ob eine Veränderung der Sensordaten von einer natürlich vorkommenden Störung oder einer anderen Störung erzeugt wurde, wobei bei Veränderungen der Sensordaten, die durch eine natürlich vorkommende Störung verursacht wurden, die Sensordaten verifiziert werden und bei Sensordaten, die durch eine andere Störung verursacht wurden, die Sensordaten nicht verifiziert werden und diese Sensordaten dann nicht zur Erzeugung der analysierten Sensordaten mittels des neuronalen Netzes genutzt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Sensordaten digitale Bilder einer Kamera des Fahrzeugs sind und die digitalen Bilder die Umgebung eines Fahrzeugs aufnehmen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die verifizierten Sensordaten plausibilisiert werden, indem ergänzende Sensordaten von der Umgebung des Fahrzeugs gewonnen werden, die ergänzenden Sensordaten analysiert werden, Abweichungen der zweiten Sensordaten von den ersten Sensordaten ermittelt werden und geprüft wird, ob die Abweichungen in Übereinstimmung mit der Analyse der ergänzenden Sensordaten ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Analyse der ergänzenden Sensordaten Sichtverhältnisse in der Umgebung des Fahrzeugs gewonnen werden und geprüft wird, ob die Abweichungen der zweiten Sensordaten von den ersten Sensordaten zumindest teilweise von den Sichtverhältnissen in der Umgebung des Fahrzeugs herrühren.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem ein verbesserter Parametersatz des neuronalen Netzes (11) durch folgende Schritte erzeugt wird: Bereitstellen eines neuronalen Netzes (11) mit einem zugehörigen Parametersatz, Erzeugen von Trainingsdaten mittels eines Beispiel-Sensordatensatzes, Erzeugen einer ersten Analyse des Beispiel-Sensordatensatzes auf Basis der Trainingsdaten mittels des neuronalen Netzes (11), Erzeugen von gestörten Eingangsdaten (9) als Trainingsdaten für den Beispiel-Sensordatensatz, Erzeugen einer zweiten Analyse des Beispiel-Sensordatensatzes auf Basis der gestörten Eingangsdaten (9) mittels des neuronalen Netzes (11), Vergleichen der ersten und zweiten Analyse und Erzeugen eines verbesserten Parametersatzes für das neuronale Netz (11) auf Basis des Ergebnisses des Vergleichs der ersten und zweiten Analyse, wobei die gestörten Eingangsdaten (9) dadurch erzeugt werden, dass: eine erste Metrik definiert wird, die angibt, wie das Ausmaß einer Veränderung von Sensordaten gemessen wird, eine zweite Metrik definiert wird, die angibt, worauf eine Störung von Sensordaten gerichtet ist, aus einer Kombination der ersten Metrik und der zweiten Metrik ein Optimierungsproblem erzeugt wird, das Optimierungsproblem mittels zumindest eines Lösungsalgorithmus gelöst wird, wobei die Lösung eine Ziel-Störung der Eingangsdaten angibt, und mittels der Ziel-Störung gestörte Eingangsdaten von Sensordaten für das neuronale Netz (11) erzeugt werden.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass bei der ersten und zweiten Analyse jeweils eine semantische Segmentierung des digitalen Bildes durchgeführt wird.
Verfahren nach einem der Ansprüche 5 oder 6, dadurch gekennzeichnet, dass eine dritte Metrik definiert wird, die angibt, auf was für Sensordaten eine Störung Anwendung findet und aus einer Kombination zumindest zweier Metriken der ersten, der zweiten und der dritten Metrik das Optimierungsproblem erzeugt wird.
Fahrerassistenzsystem (20) für ein Fahrzeug mit: einer in dem Fahrzeug angeordneten Sensoreinheit (21) zum Aufnehmen von Sensordaten der Umgebung des Fahrzeugs, einer Verifiziereinheit (22) zum Verifizieren der aufgenommenen Sensordaten, wobei die Verifiziereinheit (22) ausgebildet ist, bei der Verifikation der Sensordaten zumindest erste Sensordaten, die zu einem ersten, früheren Zeitpunkt aufgenommen wurden, mit zweiten Sensordaten, die zu einem zweiten, späteren Zeitpunkt aufgenommen wurden, zu vergleichen, das Ergebnis des Vergleichs mit Daten einer Datenbank (16) abzugleichen, in welcher Daten zu Störungen von Eingangsdaten (9) eines neuronalen Netzes (11) gespeichert sind, wobei geprüft wird, ob die zweiten Sensordaten zumindest teilweise durch eine in der Datenbank (16) gespeicherte Störung der ersten Sensordaten erzeugt wurden, wobei die in der Datenbank (16) gespeicherten Daten natürlich vorkommende Störungen und andere Störungen beschreiben, wobei in der Datenbank (16) eine Klassifizierung der Störungen gespeichert ist, mit der geprüft wird, ob eine Veränderung der Sensordaten von einer natürlich vorkommenden Störung oder einer anderen Störung erzeugt wurde, wobei die Verifiziereinheit (22) ausgebildet ist, bei Veränderungen der Sensordaten, die durch eine natürlich vorkommende Störung verursacht wurden, die Sensordaten zu verifizieren und bei Sensordaten, die durch eine andere Störung verursacht wurden, die Sensordaten nicht zu verifizieren, einer mit der Sensoreinheit (21) gekoppelten Auswertungseinheit (26), in welcher ein neuronales Netz (11) gespeichert ist und die ausgebildet ist, die verifizierten Sensordaten mittels des neuronalen Netzes (11) zu analysieren und dadurch analysierte Sensordaten zu erzeugen und die nicht verifizierten Sensordaten nicht zur Erzeugung der analysierten Sensordaten mittels des neuronalen Netzes zu nutzen, einer Steuereinheit (27), die mit der Auswertungseinheit (26) gekoppelt ist und die ausgebildet ist, auf Basis der analysierten Sensordaten Steuerdaten zum teilautomatisierten oder vollautomatisierten Steuern des Fahrzeugs zu erzeugen.
Fahrerassistenzsystem (20) nach Anspruch 8, dadurch gekennzeichnet, dass die Sensoreinheit (21) eine Kamera zum Aufnehmen von digitalen Bildern ist, wobei die digitalen Bilder die Umgebung eines Fahrzeugs aufnehmen.
Fahrerassistenzsystem (20) nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Verifiziereinheit (22) ausgebildet ist, Abweichungen der zweiten Sensordaten von den ersten Sensordaten zu ermitteln, das Fahrassistenzsystem (20) eine ergänzende Sensoreinheit (24) aufweist, die ausgebildet ist, ergänzende Sensordaten von der Umgebung des Fahrzeugs zu gewinnen, und das Fahrassistenzsystem (20) ferner eine mit der ergänzenden Sensoreinheit (24) und der Verifiziereinheit (22) gekoppelte Plausibilitätseinheit (23) aufweist, die ausgebildet ist, die ergänzenden Sensordaten zu analysieren und zu prüfen, ob die Abweichungen in Übereinstimmung mit der Analyse der ergänzenden Sensordaten ist.