DE102020215656A1

DE102020215656A1 - Verfahren zum Generieren von Anomalie-Trainingsdaten für ein künstliches Neuronales Netz

Info

Publication number: DE102020215656A1
Application number: DE102020215656.5A
Authority: DE
Inventors: Christian Wolf
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-12-10
Filing date: 2020-12-10
Publication date: 2022-06-15

Abstract

Die Erfindung betrifft ein Verfahren (100) zum Generieren von Trainingsdaten (211) für ein künstliches Neuronales Netz zur Objekt und Degradationserkennung in autonom fahrenden Fahrzeugen (200), umfassend:
Aufnehmen (101) von Umfeldsensordaten durch einen Umfeldsensor (203) eines Fahrzeugs (200);
Klassifizieren (103) von Umfeldsensordaten, die eine Umfeldanomalie aufweisen, als relevante Umfeldsensordaten, wobei eine Umfeldanomalie eine umfeldbedingte Beeinträchtigung der Umfeldsensordaten für eine Objekterkennung darstellt; und
Erstellen (105) eines Trainingsdatensatz (211) mit Umfeldanomalien für ein künstliches Neuronales Netz (213) aus den relevanten Umfeldsensordaten.

Description

Die Erfindung betrifft ein Verfahren zum Generieren von Trainingsdaten für künstliche Neuronale Netze zur Objekterkennung in autonom fahrenden Fahrzeugen.
Stand der Technik
Für das autonome Beitreiben eines Fahrzeugs ist eine fehlerfeie Objekterkennung von Objekten im Umfeld des Fahrzeugs essentiell. Hierzu bieten sich Umfeldsensoren wie Kamerasysteme oder LiDAR- und RADAR-System an, mittels denen sich Daten des Umfelds des Fahrzeugs erheben lassen. In der Vergangenheit hat sich der Einsatz von künstlichen neuronalen Netzen zur Objekterkennung basierend auf Umfeldsensordaten der genannten Systeme bewährt. Die Verwendung von künstlichen neuronalen Netzen setzt jedoch ein Training derartige Netze voraus. Hierzu bedarf es nicht nur Trainingsdaten in ausreichender Anzahl sondern es müssen auch die „richtigen Daten“ in gelabelter Form vorhanden sein, die für einen zu erzielenden Trainingseffekt geeignet sind.
Ein wichtiger Faktor beim Einsatz von künstlichen neuronalen Netzen für die Objekterkennung ist die Robustheit. Diese beschreibt die Fähigkeit des Netzes auch unter widrigen Umwelt und Sichtbedingungen und entsprechend beeinträchtigte Sensordatenmögliche Objekte zu erkennen. Des Weiteren ist es ebenfalls wichtig zu wissen, ab wann es nicht mehr möglich ist beispielsweise durch eine verunreinigte Sensorik weiterhin Objekte zu erkennen. Um robuste Netzwerke herstellen/generieren zu können, ist es daher notwendig, dem Netzwerk die entsprechenden Trainingsdaten/Referenzdaten bereitzustellen, mit denen eine zuverlässige Objekterkennung auch bei widrigen Wetter- beziehungsweise Sichtbedingung sichergestellt werden kann. Solche Trainingsdaten, in denen widrige Umfeldverhältnisse oder stark degradierte Sensordaten simuliert werden, in benötigter Anzahl zu generieren ist zeit- und kostenintensiv.
Es ist daher eine Aufgabe der Erfindung, ein verbessertes Verfahren zum Generieren bwz. Einfahren von Trainingsdaten für ein künstliches Neuronales Netz zur Objekterkennung in autonom fahrenden Fahrzeugen bereitzustellen.
Diese Aufgabe wird durch das Verfahren zum Generieren von Trainingsdaten eines künstlichen neuronalen Netzes des unabhängigen Anspruchs gelöst. Vorteilhafte Ausgestaltungen sind Gegenstand der untergeordneten Ansprüche.
Nach einem Aspekt der Erfindung wird ein Verfahren zum Generieren von Trainingsdaten für ein künstliches Neuronales Netz zur Objekt und Degradationserkennung in autonom fahrenden Fahrzeugen bereitgestellt, wobei das Verfahren umfasst:

Aufnehmen von Umfeldsensordaten durch einen Umfeldsensors eines Fahrzeugs;
Klassifizieren von Umfeldsensordaten, die eine Umfeldanomalie aufweisen, als relevante Umfeldsensordaten, wobei eine Umfeldanomalie eine umfeldbedingte Beeinträchtigung der Umfeldsensordaten für eine Objekt- und Degradationserkennung darstellt; und
Erstellen eines Trainingsdatensatz mit Umfeldanomalien für ein künstliches Neuronales Netz aus den relevanten Umfeldsensordaten.

Hierdurch kann der technische Vorteil erreicht werden, dass ein verbessertes Verfahren zum Generieren von Trainingsdaten für ein künstliches neuronales Netz zur Objekt und Degradationserkennung in autonom fahrenden Fahrzeugen bereitgestellt werden kann, wobei die Trainingsdaten auf Umfeldsensordaten basieren, in denen Umfeldanomalien enthalten sind.
Hierzu werden die von wenigstens einem Umfeldsensor eines autonom fahrbaren Fahrzeugs aufgenommenen Umweltsensordaten als relevante Umfeldsensordaten klassifiziert, wenn diese Umfeldanomalien aufweisen.
Darauffolgend wird basierend auf den als relevant klassifizierten Umfeldsensordaten ein entsprechender Trainingsdatensatz erstellt.
Dieser Trainingssatz dient insbesondere zum Trainieren eines Klassifikators, der Anomalien, insbesondere in Bilddaten, klassifizieren und/oder erkennen kann. Bei diesem Klassifikator kann es sich beispielweise um ein neuronales Netz handeln oder um einen mittels eines weiteren maschinellen Lernverfahrens trainierten Klassifikator. Durch die automatische Auswahl der Trainingsdaten nach dem oben beschrieben Verfahren wird dieses Training kostengünstiger und durch die höhere Anzahl an Trainingsdaten steigt die Qualität und Klassifikationsgenauigkeit / -güte des Klassifikators an. Je nach Einsatzgebiet des Klassifikator ergeben sich so weitere Vorteile. Wird der Klassifikator beispielsweise zur Erkennung einer Verschmutzung eines Sensors eingesetzt, können basierend auf dieser Erkennung Degradationskonzepte bei automatisierten Roboten oder Fahrzeugen eingesetzt eingeleitet werden. Diese erhöhen die Sicherheit von Verkehrsteilnehmern oder Personen in der Näher des Roboters oder Fahrzeugs. Umfeldsensordaten werden im Sinne der Anmeldung als relevant klassifiziert, wenn diese für das Erstellen des Trainingsdatensatzes relevant sind. Die Umfeldsensordaten sind dann für das Erstellen des Trainingsdatensatzes relevant, wenn diese eine Umfeldanomalie umfassen.
Umfeldanomalien sind im Sinne der Anmeldung umfeldbedingte Beeinträchtigungen der Umfeldsensordaten, die eine Objekterkennung negativ beeinflussen können. Umfeldanomalien können beispielsweise Wassertropfen auf einer Linse bzw. einem Objektiv eines Kamerasystems sein, durch die die Bildaufnahme bzw. Videoaufnahmen des Kamerasystems negativ beeinflusst werden. Alternativ können Umfeldanomalien schmutzbedingte Beeinträchtigungen des Umfeldsensors, beispielsweise eines Kamera-, Lidar- oder Radarsystems, sein, durch die Bild-, Kamera- oder Lidaraufnahmen negativ beeinträchtigt sind. Dies kann beispielsweise Staubablagerungen, Schlamm- bzw. Dreckspritzer, Laubblätter, Papier-, Stoff-, oder Plastiktütenteile oder Schneeablagerungen sein, die das Sichtfeld des Umfeldsensors einschränken. Darüber hinaus können Umfeldanomalien Sichtbeeinträchtigungen in Form von dichtem Nebel, dichtem Regen, dichtem Schneefall, blendenden Lichteinflüssen, wie beispielsweise einen tiefen Sonnenstand oder blendendem Scheinwerferlicht sein, durch die ebenfalls Aufnahmen des Umfeldsensors beeinträchtigt und eine Objekterkennung basierend auf den Umfeldsensordaten erschwert oder verhindert ist.
Durch den erstellten Trainingssatz, der Umfeldsensordaten mit Umfeldanomalien umfasst oder ausschließlich auf solchen Umfeldsensordaten basiert, kann ein verbessertes Training eines neuronalen Netzes zur Objekt und Degradationserkennung basierend auf den Umfeldsensordaten des Umfeldsensors erreicht werden. Indem das zu trainierende neuronale Netz auf den erstellten Trainingsdatensatz trainiert wird, kann eine Objekterkennung durch das trainierte neuronale Netz auf degradierten Umfeldsensordaten erreicht werden, die aufgrund umfeldbedingter Beeinträchtigungen eine Objekterkennung für gewöhnlich trainierte neuronale Netze erschweren oder verhindern. Durch den erstellten Trainingsdatensatz, der beabsichtigt auf Umfeldsensordaten basiert, die eine Umfeldanomalie umfassen und damit einen Zustand mit anormalen Sichtverhältnissen des zu steuernden Fahrzeugs beschreiben, kann ein zu trainierendes neuronales Netz explizit auf eine Objekterkennung für diese anormalen Sichtverhältnisse trainiert werden. Hierdurch kann die Robustheit des zur Objekterkennung verwendeten neuronalen Netzes erhöht werden. Gleichzeitig kann ein Grenzwert für die Datenqualität erkannt werden, ab dem das neuronale Netzt nicht mehr in der Lage ist, Objekte zu erkennen, beispielsweise aufgrund von zu eingeschränkter Sicht durch widrige Verhältnisse.
Nach einer Ausführungsform umfasst das Klassifizieren der Umfeldsensordaten: Detektieren eines Auslöseereignisses in einem Fahrzeug, wobei das Auslöseereignis eine Änderung eines Steuerungszustands des Fahrzeugs beschreibt; und Klassifizieren der Umfeldsensordaten, die innerhalb eines vorbestimmten Zeitraums vor und/oder nach Detektion des Auslöseereignisses aufgenommen werden, als relevante Umfeldsensordaten.
Hierdurch kann der technische Vorteil erreicht werden, dass eine einfache Klassifizierung der relevanten Umfeldsensordaten ermöglicht ist. Hierzu werden die Umfeldsensordaten als relevant klassifiziert, die innerhalb eines vorbestimmten Zeitraums vor und/oder nach Detektion des Auslöseereignisses aufgenommen werden. Das Auslöseereignis beschreibt hierbei eine Änderung eines Steuerungszustands des Fahrzeugs. Durch eine geeignete Wahl des jeweiligen Auslöseereignisses können somit Umfeldsensordaten des Umfeldsensors ausgewählt werden, die mit einer hohen Wahrscheinlichkeit eine Umfeldanomalie umfassen. Das Auslöseereignis kann hierzu beispielsweise an eine Verschlechterung der Sichtverhältnisse im Umfeld des Fahrzeugs gekoppelt sein.
Nach einer Ausführungsform umfasst ein Auslöseereignis eine Aktivierung einer Scheibenwischanlage, ein Auslösen eines Feuchtigkeits- oder Regensensors, ein Auslösen eines Helligkeitssensors des Fahrzeugs, eine Unterbrechung einer Fahrassistenzfunktion des Fahrzeugs, eine Wettererkennung durch das Fahrzeug, eine Erkennung einer Verkehrssituation durch das Fahrzeug.
Hierdurch kann der technische Vorteil erreicht werden, dass einfach zu detektierende Auslöseereignisse bereitgestellt werden können, die Rückschlüsse auf eine Verschlechterung der Sichtverhältnisse und damit verbunden auf das Vorliegen entsprechender Umfeldanomalien zulassen. Das Auslösen einer Scheibenwischanlage lässt beispielsweise Rückschlüsse auf verschlechterte Sichtverhältnisse in Form von zunehmendem Regen- bzw. Schneefall oder in Form einer Staub- bzw. Matschverschmutzung bzw. dem Vorhandensein von Laubblättern zu. Dies kann wiederum mit erhöhter Wahrscheinlichkeit zu Regentropfen, Schneeflocken oder Schmutzpartikeln auf einer Optik eines Umfeldsensors führen, was jeweils die Qualität der Umfeldsensordaten des Umfeldsensors negativ beeinflussen kann. Gleiches gilt für das Auslösen eines Feuchtigkeits- oder Regensensors oder das Auslösen eines Helligkeitssensors des Fahrzeugs, das jeweils auf verstärkten Regen- oder Schneefall bzw. eine erhöhte Nebeldichte oder einen stark blendenden Lichteinfall hindeutet. Unterbrechungen der Fahrassistenzfunktion oder eine Erkennung einer bestimmten Verkehrssituation können ebenfalls einen anormalen Betriebszustand des Fahrzeugs andeuten. Für entsprechend in diesen Situationen aufgenommene Umfeldsensordaten ist somit eine Wahrscheinlichkeit eines Vorliegens einer Umfeldanomalie erhöht, so dass eine Klassifizierung der Umfeldsensordaten, die vor, während und/oder nach Eintretens des Auslöseereignisses aufgenommen werden, sinnvoll ist. Eine Fahrassistenzfunktion des Fahrzeugs kann beispielsweise eine Spurhalte Assistenz-Funktion, eine Abstands-Assistenz-Funktion, eine Park-Assistenz-Funktion oder eine beliebige andere Funktion zur Fahrerunterstützung des Fahrzeugs sein.
Nach einer Ausführungsform umfasst das Klassifizieren der Umfeldsensordaten: Analysieren der Umfeldsensordaten, Detektieren von Umfeldanonmalien und Klassifizieren der Umfeldsensordaten mit detektierter Umfeldanomalie als relevante Umfeldsensordaten durch einen Anomaliedetektor, wobei der Anomaliedetektor ein trainiertes künstliches neuronales Netz umfasst und eingerichtet ist, als ein Klassifikator die Umfeldsensordaten in Bezug auf ein Vorhandensein einer Umfeldanomalie zu klassifizieren.
Hierdurch kann der technische Vorteil erreicht werden, dass eine möglichste präzise Detektion einer Umfeldanomalie und eine entsprechende präzise Klassifizierung als relevante Umfeldsensordaten durch den Anomaliedetektor ermöglicht ist.
Der als künstliches neuronales Netz ausgebildete Anomaliedetektor kann hierzu auf das Detektieren bestimmter Umfeldanomalien trainiert sein. Beispielsweise kann der Anomaliedetektor auf das Detektieren von Regentropfen, Schneeflocken, Dreckspritzern oder anderen Verschmutzungen auf einer Optik des Umfeldsensors, die die Qualität der Umfeldsensordaten herabsetzen, trainiert sein. Durch das entsprechende trainierte neuronale Netz ist eine schnelle und präzise Detektion von Umfeldanomalien und eine Klassifizierung der Umfeldsensordaten möglich. Der Anomaliedetektor kann hierbei alle Umfeldsensordaten des Umfeldsensors analysieren.
Alternativ kann der Anomaliedetektor auch als eine Support-Vektor-Maschine oder eine Random-Forrest Klassifikation ausgebildet sein.
Nach einer Ausführungsform umfassen die vom Anomaliedetektor analysierten Umfeldsensordaten die Umfeldsensordaten, die innerhalb eines vorbestimmten Zeitraums vor und/oder nach Detektion des Auslöseereignisses aufgenommen werden.
Hierdurch kann der technische Vorteil erreicht werden, dass eine möglichste präzise Detektion einer Umfeldanomalie und eine entsprechende präzise Klassifizierung als relevante Umfeldsensordaten durch den Anomaliedetektor ermöglicht ist. Indem durch den Anomaliedetektor die Umfeldsensordaten analysiert und klassifiziert werden, die unmittelbar vor, während oder nach Eintreten des Auslöseereignisses aufgenommen werden, kann eine weitere Präzisierung der Klassifizierung der Umfeldsensordaten erreicht werden. Durch die Kombination sowohl des Auslöseereignisses als auch des Anomaliedetektors kann eine zusätzliche Auswahl der als relevant zu klassifizierenden Umfeldsensordaten erreicht werden. So werden ausschließlich die Umfeldsensordaten als relevant klassifiziert, die zum Einen unmittelbar vor, während oder nach Eintreten des Auslösekriteriums aufgenommen werden, und die zum Anderen tatsächlich eine Umfeldanomalie aufweisen. Darüber kann erreicht werden, dass der Anomaliedetektor nicht alle Umfeldsensordaten analysieren muss, sondern lediglich auf die beschränkt ist, die unmittelbar vor, während oder nach Eintreten des Auslösekriteriums aufgenommen werden. Hierdurch kann Rechenkapazität eingespart werden, die zum Betrieb des Anomaliedetektors benötigt wird.
Nach einer Ausführungsform wird der Anomaliedetektor im Fahrzeug oder auf einer externen Serverarchitektur ausgeführt.
Hierdurch kann der technische Vorteil erreicht werden, dass eine möglichst hohe Flexibilität für die Analyse und Klassifikation der Umfeldsensordaten durch den Anomaliedetektor bereitgestellt werden kann, indem die Umfeldsensordaten im Fahrzeug oder auf einer externen Serverarchitektur durch den Anomaliedetektor analysiert und klassifiziert werden können. Durch die Ausführung des Anomaliedetektors im Fahrzeug kann beispielsweise eine Onlineanalyse und Klassifikation der Umfeldsensordaten während des Betriebs des autonom fahrenden Fahrzeugs durchgeführt werden. Hierdurch kann eine mögliche online Analyse und Klassifikation der Umfeldsensordaten durchgeführt werden. Alternativ kann der Anomaliedetektor auf einer externen Serverarchitektur ausgeführt werden. Hierdurch kann eine Rechenkapazität einer Steuereinheit des Fahrzeugs eingespart werden, indem die gegebenenfalls rechenaufwändige Analyse und Klassifikation der Umfeldsensordaten auf der externen Serverarchitektur ausgeführt wird.
Nach einer Ausführungsform wird das Erstellen des Trainingsdatensatzes auf einer externen Serverarchitektur ausgeführt, wobei das Verfahren ferner umfasst: Übertragen der Umfeldsensordaten und/oder der relevanten Umfeldsensordaten vom Fahrzeug an die externe Serverarchitektur.
Hierdurch kann der technische Vorteil erreicht werden, dass eine zum Erstellen des Trainingsdatensatzes benötigte Rechenkapazität vom Fahrzeug auf eine leistungsfähigere externe Serverarchitektur ausgelagert werden kann. Durch die leistungsfähigere externe Serverarchitektur kann darüber hinaus das Erstellen des Trainingsdatensatzes zeitlich beschleunigt werden. Darüber hinaus kann durch das Erstellen des Trainingsdatensatzes auf der externen Serverarchitektur erreicht werden, dass Umfeldsensordaten einer Mehrzahl verschiedener Fahrzeuge in dem jeweiligen Trainingsdatensatz berücksichtigt werden können. Hierzu werden die jeweiligen Umfeldsensordaten der einzelnen Fahrzeuge wieder an die externe Serverarchitektur mittels einer Datenübertragung übermittelt.
Nach einer Ausführungsform wird das Übertragen der Umfeldsensordaten und/oder der relevanten Umfeldsensordaten vom Fahrzeug an die externe Serverarchitektur über eine Internetverbindung durchgeführt wird
Hierdurch kann der technische Vorteil erreicht werden, dass eine Datenübertragung der Umfeldsensordaten vom Fahrzeug an die externe Serverarchitektur online und somit während des Betriebs des Fahrzeugs, beispielsweise beim Fahren auf der Autobahn, durchgeführt werden kann. Hierdurch ist eine erhöhte Flexibilität des Verfahrens erreicht und es kann verhindert werden, dass zur Datenübertragung das Fahrzeug an einem vorbestimmten Ort positioniert werden muss.
Nach einer Ausführungsform umfassen das Analysieren der Umfeldsensordaten und das Klassifizieren der Umfeldsensordaten als relevante Umfeldsensordaten durch den Anomaliedetektor neben den Umfeldsensordaten des Fahrzeugs in einer Datenbank gespeicherte Umfeldsensordaten.
Hierdurch kann der technische Vorteil erreicht werden, dass ein verbesserter Trainingsdatensatz bereitgestellt werden kann, der auf Umfeldsensordaten einer Mehrzahl verschiedener Fahrzeuge basiert. Hierdurch kann nicht nur die Anzahl der im Trainingsdatensatz berücksichtigten Umfeldsensordaten erhöht werden, sondern gleichzeitig eine erhöhte Variation verschiedener Umfeldanomalien innerhalb des Trainingsdatensatzes berücksichtigt werden. Hierdurch umfasst der erstellte Trainingsdatensatz eine erhöhte Anzahl verschiedener Umfeldanomalien, so dass ein verbessertes Training des zu trainierenden neuronalen Netzes ermöglicht ist.
Nach einer Ausführungsform umfassen die Umfeldsensordaten Kameradaten einer Bildkamera, Videodaten einer Videokamera, LiDAR-Daten eines LiDAR-Systems und RADAR-Daten eines RADAR-Systems, AUDIO-Daten eines Mikrofon-Systems, ULTRASCHALL-Daten eines ULTRASCHALL-Systems.
Hierdurch kann der technische Vorteil erreicht werden, dass möglichst aussagekräftige Umfeldsensordaten berücksichtigt werden, mittels denen eine Objekterkennung sinnvollerweise durchgeführt werden kann.
Nach einer Ausführungsform ist das Fahrzeug ein Testfahrzeug oder ein in einem Normalbetrieb betriebenes Serienfahrzeug.
Hierdurch kann der technische Vorteil erreicht werden, dass eine hohe Anzahl verschiedener Umfeldsensordaten und damit verbundenen verschiedener vorliegender Umfeldanomalien im erstellten Trainingsdatensatz berücksichtigt werden kann. Hierdurch wird ein möglichst umfangreicher und diverser Trainingsdatensatz erreicht. Durch die Berücksichtigung der Umfeldsensordaten eines Testfahrzeugs kann erreicht werden, dass durch entsprechendes Ausführen von Testfahrten mit ausgewählt anormalem Umfeldverhältnis kann erreicht werden, dass Umfeldsensordaten mit exklusiv und gegebenenfalls besonders seltenen Umfeldanomalien berücksichtigt werden können. Durch die Berücksichtigung von Umfeldsensordaten von einer großen Fahrzeugflotte von im Normalbetrieb befindlichen Serienfahrzeugen kann erreicht werden, dass innerhalb eines kurzen Zeitraums und mit geringen Kosten verbunden eine große Anzahl verschiedener Umfeldsensordaten und damit verbunden eine große Anzahl verschiedener Umfeldanomalien im Trainingsdatensatz berücksichtigt werden können.
Nach einer Ausführungsform umfasst das Erstellen des Trainingsdatensatzes Umfeldsensordaten von einer Mehrzahl verschiedener Fahrzeuge.
Hierdurch kann der technische Vorteil erreicht werden, dass innerhalb einer kurzen Zeitspanne und mit wenig Kosten verbunden eine große Anzahl verschiedener Umfeldsensordaten und damit verbunden eine große Anzahl verschiedener Umfeldanomalien für den jeweiligen zu erstellenden Trainingsdatensatz berücksichtigt werde können.
Nach einer Ausführungsform umfasst das Erstellen des Trainingsdatensatzes Umfeldsensordaten:

Auswählen geeigneter Umfeldsensordaten aus den als relevant klassifizierten Umfeldsensordaten; und
Kennzeichnen von in den Umfeldsensordaten abgebildeten Objekten.

Hierdurch kann der technische Vorteil erreicht werden, dass der zu erstellende Trainingsdatensatz auf Umfeldsensordaten mit Umfeldanomalien beschränkt werden kann. Durch das Auswählen geeigneter Umfeldsensordaten aus den durch den Anomaliedetektor als relevant klassifizierten Umfeldsensordaten kann erreicht werden, dass aus den als relevant klassifizierten Umfeldsensordaten ausschließlich Umfeldsensordaten im Trainingsdatensatz berücksichtigt werden, die tatsächlich eine Umfeldanomalie umfassen. Hierdurch können beispielsweise Umfeldsensordaten aussortiert werden, die fälschlicherweise durch den Anomaliedetektor als relevant klassifiziert wurden, die jedoch keine relevante Umfeldanomalie umfassen. Durch das Kennzeichnen der in den Umfeldsensordaten abgebildeten Objekten kann der Trainingsdatensatz zum Training der jeweiligen neuronalen Netze vervollständigt werden, so dass auf Basis des erstellten Trainingsdatensatzes das zu trainierende neuronale Netz auf die Objekterkennung in schwierigen Sichtverhältnissen trainiert werden kann.
Nach einem zweiten Aspekt der Erfindung wird ein Computerprogrammprodukt bereitgestellt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren gemäß einer der voranstehenden Ausführungsformen auszuführen.
Ausführungsbeispiele der Erfindung werden anhand der folgenden Zeichnungen erläutert. In den schematischen Zeichnungen zeigen:

1 ein Flussdiagramm eines Verfahrens zum Generieren von Trainingsdaten neuronaler Netze gemäß einer Ausführungsform;
2 ein weiteres Flussdiagramm des Verfahrens zum Generieren von Trainingsdaten neuronaler Netze gemäß einer weiteren Ausführungsform;
3 eine schematische Darstellung eines Anomalie-Data-Loops gemäß einer Ausführungsform; und
4 eine schematische Darstellung eins Computerprogrammprodukts.

1 zeigt ein Flussdiagramm eines Verfahrens 100 zum Generieren von Trainingsdaten 211 neuronaler Netze gemäß einer Ausführungsform.
In der gezeigten Ausführungsform des Verfahrens 100 zum Generieren von Trainingsdaten 211 für ein künstliches neuronales Netz zur Objekterkennung in autonom fahrenden Fahrzeugen 200 werden in einem ersten Verfahrensschritt 101 Umfeldsensordaten durch einen Umfeldsensor 203 eines Fahrzeugs 200 aufgenommen. Der Umfeldsensor kann hierbei ein Kamerasystem sein, das eingerichtet ist, Bildaufnahmen und/oder Videoaufnahmen eines Umfelds des Fahrzeugs 200 aufzunehmen. Alternativ kann der Umfeldsensor 203 ein Lidar- oder Radar- oder Mikrofon -oder Ultraschallsystem sein, mittels dem Entfernungs- und/oder Bewegungsinformationen bzgl. Objekten des Umfelds des Fahrzeugs 200 aufgenommen werden können.
In einem folgenden Verfahrensschritt 103 werden die vom Umfeldsensor 203 aufgenommenen Umfeldsensordaten, die eine Umfeldanomalie umfassen, als relevante Umfeldsensordaten klassifiziert. Eine Umfeldanomalie kann hierbei eine umfeldbedingte Beeinträchtigung der Umfeldsensordaten sein, die eine Objekterkennung auf Basis der Umfeldsensordaten erschwert oder verhindert. Eine Umfeldanomalie kann beispielswiese eine wetterbedingte Beeinträchtigung der Sichtverhältnisse sein, die zu einer Herabsetzung der Datenqualität der Umfelddaten führen kann. Eine Umfeldanomalie kann beispielsweise durch Wassertropfen auf einer Optik des Umfeldsensors 203 gegeben sein, die die aufgenommenen Umfeldsensordaten beeinträchtigen. Alternativ kann eine Umfeldanomalie eine Verschmutzung des Sensors, beispielsweise durch eine Staubschicht oder Dreckspritzer sein. Darüber hinaus können Umfeldanomalien eine Ablagerung von Laubblättern, Papier- Stoff- oder Kunststofffolienteilen umfassen, die ebenfalls die Optik des Umfeldsensors 203 beeinträchtigen. Darüber hinaus können Umfeldanomalien anormale und unvorteilhafte Lichtverhältnisse, beispielsweise in Form eines stark blendenden Lichteinfalls durch einen tiefen Sonnenstand oder stark blendende Scheinwerferbeleuchtung sein.
Die Klassifikation 103 der Umfeldsensordaten kann in einem Onlinebetrieb des Fahrzeugs 200, sprich beispielsweise während der Fahrt des Fahrzeugs 200, durchgeführt werden.
Alternativ kann die Klassifikation 103 der Umfeldsensordaten auf einer externen Serverarchitektur durchgeführt werden.
Nach Klassifikation der Umfeldsensordaten als relevante Umfeldsensordaten wird in einem folgenden Verfahrensschritt 105 ein Trainingsdatensatz basierend auf den relevanten Umfeldsensordaten erstellt. Der Trainingsdatensatz kann derart erstellt werden, dass der Trainingsdatensatz ausschließlich relevante Umfeldsensordaten umfasst, sprich ausschließlich Umfeldsensordaten, in denen eine Umfeldanomalie vorhanden ist. Alternativ kann der Trainingsdatensatz auch Umfeldsensordaten umfassen, in denen keine Umfeldanomalien detektiert wurden. In Form der relevanten Umfeldsensordaten umfasst der Trainingsdatensatz somit Degradierteumfeldsensordaten , für die eine Objekterkennung von Objekten im Umfeld des Fahrzeugs 200 erschwert ist. Der erstellte Trainingsdatensatz ermöglicht somit das Trainieren eines neuronalen Netzes speziell in Bezug auf eine Objekterkennung bei nicht optimalen Sichtverhältnissen bzw. basierend auf Umfeldsensordaten mit Degradierten/ Beeinträchtigten Daten.
Das Erstellen 105 des Trainingsdatensatzes kann gemäß einer Ausführungsform auf einer externen Serverarchitektur 209 durchgeführt werden. Darüber hinaus können beim Erstellen 105 des Trainingsdatensatzes ausschließlich Umfeldsensordaten eines einzelnen Fahrzeugs 200 berücksichtigt werden. Alternativ hierzu können Umfeldsensordaten einer Mehrzahl von verschiedenen Fahrzeugen berücksichtigt werden, die beispielsweise zu unterschiedlichen Zeiten an unterschiedlichen Orten und in unterschiedlichen Fahrsituationen aufgenommen wurden.
Die Fahrzeuge 200, die zum Aufnehmen der Umfeldsensordaten verwendet werden, können hierbei Testfahrzeuge sein, die explizit zum Aufnehmen derartiger Umfeldsensordaten entsprechende Testfahrten vollziehen. Alternativ oder zusätzlich hierzu können die Fahrzeuge 200 im Normalbetrieb betriebenen Serienfahrzeuge sein, für die während des Normalbetriebs entsprechende Umfeldsensordaten aufgenommen, gegebenenfalls zwischengespeichert bzw. an die externe Serverarchitektur 209 übermittelt werden.
Die Aufnahme der Umfeldsensordaten kann hierbei durchgehend durchgeführt werden, indem für einen zusammenhängenden Zeitraum vollständig oder gegebenenfalls teilweise Umfeldsensordaten beliebig protokolliert und durch den Anomaliedetektor 207 analysiert werden. Alternativ kann die Aufnahme der Umfeldsensordaten an das Eintreten vordefinierter Ereignisse gebunden sein, so dass ausschließlich an derartige Ereignisse gekoppelte Umfeldsensordaten durch den Anomaliedetektor 207 klassifiziert 103 werden.
2 zeigt ein weiteres Flussdiagramm des Verfahrens 100 zum Generieren von Trainingsdaten 211 neuronaler Netze gemäß einer weiteren Ausführungsform.
Die in 2 gezeigte Ausführungsform des Verfahrens 100 basiert auf der in 1 gezeigten Ausführungsform und umfasst alle dort beschriebenen Verfahrensschritte. Sollten diese in der vorliegen Ausführungsform unverändert bleiben, wird von einer erneuten detaillierten Beschreibung abgesehen.
In der gezeigten Ausführungsform sind drei mögliche Ausführungspfade a), b), c) des Verfahrens gezeigt, die alternativ oder parallel ausgeführt werden können.
In der gezeigten Ausführungsform umfasst das Klassifizieren 103 der Umfeldsensordaten als relevante Umfeldsensordaten einen Verfahrensschritt 107, in dem ein Auslöseereignis im Fahrzeug 200 detektiert wird. Das Auslöseereignis beschreibt hierbei eine Änderung eines Steuerungszustands des Fahrzeugs 200. Das Auslöseereignis kann beispielsweise eine Aktivierung oder Deaktivierung einer Funktion des Fahrzeugs 200 sein, über die eine Verschlechterung der Sichtverhältnisse bzw. der Wetterverhältnisse und damit verbunden das Vorliegen einer Umfeldanomalie angezeigt sein kann.
Beispielsweise kann das Auslöseereignis ein Einschalten einer Scheibenwischanlage, beispielsweise das Betätigen des Scheibenwischers bzw. das Betätigen der Spritzdüsen der Wischanlage sein. Über das Betätigen der Scheibenwischer kann eine Verschlechterung der Sichtverhältnisse durch vermehrten Schnee- oder Regenfall bzw. das Vorhandensein einer Schmutzschicht oder von Laubblättern oder ähnlichen Gegenständen auf der Windschutzscheibe angedeutet sein, durch die ebenfalls eine Beeinträchtigung der Umfeldsensordaten des Umfeldsensors 203 bewirkt werden. Alternativ kann das Auslöseereignis das Auslösen eines Feuchtigkeits- oder Regensensors sein, über das ebenfalls eine Verschlechterung der Witterung und damit verbunden der Sichtverhältnisse korrelieren kann, was wiederum zu einer Verschlechterung der Umfeldsensordaten des Umfeldsensors führen kann. Alternativ kann ein Auslöseereignis durch ein Auslösen eines Helligkeitssensors gegeben sein, das auf veränderte Lichtverhältnisse, beispielsweise auf einen blendenden Lichteinfall durch einen tiefen Sonnenstand bzw. stark blendendes Scheinwerferlicht zurückzuführen ist, das wiederum die Datenqualität der Umfeldsensordaten beeinträchtigen kann. Darüber hinaus kann ein Auslöseereignis durch eine Unterbrechung eines Spurhalteassistenten des Fahrzeugs 200 gegeben sein, die auf eine Änderung der Fahrsituation des Fahrzeugs 200 hindeutet, was wiederum auf das Vorhandensein einer Umfeldanomalie in den gegebenen Umfeldsensordaten hinweist.
Für die unmittelbar vor, während oder nach Eintreten des Auslöseereignisses aufgenommen Umfeldsensordaten kann somit mit hoher Wahrscheinlichkeit das Vorhandensein einer Umfeldanomalie innerhalb der Umfeldsensordaten vorhergesagt werden.
Beispielsweise kann bei einem Einschalten eines Scheibenwischers als Auslöseereignis auf das Vorhandensein von Regentropfen, Schneeflocken oder Dreckspritzern auf einer Optik des Umfeldsensors, die jeweils die Umfeldsensordaten beeinträchtigen und somit als Umfeldanomalien gewertet werden, geschlossen werden. Umfeldsensordaten, die während des Betriebs des Scheibenwischers aufgenommen werden, umfassen somit mit hoher Wahrscheinlichkeit eine entsprechende Umfeldanomalie und können daher sinnvollerweise als relevant für das Erstellen eines entsprechenden Trainingsdatensatzes klassifiziert werden.
Nach Detektion 107 des Auslöseereignisses innerhalb des Fahrzeugs 200 werden die Umfeldsensordaten, die in einem vorbestimmten Zeitraum vor und/oder nach Eintreten des Auslöseereignisses aufgenommen werden, als relevant klassifiziert.
In der gezeigten Ausführungsform umfasst das Klassifizieren 103 der Umfeldsensordaten ferner einen Verfahrensschritt 109. Im Verfahrensschritt 109 können die Umfeldsensordaten des Umfeldsensors durch einen Anomaliedetektor 207 analysiert und bei Detektion einer Umfeldanomalie als relevant klassifiziert werden.
Der Anomaliedetektor 207 kann hierzu als ein entsprechend trainiertes künstliches neuronales Netz ausgebildet sein, das eingereicht ist, als ein Klassifikator die Umfeldsensordaten des Umfeldsensors 203 in Bezug auf ein Vorhandensein von Umfeldanomalien zu klassifizieren.
Der Anomaliedetektor 207 kann beispielsweise als Bildklassifikator betrieben werden, der bei einer niedrigen Gesamtkonfidenz der aufgenommenen Umfeldsensordaten in diesen eine Umfeldanomalie erkennt und diese somit als relevant klassifiziert. Der Anomaliedetektor kann alternativ oder zusätzlich auf das Erkennen entsprechender Umfeldanomalien innerhalb der Umfeldsensordaten, beispielsweise auf das Erkenn von Regentropfen, Schneeflocken oder Schlammspritzer auf der Optik des Umfeldsensors, trainiert sein.
Der Anomaliedetektor 200 kann hierbei innerhalb einer Steuereinheit 201 des Fahrzeugs 200 ausgeführt werden. Das Klassifizieren 103 der Umfeldsensordaten durch den Anomaliedetektor 207 kann hierbei in einem Onlinebetrieb des Fahrzeugs 200, sprich beispielsweise während der Fahrt des Fahrzeugs 200, durchgeführt werden.
Alternativ kann der Anomaliedetektor 207 in einer externen Serverarchitektur 209 ausgeführt werden. Der Anomaliedetektor 207 kann hierbei neben den Umfeldsensordaten des Fahrzeugs 200 bzw. der Fahrzeuge 200 in einer Datenbank vorgespeicherte Umfeldsensordaten umfassen. Der erstellte Trainingsdatensatz kann somit neben aktuell aufgenommenen Umfeldsensordaten entsprechend ältere Umfeldsensordaten umfassen, die zu einem früheren Zeitpunkt aufgenommen oder generiert wurden.
Die Ausführungspfade a) und b) des Verfahrens 100 beschreiben eine Kombination der Klassifizierungsmöglichkeiten, über die Detektion des Auslöseereignisses im Verfahrensschritt 107 und/oder über die Analyse durch den Anomaliedetektor 207 im Verfahrensschritt 109.
Im Ausführungspfad a) werden die Verfahrensschritte 107 und 109 zeitlich nacheinander ausgeführt. Somit werden die im Zeitraum vor und/oder nach Eintreten des Auslöseereignisses aufgenommen Umfeldsensordaten zusätzlich durch den Anomaliedetektor 207 analysiert. Der Anomaliedetektor 207 muss somit nicht auf alle Umfeldsensordaten angewendet werden, sondern die Analyse kann auf die mit dem Auslöseereignis assoziierten Umfeldsensordaten beschränkt werden. Darüber hinaus können Umfeldsensordaten, die zwar während des Auslöseereignisses aufgenommen werden aber keine Umfeldanomalie umfassen, beispielsweise weil der Scheibenwischer nicht aufgrund heftigen Regens sondern versehentlich aktiviert wurde und sich somit keine Regentropfen auf der Optik des Umfeldsensors befinden, als nicht relevant klassifiziert werden.
Im Ausführungspfad b) werden die Verfahrensschritte 107 und 109 hingegen parallel oder alternativ zueinander ausgeführt. Im Ausführungspfad b) können durch den Anomaliedetektor 207 alle Umfeldsensordaten des Umfeldsensors analysiert werden. Eine Einschränkung auf die unmittelbar vor, während oder nach Eintreten eines Auslöseereignisses aufgenommenen Umfeldsensordaten findet nicht statt. Die Klassifikation 103 der Umfeldsensordaten kann somit durch Assoziation mit einem Auslöseereignis oder durch Analyse durch den Anomaliedetektor vorgenommen werden.
In der gezeigten Ausführungsform kann das Generieren 105 des Trainingsdatensatzes basierend auf den als relevant klassifizierten Umfeldsensordaten auf einer externen Serverarchitektur 209 ausgeführt werden.
In der gezeigten Ausführungsform umfasst das Verfahren 100 somit ferner einen Verfahrensschritt 111, in dem Umfeldsensordaten beziehungsweise als relevant klassifizierte Umfeldsensordaten vom Fahrzeug 200 an die externe Serverarchitektur 207 übertragen werden. Die Datenübertragung kann beispielsweise über eine Internetverbindung erfolgen.
Im Ausführungspfad c) ist der Fall beschrieben, dass der Anomaliedetektor 207 in der externen Serverarchitektur 209 ausgeführt wird. In diesem Fall werden alle im Verfahrensschritt 101 durch den Umfeldsensor aufgenommenen Daten im Verfahrensschritt 111 an die externe Serverarchitektur übertragen. Auf der externen Serverarchitektur können die übertragenen Umfeldsensordaten zwischengespeichert werden oder unmittelbar durch den Anomaliedetektor analysiert und klassifiziert werden.
In den Ausführungspfaden a) und b) ist der Fall dargestellt, dass der Anomaliedetektor 207 in der Steuereinheit 201 des Fahrzeugs 200 ausgeführt wird. In diesem Fall wird zunächst das Klassifizieren 103 der Umfeldsensordaten durch die Detektion 107 des Auslöseereignisses und die Auswahl der entsprechend zu diesem Zeitpunkt aufgenommenen Umfeldsensordaten und/oder durch die Analyse 109 des Anomaliedetektors 207 ausgeführt und im Verfahrensschritt 111 werden die als relevant klassifizierten Umfeldsensordaten an die externe Serverarchitektur 209 übertragen. Die Datenübertragung kann in diesem Fall ebenfalls über eine Internetverbindung vorgenommen werden. Die Datenübertragung kann somit beispielsweise während des Betriebs des Fahrzeugs 200 durchgeführt werden.
In der gezeigten Ausführungsform umfasst der Verfahrensschritt 107 ferner einen Verfahrensschritt 113 und einen Verfahrensschritt 115. Im Verfahrensschritt 113 werden die durch den Anomaliedetektor 207 als relevant klassifizierten Umfeldsensordaten erneut analysiert und es werden Umfeldsensordaten ausgewählt, die für den zu erstellenden Trainingsdatensatz geeignet sind. Hierzu können die als relevant klassifizierten Umfeldsensordaten auf das tatsächliche Vorhandensein einer Umfeldanomalie erneut überprüft werden und ausschließlich die Umfeldsensordaten ausgewählt werden, die tatsächlich eine Umfeldanomalie umfassen. Diese Überprüfung bzw. dieses Auswählen der geeigneten Umfeldsensordaten kann beispielsweise automatisch durchgeführt werden. Alternativ kann der Verfahrensschritt 113 händisch durch entsprechendes Personal ausgeführt werden, das die einzelnen Umfeldsensordaten, beispielsweise die Bild- oder Videoaufnahmen des Kamerasystems oder die Lidar- bzw. Radaraufnahmen sichtet und die aufgenommenen Objekten- und Umfeldanomalien untersucht und ausschließlich die Umfeldsensordaten auswählt, die Objekte und/oder Umfeldanomalien umfassen.
Darauffolgend werden im Verfahrensschritt 115 in den ausgewählten Umfeldsensordaten im Zuge eines Labelling-Prozesses die vorhandenen Objekte entsprechend gekennzeichnet und/oder benannt. Dies kann wiederum händisch durch entsprechend geschultes Personal vorgenommen werden.
Die im Verfahrensschritt 105 und damit verbunden in den Verfahrensschritten 113 und 115 berücksichtigten Umfeldsensordaten können von einem einzelnen Umfeldsensor oder einer Mehrzahl verschiedener Umfeldsensoren eines einzelnen Fahrzeugs 200 stammen. Alternativ können die zum Erstellen des Trainingsdatensatzes berücksichtigten Umfeldsensordaten von einer Mehrzahl verschiedener Fahrzeuge stammen, wie beispielsweise Testfahrzeuge oder in einem Normalbetrieb betriebene Serienfahrzeuge sein können. Alternativ oder zusätzlich kann für den Verfahrensschritt 107 neben den Umfeldsensordaten der Fahrzeuge 200 in einer Datenbank gespeicherte Umfeldsensordaten berücksichtigt werden, die gegebenenfalls bereits in vorangegangenen Schritten als relevant und geeignet klassifiziert wurden.
3 zeigt eine schematische Darstellung eines Anomalie-Data-Loops gemäß einer Ausführungsform.
3 zeigt in graphischer Darstellung einen vollständigen Anomalie-Data-Loop, in dem vom Aufnehmen der Umfeldsensordaten über das Generieren eines entsprechenden Trainingsdatensatzes und das Trainieren und Testen eines entsprechenden neuronalen Netzes ein vollständiger Kreislauf zum Erzeugen eines entsprechend trainierten neuronalen Netzes gezeigt ist, das geeignet ist, Objekte 205 in Umfeldsensordaten mit schlechten Witterungsverhältnissen zu erkennen.
In 3 sind die Ausführungspfade b) und c) des Verfahrens 100 in 2 gezeigt. Im Ausführungspfad b) des Loops ist dargestellt, dass der Anomaliedetektor 207 in einer Steuereinheit 201 des Fahrzeugs 200 ausgeführt wird. Analog zum oben Dargelegten werden zunächst gemäß dem Verfahrensschritt 101 Umfeldsensordaten durch den Umfeldsensor 203 aufgenommen. Diese werden gemäß dem Verfahrensschritt 103 als relevant klassifiziert, wenn diese Umfeldanomalien umfassen. Zur Klassifikation können die Umfeldsensordaten gemäß dem Verfahrensschritt 107 mit dem Eintreten eines Auslöseereignisses assoziiert werden. Alternativ oder zusätzlich können zur Klassifikation die Umfeldsensordaten gemäß dem Verfahrensschritt 109 durch den Anomaliedetektor 207 analysiert werden. Nach Klassifikation werden die als relevanten Umfeldsensordaten gemäß dem Verfahrensschritt 111 vom Fahrzeug 200 an die externe Serverarchitektur 209 übertragen. Die Klassifikation 103 der Umfeldsensordaten kann hierbei während eines normalen Betriebs des Fahrzeugs 200, sprich während der Fahrt des Fahrzeugs 200, durchgeführt werden. Die Übertragung der als relevant klassifizierten Umfeldsensordaten vom Fahrzeug bzw. von den Fahrzeugen an die externe Serverarchitektur 209 kann unmittelbar nach Aufnahme der Umfeldsensordaten und nach Durchführung der Analyse und Klassifizierung durch den Anomaliedetektor 207 durchgeführt werden. Alternativ können die als relevant klassifizierten Umfeldsensordaten erneut im Fahrzeug 200 zwischengespeichert werden und eine Übertragung der als relevant klassifizierten Umfeldsensordaten zu einem vorbestimmten Zeitpunkt erfolgen.
Im Ausführungspfad c) ist die Ausführungsform dargestellt, in der der Anomaliedetektor 207 in der externen Serverarchitektur 209 ausgeführt wird. In diesem Fall werden die gemäß dem Verfahrensschritt 101 aufgenommenen Umfeldsensordaten gemäß einem Schritt 117 in einem Offlinedatenspeicher 217 zwischengespeichert. Im Offlinedatenspeicher 217 können alle aufgenommenen Umfeldsensordaten des Fahrzeugs 200 gespeichert werden. Eine Einschränkung auf die während des Auftretens des Auslöseereignisses aufgenommenen Umfeldsensordaten findet nicht zwingend statt. Gemäß dem Verfahrensschritt 111 werden die in dem Offlinedatenspeicher 217 gespeicherten Umfeldsensordaten an die externe Serverarchitektur 209 übertagen. Der in der externen Serverarchitektur 209 ausführbare Anomaliedetektor 207 führt hierauf gemäß den Verfahrensschritten 103 und 109 eine Analyse und Klassifizierung der übertragenen Umfeldsensordaten aus.
In der externen Serverarchitektur 209 können die als relevant klassifizierten Umfeldsensordaten erneut zwischengespeichert werden. In dem Zwischenspeicher der externen Serverarchitektur 209 können somit als relevant klassifizierte Umfeldsensordaten einer Mehrzahl verschiedener Fahrzeuge zwischengespeichert werden. Basierend auf den zwischengespeicherten als relevant gekennzeichneten Umfeldsensordaten der Mehrzahl von Fahrzeugen kann darauffolgend ein entsprechender Trainingsdatensatz erstellt werden.
Darauffolgend wird gemäß der Verfahrensschritte 113, 115 aus den als relevant gekennzeichneten Umfeldsensordaten ein entsprechender Trainingsdatensatz 211 generiert.
Der erstellte Trainingsdatensatz 211 kann darauffolgend für das Trainieren 119 eines neuronalen Netzes und das Erstellen eines trainierten neuronalen Netzes 213 verwendet werden. Das Training eines neuronalen Netzes basierend auf dem erstellten Trainingsdatensatz 211 kann hierbei gemäß den im Stand der Technik bekannten Trainingsprozessen durchgeführt werden. Darauffolgend kann das trainierte neuronale Netz von 213 auf eine entsprechende Objekterkennung getestet werden 121. Hierzu können Teile des Trainingsdatensatzes 211 zum Trainieren und ein weiterer Teil ausschließlich zum Testen der Objekterkennung durch das trainierte neuronale Netz 113 verwendet werden. Ein entsprechend getestetes neuronales Netz 215 kann darauffolgend in das Fahrzeug 200 installiert werden. Das entsprechend trainierte und getestete neuronale Netz ist somit eingerichtet, eine Objekterkennung auf Umfeldsensordaten durchzuführen, die während beeinträchtigten Sichtverhältnissen und damit verbundenen bei Vorhandensein einer Umfeldanomalie aufgenommen wurden. Das Installieren des trainiert und getesteten neuronalen Netzes in das Fahrzeug kann beispielsweise automatisch durch eine Installation eines Updates erfolgen.
Der erstellte Trainingsdatensatz 211 kann als vollständiger Datensatz für das Training der zu trainierenden neuronalen Netze verwendet werden. Alternativ kann der Trainingsdatensatz durch erneutes Ausführen des Verfahrens 100 beliebig um weitere relevante Umfeldsensordaten mit entsprechenden Umfeldanomalien erweitert werden.
Das Trainieren und Testen der neuronalen Netze kann auf der externen Serverarchitektur 209 ausgeführt werden. Alternativ kann das Trainieren und Testen der neuronalen Netze auf einer lokalen Datenverarbeitungsanlage durchgeführt werden. Die externe Serverarchitektur 209 kann als ein Cloudserver ausgebildet sein.
4 zeigt eine schematische Darstellung eins Computerprogrammprodukts 300.
In 4 ist das Computerprogrammprodukt 300 auf einem handelsüblichen Speichermedium 301, beispielsweise einer Festplatte oder einem anderen Datenträger, gespeichert.

Claims

Verfahren (100) zum Generieren von Trainingsdaten (211) für ein künstliches Neuronales Netz zur Objekterkennung, insbesondere in autonom fahrenden Fahrzeugen (200), umfassend: Aufnehmen (101) von Umfeldsensordaten durch einen Umfeldsensor (203) eines Fahrzeugs (200); Klassifizieren (103) von Umfeldsensordaten, die eine Umfeldanomalie aufweisen, als relevante Umfeldsensordaten, wobei eine Umfeldanomalie eine umfeldbedingte Beeinträchtigung der Umfeldsensordaten für eine Objekterkennung darstellt; und Erstellen (105) eines Trainingsdatensatz (211) mit Umfeldanomalien für ein künstliches Neuronales Netz (213) aus den relevanten Umfeldsensordaten.
Verfahren (100) nach Anspruch 1, wobei das Klassifizieren (103) der Umfeldsensordaten umfasst: Detektieren (109) eines Auslöseereignisses im Fahrzeug (200), wobei das Auslöseereignis eine Änderung eines Steuerungszustands des Fahrzeugs (200) beschreibt; und Klassifizieren der Umfeldsensordaten, die innerhalb eines vorbestimmten Zeitraums vor und/oder nach Detektion des Auslöseereignisses aufgenommen werden, als relevante Umfeldsensordaten.
Verfahren (100) nach Anspruch 3, wobei ein Auslöseereignis eine Aktivierung einer Scheibenwischanlage, ein Auslösen eines Feuchtigkeits- oder Regensensors, ein Auslösen eines Helligkeitssensors des Fahrzeugs (200), eine Unterbrechung einer Fahrassistenzfunktion des Fahrzeugs (200), eine Wettererkennung durch das Fahrzeug (200) oder eine Erkennung einer Verkehrssituation durch das Fahrzeug (200) umfasst.
Verfahren (100) nach einem der voranstehenden Ansprüche, wobei das Klassifizieren (103) der Umfeldsensordaten umfasst: Analysieren (107) der Umfeldsensordaten, Detektieren von Umfeldanonmalien und Klassifizieren der Umfeldsensordaten mit detektierter Umfeldanomalie als relevante Umfeldsensordaten durch einen Anomaliedetektor, wobei der Anomaliedetektor (207) ein trainiertes künstliches neuronales Netz umfasst und eingerichtet ist, als ein Klassifikator die Umfeldsensordaten in Bezug auf ein Vorhandensein einer Umfeldanomalie zu klassifizieren.
Verfahren (100) nach Anspruch 4, wobei die vom Anomaliedetektor (207) analysierten Umfeldsensordaten die Umfeldsensordaten umfasst, die innerhalb eines vorbestimmten Zeitraums vor und/oder nach Detektion des Auslöseereignisses aufgenommen werden.
Verfahren (100) nach Anspruch 4 oder 5, wobei der Anomaliedetektor (207) im Fahrzeug (207) oder auf einer externen Serverarchitektur (209) ausgeführt wird.
Verfahren (100) nach einem der voranstehenden Ansprüche, wobei das Erstellen (105) des Trainingsdatensatzes auf einer externen Serverarchitektur (209) ausgeführt wird, und wobei das Verfahren (100) ferner umfasst: Übertragen (111) der Umfeldsensordaten und/oder der relevanten Umfeldsensordaten vom Fahrzeug (200) an die externe Serverarchitektur (209).
Verfahren (100) nach Anspruch 7, wobei das Übertragen (111) der Umfeldsensordaten und/oder der relevanten Umfeldsensordaten vom Fahrzeug (200) an die externe Serverarchitektur (209) über eine Internetverbindung durchgeführt wird.
Verfahren (100) nach einem der voranstehenden Ansprüche, wobei das Analysieren (103) der Umfeldsensordaten und das Klassifizieren (105) der Umfeldsensordaten als relevante Umfeldsensordaten durch den Anomaliedetektor (207) neben den Umfeldsensordaten des Fahrzeugs in einer Datenbank gespeicherte Umfeldsensordaten umfasst.
Verfahren (100) nach einem der voranstehenden Ansprüche, wobei die Umfeldsensordaten Kameradaten einer Bildkamera, Videodaten einer Videokamera, LiDAR-Daten eines LiDAR-Systems RADAR-Daten eines RADAR-Systems, Audiodaten eines Mikrofonsystems und Ultraschalldaten eines Ultraschallsystems umfassen.
Verfahren (100) nach einem der voranstehenden Ansprüche, wobei das Erstellen (107) des Trainingsdatensatzes Umfeldsensordaten von einer Mehrzahl verschiedener Fahrzeuge umfasst.
Verfahren (100) nach einem der voranstehenden Ansprüche, wobei das Erstellen (107) des Trainingsdatensatzes Umfeldsensordaten umfasst: Auswählen (113) geeigneter Umfeldsensordaten aus den als relevant klassifizierten Umfeldsensordaten; und Kennzeichnen (115) von in den Umfeldsensordaten abgebildeten Objekten.
Computerprogrammprodukt (300), umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren (100) gemäß einem der voranstehenden Ansprüche 1 bis 12 auszuführen.