DE102021201539A1

DE102021201539A1 - Erzeugung von Trainingsdaten für einen Algorithmus des maschinellen Lernens

Info

Publication number: DE102021201539A1
Application number: DE102021201539.5A
Authority: DE
Inventors: Johannes Bernhard
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2021-02-18
Filing date: 2021-02-18
Publication date: 2022-08-18

Abstract

Die vorliegende Erfindung betrifft eine Vorrichtung (12, 12') zum Aufzeichnen von Trainingsdaten für einen Algorithmus des maschinellen Lernens, mit: einer Eingangsschnittstelle (24) zum Empfangen von Sensordaten von einem Umgebungssensor (14) mit Informationen zu einem Zustand eines Objekts (16) in einem Umfeld eines Fahrzeugs (18); einer Prädiktionseinheit (26) zum Erzeugen von Vorhersagedaten mit Informationen zu einer voraussichtlichen Änderung des Zustands des Objekts basierend auf den Sensordaten und einem vordefinierten Prädiktionsansatz; einer Auswerteeinheit (28) zum Ermitteln einer Abweichung zwischen den Vorhersagedaten und Sensordaten eines folgenden Zeitschritts; und einer Aufzeichnungseinheit (30) zum Aufzeichnen der Sensordaten, wenn die ermittelte Abweichung eine vordefinierte Aufzeichnungsbedingung erfüllt. Die vorliegende Erfindung betrifft weiterhin ein System (10) und ein Verfahren zum Aufzeichnen von Trainingsdaten für einen Algorithmus des maschinellen Lernens sowie ein Computerprogrammprodukt mit Programmcode zum Durchführen der Schritte des Verfahrens.

Description

Die vorliegende Erfindung betrifft eine Vorrichtung zum Aufzeichnen von Trainingsdaten für einen Algorithmus des maschinellen Lernens. Die vorliegende Erfindung betrifft weiterhin ein System sowie ein Verfahren zum Aufzeichnen von Trainingsdaten für einen Algorithmus des maschinellen Lernens und ein entsprechendes Computerprogrammprodukt.
Moderne Fahrzeuge (Autos, Lastwagen, Motorräder etc.) verfügen über eine Vielzahl von Sensoren (Radar, Lidar, Kamera, Ultraschall etc.), die einem Fahrzeugführer oder einem autonomen Steuersystem Informationen zur Verfügung stellen. Über derartige Umgebungssensoren werden die Umgebung des Fahrzeugs und Objekte in dieser Umgebung (andere Fahrzeuge, Infrastrukturobjekte, Personen, bewegliche Objekte etc.) erfasst. Basierend auf den erfassten Daten kann ein Modell der Fahrzeugumgebung erzeugt werden und auf Veränderungen in dieser Fahrzeugumgebung reagiert werden. Insbesondere kann eine Fahrfunktion des Fahrzeugs teil- oder vollautonom ausgeführt werden.
Hinsichtlich der Verarbeitung der aufgezeichneten Sensordaten werden Ansätze des maschinellen Lernens immer relevanter. In einer Trainingsphase wird ein System bzw. ein Algorithmus basierend auf Trainingsdaten trainiert. Nach Abschluss der Trainingsphase kann das System bzw. der Algorithmus die Erfahrung aus den Trainingsdaten verallgemeinern und auf neue Situationen anwenden. Ein relevanter Ansatz ist dabei die Anwendung künstlicher neuronaler Netzwerke. Derartige Netzwerke aus künstlichen Neuronen ermöglichen ein Antrainieren eines Verhaltens basierend auf vorgegebenen Trainingsdaten, die einem Eingang einen Ausgang zuordnen.
Bei der Erzeugung bzw. Aufzeichnung von Trainingsdaten ist es dabei wichtig, eine möglichst umfassende Repräsentation von potentiellen Szenarien und Vorkommnissen zu erfassen. Neue Situationen, die in den Trainingsdaten nicht repräsentiert waren, können oft nur schwer zutreffend erkannt und bewertet werden. Die große Anzahl an verfügbaren Sensordaten und das hohe Datenaufkommen stellen oft Herausforderungen für das Sammeln neuer Trainingsdaten dar. Oft ist die erzeugte Datenmenge zu groß, um eine umfassende Aufzeichnung zu ermöglichen. Bei der Aufzeichnung von Trainingsdaten für die Entwicklung von autonomen Fahralgorithmen werden beispielsweise üblicherweise Sensoren an Fahrzeugen verwendet. Die mit diesen Sensoren aufgezeichneten Daten werden aber ab bestimmten gefahrenen Strecken oft repetitiv, weisen also einen vergleichsweise geringen Informationsgehalt im Vergleich zu bisher bereits aufgezeichneten Daten auf.
In diesem Zusammenhang wird in WO 2020/056331 A1 ein System zum Erzeugen von Trainingsdaten offenbart. In einer beispielhaften Ausführungsform werden Sensordaten empfangen und ein neuronales Netz auf die Sensordaten angewendet. Ein Triggerklassifikator wird auf ein Zwischenergebnis des neuronalen Netzes angewendet, um einen Klassifizierungswert für die Sensordaten zu ermitteln. Basierend auf diesem Klassifizierungswert wird dann ermittelt, ob zumindest ein Teil der Sensordaten über ein Computernetzwerk übertragen werden soll. Übertragene Daten werden zur Erzeugung von Trainingsdaten verwendet.
Eine Herausforderung stellen Situationen dar, die sehr selten vorkommen und deswegen möglicherweise in bisherigen Trainingsdatensätzen nicht oder nicht ausreichend repräsentiert sind. Wenn weder eine Beschreibung der Situation noch ein Beispiel vorliegt, spricht man von sogenannten „Unknown-Unknowns“. Die Behandlung derartiger unbekannter Situationen ist aber gerade im Fahrzeugumfeld relevant für die Sicherheit des eigenen Fahrzeugs und der Umgebung.
In diesem Umfeld stellt sich der vorliegenden Erfindung die Aufgabe, einen Ansatz zum Aufzeichnen von Trainingsdaten für einen Algorithmus des maschinellen Lernens bereitzustellen, bei dem eine möglichst hohe Informationsdichte erreicht wird. Insbesondere sollen Trainingsdaten aufgezeichnet werden, die ein Erkennen und Verarbeiten bisher unbekannter Situationen ermöglichen. Durch das Aufzeichnen derartiger Trainingsdaten sollen die Sicherheit des eigenen Fahrzeugs und anderer Beteiligter verbessert werden.
Zum Lösen dieser Aufgabe betrifft die vorliegende Erfindung in einem ersten Aspekt eine Vorrichtung zum Aufzeichnen von Trainingsdaten für einen Algorithmus des maschinellen Lernens, mit:

einer Eingangsschnittstelle zum Empfangen von Sensordaten von einem Umgebungssensor mit Informationen zu einem Zustand eines Objekts in einem Umfeld eines Fahrzeugs;
einer Prädiktionseinheit zum Erzeugen von Vorhersagedaten mit Informationen zu einer voraussichtlichen Änderung des Zustands des Objekts basierend auf den Sensordaten und einem vordefinierten Prädiktionsansatz;
einer Auswerteeinheit zum Ermitteln einer Abweichung zwischen den Vorhersagedaten und Sensordaten eines folgenden Zeitschritts; und
einer Aufzeichnungseinheit zum Aufzeichnen der Sensordaten, wenn die ermittelte Abweichung eine vordefinierte Aufzeichnungsbedingung erfüllt.

In einem weiteren Aspekt betrifft die vorliegende Erfindung ein System zum Aufzeichnen von Trainingsdaten für einen Algorithmus des maschinellen Lernens, mit:

einer Vorrichtung wie zuvor beschrieben; und
einem Umgebungssensor zum Erfassen von Objekten im Umfeld des Fahrzeugs.

Weitere Aspekte der Erfindung betreffen ein der Vorrichtung entsprechend ausgebildetes Verfahren sowie ein Computerprogrammprodukt mit Programmcode zum Durchführen der Schritte des Verfahrens, wenn der Programmcode auf einem Computer ausgeführt wird. Zudem betrifft ein Aspekt der Erfindung ein Speichermedium, auf dem ein Computerprogramm gespeichert ist, das, wenn es auf einem Computer ausgeführt wird, eine Ausführung des hierin beschriebenen Verfahrens bewirkt.
Bevorzugte Ausgestaltungen der Erfindung werden in den abhängigen Ansprüchen beschrieben. Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen. Insbesondere können das System, das Verfahren und das Computerprogrammprodukt entsprechend den für die Vorrichtung in den abhängigen Ansprüchen definierten Ausgestaltungen ausgeführt sein.
Erfindungsgemäß ist es vorgesehen, dass Sensordaten eines Umgebungssensors empfangen werden und auf dieser Basis eine Zustandsänderung eines Objekts im Umfeld des Fahrzeugs prädiziert wird. Diese prädizierte, also auf Basis bisher gesammelter Erfahrungen für wahrscheinlich gehaltene Zustandsänderung wird dann mit der real eintretenden Zustandsänderung verglichen. Hierzu werden die erzeugten Vorhersagedaten mit Sensordaten des folgenden Zeitschritts verglichen. Lediglich wenn eine vordefinierte Aufzeichnungsbedingung erfüllt ist, werden dann Sensordaten aufgezeichnet. In anderen Worten wird also lediglich dann eine Aufzeichnung von Sensordaten vorgenommen, wenn eine hohe Abweichung zu einer Erwartung registriert wird. Es werden Anomalien detektiert, die sich nicht basierend auf den bisherigen Erfahrungen erklären bzw. voraussagen lassen. Die aktuell aufgezeichneten Daten eines Umgebungssensors (Live-Daten) werden direkt ausgewertet und lediglich dann aufgezeichnet, wenn eine Anomalie, also eine bisher unbekannte oder unerwartete Situation, auftritt. Erfindungsgemäß ist es vorgesehen, dass nach abnormalen Daten gesucht wird und lediglich diese aufgezeichnet werden. Diese abnormalen Daten weisen relativ zu den bereits vorhandenen Daten einen hohen Informationsgehalt auf. Der verwendete Ansatz kann auch als Trigger-Ansatz bezeichnet werden.
Im Vergleich zu dem in WO 2020/056331 A1 offenbarten Ansatz werden also nur dann Daten aufgezeichnet, wenn eine unbekannte bzw. für unmöglich erachtete Situation auftritt. Unbekannte Situationen, also Situationen, in denen ein bisher nicht ausreichend berücksichtigtes Verhalten vorliegt, werden aufgezeichnet. Die insoweit generierten Trainingsdaten erlauben eine Berücksichtigung von neuen Situationen. Die aufgezeichnete Datenmenge wird reduziert. Es werden lediglich diejenigen Daten erfasst, die einen hohen Informationsgehalt bezüglich bisher unbekannter Situationen aufweisen.
Im Vergleich zu Ansätzen, bei denen aufgezeichnete Daten analysiert werden, um darin bisher unbekannte Situationen zu identifizieren, ermöglicht der vorliegende Ansatz eine Reduktion der aufgezeichneten Datenmenge. Dies ist insbesondere vorteilhaft, wenn Daten mehrerer verschiedener Umgebungssensoren vorliegen und aufgezeichnet werden sollen. Nur diejenigen Daten werden erfasst bzw. gespeichert, die relevant sind.
In einer bevorzugten Ausgestaltung ist die Auswerteeinheit zum Ermitteln der Abweichung für ein Objekt basierend auf einer vordefinierten objektspezifischen Abweichungsmetrik ausgebildet. Insbesondere ist es vorteilhaft, wenn die Abweichung unter Berücksichtigung einer Art oder einer Kategorie des jeweils vorliegenden Objekts ermittelt wird. Für jede Objektklasse kann eine separate Metrik definiert werden, die für dieses Objekt spezifisch festlegt, wie eine Abweichung im Zustand des Objekts erfassbar gemacht werden kann. Es ergibt sich eine verbesserte Zuverlässigkeit bei der Erkennung anomaler Situationen.
In einer bevorzugten Ausgestaltung ist die Aufzeichnungseinheit zum Aufzeichnen der Sensordaten ausgebildet, wenn die ermittelte Abweichung eine objektspezifische Aufzeichnungsbedingung erfüllt. Es ist vorteilhaft, wenn lediglich in dem Fall Sensordaten aufgezeichnet werden, wenn eine Bedingung, die sich auf das jeweils beobachtete Objekt bezieht, erfüllt ist. Für verschiedene Objekte bzw. verschiedene Objektklassen können unterschiedliche Bedingungen definiert sein. Durch eine Berücksichtigung der Objektklasse bei der Bewertung der Abweichung kann die Zuverlässigkeit in der Erkennung bisher unbekannter Situationen weiter gesteigert werden.
In einer bevorzugten Ausgestaltung ist die Auswerteeinheit zum Ermitteln der Abweichung in Form eines Punktewertes ausgebildet. Die Aufzeichnungseinheit ist zum Aufzeichnen der Sensordaten ausgebildet, wenn der Punktewert oberhalb eines vordefinierten Schwellenwerts liegt. Unter einem Punktewert (Score) versteht sich insbesondere aber nicht ausschließlich ein eindimensionaler Wert, der die Abweichung in Bezug auf eine vordefinierte Skala angibt. Beispielsweise kann ein Grad einer Abweichung in Form einer Dezimalzahl zwischen 0 und 1 angegeben sein. Der Vorteil der Verwendung eines Punktewertes liegt darin, dass eine einfach überprüfbare Aufzeichnungsbedingung in einer Anwendung eines Schwellenwerts liegen kann. Es muss dann lediglich ein Abgleich des ermittelten Punktewerts mit dem vordefinierten Schwellenwert erfolgen, um zu überprüfen, ob die Sensordaten aufgezeichnet werden sollen. Eine einfache Berechnung wird erreicht. Zudem wird eine hohe Zuverlässigkeit bei der Erkennung unbekannter Situationen bereitgestellt.
In einer bevorzugten Ausgestaltung ist die Prädiktionseinheit zum Erzeugen von Vorhersagedaten basierend auf einem vortrainierten künstlichen neuronalen Netzwerk ausgebildet. Insbesondere ist es vorteilhaft, wenn in der Prädiktionseinheit als vordefinierter Prädiktionsansatz ein künstliches neuronales Netzwerk verwendet wird. Es wird ein Algorithmus verwendet, der basierend auf zuvor gesammelten Daten vortrainiert ist. Derartige Algorithmen erlauben eine Vorhersage eines Verhaltens. Dieses Verhalten kann dann mit der Realität verglichen werden. Es ergibt sich eine effiziente Berechenbarkeit in der Prädiktionseinheit.
In einer bevorzugten Ausgestaltung ist die Prädiktionseinheit zum Erzeugen der Vorhersagedaten basierend auf zuvor aufgezeichneten Sensordaten ausgebildet. Es ist vorteilhaft, wenn die bisherigen Ergebnisse, also die in vorausgegangenen Zeitschritten aufgezeichneten Sensordaten, bei der Prädiktion berücksichtigt werden. Der Prädiktionsansatz wird also aktualisiert, sodass Situationen insbesondere dann erfasst werden, wenn sie das erste Mal auftreten. Wenn eine vergleichbare Situation erneut auftritt, ist eine erneute Aufzeichnung der Sensordaten möglicherweise nicht notwendig. Die Zuverlässigkeit bei der Erkennung bisher unbekannter Situationen kann verbessert werden.
In einer bevorzugten Ausgestaltung umfasst die Vorrichtung eine Kommunikationseinheit zum Übermitteln der Sensordaten an eine zentrale Informationsverarbeitungseinheit. Zusätzlich oder alternativ kann die Kommunikationseinheit zum Empfangen aktualisierter Parameter des vordefinierten Prädiktionsansatzes von der zentralen Informationsverarbeitungseinheit ausgebildet sein. Vorzugsweise erfolgt die Übermittlung dabei über eine Mobildatenverbindung. Die zentrale Informationsverarbeitungseinheit kann beispielsweise ein Internetserver sein, der mittels einer Mobildatenverbindung über die Kommunikationseinheit angesprochen werden kann. Es ist möglich, dass die gesammelten und aufgezeichneten Sensordaten in einem Cloud-Datenverarbeitungsansatz an eine zentrale Informationsverarbeitungseinheit übermittelt werden. In dieser zentralen Informationsverarbeitungseinheit kann dann der bisherige Prädiktionsansatz, insbesondere ein künstliches neuronales Netzwerk, trainiert werden, um in Zukunft die Zuverlässigkeit bei der Erkennung von Situationen basierend auf Sensordaten zu verbessern. Parameter des Prädiktionsansatzes können dann zurückübermittelt werden. Diese zentrale Informationsverarbeitungseinheit kann dabei mit mehreren Vorrichtungen bzw. mehreren Fahrzeugen kommunizieren und von diesen Daten erhalten. Durch die zentrale Aktualisierung des Prädiktionsansatzes wird eine Berücksichtigung von aufgezeichneten Sensordaten mehrerer Vorrichtungen bzw. mehrerer Fahrzeuge ermöglicht (Cloud-Ansatz). Es ergibt sich eine verbesserte Zuverlässigkeit bei der Erkennung bisher unbekannter Situationen.
In einer bevorzugten Ausgestaltung ist die Eingangsschnittstelle zum Empfangen der Sensordaten von einem Kamera- oder Lidarsensor ausgebildet. Sowohl ein Kameraals auch ein Lidarsensor erzeugen oft eine große Datenmenge. Insbesondere bei großen Datenmengen ist es vorteilhaft, die aufgezeichnete Datenmenge dadurch zu reduzieren, dass lediglich Daten aufgezeichnet werden, die Anomalien aufweisen. Insoweit ergibt sich eine hohe Steigerung in der Effizienz, wenn der erfindungsgemäße Ansatz des Aufzeichnens von Trainingsdaten für Sensordaten eines Kamera- oder Lidarsensors verwendet wird.
In einer bevorzugten Ausgestaltung ist die Prädiktionseinheit zum Erzeugen der Vorhersagedaten basierend auf Sensordaten eines aktuellen Zeitschritts und eines vorausgegangenen Zeitschritts ausgebildet. Insbesondere ist es vorteilhaft, wenn die Vorhersagedaten basierend auf mehreren Zeitschritten erzeugt werden. Beispielsweise kann das Verhalten eines Fußgängers ausgehend von seinem Verhalten in den letzten Sekunden oft zuverlässig geschätzt werden. Wenn sich der Fußgänger dann anders als erwartet verhält, werden Sensordaten aufgezeichnet.
Ein Objekt in einem Umfeld eines Fahrzeugs kann insbesondere ein anderes Fahrzeug, ein Fahrradfahrer, ein Fußgänger, ein Tier oder ein statisches Objekt wie ein auf der Fahrbahn liegender Autoreifen etc. sein. Ein Zustand eines Objekts umfasst insbesondere dessen Ort und Bewegung (Richtung und Geschwindigkeit), kann sich aber auch auf andere Eigenschaften des Objekts beziehen. Ein Umfeld des Fahrzeugs entspricht insbesondere der Umgebung des Fahrzeugs, die von dem Umgebungssensor eingesehen werden kann. Insoweit entspricht das Umfeld des Fahrzeugs insbesondere dem Sichtfeld des Umgebungssensors. Ein Umgebungssensor kann ein oder mehrere einzelne Sensoren umfassen, beispielsweise mehrere Kamera- und Lidarsensoren an unterschiedlichen Positionen an dem Fahrzeug.
Die Erfindung wird nachfolgend anhand einiger ausgewählter Ausführungsbeispiele im Zusammenhang mit den beiliegenden Zeichnungen näher beschrieben und erläutert. Es zeigen:

1 eine schematische Darstellung eines erfindungsgemäßen Systems zum Aufzeichnen von Trainingsdaten;
2 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung zum Aufzeichnen von Trainingsdaten;
3 eine schematische Darstellung der Informationsverarbeitung in einer Ausführungsform der erfindungsgemäßen Vorrichtung;
4 eine schematische Darstellung der Kommunikation in einem erfindungsgemäßen System; und
5 eine schematische Darstellung eines erfindungsgemäßen Verfahrens.

In der 1 ist schematisch ein erfindungsgemäßes System 10 zum Aufzeichnen von Trainingsdaten für einen Algorithmus des maschinellen Lernens dargestellt. Das System 10 umfasst eine Vorrichtung 12 zum Aufzeichnen von Trainingsdaten sowie einen Umgebungssensor 14 zum Erfassen von Objekten 16 im Umfeld eines Fahrzeugs 18. Die Darstellung ist dabei als seitliche Schnittansicht auf das Fahrzeug 18 auf einer Fahrbahn zu verstehen. Im dargestellten Ausführungsbeispiel umfasst das System 10 zudem eine (optionale) zentrale Informationsverarbeitungseinheit 20, die insbesondere als Internetserver ausgebildet sein kann und über eine Mobildatenverbindung mit der Vorrichtung 12 in Kommunikation stehen kann. Das Objekt 16 kann beispielsweise ein Fußgänger, ein Fahrradfahrer, ein auf der Straße liegendes Fahrzeugteil oder eine andere Person sein. Die Vorrichtung 12 kann beispielsweise in ein Steuergerät bzw. einen Zentralrechner des Fahrzeugs 18 oder auch in den Umgebungssensor 14 integriert sein. Der Umgebungssensor 14 kann insbesondere einen oder mehrere Kamerasensoren, die am Fahrzeug 18 montiert sind, umfassen. In der Darstellung ist das Sichtfeld 22 des Umgebungssensors 14 beispielhaft gestrichelt angedeutet.
Erfindungsgemäß ist es vorgesehen, dass mittels der Vorrichtung 12 Trainingsdaten für einen Algorithmus des maschinellen Lernens aufgezeichnet werden. Unter Trainingsdaten verstehen sich dabei Daten, die dem Algorithmus des maschinellen Lernens in einer Trainingsphase zugeführt werden können, um basierend auf diesen Trainingsdaten den Algorithmus in einer der eigentlichen Anwendung vorgelagerten oder parallel durchgeführten Trainingsphase anzulernen.
In der 2 ist schematisch eine erfindungsgemäße Vorrichtung 12 zum Aufzeichnen von Trainingsdaten dargestellt. Die Vorrichtung 12 umfasst eine Eingangsschnittstelle 24, eine Prädiktionseinheit 26, eine Auswerteeinheit 28 und eine Aufzeichnungseinheit 30. Die Vorrichtung umfasst weiterhin eine optionale Kommunikationseinheit 32. Die Einheiten und Schnittstellen können dabei teilweise oder vollständig in Soft- und/oder in Hardware umgesetzt sein. Insbesondere können die Einheiten als Prozessor, Prozessormodule oder auch als Software für einen Prozessor ausgebildet sein. Die Vorrichtung 12 kann insbesondere in Form eines Steuergeräts eines autonomen oder teilautonomen Fahrzeugs bzw. als Software für ein Steuergerät eines autonomen oder teilautonomen Fahrzeugs ausgebildet sein.
Über die Eingangsschnittstelle 24 werden Daten von einem Umgebungssensor empfangen. Der Umgebungssensor kann beispielsweise ein Lidar- oder Kamerasensor sein, der an dem Fahrzeug angeordnet ist. Der Umgebungssensor tastet vorzugsweise das Umfeld bzw. einen Teil des Umfelds des Fahrzeugs periodisch ab und überträgt die abgetasteten Daten an die Vorrichtung 12. Insbesondere können periodisch aufeinanderfolgende Sensorframes bzw. Bilder im Fall von Kamerasensoren empfangen werden. Zum Datenempfang kann die Eingangsschnittstelle 24 an ein Bussystem des Fahrzeugs angebunden sein oder auch in direkter Kommunikation mit dem Umgebungssensor 14 stehen.
In der Prädiktionseinheit 26 wird basierend auf den empfangenen Sensordaten eine voraussichtliche Änderung des Zustands des Objekts prädiziert. Beispielsweise kann für einen Fahrradfahrer dessen voraussichtliche Positionsänderung im nächsten Bild prädiziert werden. Hierzu wird ein vordefinierter Prädiktionsansatz verwendet. Unter einem Prädiktionsansatz versteht sich dabei ein Ansatz zum Voraussagen eines Verhaltens eines Objekts. Beispielsweise kann das Verhalten eines Fahrradfahrers durch Annahme einer konstanten Geschwindigkeit in gleicher Richtung vorhergesagt werden.
Für die Prädiktion wird in der Prädiktionseinheit 26 als Prädiktionsansatz insbesondere ein vortrainiertes künstliches neuronales Netzwerk verwendet. Durch ein derartiges Netzwerk kann aus Eingangsdaten ein voraussichtliches Verhalten basierend auf bisherigen Erfahrungen abgeleitet werden. Für die Prädiktion können dabei sowohl die Sensordaten des aktuellen Zeitschritts als auch Sensordaten zurückliegender Zeitschritte verwendet werden. Beispielsweise können mehrere Bilder eines Kamerasensors verwendet werden, um das nächste Kamerabild zu prädizieren.
In der Auswerteeinheit 28 wird dann ein Vergleich zwischen den in der Prädiktionseinheit 26 erzeugten Vorhersagedaten und den Sensordaten eines folgenden Zeitschritts angestellt. Es wird also die Prädiktion mit der Realität verglichen. Für den Vergleich kann beispielsweise ein Punktewert (Score) ermittelt werden, der eine Angabe des Fehlers auf einer vordefinierten Skala ermöglicht. Die Ermittlung der Abweichung kann dabei beispielsweise objektspezifisch, also auf ein bestimmtes Objekt zugeschnitten, erfolgen. Beispielsweise kann für einen Fußgänger eine Abweichung zwischen der vorhergesagten Bewegung und der erfassten Bewegung in Form einer Streckenangabe erfolgen. Die Ermittlung der Abweichung kann dabei ein- oder mehrdimensional sein. Eine Skala kann vordefiniert oder nach oben offen sein. Zudem ist es auch möglich, eine Abweichung auf einer vordefinierten Skala (beispielsweise „klein“, „mittel“, „groß“ oder 0 bis 100% etc.) anzugeben.
In der Aufzeichnungseinheit 30 wird die ermittelte Abweichung ausgewertet. Insbesondere werden die Sensordaten aufgezeichnet, wenn die ermittelte Abweichung eine vordefinierte Aufzeichnungsbedingung erfüllt. Beispielsweise kann eine Aufzeichnung der Sensordaten dann erfolgen, wenn die Abweichung oberhalb eines vordefinierten Schwellenwerts liegt. Wenn also die Abweichung unerwartet groß ist, werden die Sensordaten aufgezeichnet. Hierdurch wird erreicht, dass die Sensordaten lediglich dann aufgezeichnet werden, wenn das bisherige Prädiktionsmodell ungenau ist. Die aktuelle Situation, also das aktuelle Verhalten des Objekts, kann nicht ausreichend genau prädiziert werden. Dies bewirkt, dass die Daten aufgezeichnet werden und der angewandte Algorithmus auf Daten trainiert werden kann, die bisher nicht zu zufriedenstellenden Resultaten geführt haben.
Der vordefinierte Prädiktionsansatz ist basierend auf vorher aufgezeichneten Trainingsdaten trainiert. Wenn eine Abweichung zwischen dem realen Verhalten und dem prädizierten Verhalten festgestellt wird, bedeutet dies, dass die aktuelle Situation in den Trainingsdaten bisher nicht ausreichend abgebildet war. Die aktuellen Sensordaten weisen also einen vergleichsweise hohen Informationsgehalt auf und sind damit für das weitere Training des Prädiktionsansatzes wertvoll. Vorteilhafterweise wird der Prädiktionsansatz basierend auf den aufgezeichneten Sensordaten laufend weiter trainiert bzw. aktualisiert.
Über die Kommunikationseinheit 32 können die aufgezeichneten Sensordaten an die zentrale Informationsverarbeitungseinheit weitergeleitet werden bzw. von dieser zentralen Informationsverarbeitungseinheit aktualisierte Parameter des Prädiktionsansatzes empfangen werden. Die Kommunikationsschnittstelle 32 kann insbesondere zur Mobilkommunikation ausgebildet sein und beispielsweise an ein 2G-, 3G-, 4G- oder 5G-Kommunikationsmodul angebunden sein. Die Kommunikation erfolgt insbesondere über das Internet. In dieser zentralen Informationsverarbeitungseinheit 20 werden beispielsweise Daten verschiedener Vorrichtungen bzw. Daten verschiedener Fahrzeuge gesammelt, um einen möglichst umfassenden Fundus an Trainingsdaten für das Training eines Algorithmus des maschinellen Lernens zu erhalten. Daneben können die aufgelaufenen Daten dazu verwendet werden, den Prädiktionsansatz weiter zu verbessern. Entsprechende Parameter können dann an die beteiligten Fahrzeuge bzw. Vorrichtungen zurückübermittelt werden. Insbesondere ist es möglich, dass der in der Vorrichtung 12 eingesetzte Prädiktionsansatz neue Parameter von der zentralen Informationsverarbeitungseinheit 20 erhält über die Kommunikationsschnittstelle 32.
In der 3 ist schematisch ein Beispiel für einen erfindungsgemäßen Ansatz zur Erzeugung der Vorhersagedaten abgebildet. Es werden vier Bilder bzw. Frames ..., Ft-2, F_t-1, F_t ausgewertet und jeweils Merkmale extrahiert. Aus den erzeugten Darstellungen der Merkmale im Latent Space E(F) über mehrere Zeitschritte (im Long shortterm memory, LSTM) kann eine Vorhersage zu einem voraussichtlichen Zustand in einem folgenden Zeitschritt $E \hat{(F_{t + 1})}$
abgeleitet werden.
Die Ermittlung der Abweichung zwischen den Vorhersagedaten und den Sensordaten des folgenden Zeitschritts kann basierend auf der Darstellung im Latent Space oder auch, nach einer Dekodierung, einer Darstellung im Bildraum durchgeführt werden. Basierend hierauf kann dann insbesondere ein Anomaliescore im Sinne eines Punktewerts berechnet werden. Bei hoher Abweichung, als bei hohem Anomaliescore, können die Daten als relevant betrachtet und aufgezeichnet werden. Insbesondere können die Daten dann zum Transfer an die zentrale Informationsverarbeitungseinheit vorbereitet werden.
In der 4 ist schematisch der Ansatz des Datenverarbeitens dargestellt. Die zentrale Informationsverarbeitungseinheit 20 steht in Kommunikation mit einem Fahrzeug 18 bzw. einer innerhalb dieses Fahrzeugs angeordneten Vorrichtung 12. In die Vorrichtung 12 werden Daten zweier Kameras (Umgebungssensor 14) vorverarbeitet. Insbesondere wird in einer Prädiktionseinheit 26 eine Vorhersage erzeugt basierend auf einem Prädiktionsansatz ausgehend von Parametern, die, wie durch den dicken Pfeil angedeutet, von der zentralen Informationsverarbeitungseinheit 20 empfangen werden. In der Auswerteeinheit 28 wird dann eine Anomaliedetektion vorgenommen. Insbesondere wird eine Abweichung zwischen den Vorhersagedaten und den Sensordaten ermittelt. Wenn diese Abweichung eine vordefinierte Aufzeichnungsbedingung erfüllt, insbesondere wenn die Abweichung oberhalb eines Schwellenwerts liegt, werden die Sensordaten in der Aufzeichnungseinheit 30 aufgezeichnet und vorzugsweise für eine Übermittlung an die zentrale Informationsverarbeitungseinheit 20 bereitgestellt. Andernfalls, also wenn die vordefinierte Aufzeichnungsbedingung nicht erfüllt ist, werden die Daten für die weitere Verarbeitung in einem Weiterverarbeitungssystem 34 bereitgestellt
Wie auf der linken Seite in der 4 angedeutet können in entsprechender Weise Sensordaten weiterer vergleichbar ausgebildeter Vorrichtungen 12' empfangen werden. Basierend auf den bereitgestellten Sensordaten verschiedener Vorrichtungen kann in der zentralen Informationsverarbeitungseinheit ein weiteres Training des vordefinierten Prädiktionsansatzes (Anomaliedetektionsalgorithmus) erfolgen. Entsprechende Parameter können dann an die Vorrichtung 12 bzw. die weiteren Vorrichtungen 12' zurückübermittelt werden.
In der 5 ist schematisch ein erfindungsgemäßes Verfahren zum Aufzeichnen von Trainingsdaten für einen Algorithmus des maschinellen Lernens dargestellt. Das Verfahren umfasst Schritte des Empfangens S10 von Sensordaten, des Erzeugens S12 von Vorhersagedaten, des Ermittelns S14 einer Abweichung sowie des Aufzeichnens S16 der Sensordaten. Das Verfahren kann insbesondere in Form einer Software implementiert sein, die auf einem Prozessor eines Fahrzeugs bzw. in einem Fahrzeugsteuergerät ausgeführt wird. Es versteht sich, dass das Verfahren auch als Smartphone-App implementiert sein kann.
Die Erfindung wurde anhand der Zeichnungen und der Beschreibung umfassend beschrieben und erklärt. Die Beschreibung und Erklärung sind als Beispiel und nicht einschränkend zu verstehen. Die Erfindung ist nicht auf die offenbarten Ausführungsformen beschränkt. Andere Ausführungsformen oder Variationen ergeben sich für den Fachmann bei der Verwendung der vorliegenden Erfindung sowie bei einer genauen Analyse der Zeichnungen, der Offenbarung und der nachfolgenden Patentansprüche.
In den Patentansprüchen schließen die Wörter „umfassen“ und „mit“ nicht das Vorhandensein weiterer Elemente oder Schritte aus. Der undefinierte Artikel „ein“ oder „eine“ schließt nicht das Vorhandensein einer Mehrzahl aus. Ein einzelnes Element oder eine einzelne Einheit kann die Funktionen mehrerer der in den Patentansprüchen genannten Einheiten ausführen. Ein Element, eine Einheit, eine Schnittstelle, eine Vorrichtung und ein System können teilweise oder vollständig in Hard- und/oder in Software umgesetzt sein. Die bloße Nennung einiger Maßnahmen in mehreren verschiedenen abhängigen Patentansprüchen ist nicht dahingehend zu verstehen, dass eine Kombination dieser Maßnahmen nicht ebenfalls vorteilhaft verwendet werden kann. Ein Computerprogramm kann auf einem nichtflüchtigen Datenträger gespeichert/vertrieben werden, beispielsweise auf einem optischen Speicher oder auf einem Halbleiterlaufwerk (SSD). Ein Computerprogramm kann zusammen mit Hardware und/oder als Teil einer Hardware vertrieben werden, beispielsweise mittels des Internets oder mittels drahtgebundener oder drahtloser Kommunikationssysteme. Bezugszeichen in den Patentansprüchen sind nicht einschränkend zu verstehen.
Bezugszeichenliste

10: System
12, 12': Vorrichtung
14: Umgebungssensor
16: Objekt
18: Fahrzeug
20: zentrale Informationsverarbeitungseinheit
22: Sichtfeld
24: Eingangsschnittstelle
26: Prädiktionseinheit
28: Auswerteeinheit
30: Aufzeichnungseinheit
32: Kommunikationseinheit
34: Weiterverarbeitungssystem

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2020/056331 A1 [0005, 0013]

Claims

Vorrichtung (12, 12') zum Aufzeichnen von Trainingsdaten für einen Algorithmus des maschinellen Lernens, mit: einer Eingangsschnittstelle (24) zum Empfangen von Sensordaten von einem Umgebungssensor (14) mit Informationen zu einem Zustand eines Objekts (16) in einem Umfeld eines Fahrzeugs (18); einer Prädiktionseinheit (26) zum Erzeugen von Vorhersagedaten mit Informationen zu einer voraussichtlichen Änderung des Zustands des Objekts basierend auf den Sensordaten und einem vordefinierten Prädiktionsansatz; einer Auswerteeinheit (28) zum Ermitteln einer Abweichung zwischen den Vorhersagedaten und Sensordaten eines folgenden Zeitschritts; und einer Aufzeichnungseinheit (30) zum Aufzeichnen der Sensordaten, wenn die ermittelte Abweichung eine vordefinierte Aufzeichnungsbedingung erfüllt.
Vorrichtung (12, 12') nach Anspruch 1, wobei die Auswerteeinheit (28) zum Ermitteln der Abweichung für ein Objekt (16) basierend auf einer vordefinierten objektspezifischen Abweichungsmetrik ausgebildet ist.
Vorrichtung (12, 12') nach einem der vorstehenden Ansprüche, wobei die Aufzeichnungseinheit (30) zum Aufzeichnen der Sensordaten ausgebildet ist, wenn die ermittelte Abweichung eine objektspezifische Aufzeichnungsbedingung erfüllt.
Vorrichtung (12, 12') nach einem der vorstehenden Ansprüche, wobei die Auswerteeinheit (28) zum Ermitteln der Abweichung in Form eines Punktewertes ausgebildet ist; und die Aufzeichnungseinheit (30) zum Aufzeichnen der Sensordaten ausgebildet ist, wenn der Punktewert oberhalb eines vordefinierten Schwellenwerts liegt.
Vorrichtung (12, 12') nach einem der vorstehenden Ansprüche, wobei die Prädiktionseinheit (26) zum Erzeugen der Vorhersagedaten basierend auf einem vortrainierten künstlichen neuronalen Netzwerk ausgebildet ist.
Vorrichtung (12, 12') nach einem der vorstehenden Ansprüche, wobei die Prädiktionseinheit (26) zum Erzeugen der Vorhersagedaten basierend auf zuvor aufgezeichneten Sensordaten ausgebildet ist.
Vorrichtung (12, 12') nach einem der vorstehenden Ansprüche, mit einer Kommunikationseinheit (32) zum Übermitteln der Sensordaten an eine zentrale Informationsverarbeitungseinheit (20); und/oder zum Empfangen aktualisierter Parameter des vordefinierten Prädiktionsansatzes von der zentralen Informationsverarbeitungseinheit.
Vorrichtung (12, 12') nach einem der vorstehenden Ansprüche, wobei die Eingangsschnittstelle (24) zum Empfangen der Sensordaten von einem Kamera- oder Lidarsensor ausgebildet ist.
Vorrichtung (12, 12') nach einem der vorstehenden Ansprüche, wobei die Prädiktionseinheit (26) zum Erzeugen der Vorhersagedaten basierend auf Sensordaten eines aktuellen Zeitschritts und eines vorausgegangenen Zeitschritts ausgebildet ist.
System (10) zum Aufzeichnen von Trainingsdaten für einen Algorithmus des maschinellen Lernens, mit: einer Vorrichtung (12, 12') nach einem der vorstehenden Ansprüche; und einem Umgebungssensor (14) zum Erfassen von Objekten (16) im Umfeld des Fahrzeugs (18).
Verfahren zum Aufzeichnen von Trainingsdaten für einen Algorithmus des maschinellen Lernens, mit den Schritten: Empfangen (S10) von Sensordaten von einem Umgebungssensor (14) mit Informationen zu einem Zustand eines Objekts (16) in einem Umfeld eines Fahrzeugs (18); Erzeugen (S12) von Vorhersagedaten mit Informationen zu einer voraussichtlichen Änderung des Zustands des Objekts basierend auf den Sensordaten und einem vordefinierten Prädiktionsansatz; Ermitteln (S14) einer Abweichung zwischen den Vorhersagedaten und Sensordaten eines folgenden Zeitschritts; und Aufzeichnen (S16) der Sensordaten, wenn die ermittelte Abweichung eine vordefinierte Aufzeichnungsbedingung erfüllt.
Computerprogrammprodukt mit Programmcode zum Durchführen der Schritte des Verfahrens nach Anspruch 11, wenn der Programmcode auf einem Computer ausgeführt wird.