-
Die Erfindung betrifft ein Verfahren zum Erzeugen von Trainingsdaten für eine kraftfahrzeugexterne elektronische Recheneinrichtung mittels eines Fahrerassistenzsystems eines Kraftfahrzeugs gemäß dem Oberbegriff von Patentanspruch 1. Ferner betrifft die Erfindung ein Fahrerassistenzsystem.
-
Fahrerassistenzsysteme und insbesondere Fahrerassistenzsysteme zu einem autonomen Fahren, welche dann auch als elektronisches Fahrzeugführungssystem bezeichnet werden können, basieren zunehmend auf maschinellem Lernen und speziell auf neuronalen Netzwerken. Diese Algorithmen benötigen ein großes Set an Daten um gut zu funktionieren und diese Daten müssen größtenteils mit einer Zielhardware, beispielsweise einem Imager der Kamera beziehungsweise entsprechende Sende- und Empfangseinheiten bei Radar und Lidar, und an der Zielposition im Kraftfahrzeug gesammelt werden. Dies ist ausgesprochen schwierig in der Entwicklungsphase, da Zielfahrzeuge nur in sehr limitierter Menge vorhanden sind. Darüber hinaus sind gerade die seltenen Situationen von hoher Bedeutung, die auch nahezu nicht nachzustellen und schwierig zu finden sind. Darüber hinaus müssen diese Daten mit entsprechenden Labels versehen werden, sodass die Algorithmen zielführend trainiert werden können. Diese Labels werden gemäß dem Stand der Technik von Hand erzeugt, teilweise auch von anderen Sensoren übernommen.
-
Gemäß der
DE 10 2016 113 038 A1 ist ein Fahrzeug vorgesehen. Das Fahrzeug weist mehrere Sensoren zum Erhalten von Daten, welche den Status wenigstens eines Parameters des Fahrzeugs angeben, und einen Speicher zum Speichern der von dem oder jedem Sensor erhaltenen Daten auf. Es ist auch ein Prozessor vorgesehen, der dafür ausgelegt ist, zumindest einen Teil der Daten zu verarbeiten, um Metadaten zu erzeugen. Eine oder mehrere Kommunikationsvorrichtungen sind dafür ausgelegt, eine Datenanfrage von einem fernen Server zu empfangen. Zusätzlich ist eine Steuereinrichtung vorgesehen, welche dafür ausgelegt ist, Daten oder Metadaten auszuwählen, die geeignet sind, um die Anfrage zu beantworten, und die ferner dafür ausgelegt sind, die geeignete Kommunikationsvorrichtung zu identifizieren, mit der die Daten oder Metadaten zu senden sind, und auch die Übertragung der Daten zum fernen Server zu planen.
-
Aufgabe der vorliegenden Erfindung ist es ein Verfahren sowie in Fahrerassistenzsystem zu schaffen, mittels welchen verbessert Trainingsdaten für eine kraftfahrzeugexterne elektronische Recheneinrichtung erzeugt werden können.
-
Diese Aufgabe wird durch ein Verfahren sowie durch ein Fahrerassistenzsystem gemäß dem unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungsformen sind in den Unteransprüchen angegeben.
-
Ein Aspekt der Erfindung betrifft ein Verfahren zum Erzeugen von Trainingsdaten für eine kraftfahrzeugexterne elektronische Recheneinrichtung mittels eines Fahrerassistenzsystems eines Kraftfahrzeugs, bei welchem mittels einer ersten Erfassungseinrichtung des Fahrerassistenzsystems eine erste Umgebungsinformation über eine Umgebung des Kraftfahrzeugs erfasst wird und mittels einer zur ersten Erfassungseinrichtung unterschiedlichen zweiten Erfassungseinrichtung eine zweite Umgebungsinformation über die Umgebung erfasst wird, und bei welchem die erste Umgebungsinformation und die zweite Umgebungsinformation fusioniert werden und über die fusionierten Umgebungsinformationen Metadaten mittels einer elektronischen Recheneinrichtung des Fahrerassistenzsystems für die kraftfahrzeugexterne elektronische Recheneinrichtung erzeugt werden.
-
Es ist vorgesehen, dass die erste Umgebungsinformation mit der zweiten Umgebungsinformation mittels der elektronischen Recheneinrichtung verglichen wird bei einer Abweichung der ersten Umgebungsinformation von der zweiten Umgebungsinformation Abweichungsmetadaten als Metadaten erzeugt werden und die Abweichungsmetadaten mittels einer Kommunikationseinrichtung des Fahrerassistenzsystems an die kraftfahrzeugexterne elektronische Recheneinrichtung übertragen werden und in Abhängigkeit von den Abweichungsmetadaten die Trainingsdaten erzeugt werden.
-
Dadurch ist es insbesondere ermöglicht, dass bei unterschiedlichen Erfassungen der Umgebung mittels der ersten Erfassungseinrichtung und der zweiten Erfassungseinrichtung, mit anderen Worten bei Sonderfällen, entsprechende Metadaten erzeugt werden, welche dann wiederum an die kraftfahrzeugexterne elektronische Recheneinrichtung übertragen werden können. In Abhängigkeit dieser Metadaten kann dann entschieden werden, dass entsprechende Rohdaten, welche insbesondere die erste Umgebungsinformation, die zweite Umgebungsinformation und die fusionierte Umgebungsinformation betreffen können, an die kraftfahrzeugexterne elektronische Recheneinrichtung übertragen werden.
-
Insbesondere wird somit vorgeschlagen, dass eine vorhandene Flotte aus der Vielzahl von bereits im Dienst befindlichen Kraftfahrzeugen verwendet werden kann, um automatisiert problematische Situationen zu erkennen und entsprechende Daten zu sammeln und an die Entwicklung zu übermitteln. Diese Situationen zu erkennen kann auf verschiedene Arten passieren. Beispielsweise kann durch überlagerte Erkennung eines einzelnen Sensors dies durchgeführt werden. Beispielsweise kann eine Kamera in einem Teerfleck auf der Straße sowohl Straße als auch ein Objekt erkennen oder auf einem Bus sowohl ein Kraftfahrzeug als auch eine Personen erkennen, die beispielsweise durch eine Werbung abgebildet sind. Ferner kann beispielsweise auch eine unklare Klassifizierung, das heißt ein vorhandenes Objekt wurde mit mehreren Klassen mit vergleichbarer Güte klassifiziert, als eine solche Situation angesehen werden. Des Weiteren können Widersprüche in der Fusion zwischen mehreren Erfassungseinrichtungen sowohl in Klassifikation als auch in Positionierung als eine solche Situation anerkannt werden. Ferner können Eingriffe vom Fahrer, die dem Plan des Fahrzeugs widersprechen, entsprechend als eine solche Situation gewürdigt werden. Weiterhin können auch Eingriffe von überlagerten, insbesondere zumindest teilweise autonomen Fahrerassistenzsystemen, als eine entsprechende Situation gewürdigt werden. Ferner können Widersprüche mit einer insbesondere hochgenauen Karte innerhalb einer Navigationseinrichtung entsprechend als Widerspruch gewertet werden.
-
Wenn eine der genannten Situationen auftritt, so speichern betroffene Erfassungseinrichtungen die entsprechenden Rohdaten in einem Speicher, insbesondere in einer Speichereinrichtung der elektronischen Recheneinrichtung, sowie die Fusion, ein Verhalten und eine Bewegungskontrolle, ab, wobei insbesondere sowohl ihre Eingangssignale als auch Ausgangssignale abgespeichert werden können. Diese Daten werden dann an die kraftfahrzeugexterne elektronische Recheneinrichtung gemeldet und entsprechend die Abweichungsmetadaten dieser Situation angeboten. Auf Basis der Metadaten wird dann entschieden, ob und welche Daten bei der nächsten Möglichkeit an die kraftfahrzeugexterne elektronische Recheneinrichtung übertragen werden. Durch die Verknüpfung von Rohdaten mit Vorklassifizierungen und Informationen von anderen Erfassungseinrichtungen, deren Fusion und Metadaten wie Umgebungsbedingungen, wird ein Vorlabeln der Situation ermöglicht.
-
Durch das Sammeln von Daten aus der bereits bestehenden Flotte werden Grenzsituationen ermittelt, die in einem reinen Test mit Testkraftfahrzeugen nur schwer zu finden sind. Gleichzeitig wird ein Ground Truth für ein Training angeboten. Gerade die Kombination von Witterungsbedingungen und seltenen Situationen lassen sich sehr gut sammeln und die Funktionalität der Systeme mittels „Over-the-Air-Updates“ signifikant verbessern und die Verfügbarkeit erhöhen.
-
Gemäß einer vorteilhaften Ausgestaltungsform wird bei einer Abweichung der ersten Umgebungsinformation von der zweiten Umgebungsinformation die erste Umgebungsinformation und die zweite Umgebungsinformation als Rohdaten innerhalb der elektronischen Recheneinrichtung abgespeichert.
-
Ferner kann vorgesehen sein, dass bei einer Abweichung der ersten Umgebungsinformation von der zweiten Umgebungsinformation ein aktuelles Nutzerverhalten eines Nutzers des Fahrerassistenzsystems abgespeichert wird und bei der Erzeugung der Abweichungsmetadaten berücksichtigt wird.
-
Ebenfalls kann vorgesehen sein, dass bei einer Abweichung der ersten Umgebungsinformation von der zweiten Umgebungsinformation ein aktueller automatisierter Eingriff eines Fahrzeugführungssystems des Kraftfahrzeugs abgespeichert wird und bei der Erzeugung der Abweichungsmetadaten berücksichtigt wird.
-
In einer weiteren vorteilhaften Ausgestaltungsform bewertet die kraftfahrzeugexterne elektronische Recheneinrichtung die übertragenen Metadaten und in Abhängigkeit von der Bewertung wird mittels der kraftfahrzeugexternen elektronischen Recheneinrichtung entschieden, ob und zu welchem Zeitpunkt abgespeicherte Rohdaten des Fahrerassistenzsystems als Trainingsdaten an die kraftfahrzeugexterne elektronische Recheneinrichtung übertragen werden.
-
Ein weiterer Aspekt der Erfindung betrifft ein Fahrerassistenzsystem für ein Kraftfahrzeug zur Erzeugung von Trainingsdaten für eine kraftfahrzeugexterne elektronische Recheneinrichtung, mit zumindest einer ersten Erfassungseinrichtung, mit einer zweiten Erfassungseinrichtung, mit einer Kommunikationseinrichtung und mit einer elektronischen Recheneinrichtung, wobei das Fahrerassistenzsystem zum Durchführen eines Verfahrens nach dem vorgehenden Aspekt ausgebildet ist. Insbesondere wird das Verfahren mittels des Fahrerassistenzsystems durchgeführt.
-
Ein nochmals weiterer Aspekt der Erfindung betrifft ein Kraftfahrzeug mit einem Fahrerassistenzsystem gemäß dem vorhergehenden Aspekt. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen ausgebildet.
-
Vorteilhafte Ausgestaltungsformen des Verfahrens sind als vorteilhafte Ausgestaltungsformen des Fahrerassistenzsystems sowie des Kraftfahrzeugs anzusehen. Das Fahrerassistenzsystem sowie das Kraftfahrzeug weisen dazu gegenständliche Merkmale auf, welche eine Durchführung des Verfahrens und eine vorteilhafte Ausgestaltungsform davon ermöglichen.
-
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in der einzigen Figur alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Dabei zeigt die einzige Fig. eine schematische Seitenansicht eines Kraftfahrzeugs mit einer Ausführungsform eines Fahrerassistenzsystems.
-
In der Fig. sind gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
-
Die Fig. zeigt in einer schematischen Seitenansicht eine Ausführungsform eines Kraftfahrzeugs 10 mit einer Ausführungsform eines Fahrerassistenzsystems 12. Das Fahrerassistenzsystem 12 ist für das Kraftfahrzeug 10 ausgebildet und zur Erzeugung von Trainingsdaten 14 für eine kraftfahrzeugexterne elektronische Recheneinrichtung 16 ausgebildet. Das Fahrerassistenzsystem 12 weist zumindest eine erste Erfassungseinrichtung 18 und eine zweite Erfassungseinrichtung 20 auf. Ferner weist das Fahrerassistenzsystem eine Kommunikationseinrichtung 22 auf. Ferner weist das Fahrerassistenzsystem 12 zumindest eine elektronische Recheneinrichtung 24 auf. Beispielsweise kann die erste Erfassungseinrichtung 18 und/oder die zweite Erfassungseinrichtung 20 als Kamera, als Lidar-Sensor, als Ultraschallsensor, oder als Radarsensor ausgebildet sein. Mittels den Erfassungseinrichtungen 18, 20 kann eine Umgebung 26 des Kraftfahrzeugs 10 erfasst werden.
-
Beim Verfahren zum Erzeugen der Trainingsdaten 14 für die kraftfahrzeugexterne elektronische Recheneinrichtung 16 mittels des Fahrerassistenzsystems 12 des Kraftfahrzeugs 10 wird mittels der ersten Erfassungseinrichtung 18 des Fahrerassistenzsystems 12 eine erste Umgebungsinformation 28 über die Umgebung 26 des Kraftfahrzeugs 10 erfasst und mittels der zur ersten Erfassungseinrichtung 18 unterschiedlichen zweiten Erfassungseinrichtung 20 wird eine zweite Umgebungsinformation 30 über die Umgebung 26 erfasst und es wird die erste Umgebungsinformation 28 mit der zweiten Umgebungsinformation 30 mittels der elektronischen Recheneinrichtung 24 fusioniert. Es werden mittels der elektronischen Recheneinrichtung 24 aus der fusionierten Umgebungsinformation Metadaten für die kraftfahrzeugexterne elektronische Recheneinrichtung 16 erzeugt.
-
Es ist vorgesehen, dass die erste Umgebungsinformation 28 mit der zweiten Umgebungsinformation 30 mittels der elektronischen Recheneinrichtung 24 verglichen wird und bei einer Abweichung der ersten Umgebungsinformation 28 von der zweiten Umgebungsinformation 30 Abweichungsmetadaten 32 als Metadaten erzeugt werden und die Abweichungsmetadaten 32 mittels der Kommunikationseinrichtung 22 des Fahrerassistenzsystems 12 an die kraftfahrzeugexterne elektronische Recheneinrichtung 16 übertragen werden und in Abhängigkeit von den Abweichungsmetadaten 32 die Trainingsdaten 14 erzeugt werden.
-
Insbesondere kann vorgesehen sein, dass bei einer Abweichung der ersten Umgebungsinformation 28 von der zweiten Umgebungsinformation 30 die erste Umgebungsinformation 28 und die zweite Umgebungsinformation 30 als Rohdaten innerhalb der elektronischen Recheneinrichtung 24 abgespeichert werden. Hierzu kann die elektronische Recheneinrichtung 24 beispielsweise eine Speichereinrichtung 34 aufweisen. Ferner kann vorgesehen sein, dass bei einer Abweichung der ersten Umgebungsinformation 28 von der zweiten Umgebungsinformation 30 ein aktuelles Nutzerverhalten eines Nutzers 36 des Fahrerassistenzsystems 12 abgespeichert wird und bei der Erzeugung der Abweichungsmetadaten 32 berücksichtigt wird. Alternativ oder ergänzend kann bei einer Abweichung der ersten Umgebungsinformation 28 von der zweiten Umgebungsinformation 30 ein aktueller automatisierter Eingriff eines Fahrzeugführungssystems 38 des Kraftfahrzeugs 10 abgespeichert werden und bei der Erzeugung der Abweichungsmetadaten 32 berücksichtigt werden.
-
Ferner kann vorgesehen sein, dass die kraftfahrzeugexterne elektronische Recheneinrichtung 16 die übertragenen Abweichungsmetadaten 32 bewertet und in Abhängigkeit von der Bewertung mittels der kraftfahrzeugexternen elektronischen Recheneinrichtung 16 entschieden wird, ob und zu welchem Zeitpunkt abgespeicherte Rohdaten des Fahrerassistenzsystems 12 als Trainingsdaten 14 an die kraftfahrzeugexterne elektronische Recheneinrichtung 16 übertragen werden.
-
Insgesamt zeigt somit die Fig., dass das Kraftfahrzeug 10, welches insbesondere aus einer Vielzahl von Kraftfahrzeugen 10 stammen kann und somit ein Teil einer Flotte von Kraftfahrzeugen 10 bildet, verwendet werden kann, um automatisiert problematische Situationen zu erkennen und entsprechende Daten zu sammeln und an die kraftfahrzeugexterne elektronische Recheneinrichtung 16 zu übermitteln, welche insbesondere eine elektronische Recheneinrichtung einer Entwicklungsabteilung sein kann. Diese Situationen zu erkennen kann auf verschiedene Arten passieren. Beispielsweise kann als eine solche Situation erkannt werden, sollte eine überlagerte Erkennung einer einzelnen Erfassungseinrichtung 18, 20, beispielsweise eine Kamera erkennt in einem Teerfleck auf der Straße sowohl Straße als auch ein Objekt oder auf einem Bus wird sowohl das Fahrzeug als auch eine Person erkannt, die beispielsweise als Werbung darauf abgebildet ist. Ferner kann als eine solche Situation erkannt werden, wenn eine unklare Klassifizierung stattfindet, beispielsweise es wird ein vorhandenes Objekt mit mehreren Klassen mit vergleichbarer Güte klassifiziert. Ferner kann als eine solche Situation erkannt werden, wenn beispielsweise Widersprüche in der Fusion zwischen mehrere Erfassungseinrichtungen, vorliegend insbesondere zwischen der ersten Erfassungseinrichtung 18 und der zweiten Erfassungseinrichtung 20, sowohl in der Klassifikation als auch in der Positionierung durchgeführt werden. Eine weitere Situation kann vorgesehen sein, wenn Eingriffe vom Nutzer 36, die dem Plan des Kraftfahrzeugs 10 widersprechen, erfasst werden. Ferner können Eingriffe von überlagerten Systemen, wie beispielsweise das Fahrzeugführungssystem 38, welches beispielsweise als NCAP ausgebildet ein kann, als eine solche Situation erkannt werden. Ebenfalls können Widersprüche mit einer hochgenauen Karte, beispielsweise eine Navigationseinrichtung des Kraftfahrzeugs 10, als eine solche Situation erkannt werden.
-
Wenn eine der genannten Situationen auftritt, so speichern die Erfassungseinrichtungen 18, 20 die entsprechenden Rohdaten in einem Speicher, insbesondere der Speichereinrichtung 34, sowie die Fusion, das Verhalten und auch eine Bewegungskontrolle, ab. Insbesondere werden sowohl die Eingangssignale als auch die Ausgangssignale gespeichert. Diese Daten werden dann der kraftfahrzeugexternen elektronischen Recheneinrichtung 16 gemeldet und es werden die Abweichungsmetadaten 32 dieser speziellen Situation der kraftfahrzeugexternen elektronischen Recheneinrichtung 16 angeboten. Auf Basis der Abweichungsmetadaten 32 wird dann entschieden, ob und welche Daten bei der nächsten Möglichkeit auf die kraftfahrzeugexterne elektronische Recheneinrichtung 16 übertragen werden. Durch die Verknüpfung von Rohdaten mit Vorklassifizierungen und Informationen von den unterschiedlichen Erfassungseinrichtungen 18, 20, deren Fusion und Abweichungsmetadaten 32 wie Umgebungsbedingungen, wird ein Vorlabeln der Situation ermöglicht.
-
Durch das Sammeln von den Daten aus der Flotte, im folgenden Ausführungsbeispiel insbesondere von dem Kraftfahrzeug 10, werden Grenzsituationen ermittelt, die beim Testen mit einer reinen Testflotte nur schwer zu finden sind. Gleichzeitig wird ein Ground Truth für ein Training angeboten. Gerade die Kombination von Witterungsbedingungen und seltenen Situationen lassen sich sehr gut sammeln und die Funktionalität von entsprechenden Systemen mittels „Over-the-Air-Updates“ signifikant verbessern und die Verfügbarkeit erhöhen.
-
Insgesamt zeigt die Erfindung ein Verfahren zur Sammlung von Trainingsdaten 14 für maschinelles Lernen inklusive Labelvorschlag.
-
Bezugszeichenliste
-
- 10
- Kraftfahrzeug
- 12
- Fahrerassistenzsystem
- 14
- Trainingsdaten
- 16
- kraftfahrzeugexterne elektronische Recheneinrichtung
- 18
- erste Erfassungseinrichtung
- 20
- zweite Erfassungseinrichtung
- 22
- Kommunikationseinrichtung
- 24
- elektronische Recheneinrichtung
- 26
- Umgebung
- 28
- erste Umgebungsinformation
- 30
- zweite Umgebungsinformation
- 32
- Abweichungsmetadaten
- 34
- Speichereinrichtung
- 36
- Nutzer
- 38
- Fahrzeugführungssystem
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102016113038 A1 [0003]
