-
GEBIET DER ERFINDUNG
-
Die vorliegende Erfindung betrifft ein Verfahren zum Selektieren von sensorumgebungsbezogenen Trainingsdaten.
-
TECHNISCHER HINTERGRUND
-
Derzeit erfassen zahlreiche Fahrzeugflotten eine Vielzahl an nicht gelabelten Trainingsdaten. Damit diese Trainingsdaten für das Trainieren von Fahrerassistenzsystemen verwendet werden können, ist es erforderlich, die Daten zu labeln. Derzeit erfolgt das Labeln von Trainingsdaten in der Regel manuell durch einen menschlichen Bediener bzw. in Ausnahmefällen auch softwaregestützt. Dementsprechend ist es derzeit nicht machbar, die Unmengen an erfassten Trainingsdaten zu labeln.
-
Selbst wenn es zukünftig gelingt, eine deutlich größere Menge an Trainingsdaten zu labeln, ist davon auszugehen, dass diese Datenmenge zu groß ist, um Fahrerassistenzsysteme aufgrund von dieser Menge an Trainingsdaten zu trainieren bzw. ein derartiges umfassendes Training einen unverhältnismäßig großen Aufwand darstellt.
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
Vor diesem Hintergrund liegt der Erfindung die Aufgabe zugrunde, Sensordaten, die beim Training eines künstlichen neuronalen Netzwerks einen Zuwachs an Fähigkeiten eines neuronalen Netzwerks gewährleisten, zu erkennen.
-
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zum Verarbeiten von Sensordaten mittels eines künstlichen neuronalen Netzwerks mit den Merkmalen des Patentanspruchs 1 gelöst.
-
Demgemäß ist vorgesehen:
- - ein Verfahren zum Selektieren von sensorumgebungsbezogenen Trainingsdaten mit den folgenden Schritten: Erkennen einer unzureichend trainierten Situation aufgrund einer menschlichen Interaktion; Identifizieren von Sensordaten, die sich auf die unzureichend trainierte Situation beziehen.
-
Ein Sensor, auch als Detektor, (Messgrößen- oder Mess-)Aufnehmer oder (Mess-)Fühler bezeichnet, ist ein technisches Bauteil, das bestimmte physikalische, chemische Eigenschaften oder Zustände, z. B. Temperatur, Feuchtigkeit, Druck, Geschwindigkeit, Helligkeit, Beschleunigung, pH-Wert, Ionenstärke, elektrochemisches Potential und/oder die stoffliche Beschaffenheit seiner Umgebung qualitativ oder als Messgröße quantitativ erfassen kann. Diese Größen werden mittels physikalischer oder chemischer Effekte erfasst und als Sensordaten in ein weiterverarbeitbares elektrisches Signal umgeformt. Fahrzeugsensoren sind an einem Fahrzeug montiert, um eine Fahrzeugumgebung zu erfassen. Sensordaten, die von Fahrzeugsensoren erfasst werden, sind fahrzeugumgebungsbezogene Sensordaten.
-
Menschliche Interaktionen sind beispielsweise Benutzereingaben in ein System, welches das erfindungsgemäße Verfahren durchführt, oder ein ungewöhnlicher Bewusstseins-, oder Gemütszustand eines Menschen, zum Beispiel Überraschung, Schock, Ärger und/oder dergleichen.
-
Reaktionen sind in dieser Patentanmeldung Steuerbefehle oder unterlassene Steuerbefehle zur Durchführung von Manövern, insbesondere Fahrmanövern.
-
Dritte Verkehrsteilnehmer sind andere Fahrzeuge, Fahrzeugführer anderer Fahrzeuge, Fußgänger, Fahrradfahrer und dergleichen.
-
Ein künstliches neuronales Netzwerk (KNN, englisch artificial neural network - ANN) ist insbesondere ein in einem Rechenprogramm nachgebildetes Netzwerk aus vernetzten künstlichen Neuronen. Die künstlichen Neuronen sind dabei typischerweise auf verschiedenen Schichten (layers) angeordnet. Üblicherweise umfasst das künstliche neuronale Netzwerk eine Eingangsschicht und eine Ausgabeschicht (output layer), deren Neuronenausgabe als einzige des künstlichen neuronalen Netzwerks sichtbar wird. Zwischen der Eingangsschicht und der Ausgabeschicht liegende Schichten werden typischerweise als verdeckte Schichten (hidden layer) bezeichnet. Typischerweise wird zunächst eine Architektur bzw. Topologie eines künstlichen neuronalen Netzwerks initiiert und dann in einer Trainingsphase für eine spezielle Aufgabe oder für mehrere Aufgaben in einer Trainingsphase trainiert.
-
Das Training des künstlichen neuronalen Netzwerks umfasst dabei typischerweise eine Veränderung eines Gewichts einer Verbindung zwischen zwei künstlichen Neuronen des künstlichen neuronalen Netzwerks. Das Gewicht enthält Information zur Stärke der Berücksichtigung eines Eingangs eines Neurons. Das Training des künstlichen neuronalen Netzwerks kann auch eine Entwicklung von neuen Verbindungen zwischen künstlichen Neuronen, ein Löschen von bestehenden Verbindungen zwischen künstlichen Neuronen, ein Anpassen von Schwellwerten der künstlichen Neuronen und/oder ein Hinzufügen oder ein Löschen von künstlichen Neuronen umfassen.
-
Trainingsdaten sind in dieser Anmeldung Datenpaare aus Eingangsdaten, die von dem KNN zu verarbeiten sind und optional Soll-Ergebnisdaten, die von dem KNN zu ermitteln sind. Während des Trainings wird das KNN aufgrund eines Vergleichs von Soll-Ergebnisdaten mit dem von dem KNN ermittelten Ist-Ergebnisdaten angepasst, wodurch sich ein Trainingseffekt einstellt. Ist-Ergebnisdaten werden im Folgenden auch mit dem Begriff „Schlussfolgerung“ bezeichnet.
-
Unter dem Speisen eines KNN mit Daten versteht man das Verarbeiten von Daten mittels eines KNN zwecks der Generierung von Schlussfolgerungen.
-
Fahrerassistenz ist die Unterstützung oder Ersetzung eines Fahrers durch elektronische Zusatzeinrichtungen in Kraftfahrzeugen. Hierbei stehen oft Sicherheitsaspekte, aber auch die Steigerung des Fahrkomforts im Vordergrund. Ein weiterer Aspekt ist die Verbesserung der Wirtschaftlichkeit.
-
Benutzer können Benutzereingaben mittels einer Benutzerschnittstelle in ein System eingeben. Benutzerschnittstellen können beispielsweise Sprach- oder Texteingabemittel, Tasten sowie Kameras zur Erfassung von Eingaben durch Gestik umfassen.
-
Computerprogrammprodukte umfassen in der Regel eine Folge von Befehlen, durch die die Hardware bei geladenem Programm veranlasst wird, ein bestimmtes Verfahren durchzuführen, das zu einem bestimmten Ergebnis führt.
-
Die grundlegende Idee der Erfindung ist es, Sensordaten hinsichtlich darin enthaltener unzureichend trainierter Situationen zu untersuchen. Die Erfindung sieht vor, derartige unzureichend trainierte Situationen aufgrund einer menschlichen Interaktion zu erkennen.
-
Wird eine derartige Situation erkannt, werden relevante Sensordaten, die sich auf die unzureichend trainierte Situation beziehen, identifiziert. Dies kann das Auswählen bestimmter Sensoren, die relevante Sensordaten erfasst haben dürften, umfassen. So kann beispielsweise die Position, also zum Beispiel vorne oder hinten, an einem die Sensoren tragenden Objekt, oder die Gattung der Sensoren, also zum Beispiel Radar, Lidar, Kamera, Mikrofon und/oder dergleichen, ausgewählt werden.
-
Das Identifizieren von Sensordaten, die sich auf die unzureichend trainierte Situation beziehen, kann zudem das Auswählen einer Zeitspanne, für welche Sensordaten zu berücksichtigen sind, umfassen. Dokumentieren die sensorumgebungsbezogenen Trainingsdaten beispielsweise eine Kollision, so kann es sinnvoll sein, Sensordaten, die auch einen Zeitraum vor der Kollision dokumentieren, zu identifizieren.
-
Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den weiteren Unteransprüchen sowie aus der Beschreibung unter Bezugnahme auf die Figuren der Zeichnung.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung werden die Trainingsdaten von einem Sensor erfasst, der Sensordaten erfasst, die eingerichtet sind, ein künstliches neuronales Netzwerk zwecks der Generierung von Schlussfolgerungen zu speisen. Dementsprechend kann ein und derselbe Sensor für das Erfassen von sensorumgebungsbezogenen Trainingsdaten und für das Erfassen von hinsichtlich Schlussfolgerungen zu verarbeitenden Sensordaten, verwendet werden. Somit ist gewährleistet, dass die Trainingsdaten realitätsgetreu sind, da die Trainingsdaten zugleich der Generierung von Schlussfolgerungen dienen. Es versteht sich, dass das künstliche neuronale Netzwerk Bestandteil eines Echtzeit-Systems sein kann, das bedeutet, das auf Sensordaten instantan, also unverzüglich, reagiert wird.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung sind die Trainingsdaten als fahrzeugumgebungsbezogene Daten ausgebildet und die Schlussfolgerungen werden im Rahmen einer Fahrerassistenzfunktion generiert.
-
Somit lassen sich interessante Trainingsdaten aus einem großen Datenvolumen identifizieren und künstliche neuronale Netzwerke aufgrund der identifizierten interessanten Trainingsdaten trainieren.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung wird ferner eine Soll-Reaktion auf eine erkannte unzureichend trainierte Situation vorgegeben. Dabei bringt die unzureichend trainierte Situation es mit sich, dass sich eine Soll-Reaktion von einer tatsächlich von einem künstlichen neuronalen Netzwerk durchgeführten Ist-Reaktion unterscheidet. Die Soll-Reaktion kann ein Steuerbefehl für das einen Sensor tragende System, beispielsweise ein Fahrerassistenzsystem, sein. Dementsprechend kann die Soll-Reaktion beispielsweise als Bremsbefehl mit einer bestimmten Bremskraft oder einer bestimmten Geschwindigkeit, welches ein Fahrzeug nach dem Bremsmanöver hat, ausgebildet sein.
-
Dabei ist es auch zweckmäßig, wenn ein künstliches neuronales Netzwerk, welches eingerichtet ist, Schlussfolgerungen aufgrund von erfassten Sensordaten zu generieren, mittels der identifizierten Sensordaten und der Soll-Reaktion trainiert wird.
-
Es versteht sich, dass es nicht zwingend erforderlich ist, jenes künstliche neuronale Netzwerk zu trainieren, welches mit dem die Trainingsdaten erfassenden Sensor verbunden ist. Alternativ oder zusätzlich kann vorgesehen sein, andere künstliche neuronale Netzwerke, die Bestandteil von getrennten Assistenzsystemen sind, zu trainieren. Beispielsweise ist es denkbar, lediglich neuronale Netzwerke zu trainieren, die zum Zeitpunkt des Erfassens der Trainingsdaten noch nicht ausgeliefert sind oder neuronale Netzwerke zu trainieren, die zum Zwecke des Trainings mit einer zentralen Recheneinheit, beispielsweise über das Internet, datenverbunden sind.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung ist die menschliche Interaktion als Benutzereingabe eines Benutzers des Verfahrens, insbesondere als Benutzerabfrage während oder am Ende einer Fahrt ausgebildet.
-
Dementsprechend kann beispielsweise vorgesehen sein, dass ein Benutzer über eine entsprechende Spracheingabe seine Unzufriedenheit mit einer Ist-Reaktion eines Fahrerassistenzsystems auf eine zurückliegende Situation äußert und somit eine unzureichend trainierte Situation erkannt wird.
-
Alternativ ist es denkbar, dass ein Fahrzeuginsasse über seine Zufriedenheit mit den Schlussfolgerungen eines Fahrerassistenzsystems während oder am Ende einer Fahrt befragt wird. Auch hierfür ist es vorteilhaft, Spracheingabemittel zu nutzen. Gemäß einer bevorzugten Weiterbildung der Erfindung ist die menschliche Interaktion als Benutzereingabe eines dritten Verkehrsteilnehmers ausgebildet.
-
So ist es auch denkbar, dritten Verkehrsteilnehmern einen Hinweis, z.B. über einen Aufkleber am Fahrzeug, auf eine Benutzerschnittstelle, die beispielsweise über das Internet oder eine bestimmte Telefonnummer erreichbar ist, zu geben, wobei dritte Verkehrsteilnehmer aufgefordert werden können, unzureichend trainierte Situationen an eine derartige Benutzerschnittstelle zu melden.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung ist die menschliche Interaktion als körperliche Reaktion, insbesondere als Mimik, Gestik, ein Gesichtsausdruck, Sprache, ein emittiertes Geräusch, ein Hautleitwiderstand und/oder dergleichen ausgebildet.
-
Beispielsweise ist es denkbar, Insassen in einem Fahrzeuginnenraum hinsichtlich deren Gesichtsausdrücken zu überwachen. Wird ein Gesichtsausdruck, der auf Überraschung, Angst, Ärger und/oder dergleichen schließen lässt, erkannt, so kann es vorteilhaft sein, Sensordaten hinsichtlich einer unzureichend trainierten Situation zu untersuchen.
-
Es versteht sich, dass neben dem Gesichtsausdruck auch gesprochene Reaktionen, emittierte Geräusche, beispielsweise Schreie, oder ein gemessener Hautleitwiderstand eines Fahrzeuginsassen zur Erkennung eines erregten Gemütszustands eines Fahrzeuginsassen verwendet werden können.
-
Sprache oder emittierte Geräusche lassen sich mittels Mikrofone im Fahrzeuginnenraum erfassen. Hautleitwiderstände lassen sich mittels GSR-Sensoren (Galvanic Skin Response), die an Gegenständen, die von einem Fahrzeuginsassen berührt werden, angebracht sind, erfassen. Beispielsweise lassen sich entsprechende Sensoren in einem Lenkrad oder in sogenannten Wearables, beispielsweise Headsets oder elektronischen Uhren, integrieren.
-
Dabei ist es auch zweckmäßig, wenn die Sensordaten hinsichtlich eines Zusammenhangs zwischen der körperlichen Reaktion und einer unzureichend trainierten Situation weiter analysiert werden.
-
Somit lässt sich beispielsweise verhindern, dass eine unzureichend trainierte Situation aufgrund einer körperlichen Reaktion erkannt wird, obwohl die körperliche Reaktion nicht in Zusammenhang mit einer Fahrsituation steht, sondern beispielsweise eine Reaktion im Rahmen eines Telefongesprächs ist.
-
Beispielsweise kann vorgesehen sein, Beschleunigungen, die ein Fahrzeug erfährt, zu registrieren und anhand dessen zu entscheiden, ob eine körperliche Reaktion möglicherweise in Zusammenhang mit einer unzureichend trainierten Situation stehen könnte.
-
Wird beispielsweise festgestellt, dass ein Fahrzeuginsasse unter Stress steht, wohingegen sich das Fahrzeug gleichförmig bzw. mit einer geringen Beschleunigung bewegt, ist davon auszugehen, dass die Fahrzeugumgebung nicht ursächlich für den Stress des Fahrzeuginsassen ist.
-
Das Computerprogrammprodukt gemäß einer Ausführungsform der Erfindung führt die Schritte eines Verfahrens gemäß der vorangehenden Beschreibung aus, wenn das Computerprogrammprodukt auf einem Computer, insbesondere einem fahrzeuginternen Computer, läuft. Wenn das betreffende Programm auf einem Computer zum Einsatz kommt, ruft das Computerprogrammprodukt einen Effekt hervor, nämlich das Selektieren von Sensordaten die eine unzureichend trainierte Situation in einem KNN dokumentieren.
-
Figurenliste
-
Die vorliegende Erfindung wird nachfolgend anhand der in den schematischen Figuren der Zeichnungen angegebenen Ausführungsbeispiele näher erläutert. Es zeigen dabei:
- 1 ein schematisches Blockdiagramm gemäß einer Ausführungsform der Erfindung.
-
Die beiliegenden Zeichnungen Sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Prinzipien und Konzepten der Erfindung. Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.
-
In den Figuren der Zeichnungen sind gleiche, funktionsgleiche und gleichwirkende Elemente, Merkmale und Komponenten - sofern nicht anders ausgeführt ist - jeweils mit denselben Bezugszeichen versehen.
-
BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
-
1 zeigt ein schematisches Blockdiagramm eines Verfahrens zum Selektieren von sensorumgebungsbezogenen Trainingsdaten. In dem Schritt S1 wird eine unzureichend trainierte Situation aufgrund einer menschlichen Interaktion erkannt. In dem Schritt S2 werden Sensordaten, die sich auf die unzureichend trainierte Situation beziehen, identifiziert.
-
Bezugszeichenliste
-
- S1-S2
- Verfahrensschritte
