-
Gebiet der Erfindung
-
Die Erfindung betrifft ein Verfahren zum Trainieren eines Stilencoders eines neuronalen Netzwerks sowie eine entsprechende Vorrichtung und ein Verfahren zum Erzeugen einer einen Fahrstil eines Fahrers abbildenden Fahrstilrepräsentation.
-
Stand der Technik
-
Wenn ein Fahrzeug von einem menschlichen Fahrer gefahren wird, so fährt der Fahrer einen individuellen Fahrstil. Wenn der Fahrer die Kontrolle über das Fahrzeug abgibt, also das Fahrzeug autonom oder teilautonom fahren lässt, wird sich der von dem Fahrzeug gefahrene Fahrstil von dem Fahrstil des Fahrers mehr oder weniger unterscheiden. Je stärker der autonom gefahrene Fahrstil von dem Fahrstil des Fahrers abweicht, umso weniger wohl wird sich der Fahrer während der autonomen Fahrt fühlen.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Trainieren eines Stilencoders eines neuronalen Netzwerks sowie eine entsprechende Vorrichtung und ein Verfahren zum Erzeugen einer einen Fahrstil eines Fahrers abbildenden Fahrstilrepräsentation, sowie schließlich entsprechende Computerprogrammprodukte und maschinenlesbare Speichermedien gemäß den unabhängigen Ansprüchen vorgestellt. Vorteilhafte Weiterbildungen und Verbesserungen des hier vorgestellten Ansatzes ergeben sich aus der Beschreibung und sind in den abhängigen Ansprüchen beschrieben.
-
Vorteile der Erfindung
-
Ausführungsformen der vorliegenden Erfindung können in vorteilhafter Weise ermöglichen, einen Fahrstil eines Fahrers als abstrakte Fahrstilrepräsentation zu beschreiben, ohne den Fahrstil durch vorfestgelegte Variablen zu beschreiben. So können unterschiedliche Fahrstile von unterschiedlichen Fahrern vergleichbar gemacht werden. Die Fahrstilrepräsentation kann dazu verwendet werden, den zugrundeliegenden Fahrstil zu reproduzieren.
-
Es wird ein Verfahren zum Trainieren eines Stilencoders eines neuronalen Netzwerks vorgeschlagen, wobei unter Verwendung eines trainierten Situationsencoders des neuronalen Netzwerks sensorische Eingabegrößen, die eine Bewegung eines Systems und ein Umfeld des Systems abbilden, zu einer abstrakten Fahrsituationsrepräsentation in zumindest einen Teil eines latenten Raums des neuronalen Netzwerks komprimiert werden und unter Verwendung des untrainierten Stilencoders die sensorischen Eingabegrößen zu einer Fahrstilrepräsentation in zumindest einen Teil des latenten Raums komprimiert werden, wobei unter Verwendung eines Stildecoders des neuronalen Netzwerks die Fahrstilrepräsentation und die Fahrsituationsrepräsentation aus dem latenten Raum zu Ausgabegrößen dekomprimiert werden, wobei um den Stilencoder zu trainieren eine Struktur des Stilencoders verändert wird, bis die Ausgabegrößen des Stildecoders die Bewegung abbilden.
-
Weiterhin wird ein Verfahren zum Erzeugen einer einen Fahrstil eines Fahrers abbildenden Fahrstilrepräsentation vorgeschlagen, wobei unter Verwendung eines, unter Verwendung eines Verfahrens gemäß dem hier vorgestellten Ansatz, trainierten Stilencoders eines neuronalen Netzwerks sensorische Eingabegrößen, die eine Bewegung eines durch den Fahrer gefahrenen Systems und ein Umfeld des Systems abbilden, als abstrakte Fahrstilrepräsentation in zumindest einen Teil eines latenten Raums des neuronalen Netzwerks komprimiert werden, wobei die Fahrstilrepräsentation aus dem latenten Raum extrahiert wird.
-
Ideen zu Ausführungsformen der vorliegenden Erfindung können unter anderem als auf den nachfolgend beschriebenen Gedanken und Erkenntnissen beruhend angesehen werden.
-
Ein System kann ein Fahrzeug oder ein Roboter sein. Das System kann durch einen Fahrer gesteuert werden. Dann kann der Fahrer ein Umfeld des Systems überwachen und über Bedienelemente Steuerbefehle eingeben, die von Aktoren des Systems ausgeführt werden. Das System kann aber auch autonom oder zumindest teilautonom eine vorgegebene Fahraufgabe erfüllen. Dazu kann das System Sensordaten auswerten, die das Umfeld abbilden und Steuerbefehle zum Ansteuern der Aktoren generieren.
-
Ein individueller Fahrstil eines Fahrers unterscheidet sich von einem individuellen Fahrstil eines anderen Fahrers. Beispielsweise kann der Fahrstil des einen Fahrers als sportlich umschrieben werden, während der Fahrstil des anderen Fahrers als vorsichtig umschrieben werden kann. Die Fahrstile können sich beispielsweise darin unterscheiden, wie stark das System beschleunigt und verzögert wird. Ebenso können sich die Fahrstile darin unterscheiden, wie sich der Fahrer gegenüber anderen Verkehrsteilnehmern verhält. Der eine Fahrer kann beispielsweise dichter auf ein vorausfahrendes System auffahren als der andere Fahrer. Die Fahrstile der Fahrer können sich auch darin unterscheiden, wieviel Risiko der Fahrer in Kauf nimmt oder wie wenig Rücksicht der Fahrer auf die anderen Verkehrsteilnehmer nimmt.
-
Ein neuronales Netzwerk kann insbesondere ein Convolutional Neural Network (CNN) sein. Das trainierte neuronale Netzwerk liest Eingabegrößen ein und verarbeitet in den Eingabegrößen enthaltene Informationen zu Ausgabegrößen. Das untrainierte neuronale Netzwerk kann unter Verwendung von maschinellem Lernen trainiert werden.
-
Das neuronale Netzwerk weist zumindest einen Encoder und zumindest einen Decoder auf. Zwischen dem Encoder und dem Decoder befindet sich ein latenter Raum des neuronalen Netzwerks. Der latente Raum bildet einen Flaschenhals für die Informationen. Der Encoder komprimiert daher einen Umfang der eingelesenen Informationen und bildet die komprimierten Informationen im latenten Raum ab. Zum Komprimieren der Informationen können überflüssige Informationen beispielsweise verworfen werden. Der latente Raum weist wesentlich weniger Dimensionen auf als die Eingabegrößen. Der Decoder liest Daten aus dem latenten Raum ein und dekomprimiert diese Daten zu den Ausgabegrößen des neuronalen Netzes.
-
Die Eingabegrößen können als Matrix, Tensor beziehungsweise multidimensionaler Vektor bereitgestellt werden. Die Eingabegrößen beziehungsweise Eingangsgrößen können eine momentane beziehungsweise zurückliegende Fahrsituation abbilden. Die Eingabegrößen können beispielsweise dynamische Fahrdaten sein. Die Eingabegrößen können Sensordaten von Sensoren des Systems umfassen. Insbesondere können die Eingabegrößen Trajektoriendaten über eine Trajektorie des Systems und Umfelddaten über das Umfeld des Systems beziehungsweise über eine zeitliche Veränderung des Umfelds sein.
-
Der trainierte Stilencoder ist durch einen vorhergehenden Trainingsprozess so strukturiert worden, dass er die den Fahrstil des Fahrers abbildenden Informationen aus den Eingabegrößen extrahiert und als die Fahrstilrepräsentation im latenten Raum bereitstellt. Dabei verwirft der Stilencoder Informationen, die nicht den Fahrstil des Fahrers kennzeichnen. Der Trainingsprozess kann unter Verwendung von künstlich erzeugten oder real erfassten Eingabegrößen beziehungsweise Trainingsdaten erfolgen. Die künstlich erzeugten Eingabegrößen für das Training können durch zumindest ein Fahrermodell eines idealen Fahrers mit einem bekannten Fahrstil bereitgestellt werden. Während des Trainingsprozesses kann eine Rückführung der Ausgabegrößen stattfinden, um einen Vergleich zwischen den Ausgabegrößen und den Eingabegrößen zu ermöglichen. Nach dem Trainingsprozess kann die Struktur des Stilencoders zumindest anteilig fixiert werden, also nicht weiter verändert werden.
-
Der Situationsencoder extrahiert alle die Fahrsituation abbildenden Informationen aus den Eingabegrößen und stellt sie als Fahrsituationsrepräsentation im latenten Raum bereit. Dabei verwirft der Situationsencoder Informationen, die nicht die Fahrsituation kennzeichnen.
-
Der Stildecoder kann aus der Fahrstilrepräsentation und der Fahrsituationsrepräsentation wieder Ausgabegrößen erstellen, welche die Eingabegrößen abbilden sollen, da die Fahrstilrepräsentation und die Fahrsituationsrepräsentation alle relevanten Informationen in komprimierter Form enthalten sollen. Die Struktur des Stilencoders wird so lange angepasst, bis die Ausgabegrößen die Eingabegrößen abbilden, um dadurch die Inhalte der Fahrstilrepräsentation anzupassen.
-
Die Fahrstilrepräsentation und die Fahrsituationsrepräsentation können auch unter Verwendung eines untrainierten Stildecoders des neuronalen Netzwerks aus dem latenten Raum zu den Ausgabegrößen dekomprimiert werden. Um den Stildecoder zu trainieren, kann eine Struktur des Stildecoders verändert werden, bis die Ausgabegrößen des Stildecoders die Bewegung abbilden. Der Stilencoder und der Stildecoder können dabei gemeinsam trainiert werden. Der Stilencoder lernt dabei, die Fahrstilrepräsentation so bereitzustellen, dass der Stildecoder aus der Fahrstilrepräsentation und der Fahrsituationsrepräsentation die Fahrsituation und den Fahrstil äquivalent zu den Eingabegrößen dekomprimieren kann. Im Gegenzug lernt der Stildecoder insbesondere die Fahrstilrepräsentation richtig zu interpretieren.
-
Der trainierte Situationsencoder ist durch einen vorhergehenden Trainingsprozess so strukturiert worden, dass er die die Fahrsituation des Fahrzeugs abbildenden Informationen aus den Eingabegrößen extrahiert und als die Fahrsituationsrepräsentation im latenten Raum bereitstellt. Der Trainingsprozess des Situationsencoders kann dabei unter Verwendung derselben Eingabegrößen erfolgen wie der Trainingsprozess des Stilencoders.
-
In einem vorhergehenden Schritt zum Trainieren des Situationsencoders kann der untrainierte Situationsencoder die sensorischen Eingabegrößen zu der Fahrsituationsrepräsentation in zumindest einen Teil des latenten Raums komprimieren. Ein Situationsdecoder des neuronalen Netzwerks kann die Fahrsituationsrepräsentation aus dem latenten Raum zu Ausgabegrößen dekomprimieren. Ein Fahrerklassifikator kann parallel dazu die Fahrsituationsrepräsentation aus dem latenten Raum zu einer Fahrerinformation dekomprimieren. Um Situationsencoder zu trainieren, kann eine Struktur des Situationsencoders verändert werden, bis der Fahrerklassifikator aus der Fahrsituationsrepräsentation keine Fahrerinformation dekomprimieren kann und die Ausgabegrößen des Situationsdecoders die Bewegung und das Umfeld abbilden. Der Situationsencoder kann unter Verwendung von künstlich erzeugten Trainingsdaten trainiert werden. Der Situationsencoder kann unter Verwendung derselben Trainingsdaten trainiert werden wie der Stilencoder. Ein Fahrerklassifikator kann Informationen über das zum Erzeugen der Trainingsdaten verwendete Fahrermodell haben. Dadurch kann der Fahrerklassifikator Fahrstilanteile dieses Fahrermodells beziehungsweise Fahrerinformationen erkennen. Wenn aus der Fahrsituationsrepräsentation keine Fahrerinformation dekomprimiert werden kann, hat der Stilencoder alle Informationen zu dem Fahrer aus den in den Eingabegrößen enthaltenen Informationen entfernt. Wenn der Situationsdecoder dann noch die Eingabegrößen zumindest anteilig wiederherstellen kann, ist der Situationsencoder korrekt trainiert.
-
Die Fahrsituationsrepräsentation kann unter Verwendung eines untrainierten Situationsdecoders des neuronalen Netzwerks aus dem latenten Raum zu den Ausgabegrößen dekomprimiert werden. Um den Situationsdecoder zu trainieren, kann eine Struktur des Situationsdecoders verändert werden, bis die Ausgabegrößen des Situationsdecoders die Bewegung und das Umfeld abbilden. Der Situationsencoder und der Situationsdecoder können gemeinsam trainiert werden. Der Situationsencoder lernt dabei, die Fahrsituationsrepräsentation so bereitzustellen, dass der Situationsdecoder aus der Fahrsituationsrepräsentation die Fahrsituation äquivalent zu der in den Eingabegrößen enthaltenen Fahrsituation dekomprimieren kann. Im Gegenzug lernt der Situationsdecoder insbesondere die Fahrsituationsrepräsentation richtig zu interpretieren.
-
Die extrahierte Fahrstilrepräsentation kann unter Verwendung von vordefinierten Merkmalsumfängen klassifiziert werden. Der in der Fahrstilrepräsentation abgebildete Fahrstil kann dabei einer von mehreren möglichen Fahrstilklassen zugeordnet werden. Beispielsweise können dem Fahrstil Attribute zugeordnet werden. Als Attribute können beispielsweise aggressiv, zurückhaltend, zügig oder langsam zugeordnet werden. Der Fahrstil kann auch als durchschnittlich bewertet werden.
-
Es können zu zumindest zwei unterschiedlichen Zeitpunkten Fahrstilrepräsentationen extrahiert werden. Die extrahierten Fahrstilrepräsentationen können in einen Merkmalsraum übertragen werden. Der Fahrstil des Fahrers kann unter Verwendung einer Häufung der Fahrstilrepräsentationen im Merkmalsraum klassifiziert werden. Eine Fahrstilrepräsentation ist eine Momentaufnahme des Fahrstils. Über einen längeren Zeitraum kann der gleiche Fahrer in ähnlichen Situationen geringfügig unterschiedlich reagieren. Daher können sich die Fahrstilrepräsentationen über den Zeitraum verändern und bildlich ausgedrückt im Merkmalsraum wandern. Dabei können sich über den Zeitraum Schwerpunkte beziehungsweise Häufungen der Fahrstilrepräsentationen ausbilden. Anhand der Häufungen kann der Fahrstil mit einer hohen Sicherheit klassifiziert werden.
-
Unter Verwendung der extrahierten Fahrstilrepräsentation und einer Fahraufgabe des Fahrzeugs können Steuerbefehle für das Fahrzeug generiert werden, wenn der Fahrer einen autonomen Fahrmodus zum Ausführen der Fahraufgabe aktiviert. Durch die zuvor erfasste Fahrstilrepräsentation kann das Fahrzeug im autonomen Fahrmodus sehr ähnlich fahren, wie der Fahrer selbst zuvor gefahren ist. Dadurch kann sich der Fahrer sehr wohl fühlen.
-
Wenn sich über mehrere Fahrstilrepräsentationen unterschiedliche Fahrstile des Fahrers herauskristallisieren, kann der Fahrer bei einem Wechsel in den autonomen Fahrmodus gefragt werden, welchen der Fahrstile das Fahrzeug fahren soll.
-
Unter Verwendung eines trainierten Situationsencoders des neuronalen Netzwerks können die sensorischen Eingabegrößen zu einer Fahrsituationsrepräsentation in zumindest einen Teil des latenten Raums komprimiert werden. Unter Verwendung eines Stildecoders des neuronalen Netzwerks können die Fahrstilrepräsentation und die Fahrsituationsrepräsentation aus dem latenten Raum zu Ausgabegrößen dekomprimiert werden. Die in den Ausgabegrößen abgebildete Bewegung kann mit der in den Eingabegrößen abgebildeten Bewegung verglichen werden, um das Training des Stilencoders zu überprüfen. Das Überprüfen kann periodisch durchgeführt werden. Durch das Überprüfen kann eine Qualität der Fahrstilrepräsentation hochgehalten werden. Das Überprüfen kann dabei analog zum Training durchgeführt werden. Wenn die Ausgabegrößen nicht äquivalent zu den Eingabegrößen sind, kann das neuronale Netz selbständig mit einem erneuten Training beginnen. Die Veränderung des neuronalen Netzes kann vorteilhafter Weise nicht während des Fahrt stattfinden, sondern offline beziehungsweise unter kontrollierten Bedingungen.
-
Unter Verwendung eines Situationsdecoders des neuronalen Netzwerks kann die Fahrsituationsrepräsentation aus dem latenten Raum zu weiteren Ausgabegrößen dekomprimiert werden. Die in den Ausgabegrößen abgebildete Bewegung und Umgebung können mit der in den Eingabegrößen abgebildeten Bewegung und Umgebung verglichen werden, um das Training des Situationsencoders zu überprüfen. Das Überprüfen kann periodisch durchgeführt werden. Durch das Überprüfen kann eine Qualität der Fahrsituationsrepräsentation hochgehalten werden. Das Überprüfen kann dabei analog zum Training durchgeführt werden. Wenn die Ausgabegrößen nicht äquivalent zu den Eingabegrößen sind, kann das neuronale Netz selbständig mit einem erneuten Training beginnen.
-
Das Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
-
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die dazu ausgebildet ist, um die Schritte einer Variante des hier vorgestellten Verfahrens in einem neuronalen Netz durchzuführen, anzusteuern bzw. umzusetzen.
-
Die Vorrichtung kann ein elektrisches Gerät mit zumindest einer Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest einer Speichereinheit zum Speichern von Signalen oder Daten, und zumindest einer Schnittstelle und/oder einer Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten, die in ein Kommunikationsprotokoll eingebettet sind, sein. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein sogenannter System-ASIC oder ein Mikrocontroller zum Verarbeiten von Sensorsignalen und Ausgeben von Datensignalen in Abhängigkeit von den Sensorsignalen sein. Die Speichereinheit kann beispielsweise ein Flash-Speicher, ein EPROM oder eine magnetische Speichereinheit sein. Die Schnittstelle kann als Sensorschnittstelle zum Einlesen der Sensorsignale von einem Sensor und/oder als Aktorschnittstelle zum Ausgeben der Datensignale und/oder Steuersignale an einen Aktor ausgebildet sein. Die Kommunikationsschnittstelle kann dazu ausgebildet sein, die Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben. Die Schnittstellen können auch Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Es wird darauf hingewiesen, dass einige der möglichen Merkmale und Vorteile der Erfindung hierin mit Bezug auf unterschiedliche Ausführungsformen beschrieben sind. Ein Fachmann erkennt, dass die Merkmale des Steuergeräts und des Verfahrens in geeigneter Weise kombiniert, angepasst oder ausgetauscht werden können, um zu weiteren Ausführungsformen der Erfindung zu gelangen.
-
Figurenliste
-
Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, wobei weder die Zeichnungen noch die Beschreibung als die Erfindung einschränkend auszulegen sind.
- 1 zeigt eine Darstellung eines neuronalen Netzwerks mit einer Vorrichtung gemäß einem Ausführungsbeispiel;
- 2 zeigt eine Darstellung eines Trainierens eines Situationsencoders;
- 3 zeigt eine Darstellung eines Trainierens eines Stilencoders;
- 4 zeigt eine Darstellung eines Extrahierens einer Fahrstilrepräsentation; und
- 5 zeigt eine Darstellung eines Übertragens einer Vielzahl von Fahrstilrepräsentationen in einen Merkmalsraum.
-
Die Figuren sind lediglich schematisch und nicht maßstabsgetreu. Gleiche Bezugszeichen bezeichnen in den Figuren gleiche oder gleichwirkende Merkmale.
-
Ausführungsformen der Erfindung
-
1 zeigt eine Darstellung eines neuronalen Netzwerks 100 mit einer Vorrichtung 102 gemäß einem Ausführungsbeispiel. Das neuronale Netzwerk 100 weist einen Stilencoder 104, einen Situationsencoder 106, einen latenten Raum 108, einen Stildecoder 110 und einen Situationsdecoder 112 auf. Der latente Raum 108 ist zwischen den Encodern 104, 106 und den Decodern 110, 112 angeordnet. Der Stilencoder 104 ist dazu konfiguriert, Eingabegrößen 114 zu einer Fahrstilrepräsentation 116 zu komprimieren und im latenten Raum 108 bereitzustellen. Die Eingabegrößen 114 bilden eine Bewegung eines durch einen Fahrer gefahrenen Fahrzeugs durch ein Umfeld des Fahrzeugs ab. Der Situationsencoder 106 ist dazu konfiguriert, die Eingabegrößen 114 zu einer Fahrsituationsrepräsentation 118 zu komprimieren und im latenten Raum 108 bereitzustellen. Der Situationsdecoder 110 ist dazu konfiguriert, die Fahrstilrepräsentation 116 und die Fahrsituationsrepräsentation 118 aus dem latenten Raum 108 auszulesen und zu Ausgabegrößen 120 zu dekomprimieren. Der Situationsdecoder 112 ist dazu konfiguriert, die Fahrsituationsrepräsentation 118 aus dem latenten Raum 108 auszulesen und ebenfalls zu Ausgabegrößen 120 zu dekomprimieren.
-
Die Vorrichtung 102 ist mit dem neuronalen Netzwerk 100 verbunden. Die Vorrichtung 102 greift dabei insbesondere auf dem latenten Raum 108 zu und ist dazu ausgebildet, die Fahrstilrepräsentation 116 aus dem latenten Raum 108 zu extrahieren.
-
In einem Ausführungsbeispiel greift ein Fahrerklassifikator 122 ebenfalls auf dem latenten Raum 108 zu. Der Fahrerklassifikator 122 liest die Fahrsituationsrepräsentation 118 aus dem latenten Raum 108 aus. Der Fahrerklassifikator 122 versucht unter Verwendung von hinterlegten Fahrerkriterien aus der Fahrsituationsrepräsentation 118 eine Fahrerinformation 124 beziehungsweise eine Fahreridentität zu erstellen. Wenn der Situationsencoder 106 richtig strukturiert ist, enthält die Fahrsituationsrepräsentation 118 jedoch keine Merkmale, anhand derer der Fahrerklassifikator 122 den Fahrer erkennen kann. Daher gelingt bei richtig erzeugter Fahrsituationsrepräsentation 118 keine Identifikation des Fahrers. Der Fahrerklassifikator 122 kann somit verwendet werden, um den Situationsencoder 106 zu überwachen.
-
In einem Ausführungsbeispiel sind die Eingabegrößen 114 eine Trajektorieninformation 126 und eine Umfeldinformation 128. Die Trajektorieninformation 126 bildet eine zurückliegende Trajektorie des Fahrzeugs ab. Dabei enthält die Trajektorieninformation 126 beispielsweise eine Abfolge von zurückliegenden Positionen des Fahrzeugs mit Zeitstempeln. Aus dieser Abfolge können dann eine Geschwindigkeit und Richtung des Fahrzeugs zum jeweiligen Zeitpunkt abgeleitet werden. Ebenso können Beschleunigung und Verzögerung des Fahrzeugs aus der Abfolge bestimmt werden. Die Umfeldinformation 128 bildet das Umfeld des Fahrzeugs ab. Insbesondere bildet die Umfeldinformation 128 eine Veränderung des Umfelds im Lauf der Zeit ab. Dabei kann das Umfeld beispielsweise als Richtung und Entfernung zu Objekten in der Umgebung abgebildet werden.
-
Dabei sind die Ausgabegrößen 120 Trajektoriendaten 130 und Umfelddaten 132. Der Stildecoder 110 gibt als Ausgabegrößen 120 die Trajektoriendaten 130 aus. Wenn die Trajektoriendaten 130 äquivalent zu der Trajektorieninformation 126 sind, arbeitet der Stildecoder 110 richtig mit dem Stilencoder 104 und dem Situationsencoder 106 zusammen.
-
Der Situationsdecoder 112 gibt als Ausgabegrößen 120 die Trajektoriendaten 130 und die Umfelddaten 132 aus. Wenn die Trajektoriendaten 130 äquivalent zu der Trajektorieninformation 126 sind und die Umfelddaten 132 äquivalent zu der Umfeldinformation 128 sind, arbeitet der Situationsdecoder 112 richtig mit dem Situationsencoder 112 zusammen.
-
2 zeigt eine Darstellung eines Trainierens des Situationsencoders 106 aus 1. Dabei werden der untrainierte Situationsencoder 106, der Situationsdecoder 112 und der Fahrerklassifikator 122 betrieben. Der Rest des neuronalen Netzwerks 100 ist während des Trainings des Situationsencoders 106 inaktiv. Dem Situationsencoder 106 werden Trainingsdaten 200 als Eingabegrößen 114 bereitgestellt. Die Trainingsdaten 200 bilden einen Fahrstil eines bekannten Fahrers in unterschiedlichen Situationen ab. Der Situationsencoder 106 komprimiert die Trainingsdaten 200 zur Fahrsituationsrepräsentation 118 in den latenten Raum 108. Der Situationsdecoder 112 liest die Fahrsituationsrepräsentation 118 aus dem latenten Raum 108 aus und dekomprimiert die Fahrsituationsrepräsentation 118 zu den Ausgabegrößen 120. Währenddessen liest der Fahrerkassifikator 122 ebenfalls die Fahrsituationsrepräsentation 118 aus dem latenten Raum 108 aus und versucht anhand von bekannten Fahrerkriterien des bekannten Fahrers die Fahrerinformation 124 zu erkennen.
-
Die Ausgabegrößen 120 werden mit den Trainingsdaten 200 verglichen. Eine Struktur des Situationsencoders 106 wird so lange unter Verwendung von Methoden des maschinellen Lernens verändert, bis Ausgabegrößen 120 äquivalent zu den Trainingsdaten 200 sind. Zusätzlich wird die Struktur des Situationsencoders 106 so lange verändert, bis der Fahrerkassifikator 122 keine Fahrerinformation 124 mehr erkennen kann. Wenn diese Bedingungen erfüllt sind, wird die Struktur des Situationsencoders 106 für den nächsten Schritt fixiert.
-
In einem Ausführungsbeispiel wird zusätzlich zum Situationsencoder 106 auch eine Struktur des Situationsdecoders 112 so lange unter Verwendung von Methoden des maschinellen Lernens verändert, bis Ausgabegrößen 120 äquivalent zu den Trainingsdaten 200 sind und bis der Fahrerkassifikator 122 keine Fahrerinformation 124 mehr erkennen kann.
-
3 zeigt eine Darstellung eines Trainierens des Stilencoders 104 aus 1. Dabei werden der trainierte Situationsencoder 106, der untrainierte Stilencoder 104 und der Stildecoder 110 betrieben. Der Situationsdecoder 112 ist während des Trainings des Stilencoders 104 inaktiv. Dem Stilencoder 104 und Situationsencoder 106 werden Trainingsdaten 200 als Eingabegrößen 114 bereitgestellt. Der Stilencoder 104 komprimiert die Trainingsdaten 200 zur Fahrstilrepräsentation 116 in den latenten Raum 108. Der Situationsencoder 106 komprimiert die Trainingsdaten 200 zur Fahrsituationsrepräsentation 118 in den latenten Raum 108. Der Stildecoder 110 liest die Fahrstilrepräsentation 116 und die Fahrsituationsrepräsentation 118 aus dem latenten Raum 108 aus und dekomprimiert sie zu den Ausgabegrößen 120. Die Ausgabegrößen 120 werden mit den Trainingsdaten 200 verglichen. Eine Struktur des Stilencoders 104 wird so lange unter Verwendung von Methoden des maschinellen Lernens verändert, bis Ausgabegrößen 120 äquivalent zu den Trainingsdaten 200 sind. Wenn diese Bedingung erfüllt ist, wird die Struktur des Stilencoders 104 fixiert.
-
In einem Ausführungsbeispiel wird zusätzlich zum Stilencoder 104 auch eine Struktur des Stildecoders 110 so lange unter Verwendung von Methoden des maschinellen Lernens verändert, bis Ausgabegrößen 120 äquivalent zu den Trainingsdaten 200 sind.
-
4 zeigt eine Darstellung eines Extrahierens der Fahrstilrepräsentation 116. Dabei wird der trainiere Stilencoder 104 betrieben. Der Rest des neuronalen Netzwerks 100 ist während des Extrahierens der Fahrstilrepräsentation 116 inaktiv. Alternativ dazu kann auch nur der trainiere Stilencoder 104 in das Fahrzeug übertragen werden. Der trainiere Stilencoder 104 wird mit realen Eingabegrößen 114 gespeist und komprimiert diese zu der Fahrstilrepräsentation 116. Der Stilencoder 104 stellt die Fahrstilrepräsentation 116 im latenten Raum 108 bereit. Die Vorrichtung 102 extrahiert die Fahrstilrepräsentation 116 aus dem latenten Raum 108.
-
In einem Ausführungsbeispiel wird der Stilencoder 104 kontinuierlich mit realen Eingabegrößen 114 gespeist, während der Fahrer das Fahrzeug fährt. Die Fahrstilrepräsentationen 116 werden gesammelt und weiterverarbeitet.
-
In einem Ausführungsbeispiel wird auch der Situationsencoder 106 betrieben und komprimiert die realen Eingabegrößen 114 zur Fahrsituationsrepräsentation 118 in den latenten Raum 108. Der Stildecoder 110 wird ebenfalls betrieben und liest die Fahrstilrepräsentation 116 und die Fahrsituationsrepräsentation 118 aus dem latenten Raum 108 aus und dekomprimiert sie zu den Ausgabegrößen 120. Die Ausgabegrößen 120 werden mit den Eingabegrößen 114 verglichen. Wenn die Ausgabegrößen 120 äquivalent zu den Eingabegrößen 114 sind, sind die Strukturen des Stilencoders 104 und des Situationsencoders 106 korrekt trainiert. Wenn die Ausgabegrößen 120 nicht äquivalent zu den Eingabegrößen 114 sind, sind entweder beide Strukturen von Stilencoder 104 und Situationsencoder 106 gestört oder zumindest die Struktur des Stilencoders 104 oder des Situationsencoders 106 ist gestört.
-
Um die Struktur des Situationsencoders 106 zu überprüfen, können dann auch der Situationsdecoder 112 und der Fahrerkassifikator 122 betrieben werden. Die Ausgabegrößen 120 des Situationsdecoders 112 werden mit den Eingabegrößen 114 verglichen. Wenn der Fahrerkassifikator 122 keine Fahrerinformation 124 erkennen kann und die Ausgabegrößen 120 äquivalent zu den Eingabegrößen 114 sind, ist die Struktur des Situationsencoders 106 korrekt trainiert. Der Stilencoder 104 kann dann wie in 3 trainiert werden. Wenn der Fahrerkassifikator 122 eine Fahrerinformation 124 erkennen kann oder die Ausgabegrößen 120 nicht äquivalent zu den Eingabegrößen 114 sind, ist die Struktur des Situationsencoders 106 gestört und kann wie in 2 trainiert werden.
-
5 zeigt eine Darstellung eines Übertragens einer Vielzahl von Fahrstilrepräsentationen 116 in einen Merkmalsraum 500. Der Merkmalsraum 500 ist hier zur Vereinfachung der Darstellung zweidimensional dargestellt. Auf jeder Achse des Merkmalsraums ist ein anderes Kriterium der Fahrstilrepräsentationen 116 angetragen. Der Merkmalsraum 500 kann dabei auch multidimensional sein. Insbesondere kann der Merkmalsraum 500 so viele Dimensionen aufweisen, wie die Fahrstilrepräsentation 116. Jede Fahrstilrepräsentation 116 wird als Koordinatenpunkt im Merkmalsraum 500 angetragen.
-
Die vielen Fahrstilrepräsentationen 116 unterscheiden sich dabei mehr oder weniger stark. Dadurch ergibt sich eine Punktewolke 502 im Merkmalsraum 500. Wenn viele ähnliche Fahrstilrepräsentationen 116 angetragen werden, ergibt sich eine Häufung 504 der Fahrstilrepräsentationen 116 im Merkmalsraum 500. Ein verallgemeinerter Fahrstil 506 kann unter Verwendung der Häufung 504 gefunden werden. Beispielsweise kann ein Schwerpunkt 508 der Häufung 504 verwendet werden, um den Fahrstil 506 zu beschreiben. Eine Fahrstilrepräsentation 116 mit den Werten des Schwerpunkts 506 kann verwendet werden, um das Fahrzeug anzusteuern, wenn der Fahrer in einem autonomen oder teilautonomen Fahrmodus wechselt. Durch die Verwendung des Schwerpunkts 506 können Ausreißer gut kompensiert werden.
-
In einem Ausführungsbeispiel werden Fahrstilrepräsentationen 116 von unterschiedlichen Fahrern mit unterschiedlichen Fahrstilen 506 in den Merkmalsraum 500 übertragen. Dabei ergeben sich mehrere Häufungen 504, die sich anteilsweise überschneiden können. Anhand der unterschiedlichen Schwerpunkten 508 können unterschiedliche Fahrstile 506 definiert werden. Beispielsweise fährt hier zumindest einer der Fahrer einen risikoreichen Fahrstil 506, während zumindest ein anderer Fahrer einen sehr zurückhaltenden Fahrstil 506 fährt. Zumindest ein dritter Fahrer fährt einen durchschnittlichen Fahrstil 506, der zwischen dem risikoreichen Fahrstil 506 und dem zurückhaltenden Fahrstil 506 liegt.
-
In einem Ausführungsbeispiel werden die gefundenen Fahrstile 506 als vorwählbare Fahrstile zum Erzeugen von Steuerbefehlen für ein autonomes beziehungsweise teilautonomes Fahrzeug verwendet. Dabei kann ein Benutzer beziehungsweise Fahrer des autonomen beziehungsweise teilautonomen Fahrzeugs eine Auswahl treffen, welchen Fahrstil das Fahrzeug fahren soll.
-
Mit anderen Worten wird eine abstrakte Fahrstilrepräsentation für automatisiertes Fahren vorgestellt.
-
Mit Methoden des maschinellen Lernens werden bei dem hier vorgestellten Ansatz Informationen über den Fahrstil von Fahrzeugführern aus sensorischen Daten extrahiert. Herkömmlicherweise basierten Fahrstildarstellungen und - klassifizierungen auf manuell parametrierten Features, wie beispielsweise Beschleunigungsraten oder einer Lenkwinkeldrehgeschwindigkeit. Der hier vorgestellte Ansatz schafft dagegen eine abstrakte Repräsentation und baut die Lösung nicht auf manuell parametrierten Features auf.
-
Die abstrakte Repräsentation eines Fahrstils eines menschlichen Fahrers wird durch eine Extraktion der Stilinformationen des Autofahrers aus seiner Trajektorie erreicht. Mit dieser Repräsentation kann eine angemessene Vorhersage des Verkehrsteilnehmerstils getroffen werden, was zu einem besseren automatisierten Verständnis von Situationen führt, in denen Fahrerassistenzprodukte (DA) oder automatisiertes Fahren (AD) angewendet werden. Die vorgestellte Methode nutzt Extraktion einer Repräsentation von allgemeinen Trajektorien auf abstrakte Weise aus dem latenten Raum.
-
Die Methode und Struktur des vorgeschlagenen Algorithmus zeigt Verbesserungen und Möglichkeiten in der abstrakten Fahrstilextraktion. Die Extraktion der Stilinformationen wird gelöst, indem der Trainingsprozess der angewendeten Encoder- und Decoderteile des vorgeschlagenen neuronalen Netzes geleitet wird. Darüber hinaus wird ein Informationsengpass angewendet, der die Komprimierung der Informationen verbessert. Der latente Raum wird sowohl durch den Decoder als auch durch das eingeführte kontradiktorische Training des Klassifiers formuliert. So werden die neuronalen Netzwerkteile mit Einschränkungen geführt, die helfen, die latente Raumdarstellung zwischen Encoder und Decoder zu verbessern. Dadurch wird ein neuronales Netzwerk geschaffen, das eine abstrakte Fahrstilrepräsentation eines Fahrers aus seiner Trajektorie schafft.
-
Das neuronale Netzwerkmodell wird mit sensorischen Eingaben, wie Trajektorie und Umgebung, gespeist. Die Trajektorie kann als Positionsfolge oder eine Abfolge von Verschiebungen zwischen Zeitrahmen dargestellt werden. Die Umgebung kann auf unterschiedliche Weise dargestellt werden. Beispielsweise kann die Umgebung durch einen 360 Zeilen langen Vektor beschrieben werden, der den Abstand des jeweils nächsten Objekts für jedes Grad Richtung um das Fahrzeug herum beschreibt. Ebenso kann die Umgebung als insbesondere hochaufgelöste Karte dargestellt werden. Die Umgebung kann auch als ein Bild dargestellt werden, das aus der Umgebung gerendert wird. Ebenso kann die Umgebung als graphbasierte Darstellung abgebildet werden. Die genaue Form der Umweltdarstellung kann variieren.
-
Der in 1 dargestellte Situationsencoder kodiert und extrahiert Informationen über die situationsbezogenen Aspekte der Trajektorie und der Umgebung, während der Stilencoder aus der gleichen Eingabe herausextrahiert, was aus der Situationsrepräsentation herausgelassen wird. Das Herausgelassene entspricht dem Fahrstil. Der Stildecoder des Netzwerks versucht, die ursprüngliche Eingabe aus dem latenten Raum beider Encoder wiederherzustellen. Das Training wird auch durch das Driver ID Klassifizierungsmodul geleitet, das den Situationsencoder zwingt, nur Informationen zu codieren, von denen der Fahrer nicht erkannt werden kann. So enthält die Situationsrepräsentation keinen Fahrstil. Das Modell enthält bewusst einen Informationsengpass, der hilft, nur die minimal ausreichenden Informationen aus der Eingabe für die Stilrepräsentation zu extrahieren. Durch Erzwingen einer besseren Abstraktion des Stilencoders wird auch der Situationsencoder besser.
-
Das Training ist in verschiedene Schritte unterteilt.
-
1 zeigt die vollständige Architektur des Modells. Es gibt zwei Encoder, einen für Stil und einen für die Situationscodierung. Die Decoder sind auch auf diese Weise unterteilt. Die Klassifizierung versucht, den Fahrer aus dem latenten Raum des Situationsencoders zu erraten, was ihn dazu zwingt, keine Stildaten zu codieren.
-
Im ersten Trainingsschritt wird der Situationsencoder wie in 2 trainiert.
-
Durch den ersten Trainingsschritt lernte der Situationsencoder, wie die Situation aus den eingegebenen Trajektorien extrahiert wird. Im zweiten Schritt lernt der Stilencoder dann wie in 3, die Stilrepräsentation in seiner Ausgabe zu enthalten.
-
Nach dem abgeschlossenen Training kann der Stilencoder wie in 4 verwendet werden, um den Stil der Eingabe zu extrahieren, also Informationen den jeweils betreffenden Fahrer bereitzustellen.
-
Die abstrakte Fahrstil Repräsentation wird in einem Ausführungsbeispiel zur abstrakten Darstellung für den Stil des Ego-Fahrzeugs verwendet.
-
Fahrerassistenzsysteme (DA) und automatisierte Fahrsysteme (AD) haben eine enorme Menge an Parametern. Diese Parameter werden während des Entwicklungsprozesses des Systems kalibriert. Nicht sicherheitskritische Parameter werden herkömmlicherweise nach einigen Tests von einem Experten mit einigen manuell gesetzten Werten auf der Grundlage der Tests eingestellt. Dies gilt insbesondere für die Parameter, die den Fahrstil von AD-Systemen beeinflussen. Der hier vorgestellte Ansatz ermöglicht es, die richtigen Parameter solcher Systeme systematisch zu finden. Diese Parameter bieten realistische Fahrstile. Es kann ein erschöpfender Satz Fahrstile bereitgestellt werden.
-
Höhere Automatisierungsgrade in AD-Systemen stellen die Produktakzeptanz vor neue Herausforderungen. In diesen komplexeren Systemen ergeben sich deutlich höhere Komfortanforderungen des Fahrers. Ein funktional korrektes und sicheres Fahrzeug kann dem Endbenutzer immer noch große Beschwerden bereiten, wenn es sich nicht so verhält, wie es der Fahrer wünscht. Es besteht also ein hohes Risiko der Ablehnung durch den Fahrer, wenn Der Stil falsch ausgerichtet ist.
-
Verschiedene Benutzer können sich unterschiedliche Fahrstile des AD-Systems wünschen. Durch den hier vorgestellten Ansatz können systematisch die richtigen Parameter für realistische Fahrstile solcher Systeme gefunden werden. Dies gewährleistet die Produktakzeptanz und -zufriedenheit des Endverbrauchers.
-
Bei dem hier vorgestellten Ansatz werden systematisch die richtigen Parameter für realistische Fahrstile solcher Systeme gefunden. Dazu wird Kl, insbesondere maschinelles Lernen, verwendet und basiert auf der abstrakten Stilrepräsentation. Die abstrakte Stilrepräsentation verwendet maschinelles Lernen, um eine Repräsentation beziehungsweise Abbildung des Fahrstils menschlicher Fahrer in einer Weise zu schaffen, die unabhängig von dem AD-System ist, das parametrisiert werden soll.
-
Damit ist eine vollständige Auseinandersetzung mit den Fahrstilen menschlicher Fahrer möglich. Aus dieser Erkundung können realistische Stile gefunden werden, die für menschliche Fahrer akzeptabel sind. Die Suche nach diesen Stilen ist automatisiert, aber die Ausgabe kann auch optimiert werden, so dass volle Kontrolle über die Ausgabe resultiert.
-
Die abstrakte Stilrepräsentation kann verwendet werden, um mehrere gewünschte Fahrstile zu finden. Dazu wird eine Vielzahl von abstrakten Stilrepräsentationen von menschlichen Fahrern erstellt. Dabei wird ein abstrakter Stildeskriptor für jeden Fahrer oder jedes Fahrbeispiel gesetzt. Die Stile im Raum der abstrakten Stildarstellung werden zu Clustern gruppiert. Auf diese Weise wird der Raum möglicher Fahrstile vollständig abgebildet. Cluster-Zentren der Cluster können gesucht werden. Dies sind die repräsentativen Elemente der Cluster. Diese werden als Kandidaten für die möglichen Fahrstile des AD-Systems dienen. Für jeden ausgewählten Cluster-Vertreter wird ein Parametersatz für den Planer des AD-Systems definiert, der diesen Stil realisiert. Auf diese Weise kann das AD-System den Fahrstil dieser Gruppe von Fahrern nachahmen.
-
Durch Verstärkungslernen oder durch einen Gaußschen Prozess können optimale Parameterwerte für eine nicht-ableitbare Funktion gesucht werden. (Hier ist das die Ähnlichkeit der abstrakten Fahrstilbeschreibung des Planers mit dem Stil des Cluster-Vertreters). Der Planer befasst sich jedoch als Hauptaufgabe mit der Sicherheit des Systems. Ein Fahrstil wird dabei aber nur innerhalb der Sicherheitsgrenzen des Systems nachgeahmt. Der Fahrer kann über eine Benutzeroberfläche den gewünschten Fahrstil (z.B. während der Fahrt) auswählen.
-
Abschließend ist darauf hinzuweisen, dass Begriffe wie „aufweisend“, „umfassend“, etc. keine anderen Elemente oder Schritte ausschließen und Begriffe wie „eine“ oder „ein“ keine Vielzahl ausschließen. Bezugszeichen in den Ansprüchen sind nicht als Einschränkung anzusehen.
