-
Gebiet der Erfindung
-
Die Erfindung betrifft ein Verfahren zum Schätzen eines Verhaltens eines Systems sowie ein entsprechendes Steuergerät.
-
Stand der Technik
-
Wenn ein Fahrzeug von einem menschlichen Fahrer gefahren wird, so fährt der Fahrer einen individuellen Fahrstil. Der Fahrstil sagt also etwas darüber aus, wie der Fahrer in unterschiedlichen Verkehrssituationen reagiert. Die Reaktion des Fahrers beeinflusst wiederum, wie sich andere Verkehrsteilnehmer verhalten müssen, um zusammen mit dem Fahrer sicher am Verkehrsgeschehen teilnehmen zu können.
-
Wenn ein autonom fahrendes System an dem Verkehrsgeschehen teilnimmt, kann das System das durch den Fahrer gelenkte Fahrzeug mit Sensoren erfassen und eine aktuelle Position und/oder eine bisherige Trajektorie des Fahrzeugs erkennen. Durch Extrapolation kann die Trajektorie für eine geringe Zeitspanne vorausgesagt werden. Das autonome System kann eine eigene Trajektorie so planen, dass Konflikte mit der vorhergesagten Trajektorie vermieden werden.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Schätzen eines Verhaltens eines Systems sowie ein entsprechendes Steuergerät, sowie schließlich entsprechende Computerprogrammprodukte und maschinenlesbare Speichermedien gemäß den unabhängigen Ansprüchen vorgestellt. Vorteilhafte Weiterbildungen und Verbesserungen des hier vorgestellten Ansatzes ergeben sich aus der Beschreibung und sind in den abhängigen Ansprüchen beschrieben.
-
Vorteile der Erfindung
-
Ausführungsformen der vorliegenden Erfindung können in vorteilhafter Weise ermöglichen, ein Verhalten eines Systems vorherzusagen, indem ein beobachteter Fahrstil des Systems bei der Vorhersage des Verhaltens berücksichtigt wird.
-
Es wird ein Verfahren zum Schätzen eines Verhaltens eines Systems vorgeschlagen, wobei unter Verwendung eines trainierten Stilencoders eines neuronalen Netzwerks sensorische Eingabegrößen, die eine Bewegung des Systems und ein Umfeld des Systems abbilden, als abstrakte Fahrstilrepräsentation eines Fahrstils des Systems in zumindest einen Teil eines latenten Raums des neuronalen Netzwerks komprimiert werden, wobei die Fahrstilrepräsentation aus dem latenten Raum extrahiert wird und das Verhalten unter Verwendung der Fahrstilrepräsentation geschätzt wird.
-
Ideen zu Ausführungsformen der vorliegenden Erfindung können unter anderem als auf den nachfolgend beschriebenen Gedanken und Erkenntnissen beruhend angesehen werden.
-
Ein System, wie es hierin beschrieben wird und welches teilweise auch als bewegungsfähiges oder fahrfähiges System bezeichnet wird, kann ein Fahrzeug oder ein Roboter sein. Das System kann durch einen Fahrer gesteuert werden oder zumindest teilautonom eine vorgegebene Fahraufgabe ausführen. Wenn das System von dem Fahrer gesteuert wird, kann der Fahrer ein Umfeld des Systems überwachen und über Bedienelemente Steuerbefehle eingeben, die von Aktoren des Systems ausgeführt werden. Wenn das System autonom oder zumindest teilautonom die Fahraufgabe erfüllt, kann das System Sensordaten auswerten, die das Umfeld abbilden und Steuerbefehle zum Ansteuern der Aktoren generieren.
-
Ein individueller Fahrstil eines Fahrers unterscheidet sich von einem individuellen Fahrstil eines anderen Fahrers. Beispielsweise kann der Fahrstil des einen Fahrers als sportlich umschrieben werden, während der Fahrstil des anderen Fahrers als vorsichtig umschrieben werden kann. Die Fahrstile können sich beispielsweise darin unterscheiden, wie stark das System beschleunigt und verzögert wird. Ebenso können sich die Fahrstile darin unterscheiden, wie sich der Fahrer gegenüber anderen Verkehrsteilnehmern verhält. Der eine Fahrer kann beispielsweise dichter auf ein vorausfahrendes System auffahren als der andere Fahrer. Die Fahrstile der Fahrer können sich auch darin unterscheiden, wieviel Risiko der Fahrer in Kauf nimmt oder wie wenig Rücksicht der Fahrer auf die anderen Verkehrsteilnehmer nimmt. Die Fahrstile beeinflussen also ein zukünftiges Verhalten des Systems.
-
Ein neuronales Netzwerk kann insbesondere ein Convolutional Neural Network (CNN) sein. Das trainierte neuronale Netzwerk liest Eingabegrößen ein und verarbeitet in den Eingabegrößen enthaltene Informationen zu Ausgabegrößen. Das neuronale Netzwerk kann unter Verwendung von maschinellem Lernen trainiert worden sein.
-
Das neuronale Netzwerk weist zumindest einen Encoder und einen latenten Raum auf. Das neuronale Netzwerk kann zumindest einen Decoder aufweisen. Der latente Raum kann sich zwischen dem Encoder und dem Decoder befinden. Der latente Raum bildet einen Flaschenhals für die Informationen. Der Encoder komprimiert daher einen Umfang der eingelesenen Informationen und bildet die komprimierten Informationen im latenten Raum ab. Zum Komprimieren der Informationen können überflüssige Informationen beispielsweise verworfen werden. Der latente Raum weist wesentlich weniger Dimensionen auf als die Eingabegrößen. Der Decoder kann Daten aus dem latenten Raum einlesen und diese Daten zu den Ausgabegrößen des neuronalen Netzes dekomprimieren.
-
Die Eingabegrößen können als Matrix, Tensor beziehungsweise multidimensionaler Vektor bereitgestellt werden. Die Eingabegrößen beziehungsweise Eingangsgrößen können eine momentane beziehungsweise zurückliegende Fahrsituation des Systems abbilden. Die Eingabegrößen können beispielsweise Sensordaten umfassen. Insbesondere können die Eingabegrößen Trajektoriendaten über eine Trajektorie des Systems und Umfelddaten über ein Umfeld des Systems beziehungsweise über eine zeitliche Veränderung des Umfelds sein.
-
Der trainierte Stilencoder ist durch einen vorhergehenden Trainingsprozess so strukturiert worden, dass er die den Fahrstil des Systems abbildenden Informationen aus den Eingabegrößen extrahiert und als die Fahrstilrepräsentation im latenten Raum bereitstellt. Dabei verwirft der Stilencoder Informationen, die nicht den Fahrstil kennzeichnen. Der Trainingsprozess kann unter Verwendung von künstlich erzeugten Eingabegrößen beziehungsweise Trainingsdaten erfolgen. Die künstlich erzeugten Eingabegrößen für das Training können beispielsweise durch zumindest ein Fahrermodell eines idealen Fahrers mit einem bekannten Fahrstil bereitgestellt werden. Während des Trainingsprozesses kann eine Rückführung der Ausgabegrößen stattfinden, um einen Vergleich zwischen den Ausgabegrößen und den Eingabegrößen zu ermöglichen. Nach dem Trainingsprozess kann die Struktur des Stilencoders zumindest anteilig fixiert werden, also nicht weiter verändert werden.
-
Aus der Fahrstilrepräsentation des zurückliegend gefahrenen Fahrstils kann auf eine zukünftige Verhaltensweise geschlossen werden. Wenn das System beispielsweise bisher aggressiv betrieben worden ist, wird das System mit einer hohen Wahrscheinlichkeit auch weiterhin aggressiv betrieben werden. Dabei kann insbesondere ein Verhalten eines anderen Systems vorhergesagt werden, da bei einem Ego-System beziehungsweise eigenen System entweder das Verhalten bekannt ist oder durch andere Indikatoren erkannt werden kann.
-
Unter Verwendung der Fahrstilrepräsentation, der sensorischen Eingabegrößen und eines wahrscheinlichkeitsbasierten Vorhersagemodells kann eine wahrscheinliche Trajektorie des Systems geschätzt werden. Eine Trajektorie bildet die Bewegung als Ort, Richtung und Geschwindigkeit ab. Beispielsweise kann die Trajektorie den Ort in regelmäßigen Zeitabschnitten abbilden, wobei die Geschwindigkeit durch eine Distanz zwischen den Orten repräsentiert wird. Die sensorischen Eingabegrößen bilden eine zurückliegende Trajektorie des Systems ab. Aufgrund einer Massenträgheit des Systems und der zurückliegenden Trajektorie können unmögliche Trajektorien direkt ausgeschlossen werden, da das System nicht masselos ist. Aus möglichen Trajektorien können unter Verwendung der Fahrstilrepräsentation unwahrscheinliche Trajektorien ausgeschlossen werden, da beispielsweise bei einem vorsichtigen Fahrstil keine aggressiven Manöver wahrscheinlich sind. Zumindest eine wahrscheinliche Trajektorie kann aus einer Vielzahl möglicher Trajektorien geschätzt werden. Die wahrscheinliche Trajektorie kann die Trajektorie mit der höchsten Wahrscheinlichkeit aus einer Gruppe von wahrscheinlichen Trajektorien sein.
-
In einem Trajektorienplaner eines Ego-Systems kann unter Verwendung der vorhergesagten Trajektorie und einer Fahraufgabe eines Ego-Systems eine Ego-Trajektorie für das Ego-System geplant werden. Eine Ego-Trajektorie kann eine Trajektorie für das eigene System sein. Ein Trajektorienplaner kann die abzuarbeitende Trajektorie unter Verwendung von Regeln planen. Die Ego-Trajektorie kann alle Konflikte mit der vorhergesagten Trajektorie vermeiden. Eine Fahraufgabe kann beispielsweise durch ein gewünschtes Fahrziel beziehungsweise eine Routenplanung für das Ego-System vorgegeben sein. Die Fahraufgabe kann beispielsweise ein Einfädeln in eine höherrangige Straße sein. Die Fahraufgabe kann beispielsweise auch ein Abbiegen sein. Die Routenplanung kann eine Aneinanderreihung von Fahraufgaben umfassen.
-
Unter Verwendung der Ego-Trajektorie können Steuerbefehle für das Ego-System generiert werden. Das Ego-System kann unter Verwendung von Steuerbefehlen dazu angesteuert werden, die Ego-Trajektorie abzufahren. Die Steuerbefehle können Aktoren des Ego-Systems, wie beispielsweise einen Antrieb des Ego-Systems, ein Bremssystem des Ego-Systems oder eine Lenkung des Ego-Systems ansteuern.
-
Die sensorischen Eingabegrößen können unter Verwendung zumindest eines Sensors des Ego-Systems erfasst werden. Die Eingabegrößen können auch durch fahrzeugferne Sensoren, wie beispielsweise Infrastruktursensoren erfasst werden. Das Ego-System kann beispielsweise ein Kamerasystem, ein Radarsystem und/oder ein Lidarsystem aufweisen. Das Ego-System kann auch ein Ultraschallsensorsystem aufweisen.
-
Die Trajektorie kann an Bord des Ego-Systems geschätzt werden. Die Trajektorie kann in einer Signalverarbeitungseinrichtung des Ego-Systems, also an Bord geschätzt werden. Die Trajektorie kann ohne Unterstützung durch ein fahrzeugfernes Informationsverarbeitungssystem geschätzt werden. So können Latenzzeiten durch eine Datenübertragung vermieden werden.
-
Unter Verwendung der Fahrstilrepräsentation kann eine Fahrstilanomalie des Systems bestimmt werden Das Verhalten des Systems kann unter Verwendung der Fahrstilanomalie geschätzt werden. Eine Fahrstilanomalie kann eine Abweichung von einem erwarteten Fahrstil repräsentieren. Die Fahrstilanomalie kann eine kurzfristige Änderung des Fahrstils sein. Die Fahrstilanomalie kann auch am Anfang einer dauerhaften Veränderung erkannt werden. Wenn die Fahrstilanomalie erkannt wird, besteht eine erhöhte Unsicherheit über das zukünftige Verhalten. Daher kann beim Erkennen der Fahrstilanomalie eine Reaktion des Ego-Systems beeinflusst werden.
-
Basierend auf der Fahrstilanomalie kann eine Gefahrenvorhersage für mögliche Trajektorien getroffen werden. Durch die Gefahrenvorhersage kann jeder Trajektorie ein Gefahrenwert zugeordnet werden. Die abzufahrende Ego-Trajektorie kann unter Verwendung der Gefahrenwerte ausgewählt werden. Dabei kann beispielsweise für eine möglichst sichere Fahrt diejenige mögliche Trajektorie mit dem geringsten Gefahrenwert ausgewählt werden. Die Auswahl der Ego-Trajektorie kann durch einen eingestellten Ego-Fahrstil des autonomen Systems beeinflusst werden. Bei einem aggressiveren Ego-Fahrstil kann eine Trajektorie mit einem höheren Gefahrenwert als die Ego-Trajektorie ausgewählt werden.
-
Das Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
-
Der hier vorgestellte Ansatz schafft ferner ein Steuergerät, das dazu ausgebildet ist, um die Schritte einer Variante des hier vorgestellten Verfahrens in einem neuronalen Netz durchzuführen, anzusteuern bzw. umzusetzen.
-
Das Steuergerät kann ein elektrisches Gerät mit zumindest einer Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest einer Speichereinheit zum Speichern von Signalen oder Daten, und zumindest einer Schnittstelle und/oder einer Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten, die in ein Kommunikationsprotokoll eingebettet sind, sein. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein sogenannter System-ASIC oder ein Mikrocontroller zum Verarbeiten von Sensorsignalen und Ausgeben von Datensignalen in Abhängigkeit von den Sensorsignalen sein. Die Speichereinheit kann beispielsweise ein Flash-Speicher, ein EPROM oder eine magnetische Speichereinheit sein. Die Schnittstelle kann als Sensorschnittstelle zum Einlesen der Sensorsignale von einem Sensor und/oder als Aktorschnittstelle zum Ausgeben der Datensignale und/oder Steuersignale an einen Aktor ausgebildet sein. Die Kommunikationsschnittstelle kann dazu ausgebildet sein, die Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben. Die Schnittstellen können auch Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Es wird darauf hingewiesen, dass einige der möglichen Merkmale und Vorteile der Erfindung hierin mit Bezug auf unterschiedliche Ausführungsformen beschrieben sind. Ein Fachmann erkennt, dass die Merkmale des Steuergeräts und des Verfahrens in geeigneter Weise kombiniert, angepasst oder ausgetauscht werden können, um zu weiteren Ausführungsformen der Erfindung zu gelangen.
-
Figurenliste
-
Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, wobei weder die Zeichnungen noch die Beschreibung als die Erfindung einschränkend auszulegen sind.
- 1 und 2 zeigen Ablaufdiagramme von Verfahren gemäß Ausführungsbeispielen.
-
Die Figuren sind lediglich schematisch und nicht maßstabsgetreu. Gleiche Bezugszeichen bezeichnen in den Figuren gleiche oder gleichwirkende Merkmale.
-
Ausführungsformen der Erfindung
-
1 zeigt ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel. Durch das Verfahren wird ein Verhalten eines Systems geschätzt. Sensorische Eingabegrößen 100 bilden eine Bewegung des Systems und ein Umfeld des Systems ab. Die sensorischen Eingabegrößen 100 werden von einem trainierten Stilencoder 102 eines neuronalen Netzwerks 104 eingelesen. Der Stilencoder 102 komprimiert die Eingabegrößen zu einer abstrakten Fahrstilrepräsentation 106 eines Fahrstils des Systems in zumindest einen Teil eines latenten Raums 108 des neuronalen Netzwerks 104. Die Fahrstilrepräsentation 106 wird aus dem latenten Raum 108 extrahiert und zum Schätzen des Verhaltens verwendet.
-
In einem Ausführungsbeispiel werden die Eingabegrößen 100 und die Fahrstilrepräsentation 106 von einem wahrscheinlichkeitsbasierten Vorhersagemodell 110 eingelesen. Das Vorhersagemodell 110 schätzt aus der in den Eingabegrößen 100 abgebildeten Bewegung des Systems, dem in den Eingabegrößen 100 abgebildeten Umfeld und der Fahrstilrepräsentation 106 eine wahrscheinliche Trajektorie 112 des Systems.
-
In einem Ausführungsbeispiel wird das System durch Sensoren eines autonomen Ego-Systems 114 erfasst. Die Sensoren stellen die Eingabegrößen 100 bereit. Das neuronale Netzwerk 104, das Vorhersagemodell 110 und ein Trajektorienplaner 116 sind Teile eines Steuergeräts 118 des Ego-Systems 114. Der Trajektorienplaner 116 liest die Trajektorie 112 ein und plant eine Ego-Trajektorie 120 für das Ego-System 114 unter Verwendung der wahrscheinlichen Trajektorie 112 und einer Fahraufgabe 122 des Ego-Systems.
-
Die Ego-Trajektorie 120 wird im Steuergerät 118 verwendet, um Aktoren 124 des Ego-Systems 114 durch Steuerbefehle 126 anzusteuern.
-
2 zeigt ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel. Das neuronale Netzwerk 104 entspricht dabei im Wesentlichen der Darstellung in 1. Hier wird die aus dem latenten Raum 108 des neuronalen Netzwerks 104 ausgelesene Fahrstilrepräsentation 106 von einem Anomaliedetektor 200 eingelesen. Der Anomaliedetektor 200 kann dabei ebenfalls Teil des Steuergeräts in 1 sein.
-
Der Anomaliedetektor 200 bestimmt unter Verwendung von zeitlich zurückliegend extrahierten Fahrstilrepräsentationen 106 eine momentane Fahrstilanomalie 202 der aktuell extrahierten Fahrstilrepräsentation 106 gegenüber den zurückliegend extrahierten Fahrstilrepräsentationen 106. Basierend auf der Annahme, dass der Fahrstil sich nicht plötzlich ändert, wird unter Verwendung der Fahrstilanomalie 202 eine Gefahrenvorhersage 204 gemacht. Die Gefahrenvorhersage 204 kann wiederum für die Trajektorienplanung in 1 verwendet werden, indem die Ego-Trajektorie unter Berücksichtigung der Gefahrenvorhersage 204 bewertet wird und bei einer zu hohen Gefährdung umgeplant wird.
-
Mit anderen Worten wird eine Verwendung abstrakter Stildeskriptoren von Verkehrsteilnehmern vorgestellt.
-
Automobilprodukte gehen in Richtung selbstfahrender Funktionalitäten, was zuverlässige und leistungsstarke Lösungen für zahlreiche Probleme erfordert. Verhaltensvorhersage von Verkehrsteilnehmern und Trajektorienplanung für autonome Systeme sind dabei besonders wichtig. Verbesserungen in diesen Bereichen können unter Verwendung von Deep Learning erreicht werden. Dabei ist Deep Learning die am erfolgreichsten angewendete Teilmenge von Machine Learning-Algorithmen. Tiefe neuronale Netzwerke können erfolgreich und effizient bei schwer zu algorithmisierenden Problemen verwendet werden.
-
Hier wird ein allgemeiner Ansatz vorgestellt, der als Erweiterung für gewöhnliche neuronale Modelle mit semantisch aussagekräftigen Informationen angewendet werden kann, um sowohl die Leistung zu steigern als auch ihre Bedienung transparenter zu machen.
-
Herkömmliche Modelle im Bereich der Verhaltensvorhersage und der Trajektorienplanung verbessern die Leistung, indem die Modellierung von Interdependenzen zwischen den Verkehrsteilnehmern verstärkt betont wird. Dies wird in der Regel durch Architekturen bereitgestellt, die gemeinsam genutzte Submodule zwischen Agenten enthalten, oder durch die Einführung von Stochastik mithilfe latenter Variablen. Der Vorteil der latenten Variablen ergibt sich aus der Fähigkeit, Intentionen oder andere wichtige Deskriptoren von Fahrern, wie beispielsweise den Fahrstil, zu erfassen. Diese aussagekräftigen Merkmale sind wichtig, um die zugrunde liegende Variabilität des Systems zu untersuchen. Obwohl diese Modelle die Freiheitsgrade haben, sinnvolle Merkmale in Bezug auf Fahrstile zu extrahieren, werden sie bisher selten eingeschränkt und in der Praxis fein abgestimmt.
-
Die vorgestellte Lösung basiert auf einem vortrainierten und fein abgestimmten abstrakten Stildeskriptor, um die Nutzung der nützlichen Informationen zu maximieren, die sich aus den Fahrstilen und herausragenden Attributen anderer Verkehrsteilnehmer ergeben. Der besagte Deskriptor kann entweder gut interpretierbar oder abstrakt sein.
-
Der hier vorgestellte Ansatz kann die Leistung der Verhaltensprognosen anderer Verkehrsteilnehmer und die Trajektorienplanung von Ego-Fahrzeugen verbessern, indem ein dediziertes Fahrstil-Extraktormodul verwendet wird. Wenn diese Vorhersagen auf einen zuverlässigen Stildeskriptor konditioniert werden, kann dies den Unterschied zwischen Verkehrssituationen explizit ausmachen und die Leistung sowohl in der Genauigkeit als auch durch Erweiterung des Zeithorizonts verbessern.
-
Wenn eine zurückliegende Situation durch zurückliegende Positionssequenzen und Umgebungsdarstellungen abgebildet ist, ist eine zukünftige Situation nicht eindeutig definiert, da mehr als eine Situation eintreten kann. Diese Eigenschaft wird in der Regel als Multimodalität bezeichnet. Mit einem zusätzlichen Deskriptor, der die Eigenschaften der Objekte erfasst, kann die Anzahl der möglichen zukünftigen Situationen eingegrenzt werden. Der Fahrstil ist ein besonders gut anwendbarer Deskriptor für dieses Ziel, da er aus den verfügbaren zurückliegenden Daten extrahiert werden kann, aber auch vernünftige Informationen über die unbekannte Zukunft enthält.
-
Darüber hinaus kann die vorgestellte Lösung unabhängig vom angewendeten Modell verwendet werden, da die Verarbeitung schrittweise abläuft. Der Stildeskriptor erfordert nur die Eingaben. Später kann das Modell die Informationen in einer willkürlichen Weise verwenden.
-
Schließlich kann durch die Verwendung der eingeführten Stildeskriptoren die Transparenz von Blackbox-neuralen Netzwerken erhöht werden, indem ein besseres Verständnis für die Entscheidungen und Vorhersagen zur Verfügung gestellt wird. Dabei wirkt sich die verwendete interne Interpretation des Modells direkt auf die Testbarkeit der Lösung aus.
-
Der vorgestellte Ansatz besteht in der Erweiterung des Hauptmodells um ein zusätzliches Submodul, das für jedes Objekt einen abstrakten Stildeskriptor aus der Eingabe extrahiert. Diese Features können entweder ein gut interpretierbarer kategorisierter Fahrstil oder sogar ein abstrakter Deskriptor mit einer aussagekräftigen Struktur sein. Beispielsweise kann eine Lösung verwendet werden, die auf Deep Learning basiert.
-
Nach diesem „Vorverarbeitungsschritt“ können diese zusätzlichen Informationen als neue Bedingung während probabilistischer Vorhersagen angewendet werden. Das Bewusstsein über das Verhalten des vorausfahrenden oder entgegenkommenden Fahrzeugs kann die möglichen Ergebnisse stark beeinflussen, indem einige von ihnen ausgeschlossen werden können und andere sehr plausibel sind. Das Training der gewöhnlichen Modelle mit diesen zusätzlichen Informationen kann einen hohen Einfluss auf die Leistung haben, indem der Vorhersagezeithorizont erweitert und die Genauigkeit erhöht wird.
-
Die extrahierten Features können im Modell auf verschiedene Weise verwendet werden. Die Informationen können einfach mit den Eingangsgrößen verkettet werden, während komplexere Ansätze diese Funktionen in die Modelle einbauen können, um den größten Vorteil daraus zu ziehen.
-
Weiterhin wird eine Abschätzung einer Verlässlichkeit anderer Verkehrsteilnehmer durch eine Anomalieerkennung zur Vorhersage gefährlicher Situationen vorgestellt.
-
Zum Betreiben vollautonomer Fahrzeuge ist eine Wahrnehmung (Erkennung und Klassifizierung) von Verkehrsteilnehmern auf Basis von Kameras oder anderen Sensoren erforderlich. Weiterhin ist eine Vorhersage der Trajektorien anderer Verkehrsteilnehmer auf der Grundlage vergangener Positionen erforderlich. Schließlich erfolgt eine Modellierung von Interaktionen zwischen den Verkehrsteilnehmern unter Berücksichtigung der Unsicherheiten.
-
Hier wird eine Lösung für eine Teilaufgabe selbstfahrender Fahrzeuge präsentiert, wobei der etablierte klassische Anomalieerkennungsprozess mit erlernten Darstellungen von Deep Learning-Modellen kombiniert wird. Die implementierte Aufgabe zielt auf den Bereich der Abhängigkeitsschätzung ab, um die Aufmerksamkeit des Modells auf potenziell gefährliche Situationen zu lenken.
-
Greifbare Realisierungen zukünftiger Trajektorien werden stark von den Fahrstilen der Verkehrsteilnehmer um ein Ego-Fahrzeug beeinflusst. Die Realisierungen sind dabei stark von der tatsächlichen Verkehrssituation, der Absicht des Fahrers und dem Fahrstil beeinflusst. Basierend auf begrenzten früheren Beobachtungen eines Fahrzeugs können menschliche Fahrer automatisch einen Faktor der Zusammenarbeit anderer abschätzen. Zum Beispiel erkennt der menschliche Fahrer, ob ihn ein anderer Verkehrsteilnehmer einfädeln lässt oder sich aggressiver verhält als gewöhnliche Fahrer oder nicht.
-
Durch den hier vorgestellten Ansatz können Situationen wahrgenommen werden, in denen Manöver möglich sind. Gefährliche Situationen und Verkehrsteilnehmer, die gefährliche Situationen initiieren können, können erkannt werden. Weiterhin können gefährliche, aggressive oder unerfahrene Fahrer erkannt werden.
-
Durch die Verwendung der abstrakten Fahrstilrepräsentation und klassische Machine Learning-Methoden, wie Anomalie oder Ausreißererkennung, wird ein neuartiger Ansatz für die Klassifizierung von Verkehrssituationen in Echtzeit auf der Grundlage einer Gefahrenskala vorgestellt.
-
Die vorgestellte Lösung umfasst die Kombination der Deutungsfähigkeit von deep-learning basierten Repräsentationen mit klassischen Anomalieerkennung für Ausreißer oder seltene Ereignisse.
-
Die Situationsanalyse wird auf der Ebene des Fahrstils (Verhaltensaspekte) der Verkehrsteilnehmer durchgeführt. Somit kann die Anomalieerkennung das Problem effizienter angehen als frühere Lösungen. Darüber hinaus erhöht die Analyse des Szenarios auf so gut interpretierbaren Merkmale, wie Fahrstil die Deutungsfähigkeit selbstfahrender Lösungen.
-
Durch den hier vorgestellten Ansatz wird eine neue Lösung für den Umgang mit wichtigen Situationen für selbstfahrende Fahrzeuge vorgestellt. Da der vorgestellte Ansatz aus einem separaten Modul besteht, ist er in bestehenden Lösungen anwendbar, die die Leistung weitersteigern.
-
Eine gefährliche Situation kann durch mehrere Dimensionen identifiziert werden. Zusätzlich zu den Gesetzen der Physik kann eine Zuverlässigkeit des Verhaltens der Verkehrsteilnehmer anhand ihrer Fahrstildeskriptoren geschätzt werden. Zu diesem Zweck verwendet die vorgestellte Lösung eine abstrakte Darstellung des Fahrstils als Domäne, für die die Analyse durchgeführt wird.
-
Der Anomalie-Erkennungsschritt kann durch klassische-Ähnlichkeitsbasierte Ausreißersuche oder durch ausgeklügeltes Deep-Learning-Modell-basierende Anomalie Vorhersage gelöst werden.
-
Der Eingang des Moduls ist eine komplette Szene, die die Positionen der Verkehrsteilnehmer in den letzten Sekunden enthält, und der Ausgang ist ein Skalar, der die Zuverlässigkeit der aktuellen Situation sowie die Zuverlässigkeit einer geplanten Trajektorie des EGO-Fahrzeugs widerspiegeln kann.
-
Prognosen für gefährliche Situationen können nicht nur für selbstfahrende Autos, sondern auch für menschliche Fahrer verwendet werden. In diesem Fall kann das Auto ein Display haben, das den Fahrer wie bei einem Totwinkelassistent vor der Gefahr warnt.
-
Abschließend ist darauf hinzuweisen, dass Begriffe wie „aufweisend“, „umfassend“, etc. keine anderen Elemente oder Schritte ausschließen und Begriffe wie „eine“ oder „ein“ keine Vielzahl ausschließen. Bezugszeichen in den Ansprüchen sind nicht als Einschränkung anzusehen.
