-
Die Erfindung betrifft ein Verfahren und ein Computerprogramm zum Überwachen von Ausgaben eines Generators eines generativen kontradiktorischen Netzwerks
-
Um komplexe Szenen sicher, effizient und reibungslos zu fahren, müssen autonome Fahrzeuge zukünftige Trajektorien weiterer Verkehrsobjekte, in diesem Kontext auch als Agenten bezeichnet, abschätzen und sich gegen die Unsicherheit in der Trajektorienabschätzung absichern, um effektive und robuste Maßnahmen zu wählen.
-
Ein Ansatz hierzu sind Modellierungsmethoden.
-
Beispielsweise offenbart D. Petrich, T. Dang, D. Kasper, G. Breuel and C. Stiller. „Map-based Long Term Motion Prediction for Vehicles in Traffic“. In 2013 IEEE Intelligent Transportation Systems Conference (ITSC), the Hague, the Netherlands, Oct. 7-9, 2013, pp. 2166-2172 eine Methode zur Verwendung eines erweiterten Kalman-Filters für die Bewegungsvorhersage mit Einbeziehung zusätzlicher Informationen aus einer digitalen Karte. Dabei wird die Bewegungsvorhersage unter der Annahme berechnet, dass das beobachtete Objekt auf einer Fahrspur fährt. Dieser Vorschlag führt in einfachen Szenen wie der Autobahnfahrt zu einem guten Ergebnis. Aber die zugrunde liegende Annahme kann nicht komplexe Szenen wie Überholen lösen, die Wechselwirkungen mit weiteren Verkehrsobjekten, oder Interaktion von Agenten, beinhalten.
-
A. Houenou, P. Bonnifait, V. Cherfaoui, Y. Wen. Vehicle Trajectory Prediction based on Motion Model and Maneuver Recognition. In 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2013), Nov 2013, Tokyo, Japan. pp.4363-4369 offenbart eine Leitbahn, die durch die Annahme des Bewegungsmodells „Konstante Gierrate und Beschleunigung“ (Constant Yaw Rate and Acceleration, CYRA) und einer durch die Manövererkennung vorhergesagten Leitbahn vorhergesagt wird. Die Kombinationsregel profitiert von der Kurzzeitgenauigkeit der ersten Leitbahn und der besseren Genauigkeit der zweiten Leitbahn auf längere Sicht.
-
Dieser Ansatz berücksichtigt jedoch langfristig nicht die Interaktion zwischen Agenten und ist in komplexen Szenen nicht in der Lage, mit Agenten mit unterschiedlichen Manövern umzugehen.
-
Ein weiterer Ansatz sind deep learning basierte Methoden.
-
Beispielsweise offenbart K. Messaoud, N. Deo, M. M. Trived and F. Nashashibi. „Trajectory Prediction for Autonomous Driving based on Multi-Head Attention with Joint Agent-Map Representation“. ArXiv:2005.02545v3 [cs.CV] 2 Sep 2020 ein Deep-Learning-Modell mit Codierer und Decoderarchitektur für die multimodale Trajektorienvorhersage von Fahrzeugen, bei dem die in A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin. „Attention is all you need“. In Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017 vorgeschlagene Mehrfachbeobachtung verwendet wird. Dieses Modell verwendet eine gemeinsame Darstellung statischer Informationen und umgebender Agenten als Eingabe und die Nutzung eines tiefen neuronalen Netzwerks zum Erlernen des Umfeldkontextes sowie der komplexen Wechselwirkungen zwischen den verschiedenen Agenten. Allerdings ist die Qualität dieses Vorschlages beim Einsatz in autonom fahrenden Fahrzeugen schwer abschätzbar.
-
J. Li, H. Ma and M. Tomizuka. „Conditional Generative Neural System for Probabilistic Trajectory Prediction“. ArXiv: 1905.01631 v2, 28 Jul 2019 offenbart bedingte generative neuronale Systeme für die Trajektorienvorhersage. Dieses Modell hat denselben Nachteil wie andere Deep Learning-Ansätze, nämlich das Fehlen einer Gewährleistung bei Verwendung in autonomen Fahrzeugen.
-
Jüngste Literaturrecherchen in der Wegvorhersage konzentrieren sich mehr darauf, in städtischen Szenarien wie Kreuzung, Kreisverkehr usw. Lösungen für Teilprojekte zu finden. Für intelligente Systeme wie autonome Fahrzeuge, die in komplexen Szenarien navigieren, sind ein effektives Verständnis der Umgebung und eine präzise Wegvorhersage von umliegenden dynamischen Hindernissen entscheidend, um eine sichere und qualitativ hochwertige Entscheidungsfindung, Bewegungsplanung und Steuerung zu erreichen. Aufgrund der Komplexität und Unsicherheit der Umgebung ist es eine Herausforderung, die Umgebung zu modellieren. Dies erfordert daher einen intelligenteren Algorithmus wie Deep Learning. Andererseits ist die Anwendung des Deep-Learning-Algorithmus in der Trajektorienvorhersage für das intelligente System aufgrund mangelnder Auslegbarkeit und Begründung der Ergebnisse kritisch und wird noch diskutiert.
-
Aufgabe der Erfindung war es, wie ein intelligenter Algorithmus zur Trajektorienvorhersage eines autonomen Fahrzeuges validiert werden kann.
-
Die Gegenstände der Ansprüche 1 und 5 lösen jeweils diese Aufgabe.
-
Nach einem Aspekt stellt die Erfindung ein Verfahren bereit zum Überwachen von Ausgaben eines Generators eines generativen kontradiktorischen Netzwerks in der Validierung eines sicherheitskritischen Software- und/oder Hardwaremoduls, welches das generative kontradiktorische Netzwerk ausführt, eines autonomen Fahrsystems, wobei nach einer Trainingsphase des generativen kontradiktorischen Netzwerks
- • ein Diskriminator des generativen kontradiktorischen Netzwerks die Ausgaben des Generators und Kontextinformationen des autonomen Fahrsystems, umfassend
- ◯ statische Kontextinformationen, umfassend Karten- und/oder Navigationsinformationen, auf die das autonome Fahrsystem Zugriff hat, und
- ◯ Informationen zu Wechselwirkungen des autonomen Fahrsystems mit Verkehrsobjekten, umfassend Daten von wenigstens einem Umfelderfassungssensor des autonomen Fahrsystems,
einliest; - • der Diskriminator in Abhängigkeit der Kontextinformationen des autonomen Fahrsystems sicherheitskritische Ausgaben unter den Ausgaben des Generators detektiert;
- • im Fall einer detektierten sicherheitskritischen Ausgabe der Diskriminator dem autonomen Fahrsystem ein Warnsignal bereitstellt.
-
Damit wird der Diskriminator als eine Art Ausgabemonitor angewendet. Das Verfahren ist damit selbstbewusst oder self-aware und kann in sicherheitskritischen Systemen wie autonomen Fahrzeugen in Echtzeit angewendet werden.
-
Im bekannten Stand der Technik werden bei generativen kontradiktorischen Netzwerken die Diskriminatoren während einer Trainingsphase eingesetzt. Nach dem Training, das heißt in einer Einsatzphase, wird ausschließlich auf den trainierten Generator zugegriffen. Der Diskriminator wird verworfen, nach dem der Generator trainiert ist. Erfindungsgemäß wird der Diskriminator auch nach der Trainingsphase des generativen kontradiktorischen Netzwerks eingesetzt, nämlich für die Überwachung der Ausgaben des Generators bei der Validierung. Damit können Deep Learning Algorithmen auch in sicherheitskritischen Systemen angewendet werden, da das System weiß, ob der Deep Learning Algorithmus in einigen Szenarien nicht mit dem Input umgehen kann.
-
Nach einem weiteren Aspekt stellt die Erfindung ein Computerprogramm bereit zum Überwachen von Ausgaben eines Generators eines generativen kontradiktorischen Netzwerks. Das Computerprogramm umfasst Befehle, die einen Computer veranlassen, die Schritte des erfindungsgemäßen Verfahrens auszuführen, wenn der Computer das Computerprogramm ausführt.
-
Die Befehle des erfindungsgemäßen Computerprogramms umfassen Maschinenbefehle, Quelltext oder Objektcode geschrieben in Assemblersprache, einer objektorientierten Programmiersprache, beispielsweise C++, oder in einer prozeduralen Programmiersprache, beispielsweise C. Das Computerprogramm ist nach einem Aspekt der Erfindung ein Hardware unabhängiges Anwendungsprogramm, das beispielsweise über einen Datenträger oder ein Datenträgersignal, nach einem Aspekt mittels Software Over The Air Technologie, für eine beliebige Hardware bereitgestellt wird, beispielsweise über eine Middleware. Nach einem weiteren Aspekt ist das Computerprogramm ein Hardware abhängiges Programm, beispielsweise eine Firmware eines Steuermoduls des autonomen Fahrsystems. Der Datenträger umfasst flüchtige Speicher, beispielsweise RAM, DRAM, SRAM, und nichtflüchtige Speicher, beispielsweise ROM, Flash-EEPROM. Die Datenträger sind beispielsweise Flash-Speicherkarten, USB-Sticks. Nach einem Aspekt der Erfindung wird der Datenträger an ein In/Out System eines Mikrocontrollers des autonomen Fahrsystems angeschlossen und überträgt das Computerprogramm in den Mikrocontroller.
-
Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Definitionen, den Unteransprüchen, den Zeichnungen und der Beschreibung bevorzugter Ausführungsbeispiele.
-
Das Verfahren basiert auf den Funktionalitäten eines Generators und eines Diskriminator in einem generativen kontradiktorischen Netzwerk. Der Generator sagt künftigen Trajektorien der Agenten, umfassend das Ego-Fahrsystem, vorher. Der Diskriminator überprüft die Ausgabe des Generators während des Trainings und der Einsatzphase und stellt ein Feedback, beispielsweise gültig oder ungültig, zu den prädizierten Trajektorien bereit basierend auf den Kontextinformationen des Agenten. Generator und/oder Diskriminator können als tiefe neuronale Netze ausgeführt sein.
-
Generative kontradiktorische Netzwerke, im Englischen als Generative Adversarial Networks, abgekürzt GANs, bezeichnet, werden zum Beispiel von Ian J. Goodfellow et al. in arXiv: 1406.2661 diskutiert.
-
Generator und Diskriminator werden gleichzeitig trainiert. Das generative kontradiktorische Netzwerk führt ein Minimax Zwei-Personen-Nullsummenspiel aus. Die Aufgabe des Generators während des Trainings ist es, eine vorhergesagte (falsche/ungültige) Trajektorie des Agenten so nah wie eine groundtruth (reale/gültige) Trajektorie zu generieren. Der Generator versucht, den Diskriminator zu betrügen. Im Gegensatz zum Generator muss der Diskriminator einordnen, ob die Trajektorie real/gültig ist oder nicht. Wird eine gefälschte/ungültige Trajektorie des Generators durch einen Diskriminator nicht klassifiziert, wird der Verlust des Generators zurückgehen und der Verlust des Diskriminators zunehmen. Das Training konvergiert mit gut ausgebildeten Generatoren und Diskriminatoren.
-
Nach einem Aspekt der Erfindung sind der Generator und/oder der Diskriminator als tiefe neuronale Netze ausgebildet, umfassend Schichten von Faltungsnetzwerken und/oder rekurrenten Netzwerken.
-
Autonomes Fahrsystem bezeichnet die Komponenten und Funktionalitäten eines autonomen Fahrzeuges auf Systemebene als auch das autonome Fahrzeug als solches.
-
Nach einem weiteren Aspekt klassifiziert der Diskriminator den Teil der sicherheitskritischen Ausgabe, der basierend auf den Kontextinformationen ungültig ist. Damit wird nur der entsprechende Teil als ungültig klassifiziert, anstatt die gesamte Ausgabe. Für eine 3 Sekunden-Trajektorienvorhersage ist beispielsweise die vorhergesagte Trajektorie von 0 bis 2 Sekunden gültig. Nach 2 Sekunden ist die vorhergesagte Trajektorie ungültig.
-
Nach einem weiteren Aspekt ist das generative kontradiktorische Netzwerk ein bedingtes generatives kontradiktorisches Netzwerk. Beispielsweise sind Fahrmanöver und/oder Straßenverkehrsregeln Zwangsbedingungen an den Generator. Damit können die vorhergesagten Trajektorien anhand der Zwangsbedingungen überprüft werden. Ein weiterer Vorteil ist, dass die Ergebnisse der deep learning-Methode durch die Zwangsbedingungen begrenzt werden, die sich aus den Modellierungsergebnissen ergeben.
-
Nach einem weiteren Aspekt ist das sicherheitskritische Software- und/oder Hardwaremodul ein Modul zur Trajektionsvorhersage des autonomen Fahrsystems ist. Basierend auf den Kontextinformationen des autonomen Fahrsystems werden Fahrmanöver-Beschränkungen für das autonome Fahrsystem berechnet und als Bedingungen auf den Generator angewendet. Dies kann besonders vorteilhaft mittels eines bedingten generativen kontradiktorischen Netzwerks realisiert werden. Das Verfahren ist besonders vorteilhaft bei Verwendung in städtischen Gebieten, beispielsweise bei Kreisverkehrmanövern.
-
Damit werden Trajektorien für umgebende Agenten generiert, indem die statischen Kontextinformationen und Interaktionen zwischen Agenten in komplexen Szenen berücksichtigt werden. Durch die Selbstüberwachung des Diskriminators kann das Verfahren auch in sicherheitskritischen Systemen wie dem autonomen Fahrzeug eingesetzt werden.
-
Die Berechnung der Fahrmanöver-Beschränkungen basiert beispielsweise auf Karteninformationen, beispielsweise hochauflösenden Karten, und/oder Sensordaten aus der Umfeldwahrnehmung des autonomen Fahrsystems. Durch die Überprüfung der vorhergesagten Trajektorien des Generators anhand der gegebenen Randbedingungen wird die Ausgabe des Generators ausgewertet.
-
Nach einem Aspekt Mit einem einzigen Manöver, wie links abbiegen, könnte ein Mensch Tausende von Trajektorien erzeugen. Um die Zufälligkeit von Trajektorien abzudecken, wird nach einem weiteren Aspekt Rauschen als weitere Eingabe für den Generator verwendet, um die Vielfalt der Ausgaben des Generators zu verbessern.
-
Nach einem weiteren Aspekt wird bei der Trajektorienvorhersage im Falle einer detektieren generierten sicherheitskritischen Trajektorie eine Backup-Lösung der Trajektorienvorhersage ausgelöst.
-
Die Erfindung wird in den folgenden Ausführungsbeispielen verdeutlicht. Es zeigen:
- 1 ein Ausführungsbeispiel eines bedingten generativen kontradiktorischen Netzwerks für Trajektorienvorhersage,
- 2 ein Ausführungsbeispiel eines Trajektorienvorhersage basierend auf Bedingungen,
- 3 ein Ausführungsbeispiel einer Ausgabe eines Generators, die eine Bedingung nicht erfüllt,
- 4 ein Ausführungsbeispiel einer Ausgabe eines Generators, die eine Bedingung erfüllt,
- 5 ein Ausführungsbeispiel eines Diskriminators,
- 6 ein Ausführungsbeispiel einer Ausgabe des Generators, die durch den Diskriminator als ungültig erkannt wurde, und
- 7 eine schematische Darstellung eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens.
-
In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Bezugsteile. Übersichtshalber werden in den einzelnen Figuren nur die jeweils relevanten Bezugsteile hervorgehoben.
-
1 zeigt ein bedingtes generatives kontradiktorisches Netzwerk cGAN. Ein Generator G und ein Diskriminator D werden gleichzeitig trainiert und sind beispielsweise über eine Schleife Feedback miteinander gekoppelt.
-
Der Generator G prädiziert zukünftige Trajektorien T für ein autonomes Fahrsystem E und gibt diese als Ausgaben Out aus. Hierzu liest der Generator G statische Kontextinformationen, beispielsweise Informationen aus einer hochauflösenden Karte Map, und Wechselwirkungen Int mit weiteren Verkehrsobjekten/Agenten A, beispielsweise weiteren Fahrzeugen, ein. Zusätzlich liest der Generator G Rauschsignale Noise ein, beispielsweise zufälliges Rauschen. Damit die Diversität der Ausgaben Out erhöht. Basierend auf den Informationen aus der Karte Map und Daten wenigstens eines Umfelderfassungssensors des autonomen Fahrsystems E als weiterer Input In werden Fahrmanöver-Beschränkungen bestimmt. Die Fahrmanöver-Beschränkungen sind Bedingungen Con, die dem Generator auferlegt werden. Die Ausgaben Out sollen die Bedingungen Con erfüllen. Ziel des Generators G ist es, Trajektorien T unter den gegebenen Bedingungen Con zu prädizieren, beispielsweise in komplexen städtischen Umgebungen.
-
Der Diskriminator D liest Informationen aus der Karte Map, die Wechselwirkungen Int und Referenzdaten GT, beispielsweise eine groundtruth Trajektorie T, ein und bestimmt basierend darauf, ob die Trajektorienvorhersage Out des Generators G valide ist.
-
2 zeigt als Fahrmanöver eine T-Kreuzung. Die Bedingungen Con, die die Trajektorienvorhersagen Out des Generators G zu erfüllen haben, sind Linksabbiegen und Geradeausfahren. Eine nichtvalide und möglicherweise sicherheitskritische Ausgabe Out des Generators G ist in diesem Fall beispielsweise die Trajektorienvorhersage Rechtsabbiegen.
-
3, 4 zeigen den Einsatz des Diskriminators D gemäß des erfindungsgemäßen Verfahrens. Wenn die Bedingung Con Linksabbiegen lautet und die Ausgabe Out des Generators G die Trajektorienvorhersage Linksabbiegen ist, bestimmt der Diskriminator D diese Ausgabe Out als valide, siehe 3. Wenn in diesem Fall die Ausgabe Out des Generators G die Trajektorienvorhersage Rechtsabbiegen ist, bestimmt der Diskriminator D dieses Ausgabe als sicherheitskritisch, das heißt nicht valide, siehe 4. Das Ziel des Diskriminators D ist es, sicherheitskritische Ausgaben des Generators G zu detektieren.
-
5 zeigt den Diskriminator D in der Einsatzphase, in der der Diskriminator D ausgibt, ob eine Trajektorienvorhersage Out valide oder nicht valide ist.
-
6 zeigt den Fall einer Trajektorienvorhersage des Generators G, die von dem Diskriminator D als sicherheitskritisch detektiert wird. Das zu prädizierende Objekt E, beispielsweise ein PKW, fährt hinter einem weiteren Fahrzeug A her. Die Bedingung Con lautet Geraudeausfahren. Auf der Gegenfahrspur fährt ein weiteres Fahrzeug A in entgegengesetzter Richtung zu dem Objekt E. Der Generator G prädiziert die Trajektorie T für einen Überholvorgang. Dies ist unter den gegebenen Bedingungen Con sicherheitskritisch.
-
In einem in 7 dargestelltem Verfahrensschritt V1 liest der Diskriminator D die Ausgaben Out des Generators G und Kontextinformationen In des autonomen Fahrsystems ein. In einem Verfahrensschritt V2 detektiert der Diskriminator D in Abhängigkeit der Kontextinformationen In sicherheitskritische Ausgaben Out) unter den Ausgaben Out des Generators G. In einem Verfahrensschritt V3 stellt im Fall einer detektierten sicherheitskritischen Ausgabe Out der Diskriminator D dem autonomen Fahrsystem ein Warnsignal bereit.
-
Bezugszeichenliste
-
- cGAN
- generatives kontradiktorisches Netzwerk
- G
- Generator
- Out
- Ausgabe
- In
- Kontextinformationen/weiterer Input
- Map
- Karteninformationen
- Int
- Wechselwirkung
- Noise
- Rauschen
- GT
- Referenzdaten
- Feedback
- Schleife
- A
- Verkehrsobjekt/Agent
- Con
- Bedingung
- D
- Diskriminator
- E
- zu prädizierendes Objekt
- T
- Trajektorie
- V1-V3
- Verfahrensschritte
