-
Die Erfindung betrifft ein Verfahren zum Trainieren und Testen eines Algorithmus zur Prädiktion von Agenten in einer Fahrzeugumgebung gemäß dem Oberbegriff des Anspruchs 1.
-
Aus der
EP 3 663 965 A1 ist ein computerimplementiertes Verfahren bekannt, umfassend eine Betriebsphase und umfassend die Schritte:
- - Empfangen eines oder mehrerer multimodaler Videoframes von mehreren Modalitäten einer Fahrzeugumgebung, die gegenwärtigen und vergangenen Zeitstempeln entsprechen;
- - Kodieren in eine latente Darstellung, wobei die Multimodalitäts-Videoframes durch ein räumlich-zeitliches Codierungs-Faltungs-Neuralnetzwerk codiert werden;
- - Kombinieren zu einer zusammengesetzten Darstellung, wobei die latente Darstellung mit codierten Konditionierungsparametern entsprechend Zeitstempeln am gewünschten zukünftigen Zeithorizont entspricht; und
- - Vorhersagen mehrerer zukünftiger multimodaler Videoframes entsprechend mehreren zukünftigen Modi eines multimodalen zukünftigen Lösungsraums mit zugeordneten Likelihood-Koeffizienten mittels eines generativen neuronalen Faltungsnetzwerks, welches zuvor in einem mittels eines generativen faltenden neuronalen Netzwerks durchgeführten Trainings trainiert wurde.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur Prädiktion von Agenten in einer Fahrzeugumgebung anzugeben.
-
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren welches die im Anspruch 1 angegebenen Merkmale aufweist.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In einem Verfahren zum Trainieren und Testen eines Algorithmus zur Prädiktion von Agenten in einer Fahrzeugumgebung wird die Prädiktion mittels eines maschinell trainierten Trajektorienautoencoders durchgeführt.
-
Erfindungsgemäß lernt der Trajektorienautoencoder in dem Training, bei einer gegebenen Szene, deren unstrukturierte Datenmenge eine Trajektorie eines relevanten Agenten, Trajektorien umliegender Agenten, Interaktionen zwischen diesen Agenten und semantische Informationen umfasst, die Trajektorie des relevanten Agenten zu rekonstruieren. Dabei wird der Trajektorienautoencoder auf allen verfügbaren Daten trainiert. Weiterhin lernt der Trajektorienautoencoder, die unstrukturierte Datenmenge der Szene in eine informationshaltige strukturierte und latente Repräsentation zu codieren. Nach dem Training des Trajektorienautoencoders werden zu einem Auffinden ähnlicher Szenen mittels des Trajektorienautoencoders für einen gesamten nach ähnlichen Szenen zu durchsuchenden Datensatz, bestehend aus allen Szenen, latente Repräsentationen erzeugt. Weiterhin wird eine zu suchende Szene, für welche ähnliche Szenen im Datensatz gefunden werden sollen, codiert und für die zu suchende Szene wird latente Repräsentation gebildet. Mittels einer Ähnlichkeitsmetrik wird die latente Repräsentation der zu suchenden Szene mit allen anderen latenten Repräsentationen im Datensatz verglichen und es werden ähnliche Szenen gesucht. Wie folgend beschrieben kann das Auffinden ähnlicher Szenen in einem Datensatz vorteilhaft zum Trainieren, Nachtrainieren und Testen eines Trajektorienprädiktionsalgorithmus eingesetzt werden.
-
Eine Prädiktion von am Verkehr teilnehmenden, umliegenden Agenten ist eine essenzielle Voraussetzung zur Durchführung eines automatisierten, insbesondere hochautomatisierten oder autonomen Fahrbetriebs von Fahrzeugen. Besonders Algorithmen, welche auf Methoden des maschinellen Lernens basieren, haben sich für diese, als Trajektorienprädiktion bezeichnete Aufgabe als performant herausgestellt.
-
Eine Herausforderung lernbasierter Trajektorienprädiktionsalgorithmen ist eine Abdeckung so genannter Corner-Cases, also Szenen, die einen bestimmten und raren Zusammenhang besitzen, beispielsweise wenn ein Fahrzeug entgegen einer vorgeschriebenen Fahrtrichtung in einer Einbahnstraße fährt. Sind diese Corner-Cases nicht in ausreichender Menge im Datensatz vorhanden, besteht die Gefahr, dass ein gelerntes Modell auf den restlichen Datensatz generalisiert und die Corner-Cases nicht zufriedenstellend abdeckt.
-
Bei einer beliebigen Szene, zum Beispiel einem speziellen Corner-Case, kann es demnach nützlich sein, in seinem Datensatz ähnliche Szenen zu finden, um beliebige Trajektorienprädiktionsalgorithmen auf diesen ähnlichen Szenen gewichtet zu trainieren oder umfangreich testen.
-
Das zuvor Genannte trifft jedoch auch für allgemeine Szenen, wie beispielsweise Rechtsabbiegevorgänge, zu.
-
Szenen sind dabei hochgradig unstrukturierte Daten, bestehend aus einer Trajektorie eines relevanten Agenten, also des Agenten, der beispielsweise den Corner-Case auslöst oder rechts abbiegt, Trajektorien umliegender weiterer Agenten, mit welchen der relevante Agent in einer Szene interagiert, und unterliegenden semantischen Informationen, wie beispielsweise eine Anordnung von Straßentopologien oder eine Position von Fußgängerüberwegen und Verkehrsampeln.
-
Eine Ähnlichkeit von Szenen hängt dabei allerdings nicht von einer Ähnlichkeit von Koordinaten des relevanten Agenten, beispielsweise einem Auffinden gleicher Kreuzung mit gleichen Koordinaten, ab, sondern von einer gesamten Datenmenge der Szene. Hierzu gehören die Trajektorie des relevanten Agenten, die Trajektorien umliegender Agenten, Interaktionen zwischen diesen Agenten und die semantischen Informationen, welche beispielsweise durch eine hochauflösende Karte gegeben sind.
-
Mittels des vorliegenden Verfahrens ist es in besonders vorteilhafter Weise möglich, ähnliche Szenen unter Berücksichtigung der zuvor genannten unstrukturierten Informationen aufzufinden. Dabei bezieht das Verfahren eine gesamte Szene mit ihren hochgradig unstrukturierten Daten ganzheitlich in eine Auswahl ähnlicher Szenen mit ein. Dadurch können auch besonders große Datensätze für das Training von Trajektorienprädiktionsalgorithmen nach ähnlichen Szenen durchsucht werden. Auch ermöglicht das Verfahren ein Nachtrainieren und ein ausführliches Testen von Trajektorienprädiktionsalgorithmen mit ähnlichen und eventuell kritischen Szenen.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
- 1 schematisch einen Ablauf eines Verfahrens zur Prädiktion von Agenten in einer Fahrzeugumgebung,
- 2 schematisch ein Training eines Trajektorienautoencoders und
- 3 schematisch ein Auffinden ähnlicher Szenen.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
In 1 ist ein Ablauf eines möglichen Ausführungsbeispiels eines Verfahrens zur Prädiktion von Agenten in einer Fahrzeugumgebung dargestellt.
-
In einem ersten Verfahrensschritt V1 wird ein Training eines in den 1 und 2 näher dargestellten Trajektorienautoencoders 1 durchgeführt.
-
In einem zweiten Verfahrensschritt V2 wird in Abhängigkeit einer gegebenen zu suchenden Szene°S mittels des trainierten Trajektorienautoencoders 1 zumindest ein ebenfalls in 3 näher dargestellter Datensatz D nach ähnlichen Szenen S1 bis Sn durchsucht. Die Szenen S1 bis Sn sind in 3 näher dargestellt. Über eine Ähnlichkeitsmektrik in einem latenten Repräsentationsraum werden ähnliche Szenen°S1 bis°Sm identifiziert
-
In einem dritten Verfahrensschritt V3 wird mittels der identifizierten Szenen°S1 bis°Sm ein Trajektorienprädiktionsalgorithmus trainiert, nachtrainiert oder getestet.
-
2 zeigt ein mögliches Ausführungsbeispiel eines Trainings des Trajektorienautoencoders 1.
-
In diesem Training lernt der Trajektorienautoencoder 1, bei einer gegebenen Szene S, aus der Menge aller Szenen S1 bis Sn im Datensatz D, deren unstrukturierte Datenmenge eine Trajektorie T1 eines relevanten Agenten, beispielsweise eines Fahrzeugs, Trajektorien T2 bis Tx umliegender Agenten, beispielsweise weiterer Fahrzeuge, Interaktionen zwischen diesen Agenten und semantische Informationen umfasst, die Trajektorie T1 des relevanten Agenten zu rekonstruieren. Die semantischen Informationen sind dabei durch eine hochauflösende Karte 2 gegeben. Der Trajektorienautoencoder 1 wird dabei auf allen verfügbaren Daten trainiert. Dabei lernt der Trajektorienautoencoder 1, die unstrukturierte Datenmenge der Szene S, S1 bis Sn in eine informationshaltige strukturierte und latente, und somit nicht interpretierbare Repräsentation R, R1 bis Rn zu codieren.
-
Dabei werden die Daten einem Encoder 1.1 des Trajektorienautoencoders 1 zugeführt, welcher aus den Daten die latente Repräsentation R, R1 bis Rn der Szene S, S1 bis Sn für eine Rekonstruktion der Trajektorie T des relevanten Agenten erzeugt. Diese Repräsentation R, R1 bis Rn wird einem Decoder 1.2 des Trajektorienautoencoders 1 zugeführt, welcher aus der Repräsentation R, R1 bis Rn eine rekonstruierte Trajektorie T1' des relevanten Agenten erzeugt.
-
Als Trajektorienautoencoder 1 kann dabei ein beliebiger, bereits vorhandener Trajektorienprädiktionsalgorithmus verwendet werden. Dieser wird so angepasst, dass er die Rekonstruktionsaufgabe und nicht mehr die Prädiktionsaufgabe des relevanten Agenten übernimmt. Ein solcher als LaneCGN bezeichneter Trajektorienprädiktionsalgorithmus ist beispielsweise aus „Ming Liang, et. al: Learning Lane Graph Representations for Motion Forecasting; https://arxiv.org/abs/2007.13732“ bekannt. Ein weiterer, als Trajectron++ bezeichneter Trajektorienprädiktionsalgorithmus ist beispielsweise aus „Tim Salzmann, et. al: Trajectron++: Dynamically-Feasible Trajectory Forecasting With Heterogeneous Data; https://arxiv.org/abs/2001.03093“ bekannt. Ein weiterer, als MTP bezeichneter Trajektorienprädiktionsalgorithmus ist beispielsweise aus „Henggang Cui, et. al: Multimodal Trajectory Predictions for Autonomous Driving using Deep Convolutional Networks; https://arxiv.org/abs/1809.10732“ bekannt.
-
In 3 ist ein mögliches Ausführungsbeispiel eines Auffindens ähnlicher Szenen S1 bis Sm mittels des gemäß 2 trainierten Trajektorienautoencoders 1 dargestellt.
-
Nach dem Training des Trajektorienautoencoders 1 werden zu einem Auffinden ähnlicher Szenen S1 bis Sm zu einer zu suchenden Szene S mittels des Trajektorienautoencoders 1 für den gesamten nach ähnlichen Szenen S1 bis Sm zu durchsuchenden Datensatz D, bestehend aus der Gesamtheit aller Szenen°S1°bis°Sn, latente Repräsentationen R1 bis Rn erzeugt. Der Decoder 1.2 ist hierfür nicht mehr erforderlich.
-
Weiterhin wird die zu suchende Szene S, für welche die ähnlichen Szenen S1 bis Sm im Datensatz D gefunden werden sollen, codiert und es wird für die zu suchende Szene S eine latente Repräsentation R gebildet. Der Decoder 1.2 ist hierfür nicht mehr erforderlich.
-
Mittels einer Ähnlichkeitsmetrik 3 wird die latente Repräsentation R der zu suchenden Szene S mit allen anderen latenten Repräsentationen R1 bis Rn im Datensatz D verglichen und ähnliche Szenen S1 bis°Sm werden gesucht. Der Vergleich kann dabei beispielsweise über eine so genannte Kosinus-Ähnlichkeit erfolgen. Auf Basis der Ähnlichkeitsmetrik 3 können hierdurch ähnliche Szenen S1 bis Sm im latenten Raum gefunden werden.
-
Im Folgenden wird an einem Beispiel erläutert, welche Vorteile die Einbeziehung der aus der durch die hochauflösende Karte 2 gegebenen semantischen Informationen bei dem Training und bei der Anwendung des Trajektorienautoencoders 1 bewirkt.
-
Beispielsweise zeichnet sich eine kritische Szene S mit einem Fußgängerüberweg dadurch aus, dass der relevante Agent, in diesem Fall ein Fahrzeug, rechts abbiegt. Mittels einer solchen Szene S wurde der Trajektorienautoencoder 1 trainiert. Zu dieser Szene S sollen ähnliche Szenen S1 bis Sm gefunden werden. Bekannte Ansätze würden eine Ähnlichkeit lediglich an der Trajektorie T1 des relevanten Agenten festmachen und somit ähnliche Rechtsabbiegevorgänge als Ergebnis liefern. Das vorliegende Verfahren berücksichtigt jedoch auch die semantischen Informationen der hochauflösenden Karte 2, so dass in vorteilhafter Weise Szenen S1 bis Sn mit Rechtsabbiegevorgängen und einem Fußgängerüberweg als ähnliche Ergebnisse geliefert werden. Es können somit deutlich detailliertere und passendere ähnliche Sznearien aufgefunden werden und für das anschließende Trainieren, Nachtrainieren oder Testen eines Trajektorienprädiktionsalgorithmus verwendet werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
