DE102021132025A1

DE102021132025A1 - Verfahren zum Bestimmen ähnlicher Szenarien, Trainingsverfahren und Trainingssteuergerät

Info

Publication number: DE102021132025A1
Application number: DE102021132025.9A
Authority: DE
Inventors: Harisankar Madhusudanan Nair Sheela; Daniel Hasenklever; Christian NOLDE; Sven BURDORF
Original assignee: Dspace GmbH
Current assignee: Dspace GmbH
Priority date: 2021-12-06
Filing date: 2021-12-06
Publication date: 2023-06-07

Abstract

Die Erfindung betrifft ein computerimplementiertes Verfahren zum Bereitstellen eines Algorithmus maschinellen Lernens zum Bestimmen ähnlicher Szenarien auf Basis von Szenariendaten eines Datensatzes (D) von Sensordaten, wobei ein Optimierungsalgorithmus (A3) auf die durch den ersten Algorithmus maschinellen Lernens (A1) ausgegebene Merkmalsrepräsentation (18) der ersten Augmentation (14) des Datensatzes (D) von Sensordaten angewendet wird, wobei der Optimierungsalgorithmus (A3) die durch den zweiten Algorithmus maschinellen Lernens (A2) ausgegebene Merkmalsrepräsentation (20) der zweiten Augmentation (16) des Datensatzes (D) von Sensordaten approximiert. Die Erfindung betrifft des Weiteren ein Verfahren zum Bestimmen ähnlicher Szenarien auf Basis von Szenariendaten eines Datensatzes (D) von Sensordaten und ein Trainingssteuergerät.

Description

Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zum Bereitstellen eines Algorithmus maschinellen Lernens zum Bestimmen ähnlicher Szenarien auf Basis von Szenariendaten eines Datensatzes von Sensordaten.
Die vorliegende Erfindung betrifft des Weiteren ein computerimplementiertes Verfahren zum Bestimmen ähnlicher Szenarien auf Basis von Szenariendaten eines Datensatzes von Sensordaten.
Darüber hinaus betrifft die Erfindung ein Trainingssteuergerät zum Bereitstellen eines Algorithmus maschinellen Lernens zum Bestimmen ähnlicher Szenarien auf Basis von Szenariendaten eines Datensatzes von Sensordaten.
Stand der Technik
Fahrassistenzsysteme wie z.B. ein adaptiver Geschwindigkeitsregler und/oder Funktionen für das hochautomatisierte Fahren können mithilfe diverser Überprüfungsmethoden verifiziert bzw. validiert werden. Dabei können insbesondere Simulationen verwendet werden.
Zur Erstellung von Testszenarien für Simulationen ist die Durchführung von Testfahrten erforderlich. Die hierdurch gewonnenen Sensordaten werden sodann in ein logisches Szenario abstrahiert.
Eingangsdaten sind dabei Rohdaten, also Sensordaten aus realen Messfahrten im Sinne von Aufzeichnungen von Radarechos, 3D-Punktewolken aus Lidarmessungen und Bilddaten. Ergebnisdaten sind simulierbare Fahrszenarien, die einerseits eine Umgebung und andererseits auch Trajektorien umfassen. Im Anschluss erfolgt eine Kategorisierung von Fahrmanövern in Gruppen.
„Szenario-Optimierung für die Absicherung von automatisierten und autonomen Fahrsystemen“ (Florian Hauer, B. Holzmüller, 2019) offenbart Verfahren zur Verifikation und Validierung automatisierter und autonomer Fahrsysteme, insbesondere das Finden geeigneter Testszenarien für die virtuelle Absicherung.
Die Testmethodik sieht dabei die Adaption einer metaheuristischen Suche vor, um Szenarien zu optimieren. Hierfür muss ein passender Suchraum und eine geeignete Gütefunktion aufgestellt werden. Ausgehend von einer abstrakten Beschreibung der Funktionalität und Anwendungsfälle des Systems werden parametrisierte Szenarien abgeleitet.
Deren Parameter spannen einen Suchraum auf, aus dem die passenden Szenarien zu identifizieren sind. Das Generieren von Szenarien ist jedoch rechenintensiv. Es besteht daher ein Interesse daran, die Zahl der Generierungsvorgänge zu minimieren und auf relevante Szenarien zu beschränken. Relevante Szenarien umfassen dabei beispielsweise Szenarien, die noch nicht oder nicht in ausreichender Zahl als simulierbares Szenario verfügbar sind.
Demzufolge besteht ein Bedarf, bestehende Verfahren zum Bestimmen ähnlicher Szenarien auf Basis von Szenariendaten eines Datensatzes von Sensordaten dahingehend zu verbessern, dass ein Identifizieren relevanter Szenarien unter Verwendung geringerer Rechenressourcen ermöglicht wird.
Es ist daher Aufgabe der Erfindung, ein effizienteres Verfahren zum Bestimmen ähnlicher Szenarien auf Basis von Szenariendaten eines Datensatzes von Sensordaten bereitzustellen.
Offenbarung der Erfindung
Die Aufgabe wird erfindungsgemäß durch ein computerimplementiertes Verfahren zum Bereitstellen eines Algorithmus maschinellen Lernens zum Bestimmen ähnlicher Szenarien auf Basis von Szenariendaten eines Datensatzes von Sensordaten mit den Merkmalen des Patentanspruchs 1 gelöst.
Die Aufgabe wird erfindungsgemäß des Weiteren durch ein computerimplementiertes Verfahren zum Bestimmen ähnlicher Szenarien auf Basis von Szenariendaten eines Datensatzes von Sensordaten mit den Merkmalen des Patentanspruchs 13 gelöst.
Die Aufgabe wird erfindungsgemäß ferner durch ein Trainingssteuergerät zum Bereitstellen eines Algorithmus maschinellen Lernens zum Bestimmen ähnlicher Szenarien auf Basis von Szenariendaten eines Datensatzes von Sensordaten mit den Merkmalen des Patentanspruchs 14 gelöst.
Darüber hinaus wird die Aufgabe durch ein Computerprogramm mit Programmcode, um das erfindungsgemäße Verfahren durchzuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird, mit den Merkmalen des Patentanspruchs 15 gelöst.
Die Erfindung betrifft ein computerimplementiertes Verfahren zum Bereitstellen eines Algorithmus maschinellen Lernens zum Bestimmen ähnlicher Szenarien auf Basis von Szenariendaten eines Datensatzes von Sensordaten.
Das Verfahren umfasst ein Bereitstellen des Datensatzes von Sensordaten einer durch eine Mehrzahl fahrzeugseitiger Umfelderkennungsensoren erfassten Fahrt eines Ego-Fahrzeugs und ein Erzeugen einer ersten Augmentation des Datensatzes von Sensordaten und einer sich von der ersten Augmentation unterscheidenden zweiten Augmentation des Datensatzes von Sensordaten.
Des Weiteren umfasst das Verfahren ein Anwenden eines ersten Algorithmus maschinellen Lernens auf die erste Augmentation des Datensatzes von Sensordaten zum Erzeugen einer, insbesondere dimensionsreduzierten, Merkmalsrepräsentation der ersten Augmentation des Datensatzes von Sensordaten und zum Bestimmen einer ersten Klasse eines von der ersten Augmentation des Datensatzes von Sensordaten umfassten Szenarios.
Darüber hinaus umfasst das Verfahren ein Anwenden eines zweiten Algorithmus maschinellen Lernens auf die zweite Augmentation des Datensatzes von Sensordaten zum Erzeugen einer, insbesondere dimensionsreduzierten, Merkmalsrepräsentation der zweiten Augmentation des Datensatzes von Sensordaten und zum Bestimmen einer zweiten Klasse eines von der zweiten Augmentation des Datensatzes von Sensordaten umfassten Szenarios.
Das Verfahren umfasst ferner ein Anwenden eines Optimierungsalgorithmus auf die durch den ersten Algorithmus maschinellen Lernens ausgegebene Merkmalsrepräsentation der ersten Augmentation des Datensatzes von Sensordaten, wobei der Optimierungsalgorithmus die durch den zweiten Algorithmus maschinellen Lernens ausgegebene Merkmalsrepräsentation der zweiten Augmentation des Datensatzes von Sensordaten approximiert.
Die Erfindung betrifft ferner ein computerimplementiertes Verfahren zum Bestimmen ähnlicher Szenarien auf Basis von Szenariendaten eines Datensatzes von Sensordaten.
Das Verfahren umfasst ein Bereitstellen des Datensatzes von Sensordaten einer durch eine Mehrzahl fahrzeugseitiger Umfelderkennungsensoren erfassten Fahrt eines Ego-Fahrzeugs, und ein Anwenden des erfindungsgemäß trainierten Algorithmus maschinellen Lernens auf den Datensatz von Sensordaten zum Bestimmen, insbesondere Clustern, ähnlicher Szenarien.
Die Erfindung betrifft darüber hinaus ein Trainingssteuergerät zum Bereitstellen eines Algorithmus maschinellen Lernens zum Bestimmen ähnlicher Szenarien auf Basis von Szenariendaten eines Datensatzes von Sensordaten.
Das Trainingssteuergerät weist Mittel zum Empfangen des Datensatzes von Sensordaten einer durch eine Mehrzahl fahrzeugseitiger Umfelderkennungsensoren erfassten Fahrt eines Ego-Fahrzeugs sowie Mittel zum Erzeugen einer ersten Augmentation des Datensatzes von Sensordaten und einer sich von der ersten Augmentation unterscheidenden zweiten Augmentation des Datensatzes von Sensordaten auf.
Des Weiteren weist das Trainingssteuergerät Mittel zum Anwenden eines ersten Algorithmus maschinellen Lernens auf die erste Augmentation des Datensatzes von Sensordaten zum Erzeugen einer, insbesondere dimensionsreduzierten, Merkmalsrepräsentation der ersten Augmentation des Datensatzes von Sensordaten und zum Bestimmen einer ersten Klasse eines von der ersten Augmentation des Datensatzes von Sensordaten umfassten Szenarios auf.
Das Trainingssteuergerät weist ferner Mittel zum Anwenden eines zweiten Algorithmus maschinellen Lernens auf die zweite Augmentation des Datensatzes von Sensordaten zum Erzeugen einer, insbesondere dimensionsreduzierten, Merkmalsrepräsentation der zweiten Augmentation des Datensatzes von Sensordaten und zum Bestimmen einer zweiten Klasse eines von der zweiten Augmentation des Datensatzes von Sensordaten umfassten Szenarios auf.
Überdies weist das Trainingssteuergerät Mittel zum Anwenden eines Optimierungsalgorithmus auf die durch den ersten Algorithmus maschinellen Lernens ausgegebene Merkmalsrepräsentation der ersten Augmentation des Datensatzes von Sensordaten auf, wobei der Optimierungsalgorithmus die durch den zweiten Algorithmus maschinellen Lernens ausgegebene Merkmalsrepräsentation der zweiten Augmentation des Datensatzes von Sensordaten approximiert.
Die Erfindung betrifft des Weiteren ein Computerprogramm mit Programmcode, um das erfindungsgemäße Verfahren durchzuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird.
Eine Idee der vorliegenden Erfindung ist es, das Problem der Identifizierung ähnlicher
Manöver/Interaktionsmanöver-Cluster aus Trajektorien und Kartendaten in einem sequenziellen Datensatz unter Verwendung von Algorithmen maschinellen Lernens zu lösen.
Insbesondere können Kartendaten von den Algorithmen maschinellen Lernens genutzt werden, um Merkmalsdarstellungen der Trajektorien und Kartendaten zu lernen.
Diese gelernte Merkmalsdarstellung kann von einem Clustering-Algorithmus verwendet werden, um die Trajektorienmerkmale auf der Grundlage verschiedener Manöver zu gruppieren. Dieser kann beispielsweise die Trajektorienmerkmale des Ego-Fahrzeugs und die eines nahe gelegenen Objekts verwenden, um Szenarien auf der Grundlage des Interaktionsmanövers zu gruppieren.
Die Algorithmen maschinellen Lernens lernen dabei Repräsentationsmerkmale des Interaktionsmanövers aus der Trajektorie des Ego-Fahrzeugs, der Trajektorie des Objekts, mit dem das Ego-Fahrzeug interagiert, und der Fahrbahninformationen entweder als Kartendaten oder kodiert in Fahrzeugtrajektorien in selbstüberwachter Weise.
Das trainierte Modell wird sodann verwendet, um Merkmalsvektor-Darstellungen von Interaktionsmanövern aus einem unbekannten (Test-)Datensatz zu erzeugen. Die generierten Merkmalsvektoren werden später für das Clustering ähnlicher Interaktionsmanöver verwendet.
Es wird eine erste Augmentation erstellt, welche an den ersten Algorithmus maschinellen Lernens übertragen wird und eine zweite Augmentation der Eingabedaten erstellt, welche an den zweiten Algorithmus maschinellen Lernens übertragen wird. Die Encoder bzw. Kodierer kodieren dabei die Informationen in niederdimensionale Merkmalsvektoren.
Für die Ausgaben der beiden Netze wird ein Ähnlichkeitsverlust berechnet, der während des Trainings zu minimieren ist. Dadurch werden die Encoder gezwungen, wichtige Merkmale zu lernen, die ähnliche Interaktionsmanöver unterscheiden können.
Die trainierten Encoder können verwendet werden, um Merkmalsvektoren für alle Trajektorien zu generieren, die die Interaktionsmanöver im Datensatz darstellen. Diese wiederum können durch einen Clustering-Algorithmus, wie z.B. hierarchisches Clustering, geclustert werden, um Interaktionsgruppen im Datensatz zu bilden.
Algorithmen des maschinellen Lernens basieren darauf, dass Verfahren der Statistik verwendet werden, um eine Datenverarbeitungsanlage derart zu trainieren, dass diese eine bestimmte Aufgabe ausführen kann, ohne dass diese ursprünglich explizit hierzu programmiert wurde. Das Ziel des maschinellen Lernens besteht dabei darin, Algorithmen zu konstruieren, die aus Daten lernen und Vorhersagen treffen können. Diese Algorithmen erstellen mathematische Modelle, mit denen beispielsweise Daten klassifiziert werden können.
Der Fachmann versteht unter einer dimensionsreduzierten Merkmalsrepräsentation die Transformation von Daten aus einem hochdimensionalen Raum in einen niedrigdimensionalen Raum, so dass die niedrigdimensionale Darstellung einige sinnvolle Eigenschaften der ursprünglichen Daten beibehält, idealerweise nahe an ihrer intrinsischen Dimension. Weitere Ausführungsformen der vorliegenden Erfindung sind Gegenstand der weiteren Unteransprüche und der nachfolgenden Beschreibung unter Bezugnahme auf die Figuren.
Gemäß einer bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass ein Ähnlichkeitsverlust zwischen der durch den ersten Algorithmus maschinellen Lernens ausgegebenen ersten Klasse des von der ersten Augmentation des Datensatzes von Sensordaten umfassten Szenarios und der durch den zweiten Algorithmus maschinellen Lernens ausgegebenen zweiten Klasse des von der zweiten Augmentation des Datensatzes von Sensordaten umfassten Szenarios durch den Optimierungsalgorithmus minimiert wird. Dies zwingt die Encoder, Merkmale zu lernen, die ähnliche Interaktionsmanöver unterscheiden können.
Gemäß einer weiteren bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass der erste Algorithmus maschinellen Lernens einen ersten Encoder, welcher Trajektorien- und/oder Geschwindigkeitsdaten des Ego-Fahrzeugs der ersten Augmentation des Datensatzes von Sensordaten empfängt, einen zweiten Encoder, welcher Trajektorien-, Geschwindigkeits- und/oder Klassen-ID-Daten zumindest eines Objekts der ersten Augmentation des Datensatzes von Sensordaten empfängt und einen dritten Encoder, welcher Fahrbahninformationen der ersten Augmentation des Datensatzes von Sensordaten empfängt, aufweist. Somit kann in vorteilhafter Weise eine dimensionsreduzierte Merkmalsrepräsentation der ersten Augmentation des Datensatzes von Sensordaten generiert werden.
Gemäß einer weiteren bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass der zweite Algorithmus maschinellen Lernens einen vierten Encoder, welcher Trajektorien- und/oder Geschwindigkeitsdaten des Ego-Fahrzeugs der zweiten Augmentation des Datensatzes von Sensordaten empfängt, einen fünften Encoder, welcher Trajektorien-, Geschwindigkeits- und/oder Klassen-ID-Daten zumindest eines Objekts der zweiten Augmentation des Datensatzes von Sensordaten empfängt und einen sechsten Encoder, welcher Fahrbahninformationen der zweiten Augmentation des Datensatzes von Sensordaten empfängt, aufweist. Somit kann in vorteilhafter Weise eine dimensionsreduzierte Merkmalsrepräsentation der zweiten Augmentation des Datensatzes von Sensordaten generiert werden.
Gemäß einer weiteren bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass der erste Encoder, der zweite Encoder und der dritte Encoder jeweils einen Merkmalsvektor ausgeben, welche zu einem ersten Merkmalsvektor konkateniert werden, und wobei der vierte Encoder, der fünfte Encoder und der sechste Encoder jeweils einen Merkmalsvektor ausgeben, welche zu einem zweiten Merkmalsvektor konkateniert werden. Somit kann in vorteilhafter Weise eine kombinierte Repräsentation sämtlicher Eingangsdaten der jeweiligen Encoder-Netze erzeugt werden.
Gemäß einer weiteren bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass der erste Algorithmus maschinellen Lernens die erste Klasse des von der ersten Augmentation des Datensatzes von Sensordaten umfassten Szenarios unter Verwendung des konkatenierten ersten Merkmalsvektors bestimmt, und wobei der zweite Algorithmus maschinellen Lernens die zweite Klasse des von der zweiten Augmentation des Datensatzes von Sensordaten umfassten Szenarios unter Verwendung des konkatenierten zweiten Merkmalsvektors bestimmt. Somit kann in vorteilhafter Weise eine kombinierte Repräsentation sämtlicher Eingangsdaten der jeweiligen Encoder-Netze erzeugt werden.
Gemäß einer weiteren bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass der erste bis sechste Encoder LSTM-Schichten aufweisen.
Die LSTM-Schichten eignen sich in vorteilhafter Weise besser für Trajektoriendaten im Gegensatz zu 2D-Faltungsschichten für Bilddaten. Die Karteninformationen können dem jeweiligen Encoder-Netz entweder explizit oder implizit als kodierte Informationen zusammen mit den Trajektorien zur Verfügung gestellt werden.
Gemäß einer weiteren bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass von dem Datensatz von Sensordaten umfasste Trajektoriendaten des Ego-Fahrzeugs und/oder des Objekts in Abhängigkeit einer Anzahl von Zeitschritten, in denen sich das Objekt in einem Erfassungsbereich der Mehrzahl fahrzeugseitiger Umfelderkennungsensoren befindet, jeweils eine unterschiedliche Merkmalsgröße aufweisen.
Somit kann in vorteilhafter Weise eine Zeitdauer, während welcher sich das Ego-Fahrzeug und/oder das Objekt in dem Erfassungsbereich der Mehrzahl fahrzeugseitiger Umfelderkennungsensoren befindet in einer jeweils unterschiedlichen Merkmalsrepräsentation ausgedrückt werden.
Gemäß einer weiteren bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass der erste Algorithmus maschinellen Lernens und der zweite Algorithmus maschinellen Lernens zur Verarbeitung der von dem Datensatz von Sensordaten umfassten Trajektoriendaten des Ego-Fahrzeugs und/oder des Objekts Ragged-Tensoren verwenden.
Die Merkmalsgröße von Trajektorien hängt von der Anzahl der Zeitschritte ab, in denen sich das Objekt im Bereich der Ego-Fahrzeugsensoren befand. Da diese Dauer von vielen Faktoren beeinflusst werden kann, haben jede Trajektorie und die zugehörigen Karteninformationen eine andere Merkmalsgröße, was berücksichtigt werden muss. Dies erfordert die Verwendung von Ragged-Tensoren (Tensoren mit einer unterschiedlichen Anzahl von Elementen in jeder Dimension).
Gemäß einer weiteren bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass die erste Augmentation und die zweite Augmentation zum Erstellen unterschiedlicher Varianten des Datensatzes von Sensordaten zufällig erzeugt sind. Dadurch kann in vorteilhafter Weise eine effektive Abdeckung eines Zustandsraums erreicht werden, welcher die Parameter der jeweiligen Datensätze umfasst.
Gemäß einer weiteren bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass die Szenarien Fahrmanöver des Ego-Fahrzeugs und/oder eines Fellow-Fahrzeugs und/oder Interaktionsmanöver des Ego-Fahrzeugs mit dem Fellow-Fahrzeug und/oder weiterer Objekte aufweisen.
Die trainierten Encoder können somit dazu verwendet werden, Merkmalsvektoren für alle Trajektorien zu generieren, die die Interaktionsmanöver im Datensatz darstellen. Diese können durch einen Clustering-Algorithmus, wie z.B. hierarchisches Clustering, geclustert werden, um Interaktionsgruppen im Datensatz zu bilden.
Gemäß einer weiteren bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass die Trajektorien- und/oder Geschwindigkeitsdaten des Ego-Fahrzeugs durch einen GPS-Sensor erfasst werden, und wobei die Trajektorien-, Geschwindigkeits- und/oder Klassen-ID-Daten des zumindest eines Objekts sowie die Fahrbahninformationen durch einen Kamera-, LiDAR- und/oder Radarsensor erfasst werden.
Die Algorithmen maschinellen Lernens verarbeiten somit in vorteilhafter Weise Daten unterschiedlicher Sensorenarten, um ähnliche Szenarien auf Basis der Szenariendaten des Datensatzes von Sensordaten zu erzeugen.
Die hierin beschriebenen Merkmale des Verfahrens zum Bereitstellen eines Algorithmus maschinellen Lernens zum Bestimmen ähnlicher Szenarien auf Basis von Szenariendaten eines Datensatzes von Sensordaten sind ebenso auf das erfindungsgemäße Verfahren zum Bestimmen ähnlicher Szenarien auf Basis von Szenariendaten eines Datensatzes von Sensordaten und/oder das Trainingssteuergerät und umgekehrt anwendbar.
Figurenliste
Zum besseren Verständnis der vorliegenden Erfindung und ihrer Vorteile wird nun auf die nachfolgende Beschreibung in Verbindung mit den zugehörigen Zeichnungen verwiesen.
Nachfolgend wird die Erfindung anhand exemplarischer Ausführungsformen näher erläutert, die in den schematischen Abbildungen der Zeichnungen angegeben sind.
Es zeigen:

1 ein Ablaufdiagramm eines computerimplementierten Verfahrens zum Bereitstellen eines Algorithmus maschinellen Lernens zum Bestimmen ähnlicher Szenarien auf Basis von Szenariendaten eines Datensatzes von Sensordaten gemäß einer bevorzugten Ausführungsform der Erfindung;
2 ein Ablaufdiagramm eines Verfahrens zum Bestimmen ähnlicher Szenarien auf Basis von Szenariendaten eines Datensatzes von Sensordaten gemäß der bevorzugten Ausführungsform der Erfindung; und
3 ein Trainingssteuergerät zum Bereitstellen eines Algorithmus maschinellen Lernens zum Bestimmen ähnlicher Szenarien auf Basis von Szenariendaten eines Datensatzes von Sensordaten gemäß der bevorzugten Ausführungsform der Erfindung.

Sofern nicht anders angegeben, bezeichnen gleiche Bezugszeichen gleiche Elemente der Zeichnungen.
Ausführliche Beschreibung der Ausführungsformen
Das in 1 gezeigte Verfahren zum Bereitstellen eines Algorithmus maschinellen Lernens zum Bestimmen ähnlicher Szenarien auf Basis von Szenariendaten eines Datensatzes D von Sensordaten umfasst ein Bereitstellen S1 des Datensatzes D von Sensordaten einer durch eine Mehrzahl fahrzeugseitiger Umfelderkennungsensoren 10 erfassten Fahrt eines Ego-Fahrzeugs 12.
Das Verfahren umfasst des Weiteren ein Erzeugen S2 einer ersten Augmentation 14 des Datensatzes D von Sensordaten und einer sich von der ersten Augmentation 14 unterscheidenden zweiten Augmentation 16 des Datensatzes D von Sensordaten und ein Anwenden S3 eines ersten Algorithmus maschinellen Lernens A1 auf die erste Augmentation 14 des Datensatzes D von Sensordaten zum Erzeugen einer, insbesondere dimensionsreduzierten, Merkmalsrepräsentation 18 der ersten Augmentation 14 des Datensatzes D von Sensordaten und zum Bestimmen S4 einer ersten Klasse K1 eines von der ersten Augmentation 14 des Datensatzes D von Sensordaten umfassten Szenarios.
Das Verfahren umfasst ferner ein Anwenden S5 eines zweiten Algorithmus maschinellen Lernens A2 auf die zweite Augmentation 16 des Datensatzes D von Sensordaten zum Erzeugen einer, insbesondere dimensionsreduzierten, Merkmalsrepräsentation 20 der zweiten Augmentation 16 des Datensatzes D von Sensordaten und zum Bestimmen S6 einer zweiten Klasse K2 eines von der zweiten Augmentation 16 des Datensatzes D von Sensordaten umfassten Szenarios.
Darüber hinaus umfasst das Verfahren ein Anwenden S7 eines Optimierungsalgorithmus A3 auf die durch den ersten Algorithmus maschinellen Lernens A1 ausgegebene Merkmalsrepräsentation 18 der ersten Augmentation 14 des Datensatzes D von Sensordaten, wobei der Optimierungsalgorithmus A3 die durch den zweiten Algorithmus maschinellen Lernens A2 ausgegebene Merkmalsrepräsentation 20 der zweiten Augmentation 16 des Datensatzes D von Sensordaten approximiert.
Des Weiteren wird ein Ähnlichkeitsverlust V zwischen der durch den ersten Algorithmus maschinellen Lernens A1 ausgegebenen ersten Klasse K1 des von der ersten Augmentation 14 des Datensatzes D von Sensordaten umfassten Szenarios und der durch den zweiten Algorithmus maschinellen Lernens A2 ausgegebenen zweiten Klasse K2 des von der zweiten Augmentation 16 des Datensatzes D von Sensordaten umfassten Szenarios durch den Optimierungsalgorithmus A3 minimiert.
Der erste Algorithmus maschinellen Lernens A1 weist einen ersten Encoder E1 auf, welcher Trajektorien- und/oder Geschwindigkeitsdaten 22 des Ego-Fahrzeugs 12 der ersten Augmentation 14 des Datensatzes D von Sensordaten empfängt.
Ferner weist der erste Algorithmus maschinellen Lernens A1 einen zweiten Encoder E2 auf, welcher Trajektorien-, Geschwindigkeits- und/oder Klassen-ID-Daten 24 zumindest eines Objekts der ersten Augmentation 14 des Datensatzes D von Sensordaten empfängt.
Darüber hinaus weist der erste Algorithmus maschinellen Lernens A1 und einen dritten Encoder E3 auf, welcher Fahrbahninformationen 26 der ersten Augmentation 14 des Datensatzes D von Sensordaten empfängt.
Der zweite Algorithmus maschinellen Lernens A2 weist einen vierten Encoder E4 auf, welcher Trajektorien- und/oder Geschwindigkeitsdaten 28 des Ego-Fahrzeugs 12 der zweiten Augmentation 16 des Datensatzes D von Sensordaten empfängt.
Ferner weist der zweite Algorithmus maschinellen Lernens A2 einen fünften Encoder E5 auf, welcher Trajektorien-, Geschwindigkeits- und/oder Klassen-ID-Daten 30 zumindest eines Objekts der zweiten Augmentation 16 des Datensatzes D von Sensordaten empfängt.
Darüber hinaus weist der zweite Algorithmus maschinellen Lernens A2 einen sechsten Encoder E6 auf, welcher Fahrbahninformationen 32 der zweiten Augmentation 16 des Datensatzes D von Sensordaten empfängt.
Der erste Encoder El, der zweite Encoder E2 und der dritte Encoder E3 geben jeweils einen Merkmalsvektor aus, welche zu einem ersten Merkmalsvektor MV1 konkateniert werden. Der vierte Encoder E4, der fünfte Encoder E5 und der sechste Encoder E6 geben ebenfalls jeweils einen Merkmalsvektor aus, welche zu einem zweiten Merkmalsvektor MV2 konkateniert werden.
Der erste Algorithmus maschinellen Lernens A1 bestimmt die erste Klasse K1 des von der ersten Augmentation 14 des Datensatzes D von Sensordaten umfassten Szenarios unter Verwendung des konkatenierten ersten Merkmalsvektors MV1. Der zweite Algorithmus maschinellen Lernens A2 bestimmt die zweite Klasse K2 des von der zweiten Augmentation 16 des Datensatzes D von Sensordaten umfassten Szenarios unter Verwendung des konkatenierten zweiten Merkmalsvektors MV2. Der erste bis sechste Encoder E1-E6 weisen ferner LSTM-Schichten auf.
Von dem Datensatz D von Sensordaten umfasste Trajektoriendaten 22, 28 des Ego-Fahrzeugs 12 und/oder des Objekts weisen in Abhängigkeit einer Anzahl von Zeitschritten, in denen sich das Objekt in einem Erfassungsbereich der Mehrzahl fahrzeugseitiger Umfelderkennungsensoren 10 befindet, jeweils eine unterschiedliche Merkmalsgröße auf.
Der erste Algorithmus maschinellen Lernens A1 und der zweite Algorithmus maschinellen Lernens A2 zur Verarbeitung der von dem Datensatz D von Sensordaten umfassten Trajektoriendaten 22, 28 des Ego-Fahrzeugs 12 und/oder des Objekts verwenden des Weiteren Ragged-Tensoren. Die erste Augmentation 14 und die zweite Augmentation 16 zum Erstellen unterschiedlicher Varianten des Datensatzes D von Sensordaten sind dabei zufällig erzeugt.
Die Szenarien weisen Fahrmanöver des Ego-Fahrzeugs 12 und/oder eines Fellow-Fahrzeugs und/oder Interaktionsmanöver des Ego-Fahrzeugs 12 mit dem Fellow-Fahrzeug und/oder weiterer Objekte auf.
Die Trajektorien- und/oder Geschwindigkeitsdaten 22, 28 des Ego-Fahrzeugs 12 werden durch einen GPS-Sensor erfasst. Die Trajektorien-, Geschwindigkeits- und/oder Klassen-ID-Daten 24, 30 des zumindest eines Objekts sowie die Fahrbahninformationen werden durch einen Kamera-, LiDAR- und/oder Radarsensor erfasst.
2 zeigt ein Ablaufdiagramm eines Verfahrens zum Bestimmen ähnlicher Szenarien auf Basis von Szenariendaten eines Datensatzes von Sensordaten gemäß der bevorzugten Ausführungsform der Erfindung.
Das Verfahren umfasst ein Bereitstellen S1' des Datensatzes D von Sensordaten einer durch eine Mehrzahl fahrzeugseitiger Umfelderkennungsensoren 10 erfassten Fahrt eines Ego-Fahrzeugs 12 und ein Anwenden S2` eines erfindungsgemäß trainierten Algorithmus maschinellen Lernens auf den Datensatz D von Sensordaten zum Bestimmen, insbesondere Clustern, ähnlicher Szenarien.
3 zeigt ein Trainingssteuergerät 1 zum Bereitstellen eines Algorithmus maschinellen Lernens zum Bestimmen ähnlicher Szenarien auf Basis von Szenariendaten eines Datensatzes von Sensordaten gemäß der bevorzugten Ausführungsform der Erfindung.
Das Trainingssteuergerät 1 umfasst Mittel 34 zum Empfangen des Datensatzes D von Sensordaten einer durch eine Mehrzahl fahrzeugseitiger Umfelderkennungsensoren 10 erfassten Fahrt eines Ego-Fahrzeugs 12 sowie Mittel 36 zum Erzeugen einer ersten Augmentation 14 des Datensatzes D von Sensordaten und einer sich von der ersten Augmentation 14 unterscheidenden zweiten Augmentation 16 des Datensatzes D von Sensordaten.
Des Weiteren weist das Trainingssteuergerät 1 Mittel 38 zum Anwenden eines ersten Algorithmus maschinellen Lernens A1 auf die erste Augmentation 14 des Datensatzes D von Sensordaten zum Erzeugen einer, insbesondere dimensionsreduzierten, Merkmalsrepräsentation 18 der ersten Augmentation 14 des Datensatzes D von Sensordaten und zum Bestimmen einer ersten Klasse K1 eines von der ersten Augmentation 14 des Datensatzes D von Sensordaten umfassten Szenarios auf.
Das Trainingssteuergerät 1 umfasst ferner Mittel 40 zum Anwenden eines zweiten Algorithmus maschinellen Lernens A2 auf die zweite Augmentation 16 des Datensatzes D von Sensordaten zum Erzeugen einer, insbesondere dimensionsreduzierten, Merkmalsrepräsentation 20 der zweiten Augmentation 16 des Datensatzes D von Sensordaten und zum Bestimmen einer zweiten Klasse K2 eines von der zweiten Augmentation 16 des Datensatzes D von Sensordaten umfassten Szenarios.
Darüber hinaus weist das Trainingssteuergerät 1 Mittel 42 zum Anwenden eines Optimierungsalgorithmus A3 auf die durch den ersten Algorithmus maschinellen Lernens A1 ausgegebene Merkmalsrepräsentation 18 der ersten Augmentation 14 des Datensatzes D von Sensordaten auf, wobei der Optimierungsalgorithmus A3 die durch den zweiten Algorithmus maschinellen Lernens A2 ausgegebene Merkmalsrepräsentation 20 der zweiten Augmentation 16 des Datensatzes D von Sensordaten approximiert.
Bezugszeichenliste

1: Trainingssteuergerät
10: Umfelderkennungssensoren
12: Ego-Fahrzeug
14: erste Augmentation
16: zweite Augmentation
18, 20: dimensionsreduzierte Merkmalsrepräsentation
22, 28: Trajektorien- und/oder Geschwindigkeitsdaten
24, 30: Klassen-ID-Daten
26, 32: Fahrbahninformationen
34, 36: Mittel
38, 40: Mittel
42: Mittel
A1: erster Algorithmus maschinellen Lernens
A2: zweiter Algorithmus maschinellen Lernens
A3: Optimierungsalgorithmus
D: Datensatz
E1: erster Encoder
E2: zweiter Encoder
E3: dritter Encoder
E4: vierter Encoder
E5: fünfter Encoder
E6: sechster Encoder
K1: erste Klasse
K2: zweite Klasse
MV1: erster Merkmalsvektor
MV2: zweiter Merkmalsvektor
S1-S6: Verfahrensschritte
S1'-S2': Verfahrensschritte
V: Ähnlichkeitsverlust

Claims

Computerimplementiertes Verfahren zum Bereitstellen eines Algorithmus maschinellen Lernens zum Bestimmen ähnlicher Szenarien auf Basis von Szenariendaten eines Datensatzes (D) von Sensordaten, mit den Schritten: Bereitstellen (S1) des Datensatzes (D) von Sensordaten einer durch eine Mehrzahl fahrzeugseitiger Umfelderkennungsensoren (10) erfassten Fahrt eines Ego-Fahrzeugs (12); Erzeugen (S2) einer ersten Augmentation (14) des Datensatzes (D) von Sensordaten und einer sich von der ersten Augmentation (14) unterscheidenden zweiten Augmentation (16) des Datensatzes (D) von Sensordaten; Anwenden (S3) eines ersten Algorithmus maschinellen Lernens (A1) auf die erste Augmentation (14) des Datensatzes (D) von Sensordaten zum Erzeugen einer, insbesondere dimensionsreduzierten, Merkmalsrepräsentation (18) der ersten Augmentation (14) des Datensatzes (D) von Sensordaten und zum Bestimmen (S4) einer ersten Klasse (K1) eines von der ersten Augmentation (14) des Datensatzes (D) von Sensordaten umfassten Szenarios; Anwenden (S5) eines zweiten Algorithmus maschinellen Lernens (A2) auf die zweite Augmentation (16) des Datensatzes (D) von Sensordaten zum Erzeugen einer, insbesondere dimensionsreduzierten, Merkmalsrepräsentation (20) der zweiten Augmentation (16) des Datensatzes (D) von Sensordaten und zum Bestimmen (S6) einer zweiten Klasse (K2) eines von der zweiten Augmentation (16) des Datensatzes (D) von Sensordaten umfassten Szenarios; und Anwenden (S7) eines Optimierungsalgorithmus (A3) auf die durch den ersten Algorithmus maschinellen Lernens (A1) ausgegebene Merkmalsrepräsentation (18) der ersten Augmentation (14) des Datensatzes (D) von Sensordaten, wobei der Optimierungsalgorithmus (A3) die durch den zweiten Algorithmus maschinellen Lernens (A2) ausgegebene Merkmalsrepräsentation (20) der zweiten Augmentation (16) des Datensatzes (D) von Sensordaten approximiert.
Computerimplementiertes Verfahren nach Anspruch 1, wobei ein Ähnlichkeitsverlust (V) zwischen der durch den ersten Algorithmus maschinellen Lernens (A1) ausgegebenen ersten Klasse (K1) des von der ersten Augmentation (14) des Datensatzes (D) von Sensordaten umfassten Szenarios und der durch den zweiten Algorithmus maschinellen Lernens (A2) ausgegebenen zweiten Klasse (K2) des von der zweiten Augmentation (16) des Datensatzes (D) von Sensordaten umfassten Szenarios durch den Optimierungsalgorithmus (A3) minimiert wird.
Computerimplementiertes Verfahren nach Anspruch 1 oder 2, wobei der erste Algorithmus maschinellen Lernens (A1) einen ersten Encoder (E1), welcher Trajektorien- und/oder Geschwindigkeitsdaten (22) des Ego-Fahrzeugs (12) der ersten Augmentation (14) des Datensatzes (D) von Sensordaten empfängt, einen zweiten Encoder (E2), welcher Trajektorien-, Geschwindigkeits- und/oder Klassen-ID-Daten (24) zumindest eines Objekts der ersten Augmentation (14) des Datensatzes (D) von Sensordaten empfängt und einen dritten Encoder (E3), welcher Fahrbahninformationen (26) der ersten Augmentation (14) des Datensatzes (D) von Sensordaten empfängt, aufweist.
Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, wobei der zweite Algorithmus maschinellen Lernens (A2) einen vierten Encoder (E4), welcher Trajektorien- und/oder Geschwindigkeitsdaten (28) des Ego-Fahrzeugs (12) der zweiten Augmentation (16) des Datensatzes (D) von Sensordaten empfängt, einen fünften Encoder (E5), welcher Trajektorien-, Geschwindigkeits- und/oder Klassen-ID-Daten (30) zumindest eines Objekts der zweiten Augmentation (16) des Datensatzes (D) von Sensordaten empfängt und einen sechsten Encoder (E6), welcher Fahrbahninformationen (32) der zweiten Augmentation (16) des Datensatzes (D) von Sensordaten empfängt, aufweist.
Computerimplementiertes Verfahren nach Anspruch 3 oder 4, wobei der erste Encoder (E1), der zweite Encoder (E2) und der dritte Encoder (E3) jeweils einen Merkmalsvektor ausgeben, welche zu einem ersten Merkmalsvektor (MV1) konkateniert werden, und wobei der vierte Encoder (E4), der fünfte Encoder (E5) und der sechste Encoder (E6) jeweils einen Merkmalsvektor ausgeben, welche zu einem zweiten Merkmalsvektor (MV2) konkateniert werden.
Computerimplementiertes Verfahren nach Anspruch 5, wobei der erste Algorithmus maschinellen Lernens (A1) die erste Klasse (K1) des von der ersten Augmentation (14) des Datensatzes (D) von Sensordaten umfassten Szenarios unter Verwendung des konkatenierten ersten Merkmalsvektors (MV1) bestimmt, und wobei der zweite Algorithmus maschinellen Lernens (A2) die zweite Klasse (K2) des von der zweiten Augmentation (16) des Datensatzes (D) von Sensordaten umfassten Szenarios unter Verwendung des konkatenierten zweiten Merkmalsvektors (MV2) bestimmt.
Computerimplementiertes Verfahren nach einem der Ansprüche 3 bis 6, wobei der erste bis sechste Encoder (E1-E6) LSTM-Schichten aufweisen.
Computerimplementiertes Verfahren nach einem der Ansprüche 3 bis 7, wobei von dem Datensatz (D) von Sensordaten umfasste Trajektoriendaten (22, 28) des Ego-Fahrzeugs (12) und/oder des Objekts in Abhängigkeit einer Anzahl von Zeitschritten, in denen sich das Objekt in einem Erfassungsbereich der Mehrzahl fahrzeugseitiger Umfelderkennungsensoren (10) befindet, jeweils eine unterschiedliche Merkmalsgröße aufweisen.
Computerimplementiertes Verfahren nach Anspruch 8, wobei der erste Algorithmus maschinellen Lernens (A1) und der zweite Algorithmus maschinellen Lernens (A2) zur Verarbeitung der von dem Datensatz (D) von Sensordaten umfassten Trajektoriendaten (22, 28) des Ego-Fahrzeugs (12) und/oder des Objekts Ragged-Tensoren verwenden.
Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, wobei die erste Augmentation (14) und die zweite Augmentation (16) zum Erstellen unterschiedlicher Varianten des Datensatzes (D) von Sensordaten zufällig erzeugt sind.
Computerimplementiertes Verfahren nach einem der vorhergehenden Ansprüche, wobei die Szenarien Fahrmanöver des Ego-Fahrzeugs (12) und/oder eines Fellow-Fahrzeugs und/oder Interaktionsmanöver des Ego-Fahrzeugs (12) mit dem Fellow-Fahrzeug und/oder weiterer Objekte aufweisen.
Computerimplementiertes Verfahren nach Anspruch 3, wobei die Trajektorien- und/oder Geschwindigkeitsdaten (22, 28) des Ego-Fahrzeugs (12) durch einen GPS-Sensor erfasst werden, und wobei die Trajektorien-, Geschwindigkeits- und/oder Klassen-ID-Daten (24, 30) des zumindest eines Objekts sowie die Fahrbahninformationen durch einen Kamera-, LiDAR- und/oder Radarsensor erfasst werden.
Computerimplementiertes Verfahren zum Bestimmen ähnlicher Szenarien auf Basis von Szenariendaten eines Datensatzes (D) von Sensordaten, mit den Schritten: Bereitstellen (S1') des Datensatzes (D) von Sensordaten einer durch eine Mehrzahl fahrzeugseitiger Umfelderkennungsensoren (10) erfassten Fahrt eines Ego-Fahrzeugs (12); und Anwenden (S2') eines nach einem der Ansprüche 1 bis 12 trainierten Algorithmus maschinellen Lernens auf den Datensatz (D) von Sensordaten zum Bestimmen, insbesondere Clustern, ähnlicher Szenarien.
Trainingssteuergerät (1) zum Bereitstellen eines Algorithmus maschinellen Lernens zum Bestimmen ähnlicher Szenarien auf Basis von Szenariendaten eines Datensatzes (D) von Sensordaten, umfassend: Mittel (34) zum Empfangen des Datensatzes (D) von Sensordaten einer durch eine Mehrzahl fahrzeugseitiger Umfelderkennungsensoren (10) erfassten Fahrt eines Ego-Fahrzeugs (12); Mittel (36) zum Erzeugen einer ersten Augmentation (14) des Datensatzes (D) von Sensordaten und einer sich von der ersten Augmentation (14) unterscheidenden zweiten Augmentation (16) des Datensatzes (D) von Sensordaten; Mittel (38) zum Anwenden eines ersten Algorithmus maschinellen Lernens (A1) auf die erste Augmentation (14) des Datensatzes (D) von Sensordaten zum Erzeugen einer, insbesondere dimensionsreduzierten, Merkmalsrepräsentation (18) der ersten Augmentation (14) des Datensatzes (D) von Sensordaten und zum Bestimmen einer ersten Klasse (K1) eines von der ersten Augmentation (14) des Datensatzes (D) von Sensordaten umfassten Szenarios; Mittel (40) zum Anwenden eines zweiten Algorithmus maschinellen Lernens (A2) auf die zweite Augmentation (16) des Datensatzes (D) von Sensordaten zum Erzeugen einer, insbesondere dimensionsreduzierten, Merkmalsrepräsentation (20) der zweiten Augmentation (16) des Datensatzes (D) von Sensordaten und zum Bestimmen einer zweiten Klasse (K2) eines von der zweiten Augmentation (16) des Datensatzes (D) von Sensordaten umfassten Szenarios; und Mittel (42) zum Anwenden eines Optimierungsalgorithmus (A3) auf die durch den ersten Algorithmus maschinellen Lernens (A1) ausgegebene Merkmalsrepräsentation (18) der ersten Augmentation (14) des Datensatzes (D) von Sensordaten, wobei der Optimierungsalgorithmus (A3) die durch den zweiten Algorithmus maschinellen Lernens (A2) ausgegebene Merkmalsrepräsentation (20) der zweiten Augmentation (16) des Datensatzes (D) von Sensordaten approximiert.
Computerprogramm mit Programmcode, um das Verfahren nach einem der Ansprüche 1 bis 12 durchzuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird.