DE102022214233B3

DE102022214233B3 - Bestimmen einer Ähnlichkeit von Verkehrsszenen zur Verbesserung maschineller Lernsysteme bzw. Algorithmen zur Trajektorienprädiktion oder Manöverplanung für automatisierte Fahrzeuge

Info

Publication number: DE102022214233B3
Application number: DE102022214233.0A
Authority: DE
Inventors: Albert Kos; Jannik Scharrenbach
Original assignee: Continental Automotive Technologies GmbH
Current assignee: Continental Automotive Technologies GmbH
Priority date: 2022-12-21
Filing date: 2022-12-21
Publication date: 2024-02-08
Anticipated expiration: 2042-12-22

Abstract

Die Erfindung betrifft ein computerimplementiertes Verfahren zum Ausgeben von Verkehrsszenen aus einer Datenbank (10), die Verwendung der ausgegebenen Szenen zur Verbesserung maschineller Lernsysteme bzw. Algorithmen zur Trajektorienprädiktion oder Manöverplanung für automatisierte Fahrzeuge, ein Computer Programm betreffend ein verbessertes maschinelles Lernsystem oder einen verbesserten Algorithmus, eine entsprechend konfigurierte Vorrichtung sowie ein Fahrzeug.Das Verfahren umfasst die Schritte:b) Empfangen einer Trajektorienrepräsentation (z.B. in Form einer Trajektorien-Matrix) einer Ausgangsverkehrsszene;c) Bestimmen eines Referenzpunktes (bzw. einer Referenzkoordinate) der Ausgangsverkehrsszene;d) Berechnen einer Ähnlichkeitsmetrik zwischen der Ausgangsverkehrsszene und den in der Datenbank (10) gespeicherten Verkehrsszenen auf Grundlage der Trajektorienrepräsentation unter Berücksichtigung des Referenzpunktes; unde) Ausgeben der gespeicherten Verkehrsszenen, bei denen die Ähnlichkeitsmetrik beim Vergleich mit der Ausgangsverkehrsszene innerhalb eines Ähnlichkeitsschwellwerts liegt (S40).

Description

Die Erfindung betrifft ein computerimplementiertes Verfahren zum Bestimmen einer Ähnlichkeit von Verkehrsszenen und zum Ausgeben von Verkehrsszenen aus einer Datenbank, die hinreichend ähnlich zu einer Ausgangsszene sind. Die Erfindung betrifft des Weiteren die Verwendung der ausgegebenen Szenen zur Verbesserung maschineller Lernsysteme bzw. Algorithmen zur Trajektorienprädiktion oder Manöverplanung für automatisierte Fahrzeuge, ein Computer Programm betreffend ein verbessertes maschinelles Lernsystem oder einen verbesserten Algorithmus, eine entsprechend konfigurierte Vorrichtung und ein Fahrzeug.
Im Allgemeinen existieren Metriken zur Ermittlung der Qualität eines Machine-learning-basierten Algorithmus. Ein Beispiel zur Quantifizierung von lateralen Abweichungen eines Trajektorienprädiktionsalgorithmus ist der Average Displacement Error (ADE), siehe z.B. die Veranschaulichung des ADE in 1a aus B. Ivanovic and M. Pavone, Rethinking trajectory forecasting evaluation, veröffentlicht unter arXiv:2107.10297 [cs.RO], https://arxiv.org/abs/2107.10297 , abgerufen am 16.12.2022. Die bekannten Metriken können nicht verwendet werden, um vergleichbare Verkehrsszenen zu finden, zu labeln und zu beschreiben.
Dokument DE 10 2021 203 080 B3 betrifft ein computer-implementiertes Verfahren zur Bewertung der Genauigkeit einer von einer Verarbeitungsvorrichtung (18) definierten Schwarmtrajektorien-Position einer Schwarmtrajektorie auf einem definierten Fahrbahnabschnitt, wobei eine Vielzahl von Egotrajektorien-Positionen erfasst und daraus Schwarmtrajektorien-Positionen erzeugt werden, wobei für jeden gebildeten Schwarmtrajektorien-Wert xi der Schwarmtrajektorie eine Standardabweichung σi gebildet wird und danach die erzeugten Schwarmtrajektorien-Positionen und ein jeweils zugehöriger Genauigkeitskoeffizient als Paar für jede Schwarmtrajektorien-Position gespeichert werden, wobei die Genauigkeitskoeffizienten proportional sind zu den Standardabweichungen. Weiter betrifft Das Dokument ein computer-implementierte Verfahren zum Ansteuern eines Nachfolgefahrzeuges, ein computer-implementiertes Verfahren zur Ermittlung einer Position eines Nachfolgefahrzeuges auf dem definierten Fahrbahnabschnitt, ein Steuersystem zum Ansteuern des Nachfolgefahrzeuges sowie ein Computerprogrammprodukt, die das Verfahren zur Bewertung der Genauigkeit verwenden.
Dokument DE 10 2016 222 259 A1 betrifft ein Verfahren zum Bereitstellen von Daten für eine erste Trajektorie und eine zweite Trajektorie, bei dem Trajektoriendaten der ersten und der zweiten Trajektorie erfasst werden. Dabei werden anhand der erfassten Trajektoriendaten Trajektorien-Datenbankdaten für die erste und die zweite Trajektorie erzeugt und die Trajektorien-Datenbankdaten werden nichtflüchtig gespeichert. Anhand der erfassten Trajektoriendaten wird ein Trajektorienvergleich der ersten und der zweiten Trajektorie durchgeführt und bei dem Trajektorienvergleich wird anhand der ersten und der zweiten Trajektorie zumindest ein gemeinsamer Abschnitt bestimmt. Beim Speichern der Trajektorien-Datenbankdaten wird der gemeinsame Abschnitt als eine gemeinsame Datenstruktur für die erste und die zweite Trajektorie gespeichert. Die Erfindung betrifft ferner ein System zum Bereitstellen von Daten für eine erste Trajektorie und eine zweite Trajektorie mit einer Trajektorien-Erfassungseinheit, durch welche Trajektoriendaten der ersten und der zweiten Trajektorie erfassbar sind, einer Recheneinheit, durch die anhand der erfassten Trajektoriendaten Trajektorien-Datenbankdaten für die erste und die zweite Trajektorie erzeugbar sind, und einer Speichereinheit, durch welche die Trajektorien-Datenbankdaten nichtflüchtig speicherbar sind.
Für das Trainieren, Testen und Nachtrainieren von maschinellen Lernsystemen, die Trajektorien prädizieren oder Manöver für automatisiertes Fahren planen, ist die Erzeugung von synthetischen Daten für das Verhalten von Objekten bzw. Akteuren in Verkehrssituationen von großer Bedeutung. Die synthetischen Daten werden in aller Regel mit realen Daten gemischt, um das maschinelle Erlernen von Artefakten auszuschließen bzw. diese Gefahr zu minimieren. Ein Verfahren zum Identifizieren von Verkehrsszenen in einer Datenbank, die eine große Ähnlichkeit zu einer generierten synthetischen Verkehrsszene aufweisen, ist daher von großem Interesse für die Robustheit von Lösungen für die Trajektorienprädiktion bzw. Manöverplanung.
DE 102022000238 A1 zeigt ein Verfahren zum Trainieren und Testen eines Algorithmus zur Prädiktion von Agenten in einer Fahrzeugumgebung, welches mittels eines maschinell trainierten Trajektorienautoencoders durchgeführt wird. Dabei werden nach dem Training des Trajektorienautoencoders zu einem Auffinden ähnlicher Szenen mittels des Trajektorienautoencoders für einen gesamten nach ähnlichen Szenen zu durchsuchenden Datensatz bestehend aus allen Szenen, latente Repräsentationen erzeugt. Weiterhin wird eine zu suchende Szene, für welche ähnliche Szenen im Datensatz gefunden werden sollen, codiert und für die zu suchende Szene wird eine latente Repräsentation gebildet. Mittels einer Ähnlichkeitsmetrik wird die latente Repräsentation der zu suchenden Szene mit allen anderen latenten Repräsentationen im Datensatz verglichen und ähnliche Szenen werden gesucht. Mittels des trainierten Trajektorienautoencoders und gefundenen ähnlichen Szenen wird ein bestehender Trajektorienprädiktionsalgorithmus trainiert, nachtrainiert und/oder getestet. Als einzige Erläuterung hinsichtlich der Realisierung der Ähnlichkeitsmetrik wird erläutert, dass der Vergleich zwischen den latenten Repräsentationen der zu suchenden Szene und den Szenen in der Datenbank über eine so genannte Kosinus-Ähnlichkeit erfolgen könne.
Es ist eine Aufgabe der Erfindung, eine verbesserte Lösung zum Ausgeben von ähnlichen Verkehrsszenen aus einer Datenbank anzugeben.
Ein erster Aspekt der Erfindung betrifft ein computerimplementiertes Verfahren zum Ausgeben einer oder mehrerer Verkehrsszenen aus einer Datenbank. Das Verfahren umfasst die Schritte:

b) Empfangen einer Trajektorienrepräsentation (z.B. in Form einer Trajektorien-Matrix) einer Ausgangsverkehrsszene;
c) Bestimmen eines Referenzpunktes (bzw. einer Referenzkoordinate) der Ausgangsverkehrsszene;
d) Berechnen einer Ähnlichkeitsmetrik zwischen der Ausgangsverkehrsszene und den in der Datenbank gespeicherten Verkehrsszenen auf Grundlage der Trajektorienrepräsentation unter Berücksichtigung des Referenzpunktes; und
e) Ausgeben der gespeicherten Verkehrsszenen, bei denen die Ähnlichkeitsmetrik beim Vergleich mit der Ausgangsverkehrsszene innerhalb eines Ähnlichkeitsschwellwerts liegt.

In Schritt c) kann es von der Art der in der Datenbank enthaltenen Szenen abhängen, ob ein (gemeinsamer bzw. einziger) Referenzpunkt der Ausgangsszene für den Vergleich mit allen in der Datenbank gespeicherten Szenen bestimmt werden kann. Es kann auch sein, dass für verschiedene Gruppen von gespeicherten Szenen jeweils verschiedene Referenzpunkte zu ermitteln sind. Ohne jegliches Vorwissen über die in der Datenbank gespeicherten Szenen, kann es sogar erforderlich sein für jeden Vergleich einen Referenzpunkt zu ermitteln. Der Referenzpunkt dient dazu, ein einheitliches Bezugssystem zwischen Such-(Ausgangs-) und Vergleichsszene zu erhalten.
Vor der Berechnung der Ähnlichkeitsmetrik kann überprüft werden, ob ein Vergleich zweier Szenen überhaupt sinnvoll erscheint. Ein Kriterium hierfür ist die Anzahl an Akteuren in den beiden Szenen. Sofern diese nicht übereinstimmt, ist eine Vergleichbarkeit in zunächst nicht ohne weiteres gegeben.
Gemäß einer Ausführungsform umfasst das Verfahren zusätzlich die Schritte:

a1) Empfangen einer Ausgangsverkehrsszene in Form von Daten mindestens eines Umgebungserfassungssensors und
a2) Ermitteln der Trajektorienrepräsentation durch eine Auswertung der Daten des Umgebungserfassungssensors.

In einer Ausführungsform umfasst das Verfahren weiterhin entweder b1) Empfangen mindestens einer Zusatzinformation oder a3) Ermitteln mindestens einer Zusatzinformation durch eine Auswertung der Daten des Umgebungserfassungssensors
und
d1) wobei beim Berechnen der Ähnlichkeitsmetrik die Zusatzinformation berücksichtigt wird.
Die Zusatzinformation bezieht sich auf eine zusätzliche Information zu der Szene, dies kann ein Ordnungskriterium bzw. eine Charakteristik sein, die insbesondere eine Vorselektion bzw. Filterung der in der Datenbank gespeicherten Szenen ermöglicht, um die Ähnlichkeitsmetrik nicht für alle in der Datenbank gespeicherten Szene ermitteln zu müssen. Die Zusatzinformation kann eine Filterung der Szenen ermöglichen bezüglich:

- gleichem Ort (anhand einer GPS-Position oder bei einem fest installierten Sensor),
- gleicher Tageszeit oder Uhrzeit,
- gleicher Straßentopologie,
- gleicher Anzahl an Akteuren,
- gleicher Beschilderung, und/oder
- gleicher geltender Geschwindigkeitsbegrenzung))

Die Anzahl an Akteuren bei den in der Datenbank gespeicherten Szenen ist ein Beispiel für ein mögliches Ordnungskriterium innerhalb der Szenendatenbank. Damit können für den Vergleich anhand der Berechnung der Ähnlichkeitsmetrik in Frage kommende gespeicherte Szenen vorselektiert werden.
In einem Beispiel werden die Trajektorien in Form von Polygonzügen (1 pro Objekt) repräsentiert und die Ähnlichkeitsmetrik wird durch einen Vergleich von Polygonzügen der Ausgangsverkehrsszene und Polygonzügen jeweils einer der in der Datenbank gespeicherten Verkehrsszenen ermittelt.
In einer Weiterbildung wird als Ähnlichkeitsmetrik ein Wert berechnet wird, der die durchschnittliche Verschiebung zwischen zwei Szenen (das Average-Scene-Displacement, ASD) angibt, wobei der Referenzpunkt als Bezugspunkt für die Berechnung der durchschnittlichen Verschiebung verwendet wird.
Trajektorien können in allgemeiner Form durch Polynomzüge repräsentiert werden (Splines n-ten Grades).
In einer alternativen Weiterbildung wird als Ähnlichkeitsmetrik ein Wert berechnet, der durch eine Fast Fourier Transformation (FFT) von Polygonzügen oder von Polynomzügen ermittelt wird.
Gemäß einer Ausführungsform wird der Referenzpunkt aus einem bekannten Label eines Punkts abgeleitet. Das Label kann hierbei z.B. den Standpunkt eines ortsfesten Sensors angeben, von dem beide Trajektorien erfasst worden sind. Der Referenzpunkt ergibt sich dann aus bekannten Koordinaten bzw. der bekannten GPS-Position des Sensors. In diesem Fall stimmt auch die Ausrichtung der Trajektorien bzw. der zugrundeliegenden Erfassungsbereiche des ortsfesten Sensors überein.
In einem Ausführungsbeispiel wird der Referenzpunkt/-koordinate aus Kenntnissen der Vektorgeometrie für bekannte (Szenen-) Topologien ermittelt. Sofern die Szenen eine Straßenkreuzung betreffen, bietet sich der Mittelpunkt der Kreuzung als Referenzpunkt an.
In einer Weiterbildung kann der Referenzpunkt durch den Vergleich bekannter statischer Objekte zweier Szenen zueinander ermittelt werden (z.B. Verkehrsschilder).
Gemäß einer Ausführungsform wird der Referenzpunkt mittels einer allgemeinen Heuristik bestimmt. Damit ist ein allgemeines Verfahren gemeint, welches für alle möglichen Szenen eingesetzt werden kann. Beispielsweise kann als Referenzpunkt der Mittelpunkt aller Trajektorienpunkte der jeweiligen Szene genommen werden.
Ein zweiter Aspekt betrifft das Verwenden der gemäß einem dieser Verfahren in Schritt e) ausgegebenen gespeicherten Verkehrsszenen, um einen bestehenden Algorithmus zur Trajektorienprädiktion und/oder Manöverplanung eines Fahrzeugs mit automatisierten Fahrfunktionen zu trainieren oder zu testen.
Ein dritter Aspekt betrifft ein Computer Programm umfassend einen Algorithmus zur Trajektorienprädiktion und/oder Manöverplanung eines Fahrzeugs mit automatisierten Fahrfunktionen, der gemäß dem zweiten Aspekt trainiert oder getestet worden ist.
Ein vierter Aspekt betrifft eine Vorrichtung zur Erhöhung der Verkehrssicherheit umfassend eine Recheneinheit, die zur Ausführung des Computer Programms konfiguriert ist.
Gemäß einer Weiterbildung umfasst die Vorrichtung Infrastrukturelemente, z.B. mit einer fest installierten Verkehrskamera als „Road side unit“, mit Telekommunikationseinheiten, die eine intelligente Straßenkreuzung begründen.
Ein fünfter Aspekt betrifft ein Fahrzeug mit automatisierten Fahrfunktionen umfassend die Vorrichtung zur Erhöhung der Verkehrssicherheit.
In einer Ausführungsform umfasst das Fahrzeug mindestens einen Umgebungserfassungssensor.
Im Folgenden werden Ausführungsbeispiele und Veranschaulichungen im Kontext der Erfindung anhand von Fig. näher erläutert.
Dabei zeigen

1 einen Ablauf eines Verfahrens zur Ausgabe ähnlicher Szenen,
2 Abläufe eines Prozesses zur Ermittlung der Szenenähnlichkeit,
3 Trajektorien eines Akteurs a und eines Akteurs b mit gleichvielen Bewegungsschritten,
4 Trajektorien eines Akteurs a und eines Akteurs b, wobei b weniger Bewegungsschritte ausführt
5 Trajektorien eines Akteurs a und eines Akteurs b, wobei b mehr Bewegungsschritte ausführt,
6 Veranschaulichung der Identifizierung möglicher Akteurpaare bei einer Szene mit vier Akteuren a0, a1, b0, b1 durch eine erste Paarbildung, und
7 Veranschaulichung der Identifizierung möglicher Akteurpaare bei derselben Szene durch eine zweite Paarbildung.

1 zeigt schematisch einen Ablauf eines Verfahrens, das für einen Nutzer ähnliche Szenen zu einer gesuchten Szene ausgibt.
Im Folgenden beschreibt eine Szene die Sammlung der aufgezeichneten Bewegungsprofile aller Verkehrsteilnehmer in einem geographischen Gebiet über einen begrenzten Zeitraum. Die Bewegungsprofile können bspw. als Vektor aus Position-Zeit-Tupeln (Trajektorien) dargestellt werden.
Um eine bestimmte Verkehrssituation erkennen und suchen zu können, wird ein Verfahren benötigt, welches ähnliche Szenen erkennen kann. Die Unterschiedlichkeit von zwei Szenen ist dafür in geeigneter Weise zu quantifizieren.
Aus der Perspektive des Verfahrensanwendung hat ein Benutzer 1 zwei Möglichkeiten nach ähnlichen Szenen in einer Datenbank 10 zu suchen.

1. Referenz auf Szenen aus der Datenbank 10 bzw. Vorgabe einer Ausgangsszene Aus dieser Referenz bzw. Vorgabe wird automatisiert eine Definition der Szene ermittelt S12, z.B. durch einen Trajektorien-Generator, der basierend auf den Daten eines Umgebungserfassungssensors die Trajektorien aller beweglichen Objekte generiert.
2. Direkte Definition des Eingangsvektors Alternativ kann der Benutzer 1 die Trajektorien der beweglichen Objekte in Form einer Trajektorien-Matrix direkt definieren.

In beiden Fällen wird für das Verfahren ein Vektor mit dem zeitlichen Verlauf der Objektbewegung benötigt oder - in anderen Worten - eine Szenenbeschreibung aller Trajektorien der Szenenobjekte S14. Die Objekte in der Szene (bzw. Szenenobjekte) können auch als Akteure bezeichnet werden. Diese Suchszene ist der Input für den Prozess zur Ermittlung der Szenenähnlichkeit S20 (Szenen-ASD), der in 2 detailliert dargestellt ist. Der Prozess wird für jedes Element der Szenen Datenbank 10 wiederholt.
Ein vorgegebenes Ordnungskriterium kann vor der Ermittlung der Szenenähnlichkeit anhand der Ausgangsszene ermittelt werden. Ein solcher Vorfilter bewirkt ein Eingrenzen des Suchraumes. Beispielsweise kann durch eine vorgegebene Topologie der Umgebung (Kreuzung, Zebrastreifen, ...) der Suchraum eingegrenzt werden und es werden dann nur solche Szenen aus der Datenbank verglichen, die diese Topologie beinhalten bzw. erfüllen.
Dieser Prozess S20 ist rechenintensiv und sollte nicht für jede Suchanfrage wiederholt werden. Daher wird das Ergebnis in einer ASD Datenbank 30 gespeichert. Das Ergebnis besteht aus dem ASD Wert in Bezug zum jeweiligen Referenzpunkt der beiden zueinander verglichenen Szenen sowie jenen Referenzpunkten. Werden die Referenzpunkte zur Laufzeit bestimmt und sind nicht aus einem Label ableitbar, können bereits bestimmte Referenzpunkte verwendet werden, um den Prozess zur Ermittlung des Szenenreferenzpunkt zwischen der eingegebenen Suchszene und ähnlichen Szenen zu den bereits verarbeiteten Vergleichsszenen zu optimieren. Optional können weitere Attribute, welche den Suchraum eingrenzen können (z.B. Typ und Anzahl der Verkehrsschilder, Straßentopologie, GPS-Koordinate, etc.) in der Szenendatenbank hinterlegt werden. Das Ergebnis dieses Verfahrens liefert die ähnlichsten Szenen aus der Szenendatenbank 10. Es ist möglich den ASD und Referenzpunkt aus der ASD-Datenbank 30 für eine direkte Analyse zu verwenden, z.B. als Datenbankabfrage: Finde alle Elemente mit ASD < 2 zu Szene X, wobei Szene X eine Szene aus der Datenbank 10 ist (S32). Die gefundenen ähnlichen Szenen werden ausgegeben S40 und können durch den Nutzer oder auch automatisiert verwendet werden, um einen bestehenden Algorithmus zur Trajektorienprädiktion bzw. einen Algorithmus zur Manöverplanung eines Fahrzeugs mit automatisierten Fahrfunktionen zu trainieren oder zu testen.
Ist die Berechnung eines ASD Wertes für eine Suchanfrage noch nicht geschehen wird das Verfahren im nutzerfreundlichen Fall über die Referenz zu einer bestehenden Szene aus der Datenbank verwendet. Dafür werden für diese Szene alle Trajektorien generiert (Trajektorien-Generator). Der Nutzer kann die Trajektorien-Matrix jedoch auch selbst definieren oder diesen über eine andere (synthetische) Quelle beziehen.
Die Menge der vorhandenen Szenen S = {A, B, C, D, E, ...} kann auch in verschiedene Teilmengen, z.B. {A, E}, unterteilt werden. Beispielsweise wird nur für die Paare, die sich aus dem Kreuzprodukt der Teilmengen ergeben, oder nur innerhalb der Teilmengen der ASD-Wert bestimmt. So kann der Berechnungsaufwand minimiert werden.
Zum Testen und Trainieren von Algorithmen für hochautomatisiertes Fahren (HAD, Highly Automated Driving) können passende Szenen gefunden werden.
Dies ist insbesondere bei der Definition von „operational design domains“ gemäß der zukünftigen Richtlinie SAE J3259 „Taxonomy & Definitions for Operational Design Domain (ODD) for Driving Automation Systems“ (Letzter Stand: Work-in-Progress vom 15.7.2021) wichtig. Daraus kann eine HAD-domänenspezifische Sprache zur Definition von Operational Design Domains entwickelt werden.
Im Weiteren kann die Erfindung zur Ermittlung von relevanten/gefährlichen Szenen dienen, um z.B. Orte/Straßentopologien mit hoher Unfallwahrscheinlichkeit zu finden.
Für eine Ausführung in der Praxis können die Szenen in eine Trainingsmenge und eine Testmenge unterteilt werden. Beim Testen der Prädiktion treten für eine Szene der Testmenge Auffälligkeiten auf. Mittels der Datenbank können zu der Testszene ähnliche Trainingsdaten bestimmt und der Algorithmus nochmal mit jenen Daten nachtrainiert werden.
ODER: Die Szenen sind in eine Trainingsmenge und Testmenge unterteilt. Beim Testen der Prädiktion treten für eine Szene der Testmenge Auffälligkeiten auf. Mittels der Datenbank können gezielt ähnliche Testszenen gefunden werden, welche dann darauf analysiert werden können, ob die Auffälligkeiten ebenfalls auftreten.
In einem Anwendungsbeispiel möchte ein Datenspezialist einen ML- (auf maschinellem Lernen) basierten Algorithmus auf eine bestimmte Verkehrssituation konditionieren. Dafür möchte er, aus einer ihm unbekannten Datenbank realer Verkehrssituationen, alle Szenen erhalten, welche ein Rechts-vor-Links Szenario zeigen. Durch das angegebene Verfahren erhält der Datenspezialist diese Szenen, indem er einen Suchvektor mit den Trajektorien von zwei Fahrzeugen einer Rechts-vor-Links Szene definiert oder indem er auf eine bekannte Rechts-vor-Links Szene aus dem Bestand der Szenendatenbank referenziert und sie dem Verfahren bereitstellt. Dieser Eingangsvektor kann auch durch ein automatisiertes Verfahren erstellt werden, indem aus einer Szenendatenbank (z.B. Videos realer Straßenkreuzungen); Rechts-vor-Links Szenen referenziert werden.
In einem weiteren Anwendungsbeispiel möchte eine Verkehrsplanerin ermitteln, warum trotz ähnlicher Verkehrssituationen die Unfallwahrscheinlichkeit unterschiedlich ist. Dazu sucht sie nach Kreuzungen ohne Verkehrszeichen und Signalen, indem sie Szenen aus der Datenbank mit diesen Attributen (Keine Zeichen/Signale) aus der Szenen Datenbank referenziert. Die passenden Szenen werden anhand der Ähnlichkeitsmetrik ermittelt und ihr ausgegeben.
2 zeigt schematisch mögliche Abläufe eines Prozesses zur Ermittlung der Szenenähnlichkeit S20. Input sind die gesuchte Szene S21 und eine Vergleichsszene S22.
Zunächst wird unterschieden, ob sich der Referenzpunkt unmittelbar aus einem Label ergibt S23. Sofern dies der Fall ist, wird der Referenzpunkt „gleichgesetzt bzw. ist durch das Label gegeben“ S24. Dies ist beispielsweise dann der Fall, wenn ein Referenzpunkt (Bezugspunkt) zwischen beiden Szenen bekannt ist, z.B. weil die Trajektorien aus Sensordaten einer fest installierten Verkehrskamera (Road side unit) bestimmt werden oder anhand einer hochaufgelösten Positionsinformation (GPS).
Falls nicht, wird ein Referenzpunkt ermittelt S25. Hierbei wird unterschieden, ob ein Label bzw. eine Zusatzinformation für den Umgebungstyp der Szene bekannt ist S26, z.B. weil es sich um eine Kreuzungsszene handelt. In diesem Fall kann der Mittelpunkt der Kreuzung als Referenzpunkt verwendet werden. Zu Bestimmung des Referenzpunkts können Kenntnisse der Vektorgeometrie zur Ermittlung der Referenzkoordinate für bekannte Topologien vorausgesetzt werden. Ein weiteres Beispiel ist bei Kenntnis eines Verkehrszeichens mit einem Richtungspfeil an einer Abzweigung, dass die Verkehrsobjekte, die den Richtungspfeil beachten sich nur in der Richtung bewegen werden, die der Pfeil vorgibt. Analoges gilt für ein „Einfahrt verboten“ Verkehrszeichen: hier ist davon auszugehen, dass die Trajektorien von regelkonform agierenden Verkehrsobjekten sich nicht in die gesperrte Richtung weiterbewegen werden. In einem allgemeinen Beispiel kann der Referenzpunkt aus identifizierten statischen Objekten in einer Szene abgeleitet werden, z.B. aus der Koordinate eines Stoppschilds.
Falls kein Label für den Umgebungstyp der Szene bekannt ist, kann der Referenzpunkt heuristisch gewählt werden S27. Damit ist ein allgemeines Verfahren gemeint, welches für alle möglichen Szenen eingesetzt werden kann. Beispielsweise könnte man als Referenzpunkt den geometrischen Mittelpunkt (bzw. Schwerpunkt) aller Trajektorienpunkte in einer Szene nehmen oder einen Schnittpunkt der Trajektorien von den zwei einzigen oder relevanten Akteuren in einer Szene, wenn sie zum Beginn entsprechend ihrer Orientierung strikt geradeaus fahren würden (allgemeingültige Überlegungen zur Vektorgeometrie).
Möglichkeiten zur Ermittlung eines Referenzpunktes sind also:

- Der Bezugspunkt ist vorher bekannt (Label, GPS, fest installierte Verkehrskamera)
- Gleicher Typ von Umgebung (Kreuzung → Mittelpunkt, Straßenmarkierung) / Straßentopologie (HD-Karte ist bekannt)
- Allgemeines Verfahren für alle möglichen Bezugspunkte (Heuristik)

Sofern die Anzahl von Akteuren in zwei Szenen, die miteinander verglichen werden sollen, nicht übereinstimmt, kann die Anzahl der zu vergleichenden Akteure definiert werden: Es können beispielsweise einzelne Akteure einer Szene ausgewählt werden, welche mit einzelnen Akteuren einer anderen Szene verglichen werden können. Die Aufgabe kann beispielsweise darin liegen, Szenen mit zwei aufeinander zu fahrenden Fahrzeugen zu finden. Dann sind in der Gesamtheit der Szenen solche vorzuselektieren, bei denen zwei Fahrzeuge aufeinander zu fahren. Diese beiden Akteure sind dann für diese Fragestellung die relevanten Akteure. Ob in einer der zu vergleichenden Szenen noch weitere Fahrzeuge existieren, kann außer Acht gelassen werden, zumindest wenn es plausibel erscheint, dass die weiteren Fahrzeuge das Verhalten der beiden relevanten Fahrzeuge nicht beeinflussen. Diese Art der Vorselektion kann man auch als Filtern relevanter Objekte bezeichnen. Ein Beispiel für einen einfachen Filter: Man betrachtet nur zwei Arme einer Kreuzung und berücksichtigt keine statischen Objekte.
In jedem Fall wird ein Szenen-Referenzpunkt für den Vergleich zwischen der Such- und der Vergleichsszene ermittelt (S28).
Der durch das Verfahren ermittelte Referenzpunkt ermöglicht eine optimale Überlagerung von Such- und Vergleichsszene durch Drehung und Verschiebung der Trajektorien innerhalb der Szene der Suchanfrage. Mathematisch kann dies beispielsweise mittels eines Kabsch-Algorithmus berechnet werden, wobei als Translation die beiden Referenzpunkte von Such- und Vergleichsszene zunächst in Einstimmung gebracht werden. Auf diese Weise kann die optimale Rotationsmatrix berechnet werden, die die mittlere quadratische Abweichung zwischen den zwei Sätzen von gepaarten Trajektorienpunkten minimiert. Anschließend wird der ASD Wert berechnet und zurückgegeben S29.
Eine Möglichkeit zur Quantifizierung der Unterschiedlichkeit bzw. Ähnlichkeit zweier Szenen bietet der Average Scene Displacement (ASD)-Wert, der im Folgenden eingeführt und erläutert wird. Dieser ASD-Wert dient maßgeblich zur Erzeugung der Ähnlichkeitsmetrik. Der ASD-Wert lässt sich für Szenen mit einer identischen Anzahl an Akteuren (z.B. Verkehrsteilnehmern) bestimmen.
Das Average Scene Displacement betrachtet Ort und Zeit von Akteuren, die sich durch die Szene bewegen. ASD gibt an, wie unterschiedlich die Gesamtheit der Bewegungen der Akteure in beiden Szenen ist. Letztendlich definiert ASD eine Abstandsmetrik.

Die folgenden Bedingungen müssen für Szenen x, y ∈ S(S ist hierbei die Menge aller möglichen Szenen) erfüllt sein:

ASD (x, y) ≥ 0	(Nicht-Negativität)
ASD (x, y) = ASD (y, x)	(Symmetrie)
ASD (x, z) ≥ ASD (x, y) + ASD (y, z)	(Dreiecksungleichung)
ASD (x, y) = 0 dann und nur dann, wenn x = y.	(Identität des Ununterscheidbaren)

Angenommen zwei Szenen A mit Akteuren a¹...aⁿ und B mit Akteuren b¹...bⁿ bestehen aus m Momentaufnahmen des globalen Umgebungsmodells, wobei in beiden Szenen jeweils n Akteure vorhanden sind.
Die Berechnung des ASD (A, B) umfasst zwei Schritte:

1. Auswertung von Akteurpaaren Für jedes mögliche Paar von Akteuren A × B = {(αⁱ, b^j) | aⁱ ∈ A ∧b^j ∈ B} wird die mittlere punktweise euklidische Distanz berechnet ${\bar{d}}_{i j} = \frac{\sum_{t = 0}^{m} d i s t (a_{t}^{i}, b_{t}^{j})}{m} .$
Das resultiert in n² Berechnungen, da für die n Akteure von A die punktweise Distanz zu allen n Akteuren von B geprüft werden muss.
2. Identifizierung von Akteurpaaren in verglichenen Szenen Jeder Akteur von A muss eindeutig mit exakt einem Akteur von B gepaart werden. Dazu wird für jede mögliche Paarkombination das korrespondierende Mittel $\frac{\sum_{0}^{n} {\bar{d}}_{i j}}{n}$
berechnet. Die Kombination mit dem geringsten assoziierten Mittelwert wird ausgewählt und ASD wird definiert als $ASD = m i n (\frac{\sum_{0}^{n} {\bar{d}}_{i j}}{n}) .$

6 und 7 veranschaulichen die Identifizierung möglicher Akteurpaare bei einer Szene mit vier Akteuren a0, a1, b0, b1. Die Trajektorien der Akteure sind durch die gestrichelten bzw. gepunkteten Geradenabschnitte skizziert. Zu bestimmten Zeitpunkten wird der Euklidische Abstand zwischen zwei möglichen Akteurpaaren bestimmt, der Abstand ist durch die dickeren durchgezogenen Linien dargestellt.
Bei der in 6 dargestellten Akteur-Paarbildung ist der mittlere Abstand d_ij kleiner als in der Akteur-Paarbildung, die in 7 dargestellt ist, da der gesamte punktweise Abstand geringer ist. In diesem Fall entspricht daher der ASD der mittleren Länge aller dickeren durchgezogenen Linien in 6.
Die resultierende Metrik erfüllt die genannten Kriterien einer Abstandsmetrik für Szenen gleicher Länge und mit einer gleichen Anzahl an Akteuren (bzw. Verkehrsteilnehmern). Sie basiert auf der Euklidischen Abstandsmetrik. Somit repräsentiert ASD eine skalare Distanz in Bezug auf den Raum der verglichenen Szenarien.
Die Länge von generierten bzw. zu vergleichenden Szenen kann sich unterscheiden (|A| ≠ |B|).
Um auch in solchen Fällen die ASD Metrik verwenden zu können, sollte die Länge der Szenen harmonisiert werden.
Anhand der 3 bis 5 wird der Harmonisierungsprozess veranschaulicht, um ASD für gleichgroße, kürzere und längere Bewegungen zu berechnen.
In 3 sind die Trajektorien eines Akteurs a und eines Akteurs b zu den Zeitpunkten t₀, t₁, t₂ und t₃ als a₀, a₁, a₂, a₃ bzw. b₀, b₁, b₂ und b₃ schematisch dargestellt. Hier gilt also |A| = |B|. Die Trajektorienabschnitte sind durch gestrichelten bzw. gepunkteten Geradenabschnitte dargestellt. Die Abstände als durchgezogene Linien zwischen den Akteurpositionen zum selben Zeitpunkt. d wird berechnet als mittlere Länge aller durchgezogenen Linien.
Zur Berechnung des Wertes der Metrik mit |A| > |B| wird die letzte Position jedes Akteurs aus B wiederholt, um die Länge von A zu erhalten. Dies ist in 4 dargestellt. Der Abstand zum Zeitpunkt t₃ wird gebildet als Abstand zwischen a₃ und b2.
Eine Alternative besteht darin, dass immer die kürzere Szene die Länge bestimmt und die längere entsprechend gekürzt wird. Hierbei kann man am Anfang oder am Ende der längeren Trajektorie (oder bei beiden) etwas weglassen, ggf. abhängig von Faktoren in der Szene wie Geschwindigkeit, Abstand zu Kreuzung, etc.
Für |A| < |B| wird B abgeschnitten, um die Länge von A zu erhalten. Die resultierende B' wird dann verwendet, um den ASD (A, B`) zu berechnen. 5 zeigt hierzu ein Beispiel. Der letzte Abstand wird zum Zeitpunkt t₃ zwischen a₃ und b₃ gebildet. Dagegen wird b₄ nicht berücksichtigt. Infolge dieses Harmonisierungsprozesses ist die Symmetrie des ASD nur für die Szenen A und B' erfüllt, nicht für die unharmonisierten Szenen A und B. Bei Letzteren kann sich der ASD Wert von B verglichen zu A unterscheiden vom ASD Wert von A verglichen zu B.
Im Folgenden wird beschrieben, wie man den ASD Wert anwenden kann, um einen Satz von Szenen auszuwerten. Bei der Auswertung eines ganzen Satzes von Szenen wird für jede Szene der ASD Wert in Bezug auf alle übrigen Szenen berechnet. Anschließend werden das Mittel und der Minimalwert betrachtet. Das Mittel zeigt wie ähnlich alle anderen Szenen sind und der Minimalwert gibt Aufschluss über die ähnlichste Szene. Ein kleinerer Wert kann anzeigen, dass der Prozess, durch den dieser Satz an Szenen generiert wurde, sehr ähnliche oder nahezu identische Szenen ausgibt. Da der Wert nicht negativ werden kann, bedeutet ein ASD Wert von Null, dass exakte Replikate der Szene existieren.
Die ASD Metrik erlaubt eine Quantifizierung der Ähnlichkeit von zwei Szenen. Die Metrik kann grundsätzlich nur für Szenen mit einer identischen, konstanten Anzahl an Akteuren berechnet werden. Die Metrik kann erweitert werden, um sie universeller einsetzbar zu machen, z.B. indem Szenen in kleinere Teile zerlegt werden und diese untereinander verglichen werden. Die Unterteilung ist zeitbasiert möglich (z.B. mit festen Zeitintervallen oder durch eine Unterteilung jedes Mal dann, wenn ein Akteur hinzukommt oder sich entfernt) oder die Akteure können gruppiert (in Cluster unterteilt) werden, um Vergleiche zu ermöglichen.

Claims

Computerimplementiertes Verfahren zum Ausgeben von Verkehrsszenen aus einer Datenbank (10) umfassend die Schritte b) Empfangen einer Trajektorienrepräsentation einer Ausgangsverkehrsszene c) Bestimmen eines Referenzpunktes der Ausgangsverkehrsszene d) Berechnen einer Ähnlichkeitsmetrik zwischen der Ausgangsverkehrsszene und den in der Datenbank (10) gespeicherten Verkehrsszenen auf Grundlage der Trajektorienrepräsentation unter Berücksichtigung des Referenzpunktes, und e) Ausgeben der gespeicherten Verkehrsszenen, bei denen die Ähnlichkeitsmetrik innerhalb eines Ähnlichkeitsschwellwerts liegt (S40).
Verfahren nach Anspruch 1, wobei das Verfahren zusätzlich umfasst a1) Empfangen einer Ausgangsverkehrsszene in Form von Daten mindestens eines Umgebungserfassungssensors und a2) Ermitteln einer Trajektorienrepräsentation durch eine Auswertung der Daten des Umgebungserfassungssensors.
Verfahren nach Anspruch 1 oder 2, wobei das Verfahren weiterhin umfasst b1) Empfangen mindestens einer Zusatzinformation oder a3) Ermitteln mindestens einer Zusatzinformation durch eine Auswertung der Daten des Umgebungserfassungssensors und d1) wobei beim Berechnen der Ähnlichkeitsmetrik die Zusatzinformation berücksichtigt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Trajektorien in Form von Polygonzügen repräsentiert werden und die Ähnlichkeitsmetrik durch einen Vergleich von Polygonzügen der Ausgangsverkehrsszene und Polygonzügen jeweils einer der in der Datenbank (10) gespeicherten Verkehrsszenen ermittelt wird.
Verfahren nach Anspruch 4, wobei als Ähnlichkeitsmetrik ein Wert berechnet wird, der die durchschnittliche Verschiebung zwischen zwei Szenen angibt, wobei der Referenzpunkt als Bezugspunkt für die Berechnung der durchschnittlichen Verschiebung verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei Trajektorie als Spline repräsentiert ist und als Ähnlichkeitsmetrik ein Wert berechnet wird, der durch eine Fast-Fourier-Transformation von Splines ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Referenzpunkt aus einem bekannten Label eines Punkts der Szene abgeleitet wird.
Verfahren nach einem der Ansprüche 1 bis 6, wobei der Referenzpunkt aus Kenntnissen der Vektorgeometrie für bekannte Topologien ermittelt wird.
Verfahren nach einem der Ansprüche 1 bis 6, wobei der Referenzpunkt mittels einer allgemeinen Heuristik bestimmt wird.
Verwenden der gemäß einem Verfahren nach einem der vorhergehenden Ansprüche in Schritt e) ausgegebenen gespeicherten Verkehrsszenen, um einen bestehenden Algorithmus zur Trajektorienprädiktion und/oder Manöverplanung eines Fahrzeugs mit automatisierten Fahrfunktionen zu trainieren oder zu testen.
Computer Programm umfassend einen Algorithmus zur Trajektorienprädiktion und/oder Manöverplanung eines Fahrzeugs mit automatisierten Fahrfunktionen, der gemäß Anspruch 10 trainiert oder getestet worden ist.
Vorrichtung zur Erhöhung der Verkehrssicherheit umfassend eine Recheneinheit konfiguriert zur Ausführung eines Computer Programms gemäß Anspruch 11.
Vorrichtung gemäß Anspruch 12, wobei die Vorrichtung Infrastrukturelemente mit Telekommunikationseinheiten umfasst, die eine intelligente Straßenkreuzung begründen.
Fahrzeug mit automatisierten Fahrfunktionen umfassend eine Vorrichtung nach Anspruch 12.
Fahrzeug gemäß Anspruch 14, wobei das Fahrzeug mindestens einen Umgebungserfassungssensor umfasst.