DE102019209736A1

DE102019209736A1 - Verfahren zur Bewertung möglicher Trajektorien

Info

Publication number: DE102019209736A1
Application number: DE102019209736.7A
Authority: DE
Inventors: Jason Scott Hardy; Karsten Behrendt; Jan Kleindieck
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-07-03
Filing date: 2019-07-03
Publication date: 2021-01-07
Also published as: US20210004966A1; CN112185148A; US11501449B2

Abstract

Es wird ein Verfahren zur Bewertung möglicher Trajektorien von Verkehrsteilnehmern einer Verkehrsumgebung beschrieben, mit den Schritten:Erfassen der Verkehrsumgebung mit statischen und dynamischen Merkmalen;Identifizieren mindestens eines Verkehrsteilnehmers;Ermitteln mindestens einer möglichen Trajektorie für den mindestens einen Verkehrsteilnehmer der Verkehrsumgebung;Bewerten der ermittelten, mindestens einen möglichen Trajektorie für den mindestens einen Verkehrsteilnehmer mittels eines adaptierten/trainierten Empfehlungsdienstes und der erfassten Verkehrsumgebung.

Description

Die Erfindung betrifft ein Verfahren zur Bewertung möglicher Trajektorien von Verkehrsteilnehmern einer Verkehrssituation
Stand der Technik
Für eine zuverlässige Trajektorien-Planung eines zumindest teilweise automatisierten Fahrzeugs in realen Verkehrssituationen ist eine Einschätzung der Trajektorien-Optionen anderer Verkehrsteilnehmer entscheidend. Wenn ein anderes Fahrzeug z.B. in eine gemeinsame Fahrspur übergeht, muss ein zumindest teilweise automatisiertes Fahrzeug möglicherweise die Geschwindigkeit verringern. Wenn ein Fußgänger vor dem automatisierten Fahrzeug die Straße queren möchte muss es ggf. ganz zum Stillstand kommen.
Bekannte Klassifizierungsmodelle haben eine feste Anzahl an Klassen. Diese Klassen stellen jeweils eine spezielle Trajektorie für einen Verkehrsteilnehmer für eine Art von Kreuzung dar und sind hochspezialisiert auf diesen einen Fall. Dabei wird beispielsweise ein allgemeines Problem zu einem festen Satz von Optionen vereinfacht, es werden Heuristiken verwendet oder maschinelle Lerntechniken zur Berechnung einer bestimmten Trajektorie verwendet.
Offenbarung der Erfindung
Ein Problem der im Stand der Technik angegebenen Lösungen ist, dass nicht alle Optionen möglicher Verkehrssituationen abgedeckt sind, was zu einer zu vorsichtigen oder auf der anderen Seite zu gefährlichen Planung führen kann. Die Vielzahl der möglichen realen Szenarien kann mit im vornhinein festgelegten Varianten von Umgebungsarten nicht abgebildet werden.
Bei einer zu großen Anzahl von unterschiedlichen Klassen von Trajektorien erreichen Systeme zur Trajektorien-Planung, die auf der Einordnung in Klassen basieren, aufgrund der Vielzahl von Möglichkeiten schnell funktionale Grenzen. Dies gilt insbesondere wenn die Klassen nur schwer unterscheidbar und deswegen ggf. nicht korrekt annotiert sind. Denn Agenten anderer Agenten beeinflussen sich gegenseitig, einschließlich der Aktionen vom automatisierten Ego-Fahrzeug. Dies führt zu einer kombinatorischen Explosion von möglichen Alternativen und ein Regelwerk aller möglichen Lösungen zu erstellen überschreitet praktische Möglichkeiten.
Auch Heuristiken zu erstellen, d.h. einen Satz von erlernten Regeln, die in bestimmten Situationen angewendet werden und Orts- oder Szenario-abhängig sein können wird mit der Anzahl der verschiedenen Standorte und Szenarien schnell unausführbar.
Beim Verwenden modernster maschinelle Lernansätze, um Agenten-Trajektorien, also Trajektorien von Verkehrsteilnehmern, zu schätzen, werden diese Trajektorien beispielsweise durch Verstärkungslernen, reinforcement learning, rekurrierende neuronale Netze oder Imitationslernen erzeugt.
Ein Problem bei diesem Vorgehen besteht darin, dass das trainierte Modell alle notwendigen Eingaben empfangen und verstehen muss und dann in der Lage sein muss, eine oder eine Mehrzahl von verschiedenen Trajektorien bzw. Intentionen auszugeben, die dem Verkehrsrecht entsprechen. Diese Vielzahl an berechneten Trajektorien ist dann allerdings schwer weiterzuverarbeiten ohne Bewertung der einzelnen Trajektorien. Die so erzeugten Ergebnisse des maschinellen Lernsystems sind nicht ausreichend zuverlässig und schwierig zu validieren.
Bei dem Ansatz die Schätzung der Trajektorien zu vereinfachen, indem ein begrenzter Satz von möglichen Klassen bestimmt wird, entsteht das Problem, dass nicht alle Optionen abgedeckt sind, woraus eine zu vorsichtige oder eine gefährliche Planung resultieren kann. Denn das Planungssystem muss möglichst alle Optionen der anderen Agenten erhalten und nach ihrer Wahrscheinlichkeit und Auswirkung gewichten können, um komfortable und sichere Trajektorien planen zu können.
Erfindungsgemäß wird ein Verfahren, eine Vorrichtung sowie ein Computerprogrammprodukt und ein computerlesbares Speichermedium zur Bewertung möglicher Trajektorien von Verkehrsteilnehmern einer Verkehrsumgebung gemäß den Merkmalen der unabhängigen Ansprüche angegeben, welches zumindest zum Teil die genannten Wirkungen aufweist. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche sowie der nachfolgenden Beschreibung.
Die Erfindung beruht auf der Erkenntnis, dass eine Bewertung einer Wahrscheinlichkeit, dass verkehrstechnisch und -rechtlich mögliche Trajektorien einer speziellen Verkehrsumgebung von einem Verkehrsteilnehmer abgefahren werden, und somit observierte Trajektorien darstellen, mittels eines Empfehlungsdienstes besonders geeignet erfolgen kann.
Dabei ist eine solche Bewertung als eine Empfehlung einer Trajektorie an die Verkehrsumgebung aufzufassen, die sozusagen den Empfehlungsdienst nutzt und der Verkehrsteilnehmer Teil der Verkehrsumgebung ist.
Die Grundannahme bei einem Empfehlungsdienst ist, dass ähnliche Nutzer sich ähnlich verhalten. Die Bewertung der Nutzer ergibt sich implizit aus der Nutzung der Trajektorien und einer Metrik.
Eine Bewertung der Nutzer ergibt sich implizit über das zukünftige Verhalten der Nutzer, indem die möglichen Trajektorien mit der tatsächlichen observierten Trajektorie verglichen werden. Dies wird mehrere Millionen Male über einen längeren Zeitraum für eine Vielzahl von Verkehrsumgebungen wiederholt. Dabei ist ein Vorteil dieses Verfahrens, dass mehrere fast gleich wahrscheinliche Bewertungen möglich sind ohne dass es zu Ambiguitäten führt, indem sich z.B. ein Verfahren anderen Typs eine Mittelung zweier Trajektorien prädiziert was unvorteilhaft ist und zu einer unmöglichen Trajektorie führen kann.
Gemäß einem Aspekt des Verfahrens zur Bewertung möglicher Trajektorien von Verkehrsteilnehmern einer Verkehrsumgebung wird in einem Schritt die Verkehrsumgebung mit statischen und dynamischen Merkmalen erfasst.
In einem weiteren Schritt des Verfahrens wird zumindest ein Verkehrsteilnehmer identifiziert. Insbesondere kann dieses Identifizieren mittels der erfassten dynamischen Merkmale der Verkehrssituation erfolgen.
Insbesondere kann ein Verkehrsteilnehmer mittels der erfassten dynamischen Merkmale der Verkehrssituation identifiziert werden.
In einem weiteren Schritt des Verfahrens wird mindestens eine mögliche Trajektorie für den mindestens einen Verkehrsteilnehmer der Verkehrssituation ermittelt.
In einem weiteren Schritt des Verfahrens wird die ermittelte, mindestens eine mögliche Trajektorie für den mindestens einen Verkehrsteilnehmer mittels eines adaptierten Empfehlungsdienstes und der erfassten Verkehrsumgebung bewertet.
Dabei sind die möglichen Trajektorien von Verkehrsteilnehmern die Trajektorien, die der jeweilige Verkehrsteilnehmer unter Einhaltung der Verkehrsregeln abfahren kann. Insbesondere können es aber auch die Trajektorien sein, die für den jeweiligen Verkehrsteilnehmer möglich sind abzufahren. Dabei wird die Umgebung relativ zu dem jeweiligen Verkehrsteilnehmer angeben. Beispielsweise kann die Umgebung zentriert um den Verkehrsteilnehmer angegeben werden.
Dabei ist ein Empfehlungsdienst ein Verfahren, welches das Ziel hat, eine Vorhersage zu treffen und zu quantifizieren, wie stark das Interesse eines Nutzers an einem Objekt ist, um dem Nutzer genau die Objekte aus der Menge aller vorhandenen Objekte zu empfehlen, für die er sich wahrscheinlich am meisten interessiert.
Kollaborative Empfehlungsdienste, die auch Kollaborative Filter genannt werden, empfehlen die Objekte, an denen Nutzer mit ähnlichem Bewertungsverhalten, also ähnliche Nutzer, das größte Interesse haben. Dazu müssen keine weiteren Kenntnisse über das Objekt selber vorhanden sein.
Ein solcher kollaborativer Empfehlungsdienst ist daher in der Lage, komplexe Objekte genau zu empfehlen, ohne dass ein „Verständnis“ des Objektes selbst erforderlich ist.
Ein Empfehlungsdienst bewertet Objekte anhand von einer gegebenen Information der derzeitigen Nutzung aufgrund von vorher in Betracht gezogenen Nutzer-Objekt Kombinationen aufgrund von Metriken.
Kollaborative Filtersysteme haben viele Formen, aber viele gängige Systeme können auf zwei Schritte reduziert werden:

- Suchen nach Benutzern, die die gleichen Bewertungsmuster mit dem aktiven Benutzer, d.h. dem Benutzer, für den die Vorhersage bestimmt wird, teilen.
- Verwenden der Bewertungen der bei der Suche gefundenen Benutzer, um eine Vorhersage für den aktiven Benutzer zu berechnen.

Dies fällt unter die Kategorie der benutzerbasierten kollaborativen Filterung. Eine spezifische Anwendung ist der benutzerdefinierte K-nächste Nachbar-Algorithmus.
Ein Vorteil dieses Verfahrens zur Bewertung möglicher Trajektorien von Verkehrsteilnehmern ist, dass es keiner Beschränkung in Bezug auf die Verkehrsumgebung unterliegt. Es müssen keine Regeln oder Heuristiken explizit entwickelt werden. Eine solche Bewertung von möglichen Trajektorien kann schnell, quasi in Echtzeit ablaufen.
Statische und dynamische Merkmale der Verkehrsumgebung können Details an statischen und dynamischen Objekten betreffen, diese Merkmale können aber auch, beispielsweise als Gesamtheit, das gesamte Objekt an sich betreffen.
Die Identifikation eines Verkehrsteilnehmers kann mittels der erfassten dynamischen Merkmale der Verkehrssituation erfolgen.
Die erfasste Verkehrsumgebung mit statischen und dynamischen Merkmalen meint das Erfassen der Merkmale zu einem bestimmten Zeitpunkt, an der Informationen verfügbar sind, um dieses Verfahren durchzuführen.
Ein adaptierter Empfehlungsdienst ist ein Empfehlungsdienst, der in Bezug auf seine Struktur, d.h. dem Typ bzw. der Art des Empfehlungsdienstes, und in Bezug auf seine spezifische Auslegung, beispielsweise durch Training eines neuronalen Netzes oder durch Aufbau eines K-nächste-Nachbarverfahrens mittels Trainingsdaten bzw. Trainingsvektoren und ähnlichem, eingerichtet und getestet wurde, die spezifische Aufgabe auszuführen. Beispielhafte Strukturen bzw. das Adaptieren eines solchen Empfehlungsdienst werden noch genauer beschrieben.
Entsprechend einem Aspekt wird vorgeschlagen, dass die Verkehrsumgebung folgende dynamische und statische Merkmale bzw. Objekte einer Verkehrssituation aufweist: Geschwindigkeiten, Geschwindigkeitsunterschiede, gegenseitige Abstände von Verkehrsteilnehmern, Abstände der Verkehrsteilnehme von der Umgebung, Aufsichten von Verkehrsteilnehmern und Verkehrssituationen, Bewegungsrichtungen bzw. Orientierungen von Verkehrsteilnehmern zur Umgebung.
Weiterhin weist die Verkehrsumgebung folgende dynamische und statische Merkmale bzw. Objekte einer Verkehrssituation auf: Verkehrsregeln, insbesondere lokal relevante Verkehrsregeln, Haltelinien, Stopplinien, Verkehrslinien, Fahrspur-Markierungen.
Darüber hinaus weist die Verkehrsumgebung folgende dynamische und statische Merkmale bzw. Objekte einer Verkehrssituation auf: Ampelstatus, geographischen Kartendaten, Fahrspuren, Strukturen von Kreuzungen, Einmündungen und Verkehrsführungen allgemein; und zusätzlich zusammengefasste Beschreibungen von einer Verkehrsumgebung wie: Verkehrssituationen allgemein, Verkehrsfluss, Stau, freie Fahrbahn.
Dabei beziehen sich die Verkehrsteilnehmer nicht nur auf Fahrzeuge im allgemeinen Sinn, sondern auf alle Verkehrsteilnehmer wie insbesondere auch Fußgänger, mit deren Position, Orientierung und Geschwindigkeit.
Entsprechend einem Aspekt wird vorgeschlagen, dass mindestens ein Merkmal der Verkehrsumgebung mittels eines Sensors erfasst wird.
Dabei kann es sich um statische oder dynamische Merkmale handeln, womit auch temporäre Merkmale oder zeitliche Vorgänge erfasst werden können.
Entsprechend einem Aspekt wird vorgeschlagen, dass die Verkehrsumgebung erfasst wird, indem mindestens ein dynamisches Merkmal an mindestens zwei zeitlich aufeinanderfolgenden Zeitpunkten bestimmt wird.
Wenn für die Beschreibung der Verkehrsumgebung in jedem einzelnen Bewertungsschritt zeitlich aufeinanderfolgende Informationen vorliegen, kann die Genauigkeit des Verfahrens deutlich gesteigert werden.
Entsprechend einem Aspekt wird vorgeschlagen, dass Merkmale der Verkehrsumgebung mindestens eine Verkehrsregel und/oder mindestens ein Merkmal von mindestens einer Verkehrslichtzeichenanlage und/oder mindestens ein statisches oder dynamisches Verkehrsschild aufweist.
Diese zusätzlichen Angaben beschreiben die Verkehrsumgebung genauer und ermöglichen damit eine bessere Bewertung der möglichen Trajektorien.
Entsprechend einem Aspekt wird vorgeschlagen, dass mindestens ein Merkmal der Verkehrsumgebung mittels eines bildgebenden Sensors erfasst wird.
Ein solcher, bildgebender Sensor ermöglicht zumindest Teile der Verkehrsumgebung sehr genau zu identifizieren und zu klassifizieren, was sich wiederum positiv auf die Genauigkeit der Bewertung auswirken kann.
Entsprechend einem Aspekt wird vorgeschlagen, dass mindestens ein Merkmal der Verkehrsumgebung mittels eines Sensors eines Ego-Fahrzeugs erfasst wird. Vorteilhafterweise wird auf diese Art der Erfassung der Verkehrsumgebung auf einen besonders relevanten Teil, in Bezug auf das Ego-Fahrzeug, fokussiert.
Entsprechend einem Aspekt wird vorgeschlagen, dass mindestens ein Merkmal der Verkehrsumgebung mittels eines stationären Sensors erfasst wird. Beispielsweise kann ein solcher Sensor, an verkehrsreichen oder kompliziert strukturierten Kreuzungen, Daten an beispielsweise ein Ego-Fahrzeug übermitteln, die es dem Ego-Fahrzeug ermöglichen, die Bewertung möglicher Trajektorien insbesondere anderer Verkehrsteilnehmer zu verbessern.
Entsprechend einem Aspekt wird vorgeschlagen, dass mindestens ein dynamisches Merkmal der Verkehrsumgebung mittels eines Sensors erfasst wird. Im Vergleich mit anderen Möglichkeiten zur Erfassung dynamischer Merkmale, kann ein solcher Sensor die Zuverlässigkeit erhöhen. Beispielsweise kann ein Radarsensor die Geschwindigkeit eines Verkehrsteilnehmers direkt bestimmen. Aber dynamische Merkmale bzw. Objekte können beispielsweise auch aus einer spezifischen Bildverarbeitung von bildgebenden Sensoren abgeleitet werden.
Entsprechend einem Aspekt wird vorgeschlagen, dass zumindest einige der statischen Merkmale und/oder der dynamischen Merkmale der Verkehrssituation zumindest eines Verkehrsteilnehmers drahtlos zu einem anderen Verkehrsteilnehmer der Verkehrssituation übermittelt wird.
Dadurch können größere Verkehrssituationen, durch das Zusammenwirken mehrerer Verkehrsteilnehmer überblickt werden, und beispielsweise für manche Verkehrsteilnehmer schlecht einsehbare Verkehrsumgebung oder Verkehrssituationen verfügbar gemacht werden.
Entsprechend einem Aspekt wird vorgeschlagen, dass der Empfehlungsdienst mittels einer Vielzahl von korrespondierenden Kombinationen aus bewerteten observierten Trajektorien, unterschiedlicher Verkehrsumgebungen, und der mindestens einen möglichen Trajektorie adaptiert wurde, mögliche Trajektorien zu bewertet.
Das bedeutet, dass der Empfehlungsdienst auf Grundlage observierter Trajektorien aufgebaut werden kann, die mit den entsprechenden Verkehrsumgebungen verknüpft werden, um das Empfehlungssystem zu adaptieren. Observierte Trajektorien sind Trajektorien, die in der realen Welt, in einer spezifischen Verkehrsumgebung, abgefahren wurden und auf vielfache Weise repräsentiert und aufgezeichnet werden können.
Entsprechend einem Aspekt wird vorgeschlagen, dass der Empfehlungsdienst ein kollaborativer Empfehlungsdienst ist und ein neuronales Netz mit mindestens einer Faltungsschicht aufweist oder ein rekursives neuronales Netzwerk aufweist oder auf einem K-nächste Nachbarverfahren basiert.
Entsprechend einem Aspekt wird vorgeschlagen, dass das neuronale Netz einen ersten Autoencoder für das Erfassen der Umgebung aufweist und einen zweiten Autoencoder für das Erfassen der möglichen Trajektorien aufweist.
Durch die Aufteilung des neuronalen Netzes in der beschriebenen Weise lässt sich das Training einfacher gestalten.
Unter einem „Autoencoder“ versteht man ein künstliches Neuronales Netz, welches es ermöglicht, bestimmte in den Eingabedaten enthaltene Muster zu erlernen. Autoencoder werden genutzt, um eine komprimierte oder rauschbefreite Repräsentation der Eingabe-Daten zu generieren, indem entsprechend die wesentlichen Merkmale, wie bestimmte Klassen, vom allgemeinen Untergrund extrahiert werden.
Der Autoencoder benutzt drei oder mehr Schichten:

• Eine Eingabeschicht, wie zum Beispiel ein 2-dimensionales Bild.
• Mehrere signifikant kleinere Schichten, die das Encoding zur Reduktion der Daten bilden.
• Eine Ausgabeschicht, deren Dimension die der Eingabeschicht entspricht, d.h. jeder Ausgabe-Parameter in der Ausgabeschicht hat die gleiche Bedeutung wie der entsprechende Parameter in der Eingabeschicht.

Alternativ kann die Verkehrsumgebung und die möglichen Trajektorien auch direkt in ein neuronales Faltungsnetz (CNN: convolutional neural net) eingegeben werden um eine Bewertung zu erhalten.
Entsprechend einem weiteren Aspekt wird vorgeschlagen, dass die Vektoren des K-nächsten-Nachbarverfahren mittels einer Vielzahl von korrespondierenden Kombinationen aus erfasster Verkehrsumgebung und observierten Trajektorie gebildet werden.
Das K-nächste Nachbar Verfahren stellt einen parameterfreien und einfach zu implementierenden Ansatz zur Bewertung von neuen Objekten anhand von vorher explizit bewerteten und gespeicherten Objekten.
Entsprechend einem Aspekt wird vorgeschlagen, dass zumindest ein statisches Merkmal der Verkehrsumgebung mittels einer geographischen Karte erfasst wird. Die stellt ein einfaches Verfahren für die Erfassung von verkehrsrelevanten statischen Merkmalen dar. Mit hochgenauen geographischen Karten kann das Verfahren weiter verbessert werden.
Entsprechend einem Aspekt wird vorgeschlagen, dass die Verkehrsumgebung erfasst wird, indem räumliche Anteile der Verkehrsumgebung, in ein zweidimensionales Bezugssystem, entsprechend einer Aufsicht auf die Verkehrsumgebung transformiert werden.
Eine Aufsicht oder auch Draufsicht ist eine zeichnerisch dargestellte, zweidimensionale orthogonale Projektion einer räumlichen Gegebenheit. Im Gegensatz zur Vogelperspektive handelt es sich bei der Aufsicht um eine planare Darstellung, aus der man die Dimensionen des Objektes abmessen kann
Entsprechend einem Aspekt wird vorgeschlagen, dass die erfasste Verkehrsumgebung eine bisherige Trajektorie mindestens eines Verkehrsteilnehmers beinhaltet.
Entsprechend einem weiteren Aspekt wird vorgeschlagen, dass mindestens ein dynamisches Merkmal der Verkehrsumgebung mindestens eines Verkehrsteilnehmers in seinem bisherigen Verlauf ausreichend lange erfasst wird, um daraus einen weiteren Verlauf der Trajektorie schätzen zu können.
Entsprechend einem Aspekt wird vorgeschlagen, dass die erfasste Verkehrsumgebung die Geschwindigkeit mindestens eines Verkehrsteilnehmers beinhaltet.
Entsprechend einem Aspekt wird vorgeschlagen, dass die erfasste Verkehrsumgebung die Bewegungsrichtung mindestens eines Verkehrsteilnehmers beinhaltet.
Entsprechend einem Aspekt wird vorgeschlagen, dass mindestens eine mögliche Trajektorie mittels einer Optimierung von Kostenfunktionen und/oder mittels eines suchbasierten Verfahrens und/oder eines maschinell gelernten Verfahrens ermittelt wird.
Mittels dieser Vielfalt von Verfahren zum Ermitteln der möglichen Trajektorien kann das Verfahren an örtliche Gegebenheiten angepasst werden.
Das Ermitteln von möglichen Trajektorien kann durch Heuristiken zum Spurhalten, zur Geschwindigkeitsregelung und entsprechend dem Straßenverlauf erfolgen. Beispielsweise wird für alle möglichen Fahrspuren eine mögliche Trajektorie ermittelt, die mit weiteren Trajektorien ergänzt werden, die unterschiedliche Ampelschaltungen berücksichtigen.
Standardverfahren können mögliche Trajektorien auf Basis einer Optimierung von Kostenfunktionen erstellen, suchbasiert sein oder maschinell gelernt werden. Die Berechnung einer Trajektorie durch Optimierung erstellt iterativ oder direkt eine Trajektorie, welche möglichst geringe Abweichungen von bestmöglichen Eigenschaften, wie Fahrkomfort, Abstand zu Verkehrsteilnehmern und befolgen von Verkehrsregeln aufweist. Suchbasierte Verfahren suchen, vereinfacht gesagt, iterativ eine beste Trajektorie für ihre aktuelle Umgebung, indem sie eine Verbindung von A nach B suchen. Maschinell gelernte Verfahren können lernen bereits gesehene Trajektorien zu imitieren und darauf basierend neue Trajektorien zu generieren.
Alternative Trajektorienberechnungsfunktionen sind beispielsweise Optimierungsbasiert und suchen eine Trajektorie, die eine gegebene Kostenfunktion minimiert; Karten basierte Verfahren folgen beispielsweise einfach nur den Fahrspuren; Deep Learning Verfahren wie das „Imitation learning“, das „Reinforcement learning“ erstellen eine Trajektorie mittels maschinellen Lernen; Physikbasierte Verfahren ermitteln die Trajektorien auf der Basis der Dynamik des Fahrzeugs und werden hauptsächlich für kurze Approximationen verwendet.
Insbesondere bildet eine Trajektorie einen Ort eines Objektes über Zeit ab, kann aber auch alternativ oder zusätzlich als Angabe einer Geschwindigkeit über der Zeit und/oder einer Beschleunigung über der Zeit dargestellt werden.
Bei der Ermittlung von Trajektorien können alle Möglichkeiten der Fahrtrichtungsänderung, entsprechend den Fahrspuren und Zusammenführung von Fahrspuren berücksichtigt werden.
Insbesondere kann eine mögliche Trajektorie für jeden Verkehrsteilnehmer mittels einer genauen Kartendarstellung der jeweiligen Umgebung inklusive von Kreuzungen, Einmündungen, der Straßenführung und/oder den aktuellen Verkehrsregelungen bestimmt werden.
Entsprechend einem Aspekt wird vorgeschlagen, dass mindestens eine mögliche Trajektorie unter Berücksichtigung von Fahrkomfort auf der Trajektorie und/oder einem Abstand von anderen Verkehrsteilnehmern und/oder Befolgen von Verkehrsregeln ermittelt wird.
Insbesondere bei zumindest teilautomatisierten Fahrzeugen, die das beschriebene Verfahren verwenden, um beispielsweise die eigene abzufahrende Trajektorie zu bestimmen dient dies der Verbesserung der Sicherheit in der Verkehrssituation bzw. Verkehrsumgebung.
Entsprechend einem Aspekt wird vorgeschlagen, dass zumindest eine mögliche Trajektorie mittels einer Kartendarstellung der Verkehrsumgebung ermittelt wird. Dabei sind alle Möglichkeiten der Fahrtrichtungsänderung, entsprechend der Fahrspuren und Zusammenführung von Fahrspuren, sowie Kreuzungen, aktuelle Verkehrsregelungen zu berücksichtigen.
Entsprechend einem Aspekt wird ein Verfahren zum Erstellen eines Empfehlungsdienstes zur Bewertung möglicher Trajektorien vorgeschlagen.
Dabei wird in einem Schritt eine Vielzahl von korrespondierenden Kombinationen aus erfasster Verkehrsumgebung, observierten Trajektorie und mindestens einer möglichen Trajektorie für eine Vielzahl von verschiedenen Verkehrsumgebungen, durch Wiederholen der folgenden Schritte bestimmt:
In einem Schritt wird die Verkehrsumgebung mit mindestens einem statischen und mindestens einem dynamischen Merkmal erfasst.
In einem weiteren Schritt wird mindestens ein Verkehrsteilnehmer der Verkehrssituation identifiziert.
In einem weiteren Schritt wird eine observierte Trajektorie des mindestens einen Verkehrsteilnehmers erfasst.
In einem weiteren Schritt wird mindestens eine mögliche Trajektorie für den mindestens einen Verkehrsteilnehmer der Verkehrsumgebung ermittelt.
Dann wird im Anschluss der Empfehlungsdienst mit der Vielzahl von korrespondierenden Kombinationen aus der erfasster Verkehrsumgebung, der observierten Trajektorie und der mindestens einen möglichen Trajektorie, mittels einer Abweichung der observierten Trajektorie von der mindestens einen möglichen Trajektorie adaptiert.
Dabei können Sensordaten für die Erfassung der Verkehrsumgebung mittels fusionierter Sensordaten erfasst werden.
Gemäß einem Aspekt wird vorgeschlagen, dass für das Bewerten einer observierten Trajektorien-Verkehrsumgebungs-Kombination in einer erfassten Verkehrsumgebung eine Differenz von einer möglichen Trajektorie eines Verkehrsteilnehmers zu einer observierten Trajektorie, mittels einer Metrik, berechnet wird.
Durch das Ergebnis der Anwendung der Metrik auf die Abweichung einer observierten Trajektorie von einer möglichen Trajektorie, kann die verwendete Trajektorie quantitativ beschrieben werden und für weitere Berechnung gespeichert werden.
Für die Trainingsdaten werden alle Trajektorien explizit mittels einer Metrik bewertet. Der Empfehlungsdienst wird diese Metrik, entsprechend einer Ähnlichkeitsmetrik, dann, implizit durch die Bewertungen, versuchen zu minimieren.
Beispielsweise ermittelt ein System eine Reihe von möglichen Trajektorien basierend auf der aktuellen Straßenkarte. Alle möglichen Richtungswechsel basierend auf bestehenden Spuren und mögliche Zusammenführung von Fahrspuren werden berechnet. Danach wird eine Reihe von Merkmalen der Verkehrsumgebung, z.B. relative Abstände, Geschwindigkeiten, Anzahl der Verkehrsteilnehmer, ihre Beziehungen, Verkehrsregeln, Stopplinien, Verkehrslinien, Aufsichten auf Verkehrsteilnehmer, etc., wird als Input für einen Empfehlungsdienst zum Schätzen der Wahrscheinlichkeit der möglichen Trajektorien.
Offline, d.h. ohne Beeinflussung eines aktiven Vorhersage-Systems, werden die möglichen Trajektorien und observierten Trajektorien aller Verkehrsteilnehmer verglichen. Die einzelnen möglichen Trajektorien können mittels Differenzen zwischen Fahrspurposition, Geschwindigkeitsabweichungen, etc. für mehrere Zeitschritte bewertet werden.
Diese Bewertungen werden verwendet, um ein maschinelles Lernsystem zu trainieren, um

a) die Bewertung einer Absicht als Regressionsproblem zu schätzen,
b) die Wahrscheinlichkeit von zwei möglichen Trajektorien zu vergleichen, indem die mögliche Trajektorie mit höherer Wahrscheinlichkeit klassifiziert wird, und
c) geschätzte Wahrscheinlichkeiten für jede mögliche Trajektorie anzugeben.

Dieses trainierte bzw. adaptierte Empfehlungssystem, auch Rating-Schätzer genannt, wird dann online verwendet, um Wahrscheinlichkeiten der verschiedenen Absichten zu schätzen.
Entsprechend einem Aspekt wird vorgeschlagen, dass die Metrik, zum Berechnen der Differenz einer möglichen Trajektorie eines Verkehrsteilnehmers zu einer observierten Trajektorie, einen Abstand von Wegepunkten auf den jeweiligen Trajektorien bestimmt.
Entsprechend einem weiteren Aspekt wird vorgeschlagen, dass die Metrik die absolute Differenz von Wegepunkten auf den jeweiligen Trajektorien zu drei unterschiedlichen Zeitpunkten, nach einem Zeitpunkt der Erfassung der Verkehrsumgebung, einer möglichen Trajektorie zu der observierten Trajektorie berechnet und addiert.
Die drei unterschiedlichen Zeitpunkte können beispielsweise 1, 2 oder 3 Sekunden nach dem Ermitteln der möglichen Trajektorie liegen und können aus einer Abwägung von Aufwand und Nutzen resultieren.
Entsprechend einem weiteren Aspekt wird vorgeschlagen, dass die Metrik eine Funktion von einer Differenz von Wegepunkten und/oder Geschwindigkeiten und/oder Beschleunigungen an Wegepunkten auf den jeweiligen Trajektorien ist.
Insbesondere kann an drei Zeitpunkten Differenz in Bezug auf den Ort, die Geschwindigkeit und die Beschleunigung berechnet werden.
Ein solcher Zusammenhang kann mit der folgenden Formel 1 beschrieben werden: $M (t_{k}, t) = {\sum_{T}^{t 1, t 2, t 3} {(v (t_{k}, T) - v (t, T))}^{2} + (x (t_{k}, T) - x (t, T))}^{2} + {(a (t_{k}, T) - a (t, T))}^{2}$
wobei M(t_k, t) die Metrik der Trajektorie t_k darstellt mit:

t_k=mögliche Trajektorien; t=observierte Trajektorien
v (t_k,T) die Geschwindigkeit an der Trajektorie t_k zum Zeitpunkt T: (t₁, t₂, t₃);
x (t_k,T) der Ort an der Trajektorie t_k zum Zeitpunkt T: (t₁, t₂, t₃);
a (t_k,T) die Beschleunigung an der Trajektorie t_k zum Zeitpunkt T: (t₁, t₂, t₃) ist.

Die Variable t_k steht für die k te Trajektorie, t für die observierte Trajektorie, t1, t2, t3 für drei Zeitschritte, v für die Geschwindigkeit, x für den Ort und a für die Beschleunigung.
Entsprechend einem Aspekt wird vorgeschlagen, dass er Empfehlungsdienst ein kollaborativer Empfehlungsdienst ist.
Entsprechend einem Aspekt wird vorgeschlagen, dass das das Adaptieren bzw. das Trainieren des Empfehlungssystems offline erfolgt.
Entsprechend einem Aspekt wird vorgeschlagen, dass der Empfehlungsdienst mittels eines mit der Vielzahl von bewerteten observierten Trajektorien-Verkehrsumgebungs-Kombinationen von Verkehrsteilnehmern trainierten neuronalen Netzes die mindestens eine mögliche Trajektorie bewertet.
Das ermöglicht es, das das trainierte neuronale Netz direkt einen Skalar als Maßzahl zur Bewertung möglicher Trajektorien an seinem Ausgang bereitstellt.
Ein neuronales Netzwerk stellt einen Rahmen für viele verschiedene Algorithmen zum maschinellen Lernen, zum Zusammenarbeiten und für die Verarbeitung komplexer Dateneingaben zur Verfügung. Solche neuronalen Netzwerke lernen, Aufgaben anhand von Beispielen auszuführen, ohne typischerweise mit aufgabenspezifischen Regeln programmiert worden zu sein.
Ein solches neuronale Netz basiert auf einer Sammlung verbundener Einheiten oder Knoten, die als künstliche Neurone bezeichnet werden. Jede Verbindung kann ein Signal von einem künstlichen Neuron zu einem anderen übertragen. Ein künstliches Neuron, das ein Signal empfängt, kann es verarbeiten und dann gegebenenfalls ein verändertes Signal weiterleiten.
Bei herkömmlichen Implementierungen von neuronalen Netzen ist das Signal an einer Verbindung künstlicher Neuronen eine reelle Zahl, und der Ausgang eines künstlichen Neurons wird durch eine nichtlineare Funktion der Summe seiner Eingänge berechnet. Die Verbindungen der künstlichen Neurone haben typischerweise ein Gewicht, das sich mit fortschreitendem Lernen anpasst. Das Gewicht erhöht oder verringert die Stärke des Signals an einer Verbindung. Künstliche Neuronen können eine Schwelle aufweisen, so dass ein Signal nur dann ausgegeben wird, wenn das Gesamtsignal diese Schwelle überschreitet. Typischerweise wird eine Vielzahl von künstlichen Neuronen in Schichten zusammengefasst. Unterschiedliche Schichten führen möglicherweise unterschiedliche Arten von Transformationen für ihre Eingaben durch. Signale wandern von der ersten Schicht, der Eingabeschicht, zur letzten Schicht, der Ausgabeschicht, möglicherweise nach mehrmaligem Durchlaufen der Schichten.
Die Architektur eines künstlichen Neuronalen-Feed-Forward-Netzes kann eine Architektur sein, die so konfiguriert ist, dass sie in ihrer Eingangsstufe ein einzelnes Datenmuster, zum Beispiel entsprechend eines Bildes empfängt und einen Ausgangswert, e.g. Klassifikationsvektor oder Skalar bereitstellt, der entsprechend der Problemstellung eine Approximation basierend auf vorherigem Training enthält. Feed-Forward Netze durchlaufen jedes Neuron genau einmal.
Ein Multi-Layer-Perceptron (MLP) gehört zur Familie der Feed-Forward künstlichen neuronalen Netzwerke. Grundsätzlich bestehen MLPs aus mindestens 3 Schichten von Neuronen: einer Eingabe-Schicht, einer ZwischenSchicht (hidden layer) und einer Ausgabe-Schicht. Das bedeutet alle Neuronen des Netzwerks sind in Schichten eingeteilt, wobei ein Neuron einer gegebenen Schicht seine Eingaben immer nur von einer einzelnen vorherigen Schicht erhält und seine Ausgaben ebenfalls nur in eine feste Schicht weiterleitet. Es gibt dementsprechend keine Verbindungen die eine Schicht überspringen oder mehrfach aktiviert werden. Bis auf die Eingabeschicht bestehen die unterschiedlichen Schichten aus Neuronen, die generell einer nichtlinearen Aktivierungsfunktion unterliegen, und mit den Neuronen der nächsten Schicht verbunden sind.
Ein rückgekoppeltes neuronales Netz (engl. Recurrent Neural Network, RNN) ist ein neuronales Netz, das im Gegensatz zu den Feed-Forward Netzen auch Verbindungen von Neuronen einer Schicht zu Neuronen derselben oder einer vorangegangenen Schicht besitzen. Diese Struktur eignet sich dabei besonders um zeitlich codierte Informationen in den Daten zu entdecken.
Ergänzend zu den Ausführungen zum Feed-Forward neuronalen Netz oben besteht der Aufbau eines künstlichen Neuronalen-Faltungs-Netzes (Convolutional Neural Network) aus einer oder mehreren Faltungs-Schichten (convolutional layer), gegebenenfalls gefolgt von einem Pooling Layer. Die Abfolge von Schichten können mit oder ohne Normalisierungs-Schichten (z.B. Batch-Normalisierung), Zero-Padding-Schichten, Dropout-Schichten und Aktivierungs-Funktionen, wie z.B. Rectified Linear Unit ReLU, sigmoid-Funktion, tanh-Funktion oder softmax-Funktion, verwendet werden.
Diese Einheiten können sich prinzipiell beliebig oft wiederholen, bei ausreichend Wiederholungen spricht man dann von Deep Convolutional Neural Networks. Nach einigen sich wiederholenden Blöcken bestehend aus Convolutional und Pooling Layer, kann das CNN mit einem (oder mehreren) Fully-connected Layern, ähnlich der Architektur des MLP, abgeschlossen werden.
Für das K-nächste Nachbar Verfahren werden während des Adaptierens bzw. Trainings Vektoren mit den Informationen aus der Umgebungserfassung, Karte für das autonome Fahren und Informationen über eine mögliche Trajektorie in einem Vektorraum gespeichert.
Der Vektorraum wird aufgespannt durch die Länge des Eingabe-Vektors, beispielsweise mit 80 Einträgen zur Umwelterfassung und 20 zur Trajektorie, würde der Vektorraum R^100 aufspannen. R repräsentiert hier die reellen Zahlen und kann abhängig von der Dimension der einzelnen Einträge reduziert werden zum Beispiel auf die natürlichen Zahlen für diskrete Werte oder binäre Eingaben.
Zum Bewerten einer neuen Umgebungserfassungs-Trajektorien Kombination, dargestellt durch einen Vektor, wird der neue Vektor mittels einer Metrik, z.B. der Euklidischen Norm, mit den existierenden Vektoren verglichen. Die existierenden „k“ nächsten Vektoren werden zu der Bewertung hinzugenommen.
Die Wertung wird als gewichtete Summe der Wertungen der K-nächsten-Nachbarn bewertet. Als Gewichtungen können zum Beispiel gleiche Gewichte oder invers zum Abstand gewählte verwendet werden.
Das bedeutet, dass die Erfassung der Verkehrsumgebung inklusive statischer Informationen aus Kartematerial mittels eines Autoencoders zu einem Vektor komprimiert werden. Zusätzlich werden direkt berechnete Kennzahlen zu der Umgebung, z.B. Ampelstatus, Vorfahrtsregeln, Geschwindigkeitslimits, in einem separaten Vektor gespeichert. Der Autoencoder liefert einen Vektor der Größe 256, der Kennzahlenvektor 64.
Zusätzlich wird die Trajektorie mittels eines Autoencoder komprimierten Vektors und eines Kennzahlenvektors dargestellt. Die Größen der Vektoren sind jeweils 64 und 24.
Der kombinierte Vektor aus Umfelderfassung und Trajektorie besteht aus 408 Einträgen und spannt einen Vektorraum dieser Größe auf.
Zu jedem Vektoreintrag existiert zur Trainingszeit eine Bewertung basierend auf der Ähnlichkeit der tatsächlich gefahrenen Trajektorie und der möglichen, prädizierten Trajektorie.
Zur Inferenzzeit, zur Online Bewertung, werden die Bewertungen der 3 nächsten Nachbarn der prädizierten Trajektorie für eine gegebene Umgebung arithmetisch gemittelt.
Für eine Laufzeitoptimierung kann der aufgespannte Vektorraum mittels einer Hauptkomponentenanalyse komprimiert und daraufhin mittels „Trees“ partitioniert werden, damit die nächsten Einträge schneller gefunden werden.
Für den Empfehlungsdienst werden Merkmale der Verkehrsumgebung mit zugehörigen observierten Trajektorien in einen Merkmalraum transformiert und gespeichert. Beispielsweise durch ein K-nächster-Nachbar Verfahren werden die wahrscheinlichsten Trajektorien anhand von Abständen im Merkmalraum bestimmt. Dabei wird nicht die nächste Klasse genommen, sondern die Klasse, deren Merkmale der aktuellen Trajektorie am nächsten ist.
Entsprechend einem Aspekt wird vorgeschlagen, dass das Bewerten möglicher Trajektorien, beispielsweise zyklisch, wiederholend durchgeführt wird. Damit wird erreicht, dass auf Veränderungen der Verkehrssituation reagiert werden kann.
Beispielsweise werden immer sobald eine der asynchron Ermittelten Verkehrsumgebungen berechnet wurden, neue Bewertungen durchgeführt.
Es wird ein Verfahren zum Planen einer abzufahrenden Trajektorie von zumindest einem der Verkehrsteilnehmer einer Verkehrsumgebung vorgeschlagen, wobei in einem Schritt mindestens eine mögliche Trajektorie für jeden Verkehrsteilnehmer der Verkehrsumgebung ermittelt wird.
In einem weiteren Schritt wird zumindest eine einer Mehrzahl jeder möglicheren Trajektorie für jeden Verkehrsteilnehmer entsprechend dem vorher beschriebenen Verfahren bewertet. Beispielsweise eine mögliche Trajektorie pro erreichbarer Fahrspur und einer Mehrzahl von extra Szenarien.
In einem weiteren Schritt wird die abzufahrenden Trajektorie des mindestens einen Verkehrsteilnehmers der Verkehrssituation mittels aller bewerteten, möglichen Trajektorien der anderen Verkehrsteilnehmer bestimmt.
Entsprechend einem Aspekt wird vorgeschlagen, dass die Bewertungen möglicher Trajektorien zu einem Trajektorien-Planungssystem transferiert werden. Das ermöglicht dann, dass das Trajektorien-Planungssystem einer abzufahren Trajektorie plant.
Entsprechend einem Aspekt wird vorgeschlagen, dass abhängig von der Bewertung der Trajektorie zumindest eines der Fahrzeuge seine ego-Trajektorie basierend auf allen Informationen errechnet, die verfügbar sind.
Das beschriebene Verfahren kann eingesetzt werden zur Verhaltensplanung, Trajektorienplanung, Bewegungsplanung, sowie als Notbremsassistent oder als Fahrerassistenzsysteme.
Aus den Bewertungen der möglichen Trajektorien lassen sich Wahrscheinlichkeiten errechnen und mit den so identifizierten möglichen Trajektorien kann dann eine Planung einer abzufahrenden Ego-Trajektorie durchgeführt werden.
Es wird ein System zum Vorschlagen einer abzufahrenden ego-Trajektorie vorgeschlagen, das eingerichtet ist das Verfahren gemäß dem oben beschriebenen Verfahren durchzuführen und abhängig von der Bewertung der Trajektorien der anderen Verkehrsteilnehmer einem der Verkehrsteilnehmer eine abzufahrende Trajektorie vorschlägt. Die abzufahrende Trajektorie ist die Trajektorie die der Verkehrsteilnehmer benutzen möchte, um an sein Ziel zu gelangen.
Es wird eine Vorrichtung vorgeschlagen, die eingerichtet ist, das oben beschriebene Verfahren durchzuführen.
Es wird ein Computerprogramm vorgeschlagen, dass Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das oben beschriebene Verfahren auszuführen.
Es wird ein maschinenlesbares Speichermedium vorgeschlagen, auf dem das beschriebene Computerprogramm gespeichert ist.
Ausführungsbeispiele
Ausführungsbeispiele der Erfindung sind in den 1 bis 3 dargestellt und werden im Folgenden näher erläutert. Es zeigt:

1 eine Straßenkreuzung mit möglichen Trajektorien für einen Verkehrsteilnehmer;
2 eine Einmündung mit zwei Verkehrsteilnehmern und möglichen Trajektorien; und
3 die Schritte des Verfahrens zur Bewertung möglicher Trajektorien.

In der 1 wird eine Verkehrsumgebung 100 in Form einer Aufsicht auf eine mehrspurige Straßenkreuzung skizziert. Es ist ein Verkehrsteilnehmer 110 skizziert, sowie eine Vielfalt von möglichen Trajektorien für den Verkehrsteilnehmer 110 mit gestrichelten Linien a bis f eingezeichnet. Dabei können auch mehrere Trajektorien für mindestens eine Fahrspur berücksichtigt werden. Früher aufgefasste Verkehrsteilnehmer sind nur durch dünne Linien ihrer observierten Trajektorien angedeutet.
Die 2 skizziert eine weitere Verkehrsumgebung 200 aus der Aufsicht auf eine T-Kreuzung bzw. Einmündung mit einem Egofahrzeug 210, vor einer Haltelinie 211, dass nicht vorfahrtsberechtigt ist. Aus der Sicht des Egofahrzeuges 210 kommt von links ein Verkehrsteilnehmer 220, dessen Fahrzeug 220 einen leichten Winkel zur geradeaus Richtung auf der Vorfahrtstraße aufweist. In der Situation des Verkehrsteilnehmers 220 ergeben sich drei Möglichkeiten die Fahrt fortzusetzen und für jede Möglichkeit ist eine mögliche Trajektorie eingezeichnet. Für das Einbiegen in die Seitenstraße die Trajektorie 230 für das Weiterfahren in Geradeausrichtung die Trajektorie 250 und für das Umkehren auf der Vorfahrtstraße die Trajektorie 240. Es werden alle möglichen Richtungsänderungen auf Basis vorhandener Fahrspuren und möglicher Zusammenführungen berechnet. Außerdem ist die abzufahrende Trajektorie des Egofahrzeugs 210, das plant links auf die Vorfahrtstraße einzubiegen, gestrichelt eingezeichnet. Die Zeitpunkte t1, t2, t3 sind auf den möglichen Trajektorien 230, 240, 250, des Verkehrsteilnehmers 220 sind durch schwarze Punkte angedeutet.
Außerdem ist die observierte Trajektorie 270 des Verkehrsteilnehmers 220 eingezeichnet und die Zeitpunkte t1, t2, t3 sind mit kleinen Quadraten auf der observierten Trajektorie 270 angedeutet, um Schritte des Adaptierens des Empfehlungsdienstes zu beschreiben.
Entsprechend dem Verfahren zur Bewertung möglicher Trajektorien von Verkehrsteilnehmern einer Verkehrsumgebung wird in einem Schritt die Verkehrsumgebung 200 mit ihren statischen Merkmalen der T-Kreuzung, mittels einer geographischen Karte, beispielsweise einer Aufsicht und den dynamischen Merkmalen des Ego-Fahrzeuges 210 und des Verkehrsteilnehmers 220 erfasst. Es werden eine Reihe von Merkmalen, z.B. relative Abstände der Fahrzeuge 210, 220: kaum noch eine Fahrzeuglänge, die Anzahl der Verkehrsteilnehmer: ist hier zwei, deren räumliche Position zueinander: hier fast quer zueinander, Verkehrsregeln: hier eine vorfahrtsberechtigte Straße und die Stopplinie als Input für den Empfehlungsdienst zur Bewertung alle möglichen Trajektorien 230, 240, 250 bereitgestellt.
In einem weiteren Schritt wird ein Verkehrsteilnehmer 220 mittels beispielsweise der erfassten dynamischen Merkmale der Verkehrssituation 200 identifiziert. In einem weiteren Schritt werden die möglichen Trajektorien 230, 240, 250 für den mindestens einen Verkehrsteilnehmer 220 der Verkehrssituation 200 ermittelt. In einem weiteren Schritt werden die möglichen Trajektorien 230, 240, 250 für den mindestens einen Verkehrsteilnehmer 220 der Verkehrsumgebung 200 mittels eines Empfehlungsdienstes bewertet. Dabei wurden die möglichen Trajektorien 230, 240, 250 insbesondere unter Berücksichtigung von Fahrkomfort auf der Trajektorie und dem Befolgen von Verkehrsregeln ermittelt, wie aus der 2 zu entnehmen ist.
Der Empfehlungsdienst bewertet die möglichen Trajektorien 230, 240, 250 mittels einer Vielzahl von bewerteten observierten Trajektorien-Verkehrsumgebungs-Kombinationen von Verkehrsteilnehmern, wie schon oben beschrieben wurde.
Wenn der Verkehrsteilnehmer 220 seinen Weg fortgesetzt hat, kann die in 2 gekennzeichnete observierte Trajektorie 270 bestimmt werden, um weitere Trajektorien-Verkehrsumgebungs-Kombinationen für das Trainieren des Empfehlungsdienstes zu erhalten.
Die observierte Trajektorie 270 kann mittels einer Metrik mit den möglichen Trajektorien 230, 240, 250 bewertet werden, indem die Wegpunkte auf den jeweiligen Trajektorien zu drei Zeitpunkten bestimmt wird und jeweils die Distanz zwischen diesen Wegpunkten von der observierten Trajektorie 270 und der jeweiligen möglichen Trajektorie 230, 240, 250 gemessen wird. Die Summe dieser Werte ergibt entsprechend Formel 1 ein Maß für die Bewertung.
Der verwendete Empfehlungsdienst weist ein adaptiertes, insbesondere trainiertes neuronales Netz auf, wobei der Empfehlungsdienst mittels eines, mit der Vielzahl von bewerteten observierten Trajektorien-Verkehrsumgebungs-Kombinationen von Verkehrsteilnehmern trainierten, neuronalen Netzes die mindestens eine mögliche Trajektorie bewertet. Das neuronale Netz weist dabei einen ersten Autoencoder für das Erfassen der Umgebung aufweist und einen zweiten Autoencoder für das Erfassen der möglichen Trajektorien auf.
Die Ausgaben der Umgebungserfassung werden als Eingaben für einen Autoencoder zur Darstellung der aktuellen Verkehrssituation um das Egofahrzeug und der Verkehrsteilnehmer genutzt.
Die Ausgaben der Umgebungserfassung werden hierfür zu einem Teil mittels 3D Transformationen in eine Aufsicht (top-down-view) transformiert und dementsprechend in 2D als Bildebenen repräsentiert. Diese Bildebenen werden darauffolgend mittels Faltungsebenen als Teil eines Autoencoders komprimiert.
Zusätzlich werden Informationen wie Verkehrsregeln, Abstände zwischen Verkehrsteilnehmern, Geschwindigkeiten, Ampelzustände, und andere schwer visualisierbare Eigenschaften als Vektor zu einer hinteren Schicht des Autoencoders hinzugefügt.
Die möglichen Trajektorien werden ebenfalls mittels 3D Projektionen als 2D Visualisierungen inklusive Kartenmaterial in einem separaten Autoencoder behandelt und mittels zusätzlichem Informationsvektor zu der möglichen Trajektorie ergänzt.
Die Ausgaben der beiden Autoencoder werden dann kombiniert und in ein System mehrerer Schichten an dichten Schichten (dense Layers) und Normalisierungsschichten geleitet. Die Ausgabe dieses Systems ist die skalare Bewertung der möglichen Trajektorie für die aktuelle Umgebung. Zusätzliche Dropout-Schichten, schalten einige Neuronen im neuronalen Netzwerk zufällig stumm, um die Möglichkeit einer Überanpassung zu verringern.
Eine Visualisierung unterschiedlicher Eigenschaften der Umgebungserfassung wird als Eingabe in einen Autoencoder mit festgelegter Basisstruktur geleitet. Die Umgebung ist definiert in einem (6, 224, 224) Tensor, welcher definiert ist als Visualisierung der Umgebung als 6 Farbkanalbild mit einer Auflösung von 224 Pixel × 224 Pixel Struktur. Die unterschiedlichen Farbkanäle repräsentieren statische Strukturen, Karteninformationen, dynamische Strukturen, Geschwindigkeiten, aktuelle Vorfahrtsspuren und Ampelphasen.
Die Basisstruktur des Faltungsnetzes ist festgelegt als RESNET-34 mit einem Ausgabevektor von 2000 Units. Ergänzend fügen wir 96 Units mit zusätzlichen Informationen zu der Umgebung hinzu, wie Geschwindigkeitslimits, Vorfahrtregeln, genaue Distanzen und Spurassoziation.
Die Trajektorie wird visualisiert als zwei Kanal Bild. Ein Kanal visualisiert Kartenmaterial und der andere eine mögliche Trajektorie. Ein Autoencoder mittels Resnet-34 encodiert die Visualisierung als 512 Einheiten Vektor, Zusätzlich werden eindimensionale Geschwindigkeits-, Beschleunigung, und Orientierungsschritte in einem 72 Einheiten Vektor hinzugefügt.

Die Ausgaben der Autoencoder mit Informationsvektoren, 2096 und 584 Einheiten, werden als ein Vektor in ein dichtes Feed-Forward Netzwerk mit einer skalaren Ausgabegeleitet. Die Struktur dieses Netzwerkes ist wie folgt. Tabelle 1 beschreibt das Feed-Forward Netzwerk hinter den Autoencodern. Der Eingang ist ein 2680 Einheiten Eingangsvektor.

Schicht (Typ)	Ausgangsform	Parameter #
Input	(2680, 1)	0
Dense 21	(4096, 1)	4096*2680
Dropout	(4096, 1)	0
Dense 2	(2048, 1)	2048*4096
Batch Normalisierung	(2048, 1)	0
Dense 3	(1028, 1)	1028*2048
Dense 4	(512, 1)	512*1028
Output	(1)	512

Claims

Verfahren zur Bewertung möglicher Trajektorien von Verkehrsteilnehmern einer Verkehrsumgebung mit den Schritten: Erfassen der Verkehrsumgebung (S1) mit statischen und dynamischen Merkmalen; Identifizieren mindestens eines Verkehrsteilnehmers (S2); Ermitteln mindestens einer möglichen Trajektorie (S3) für den mindestens einen Verkehrsteilnehmer der Verkehrsumgebung; Bewerten der ermittelten, mindestens einen möglichen Trajektorie (S4) für den mindestens einen Verkehrsteilnehmer mittels eines adaptierten/trainierten Empfehlungsdienstes und der erfassten Verkehrsumgebung.
Verfahren gemäß Anspruch 1, wobei der Empfehlungsdienst mittels einer Vielzahl von korrespondierenden Kombinationen aus bewerteten observierten Trajektorien, unterschiedlicher Verkehrsumgebungen, und der mindestens einen möglichen Trajektorie adaptiert wurde, mögliche Trajektorien zu bewerten.
Verfahren gemäß einem der vorangehenden Ansprüche, wobei der Empfehlungsdienst ein kollaborativer Empfehlungsdienst ist und ein neuronales Netz mit mindestens einer Faltungsschicht aufweist oder ein rekursives neuronales Netzwerk aufweist oder auf einem K-nächste-Nachbarverfahren basiert.
Verfahren gemäß einem der vorangehenden Ansprüche, wobei das neuronale Netz einen ersten Autoencoder für das Erfassen der Umgebung aufweist und einen zweiten Autoencoder für das Erfassen der möglichen Trajektorien aufweist.
Verfahren gemäß einem der vorangehenden Ansprüche, wobei die Vektoren des K-nächsten-Nachbarverfahren mittels einer Vielzahl von korrespondierenden Kombinationen aus erfasster Verkehrsumgebung und observierten Trajektorie gebildet werden.
Verfahren gemäß einem der vorangehenden Ansprüche, wobei die mindestens eine mögliche Trajektorie mittels einer geographischen Karte der Verkehrsumgebung bestimmt wird.
Verfahren gemäß einem der vorangehenden Ansprüche, wobei die Verkehrsumgebung erfasst wird, indem räumliche Anteile der Verkehrsumgebung, in ein zweidimensionales Bezugssystem, entsprechend einer Aufsicht auf die Verkehrsumgebung transformiert werden.
Verfahren gemäß einem der vorhergehenden Ansprüche, wobei die erfasste Verkehrsumgebung eine bisherige Trajektorie mindestens eines Verkehrsteilnehmers beinhaltet.
Verfahren gemäß einem der vorhergehenden Ansprüche, wobei mindestens eine mögliche Trajektorie mittels einer Optimierung von Kostenfunktionen und/oder mittels eines suchbasierten Verfahrens und/oder eines maschinell gelernten Verfahrens ermittelt wird.
Verfahren zum Erstellen eines Empfehlungsdienstes zur Bewertung möglicher Trajektorien, mit den Schritten: Bestimmen einer Vielzahl von korrespondierenden Kombinationen aus erfasster Verkehrsumgebung, observierten Trajektorie und mindestens einer möglichen Trajektorie für eine Vielzahl von verschiedenen Verkehrsumgebungen, durch Wiederholen der Schritte: Erfassen der Verkehrsumgebung mit mindestens einem statischen und mindestens einem dynamischen Merkmal; Identifizieren mindestens eines Verkehrsteilnehmers der Verkehrssituation; Erfassen einer observierten Trajektorie des mindestens einen Verkehrsteilnehmers; Ermitteln mindestens einer möglichen Trajektorie für den mindestens einen Verkehrsteilnehmer der Verkehrsumgebung; und Adaptieren des Empfehlungsdienstes mit der Vielzahl von korrespondierenden Kombinationen aus der erfasster Verkehrsumgebung, der observierten Trajektorie und der mindestens einen möglichen Trajektorie, mittels einer Abweichung der observierten Trajektorie von der mindestens einen möglichen Trajektorie.
Verfahren gemäß Anspruch 10, wobei für das Bewerten einer observierten Trajektorien-Verkehrsumgebungs-Kombinationen in einer erfassten Verkehrsumgebung eine Differenz von einer möglichen Trajektorie eines Verkehrsteilnehmers zu einer observierten Trajektorie, mittels einer Metrik, berechnet wird.
Verfahren zum Planen einer abzufahrenden Trajektorie von zumindest einem der Verkehrsteilnehmer einer Verkehrsumgebung, mit den Schritten: Ermitteln mindestens einer möglichen Trajektorie für jeden Verkehrsteilnehmer der Verkehrsumgebung; Bewerten einer Mehrzahl jeder möglichen Trajektorie für jeden Verkehrsteilnehmer entsprechend einem der Ansprüche 1 bis 11; Bestimmen der abzufahrenden Trajektorie des mindestens einen Verkehrsteilnehmers der Verkehrssituation mittels aller bewerteten, möglichen Trajektorien der anderen Verkehrsteilnehmer.
Vorrichtung, die eingerichtet ist, das Verfahren nach einem der Ansprüche 1 bis 12 durchzuführen.
Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren (10) nach einem der Ansprüche 1 bis 12 auszuführen.
Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 14 gespeichert ist.