DE102019114737A1

DE102019114737A1 - Verfahren und Vorrichtung zur Vorhersage des Verhaltens eines Verkehrsteilnehmers

Info

Publication number: DE102019114737A1
Application number: DE102019114737.9A
Authority: DE
Inventors: Julian LOECHNER; Jens Schulz; Constantin Hubmann; Nikolai Morin
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2019-06-03
Filing date: 2019-06-03
Publication date: 2020-12-03

Abstract

Es wird eine Vorrichtung zur Vorhersage des Verhaltens eines Verkehrsteilnehmers bei einer Verkehrssituation beschrieben. Die Vorrichtung ist eingerichtet ist, für einen Zeitpunkt, Merkmalswerte für eine Vielzahl von Merkmalen zu ermitteln. Des Weiteren ist die Vorrichtung eingerichtet, anhand zumindest eines neuronalen Netzes eine Aktion des Verkehrsteilnehmers zu prädizieren, wobei das neuronale Netz ausgebildet ist, die Merkmalswerte für die Vielzahl von Merkmalen als Eingangswerte des neuronalen Netzes aufzunehmen und die Aktion des Verkehrsteilnehmers als Ausgangswert des neuronalen Netzes bereitzustellen.

Description

Die Erfindung betrifft ein Verfahren und eine entsprechende Vorrichtung zur Vorhersage des Verhaltens eines Verkehrsteilnehmers, insbesondere des Verhaltens eines Verkehrsteilnehmers im Umfeld eines zumindest teilweise automatisiert fahrenden Fahrzeugs.
Ein zumindest teilweise automatisiert fahrendes Fahrzeug ist ausgebildet, die Längs- und/oder Querführung des Fahrzeugs zumindest teilweise automatisiert durchzuführen. In diesem Zusammenhang kann das Fahrzeug eingerichtet sein, Sensordaten in Bezug auf das Umfeld des Fahrzeugs zu erfassen, und auf Basis der Sensordaten ein oder mehrere andere Verkehrsteilnehmer im Umfeld des Fahrzeugs zu erkennen. Die Längs- und/oder Querführung des Fahrzeugs kann dann in Abhängigkeit von den ein oder mehreren detektierten Verkehrsteilnehmern erfolgen.
Zur Erhöhung der Güte der automatisierten Längs- und/oder Querführung des Fahrzeugs kann es vorteilhaft sein, das zukünftige Verhalten (insbesondere eine zukünftige Bewegungstrajektorie) der ein oder mehreren detektierten Verkehrsteilnehmer zu prädizieren. Das vorliegende Dokument befasst sich mit der technischen Aufgabe, das Verhalten eines Verkehrsteilnehmers in effizienter und zuverlässiger Weise zu prädizieren.
Die Aufgabe wird durch jeden der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.
Gemäß einem Aspekt wird eine Vorrichtung (z.B. eine Steuereinheit und/oder ein Steuergerät eines Fahrzeugs) zur Vorhersage des Verhaltens eines Verkehrsteilnehmers (z.B. eines Kraftfahrzeugs bzw. des Fahrers eines Kraftfahrzeugs) bei einer Verkehrssituation beschrieben. Die Vorrichtung ist eingerichtet, für einen (aktuellen) Zeitpunkt t, Merkmalswerte für eine Vielzahl von Merkmalen zu ermitteln. Die Merkmalswerte können z.B. auf Basis von Sensordaten von ein oder mehreren Umfeldsensoren und/oder auf Basis von digitaler Karteninformation in Bezug auf ein für die Verkehrssituation relevantes Straßennetz ermittelt werden.
Die Vielzahl von Merkmalen kann ein oder mehrere Zustands-Merkmale in Bezug auf einen Zustand des Verkehrsteilnehmers (an dem (aktuellen) Zeitpunkt t) umfassen. Beispielhafte Zustands-Merkmale sind eine Bewegungsgeschwindigkeit des Verkehrsteilnehmers und/oder eine Position des Verkehrsteilnehmers (z.B. eine Position relativ zu einer von dem Verkehrsteilnehmer befahrenen Straße) und/oder eine Orientierung des Verkehrsteilnehmers.
Alternativ oder ergänzend kann die Vielzahl von Merkmalen ein oder mehrere Interaktions-Merkmale in Bezug auf ein oder mehrere andere Verkehrsteilnehmer umfassen, die an der Verkehrssituation beteiligt sind. Beispielhafte Interaktions-Merkmale sind: eine Bewegungsgeschwindigkeit eines anderen (z.B. des direkt vorausfahrenden und/oder des nächstliegenden) Verkehrsteilnehmers; ein Abstand zu dem anderen (z.B. dem vorausfahrenden und/oder dem nächstliegenden) Verkehrsteilnehmer; ein Abstand zu einer möglichen Konfliktzone zwischen dem Verkehrsteilnehmer und dem anderen Verkehrsteilnehmer; und/oder eine Vorfahrtsregel relativ zu dem anderen Verkehrsteilnehmer.
Alternativ oder ergänzend kann die Vielzahl von Merkmalen ein oder mehrere Straßen- und/oder Regel-Merkmale in Bezug auf zumindest eine Eigenschaft der von dem Verkehrsteilnehmer bei der Verkehrssituation befahrenen Straße umfassen. Beispielhafte Straßen- und/oder Regel-Merkmale sind: eine Geschwindigkeitsbegrenzung auf der befahrenen Straße; ein Abstand des Verkehrsteilnehmers zu einer Ampel, zu einer Haltelinie und/oder zu einer Kreuzung; und/oder ein Straßenverlauf; und/oder eine Kurvenkrümmung; und/oder eine Straßenbreite.
In einem bevorzugten Beispiel umfasst die Vielzahl von Merkmalen zumindest ein Merkmal, das anzeigt, ob der Verkehrsteilnehmer (für den das Verhalten vorhergesagt werden soll) bei der Verkehrssituation Vorfahrt hat oder nicht. Alternativ oder ergänzend kann die Vielzahl von Merkmalen zumindest ein Merkmal umfassen, das eine von der Krümmung der von dem Verkehrsteilnehmer befahrenen Straße abhängige Beschleunigung, insbesondere eine für die Krümmung empfohlene Beschleunigung, des Verkehrsteilnehmers anzeigt. Insbesondere diese Merkmale ermöglichen eine präzise Vorhersage des Verhaltens des Verkehrsteilnehmers.
Des Weiteren ist die Vorrichtung eingerichtet, anhand zumindest eines (im Vorfeld angelernten) neuronalen Netzes eine Aktion des Verkehrsteilnehmers (an dem (aktuellen) Zeitpunkt t) zu prädizieren. Dabei ist das neuronale Netz (infolge eines Anlernvorgangs) ausgebildet, die Merkmalswerte für die Vielzahl von Merkmalen als Eingangswerte des neuronalen Netzes aufzunehmen und (in Reaktion darauf) die (prädizierte) Aktion des Verkehrsteilnehmers als Ausgangswert des neuronalen Netzes bereitzustellen. Die prädizierte Aktion kann dabei eine Aktion in Bezug auf die Längsführung und/oder in Bezug auf die Querführung des Verkehrsteilnehmers umfassen.
Durch die prädizierte Aktion des Verkehrsteilnehmers (für den aktuellen Zeitpunkt t) kann das Verhalten des Verkehrsteilnehmers in der vorliegenden Verkehrssituation ermittelt werden. Insbesondere kann für eine Sequenz von vorausliegenden Zeitpunkten jeweils eine Aktion des Verkehrsteilnehmers prädiziert werden, um das Verhalten des Verkehrsteilnehmers an der Sequenz von Zeitpunkten zu verwenden. Die Verwendung eines angelernten neuronalen Netzes ermöglicht dabei eine effiziente und präzise Modellierung des Verhaltens des Verkehrsteilnehmers.
Die prädizierte Aktion kann Information in Bezug auf eine Wahrscheinlichkeitsverteilung (z.B. eine Normalverteilung) der Längsbeschleunigung (als Aktion in Bezug auf die Längsführung) und/oder des Lenkwinkels (als Aktion in Bezug auf die Querführung) des Verkehrsteilnehmers umfassen. Insbesondere kann die prädizierte Aktion einen Mittelwert bzw. einen Erwartungswert der Längsbeschleunigung und/oder des Lenkwinkels des Verkehrsteilnehmers umfassen. Alternativ oder ergänzend kann die prädizierte Aktion eine Varianz und/oder eine Standardabweichung der Längsbeschleunigung und/oder des Lenkwinkels des Verkehrsteilnehmers umfassen. Alternativ oder ergänzend kann die prädizierte Aktion eine Kovarianz zwischen der Längsbeschleunigung und dem Lenkwinkel umfassen. Die einzelnen Komponenten (z.B. der Mittel- bzw. Erwartungswert und/oder die Varianz) der durch das neuronale Netz prädizierten Wahrscheinlichkeitsverteilung der Aktion des Verkehrsteilnehmers können durch einzelne Ausgangswerte des neuronalen Netzes bereitgestellt werden. Durch die Bereitstellung der Wahrscheinlichkeitsverteilung für die Aktion des Verkehrsteilnehmers kann das Verhalten des Verkehrsteilnehmers mit erhöhter Genauigkeit und/oder Konfidenz ermittelt werden.
Die Vorrichtung kann eingerichtet sein, in iterativer Weise für eine Sequenz von Zeitpunkten, auf Basis des Zustands des Verkehrsteilnehmers an einem aktuellen Zeitpunkt und auf Basis der für den aktuellen Zeitpunkt prädizierten Aktion (in Bezug auf die Längs- und/oder Querführung des Verkehrsteilnehmers) einen Zustand des Verkehrsteilnehmers an dem direkt nachfolgenden Zeitpunkt zu prädizieren. Dabei kann der Zustand des Verkehrsteilnehmers an dem direkt nachfolgenden Zeitpunkt in präziser und effizienter Weise mittels eines kinematischen Modells, insbesondere mittels eines Einspurmodells oder mittels eines Fahrradmodells, des Verkehrsteilnehmers ermittelt werden.
Das Ermitteln des Zustands und das Prädizieren der jeweiligen Aktion (auf Basis des Zustands) des Verkehrsteilnehmers kann iterativ für die Sequenz von (vorausliegenden) Zeitpunkten wiederholt werden, um in iterativer Weise den Zustand des Verkehrsteilnehmers an der Sequenz von Zeitpunkten zu prädizieren. Anhand des Zustands des Verkehrsteilnehmers, insbesondere anhand der als Teil des Zustands angezeigten Position des Verkehrsteilnehmers, an der Sequenz von Zeitpunkten kann dann in präziser Weise die Bewegungstrajektorie des Verkehrsteilnehmers an der Sequenz von Zeitpunkten prädiziert werden.
Eine Verkehrssituation umfasst typischerweise eine Mehrzahl von Verkehrsteilnehmern. Die Vorrichtung kann eingerichtet sein, in iterativer Weise, Zeitpunkt für Zeitpunkt aus der Sequenz von Zeitpunkten, ausgehend von dem Zustand (insbesondere ausgehend von der Zustands-Wahrscheinlichkeitsverteilung) der Mehrzahl von Verkehrsteilnehmern an dem jeweils aktuellen Zeitpunkt eine Mehrzahl von Aktionen (insbesondere eine Mehrzahl von Aktions-Wahrscheinlichkeitsverteilungen) für die entsprechende Mehrzahl von Verkehrsteilnehmern zu prädizieren. Es kann somit an dem aktuellen Zeitpunkt für alle an der Verkehrssituation beteiligten Verkehrsteilnehmer das Verhalten prädiziert werden.
Des Weiteren kann die Vorrichtung eingerichtet sein, für jeden der Mehrzahl von Verkehrsteilnehmern, ausgehend von dem Zustand (insbesondere ausgehend von der Zustands-Wahrscheinlichkeitsverteilung) des jeweiligen Verkehrsteilnehmers an dem aktuellen Zeitpunkt und auf Basis der für den aktuellen Zeitpunkt prädizierten Aktion des jeweiligen Verkehrsteilnehmers den Zustand (insbesondere die Zustands-Wahrscheinlichkeitsverteilung) des Verkehrsteilnehmers an dem direkt nachfolgenden Zeitpunkt zu prädizieren.
Es kann somit der Zustand (d.h. die Zustands-Wahrscheinlichkeitsverteilung) aller Verkehrsteilnehmer der Verkehrssituation an dem direkt nachfolgenden Zeitpunkt ermittelt werden. Insbesondere kann in iterativer Weise, Zeitpunkt für Zeitpunkt, der Zustand der Mehrzahl von Verkehrsteilnehmern und damit der gesamten Verkehrssituation ermittelt werden. Dabei können an jedem Zeitpunkt die Zustands-Wahrscheinlichkeitsverteilungen aller an der Verkehrssituation beteiligten Verkehrsteilnehmer ermittelt und ggf. zur Vorhersage des Verhaltens der einzelnen Verkehrsteilnehmer verwendet werden. So kann in präziser Weise eine (ggf. langfristige) Vorhersage des Verhaltens von Verkehrsteilnehmern bereitgestellt werden.
Wie bereits oben dargelegt, kann die für den aktuellen Zeitpunkt prädizierte Aktion durch eine Aktions-Wahrscheinlichkeitsverteilung beschrieben werden. Als Folge daraus kann im Rahmen der iterativen Ermittlung der Sequenz von Zuständen für die Sequenz von Zeitpunkten eine Zustands-Wahrscheinlichkeitsverteilung des Zustands des Verkehrsteilnehmers ermittelt werden.
Insbesondere kann die Vorrichtung eingerichtet sein, an dem aktuellen Zeitpunkt (aus der Sequenz von Zeitpunkten) ein oder mehrere Stichproben der Aktions-Wahrscheinlichkeitsverteilung der prädizierten Aktion des Verkehrsteilnehmers zu ziehen bzw. zu ermitteln, um eine Vielzahl von Aktions-Partikel zu ermitteln. Dabei kann ein Aktions-Partikel einer Stichprobe der Aktions-Wahrscheinlichkeitsverteilung entsprechen.
Des Weiteren kann die Vorrichtung eingerichtet sein, für jedes der Vielzahl von Aktions-Partikel ausgehend von dem Zustand des Verkehrsteilnehmers an dem aktuellen Zeitpunkt einen Zustands-Partikel (d.h. eine Stichprobe) in Bezug auf den Zustand des Verkehrsteilnehmers an dem direkt nachfolgenden Zeitpunkt zu prädizieren. Der Zustand des Verkehrsteilnehmers an dem direkt nachfolgenden Zeitpunkt, insbesondere die Zustands-Wahrscheinlichkeitsverteilung des Zustands des Verkehrsteilnehmers an dem direkt nachfolgenden Zeitpunkt, kann dann in präziser Weise auf Basis der Vielzahl von Zustands-Partikel ermittelt werden.
Insbesondere kann der Zustand des Verkehrsteilnehmers an einem bestimmten Zeitpunkt, insbesondere die aktuelle Zustands-Wahrscheinlichkeitsverteilung, durch Q Zustands-Partikel (d.h. durch Q Stichproben) beschrieben werden. Für jeden einzelnen der Q Zustands-Partikel kann eine Aktion prädiziert werden (insbesondere eine Aktions-Wahrscheinlichkeitsverteilung), so dass sich für die Q Zustands-Partikel Q prädizierte Aktionen bzw. Aktions-Wahrscheinlichkeitsverteilungen ergeben.
Von jeder der Q prädizierten Aktions-Wahrscheinlichkeitsverteilungen können K Aktions-Partikel als Stichproben gezogen werden (z.B. K=1 oder K>1). Jeder der Q Zustands-Partikel wird ggf. K mal dupliziert, sodass es jeden Zustands-Partikel K mal gibt. Jeder Zustands-Partikel wird dann mit einem der entsprechenden Aktions-Partikel gepaart, sodass dadurch K*Q Zustands-Aktions-Paare entstehen.
Die K*Q Zustands-Aktions-Paare an dem aktuellen Zeitpunkt t können dazu verwendet werden, anhand des kinematischen Modells des Verkehrsteilnehmers K*Q Zustands-Partikel der Zustands-Wahrscheinlichkeitsverteilung des Verkehrsteilnehmers an dem nachfolgenden Zeitpunkt t + 1 zu prädizieren. Ggf. können von den K*Q Zustands-Partikeln (insbesondere bei K>1) Q Stichproben genommen werden, um die Zustands-Wahrscheinlichkeitsverteilung des Verkehrsteilnehmers an dem nachfolgenden Zeitpunkt t + 1 durch Q Zustands-Partikel zu beschreiben.
Durch die Stichprobenentnahme der an dem jeweiligen Zeitpunkt ermittelten Aktions-Wahrscheinlichkeitsverteilung und/oder Zustands-Wahrscheinlichkeitsverteilung können in effizienter und präziser Weise der Zustand des Verkehrsteilnehmers (insbesondere eine Zustands-Wahrscheinlichkeitsverteilung des Zustands des Verkehrsteilnehmers) an einer Sequenz von (vorausliegenden) Zeitpunkten ermittelt und somit das Verhalten des Verkehrsteilnehmers prädiziert werden
Die Vorrichtung kann eingerichtet sein, für den Zeitpunkt t (insbesondere für jeden Zeitpunkt der Sequenz von Zeitpunkten), eine Mehrzahl von unterschiedlichen Routen-Absichten zu ermitteln. Dabei kann eine Routen-Absicht eine mögliche Route des Verkehrsteilnehmers ausgehend von dem (aktuellen) Zustand des Verkehrsteilnehmers anzeigen. Die Mehrzahl von unterschiedlichen Routen-Absichten kann insbesondere auf Basis der digitalen Karteninformation ermittelt werden. Beispielhafte Routen-Absichten des Verkehrsteilnehmers an einer vorausliegenden Kreuzung sind: Rechts-Abbiegen, Links-Abbiegen und/oder Geradeaus-Fahren. Die Mehrzahl von unterschiedlichen Routen-Absichten kann somit von den unterschiedlichen Routen-Optionen durch das Straßennetz abhängen, die sich für den Verkehrsteilnehmer im Rahmen der vorliegenden Verkehrssituation ergeben.
Die Vorrichtung kann eingerichtet sein, für jede der Mehrzahl von unterschiedlichen Routen-Absichten eine mögliche Aktion des Verkehrsteilnehmers zu prädizieren. Mit anderen Worten, es können unterschiedliche mögliche Aktionen prädiziert werden, die von der jeweils gewählten Routen-Absicht abhängt.
Die Vorrichtung kann eingerichtet sein, für jede der Mehrzahl von unterschiedlichen Routen-Absichten (wie z.B. Rechts/Links Abbiegen oder Geradeaus-Fahren) jeweils spezifische Merkmalswerte für zumindest einen Teil der Vielzahl von Merkmalen zu ermitteln, um die mögliche Aktion des Verkehrsteilnehmers für die jeweilige Routen-Absicht zu prädizieren. Die spezifischen Merkmalswerte für zumindest einen Teil der Vielzahl von Merkmalen können somit von der jeweiligen Routen-Absicht abhängen.
Mit anderen Worten, die unterschiedlichen Routen-Absichten des Verkehrsteilnehmers können durch unterschiedliche Merkmalswerte für zumindest einen Teil der Vielzahl von Merkmalen beschrieben werden. Insbesondere können ein oder mehrere Straßen-Merkmale, ein oder mehrere Regel-Merkmale und/oder ein oder mehrere Interaktionsmerkmale davon abhängen, welche Routen-Absicht der Verkehrsteilnehmer auswählt. Beispielsweise können ein Rechts/Links Abbiegen oder Geradeaus-Fahren zu unterschiedlichen Merkmalswerten für zumindest ein Straßen-Merkmal (z.B. die Krümmung), ein Regel-Merkmal (z.B. eine Vorfahrtsregel), und/oder ein Interaktionsmerkmal (z.B. ein Abstand zu einem für die Routen-Absicht relevanten anderen Verkehrsteilnehmer) führen.
Die Vielzahl von Merkmalen, die als Eingangswerte an das neuronale Netz übergeben werden, können somit ausgebildet sein, die unterschiedlichen möglichen Routen-Absichten eines Verkehrsteilnehmers in präziser Weise zu beschreiben und voneinander zu unterscheiden.
Durch die Beschreibung der unterschiedlichen Routen-Absichten des Verkehrsteilnehmers durch unterschiedliche Merkmalswerte wird die Verwendung eines einzigen neuronalen Netzes für die unterschiedlichen Routen-Absichten ermöglicht. Dieses neuronale Netz kann in effizienter und robuster Weise angelernt werden. Des Weiteren können so auch relativ komplexe Routen-Absichten in effizienter und präziser Weise beschrieben werden. Es wird somit eine effiziente und robuste Vorhersage des Verhaltens eines Verkehrsteilnehmers ermöglicht.
Insbesondere kann das Verhalten des Verkehrsteilnehmers auf Basis der Mehrzahl von möglichen Aktionen für die Mehrzahl von unterschiedlichen Routen-Absichten ermittelt werden. Die Vorrichtung kann zu diesem Zweck eingerichtet sein, eine Mehrzahl von Wahrscheinlichkeitswerten für die entsprechende Mehrzahl von unterschiedlichen Routen-Absichten zu ermitteln. Insbesondere kann ermittelt werden, wie wahrscheinlich die unterschiedlichen Routen-Absichten (relativ zueinander) sind. Dies kann z.B. auf Basis der Sensordaten von ein oder mehreren Umfeldsensoren und/oder auf Basis der digitalen Karteninformation und/oder in Abhängigkeit von dem aktuellen Zustand des Verkehrsteilnehmers ermittelt werden.
Das Verhalten des Verkehrsteilnehmers kann dann auch auf Basis der Mehrzahl von Wahrscheinlichkeitswerten ermittelt werden. Insbesondere kann die Mehrzahl von möglichen Aktionen (z.B. die Mehrzahl von möglichen Aktions-Wahrscheinlichkeitsverteilungen) für die Mehrzahl von unterschiedlichen Routen-Absichten in Abhängigkeit von der Mehrzahl von Wahrscheinlichkeitswerten für die Mehrzahl von unterschiedlichen Routen-Absichten überlagert (z.B. gemittelt) werden. So kann das Verhalten des Verkehrsteilnehmers in besonders präziser und robuster Weise vorhergesagt werden.
Wie bereits oben dargelegt, kann die Vorrichtung Teil eines Fahrzeugs (insbesondere eines Kraftfahrzeugs) sein, das an der Verkehrssituation beteiligt ist. Die Vorrichtung kann ausgebildet sein, die Merkmalswerte zumindest eines Teils der Vielzahl von Merkmalen auf Basis von Umfelddaten zu ermitteln, die von ein oder mehreren Umfeldsensoren (z.B. einer Bildkamera, einem Radarsensor, einem Lidarsensor und/oder einen Ultraschallsensor) des Fahrzeugs erfasst wurden, und/oder auf Basis von digitaler Karteninformation in Bezug auf das von dem Fahrzeug befahrende Straßennetz zu ermitteln.
Die Vorrichtung kann eingerichtet sein, das Verhalten von mehreren (insbesondere von allen) für die Verkehrssituation relevanten Verkehrsteilnehmern zu prädizieren. Dabei kann jeweils das in diesem Dokument beschriebene Verfahren verwendet werden.
Des Weiteren kann die Vorrichtung eingerichtet sein, ein oder mehrere Längs- und/oder Querführungs-Aktoren (z.B. einen Antriebsmotor, eine Bremsvorrichtung und/oder eine Lenkvorrichtung) des Fahrzeugs in Abhängigkeit von der prädizierten Aktion und/oder dem prädizierten Verhalten der ein oder mehreren Verkehrsteilnehmer zu betreiben, um das Fahrzeug zumindest teilweise automatisiert längs- und/oder querzuführen. Es wird somit ein zuverlässiger und robuster Betrieb eines Fahrzeugs ermöglicht.
Gemäß einem weiteren Aspekt wird ein (Straßen-)Kraftfahrzeug (insbesondere ein Personenkraftwagen oder ein Lastkraftwagen oder ein Bus oder ein Motorrad) beschrieben, das die in diesem Dokument beschriebene Steuereinheit bzw. Vorrichtung umfasst.
Gemäß einem Aspekt wird ein (Computer-implementiertes) Verfahren zur Vorhersage des Verhaltens eines Verkehrsteilnehmers bei einer Verkehrssituation beschrieben. Das Verfahren umfasst für einen Zeitpunkt t (bzw. für die einzelnen Zeitpunkte einer Sequenz von Zeitpunkten), das Ermitteln von Merkmalswerten für eine Vielzahl von Merkmalen. Die Vielzahl von Merkmalen kann dabei umfassen: ein oder mehrere Zustands-Merkmale in Bezug auf einen Zustand des Verkehrsteilnehmers; ein oder mehrere Interaktions-Merkmale in Bezug auf ein oder mehrere andere Verkehrsteilnehmer, die an der Verkehrssituation beteiligt sind; und/oder ein oder mehrere Straßen-Merkmale in Bezug auf zumindest eine Eigenschaft einer von dem Verkehrsteilnehmer bei der Verkehrssituation befahrenen Straße.
Außerdem umfasst das Verfahren das Prädizieren einer Aktion des Verkehrsteilnehmers anhand zumindest eines neuronalen Netzes. Das neuronale Netz kann ausgebildet sein, die Merkmalswerte für die Vielzahl von Merkmalen als Eingangswerte des neuronalen Netzes aufzunehmen und (in Reaktion darauf) die Aktion des Verkehrsteilnehmers als Ausgangswert des neuronalen Netzes bereitzustellen.
Gemäß einem weiteren Aspekt wird ein (Computer-implementiertes) Verfahren zum Anlernen eines neuronalen Netzes für die in diesem Dokument beschriebene Vorrichtung zur Vorhersage des Verhaltens eines Verkehrsteilnehmers beschrieben. Das Verfahren kann durch einen Server ausgeführt werden. Das Verfahren kann darauf ausgelegt sein, ein neuronales Netz bereitzustellen, das einem (Maschinen-erlernten) Aktionsmodell eines Verkehrsteilnehmers entspricht.
Das Verfahren umfasst das Bereitstellen einer Vielzahl von Trainings-Datensätzen auf Basis von Messungen für zumindest einen Test-Verkehrsteilnehmer. Die Messungen können den tatsächlichen Zustand des zumindest einen Test-Verkehrsteilnehmers an einer Sequenz von Zeitpunkten anzeigen. Die einzelnen Trainings-Datensätze können jeweils ein Tupel von Merkmalswerten für die Vielzahl von Merkmalen als Eingangswerte des neuronalen Netzes umfassen. Des Weiteren können die einzelnen Trainings-Datensätze jeweils eine tatsächliche Aktion des Test-Verkehrsteilnehmers als Ausgangswert des neuronalen Netzes umfassen. Es können somit auf Basis von Messungen Trainings-Datensätze für ein überwachtes Anlernen des neuronalen Netzes bereitgestellt werden.
Zur Bereitstellung der Trainings-Datensätze kann das Verfahren umfassen, das Ermitteln der Merkmalswerte für zumindest einen Teil der Vielzahl von Merkmalen (für einen bestimmten Trainings-Datensatz) in Abhängigkeit von einem tatsächlichen Zustand des Test-Verkehrsteilnehmers an einem ersten Zeitpunkt (aus der Sequenz von Zeitpunkten). Die tatsächliche Aktion des Test-Verkehrsteilnehmers (für den bestimmten Trainings-Datensatz) kann dann auf Basis des tatsächlichen Zustands des Test-Verkehrsteilnehmers an dem ersten Zeitpunkt und des tatsächlichen Zustands des Test-Verkehrsteilnehmers an einem (direkt) auf den ersten Zeitpunkt nachfolgenden Zeitpunkt unter Berücksichtigung des kinematischen Modells (z.B. eines Einspurmodells oder eines Fahrradmodells) für den Test-Verkehrsteilnehmer ermittelt werden. So können in effizienter und präziser Weise Trainings-Datensätze für ein überwachtes Anlernen des neuronalen Netzes bereitgestellt werden.
Ein Trainings-Datensatz kann ferner tatsächliche Merkmalswerte für ein oder mehrere Straßen-Merkmale, ein oder mehrere Regel-Merkmale und/oder ein oder mehrere Interaktions-Merkmale umfassen. Diese tatsächlichen Merkmalswerte können auf Basis der von dem Test-Verkehrsteilnehmer ermittelten Umfelddaten, auf Basis der tatsächlich gefahrenen Route des Test-Verkehrsteilnehmers und/oder auf Basis der digitalen Karteninformation der von dem Test-Verkehrsteilnehmer befahrenen Straße ermittelt werden.
Außerdem umfasst das Verfahren das Anlernen des neuronalen Netzes, insbesondere mittels eines Backpropagation-Algorithmus, anhand der Vielzahl von Trainings-Datensätzen. Dabei kann das neuronale Netz mittels einer Fehlerfunktion und/oder unter Verwendung einer Fehlerfunktion angelernt werden. Die Fehlerfunktion kann einen ersten Term umfassen, der von der (mittleren) Abweichung der von dem neuronalen Netz ermittelten Aktion von der tatsächlichen Aktion (für die Vielzahl von Trainings-Datensätze) abhängt. Des Weiteren kann die Fehlerfunktion einen zweiten Term umfassen, der von der Varianz der von dem neuronalen Netz ermittelten Aktion (für die Vielzahl von Trainings-Datensätze) abhängt. Allgemein kann die Fehlerfunktion ein oder mehrere Terme umfassen, die von der (mittleren) Abweichung der ermittelten Aktion von der tatsächlichen Aktion, von der Varianz der ermittelten Aktion und/oder von der Kovarianz-Matrix von Aktionskomponenten (z.B. der Längsbeschleunigung und des Lenkwinkels) der ermittelten Aktion abhängen. Des Weiteren kann die Fehlerfunktion von ein oder mehreren Termen abhängen, die sowohl von der Varianz (oder Kovarianz-Matrix) als auch von der (mittleren) Abweichung abhängen. Alternativ oder ergänzend kann die Fehlerfunktion von der Likelihood-Funktion der Wahrscheinlichkeitsverteilung für das entsprechende Label bzw. Target abhängen (z.B. der negativen logarithmischen Likelihood), welche bei Normalverteilungen der Aktion sowohl von dem Mittelwert als auch von der Varianz (bzw. Kovarianz-Matrix) abhängt. So kann ein neuronales Netz bereitgestellt werden, dass in präziser und robuster Weise das Verhalten eines Verkehrsteilnehmers modelliert.
Gemäß einem weiteren Aspekt wird eine Vorrichtung zum Anlernen eines neuronalen Netzes für die in diesem Dokument beschriebene Vorrichtung zur Vorhersage des Verhaltens eines Verkehrsteilnehmers beschrieben. Die Vorrichtung ist eingerichtet, eine Vielzahl von Trainings-Datensätzen zu ermitteln, die von Messungen für zumindest einen Test-Verkehrsteilnehmer (insbesondere einem Test-Kraftfahrzeug) abhängen. Dabei kann ein Trainings-Datensatz umfassen: ein tatsächliches Tupel von Merkmalswerten für die Vielzahl von Merkmalen als Eingangswerte des neuronalen Netzes, und eine (entsprechende) tatsächliche Aktion des Test-Verkehrsteilnehmers als Ausgangswert des neuronalen Netzes. Die Vorrichtung ist ferner eingerichtet, das neuronale Netz, insbesondere mittels eines Backpropagation-Algorithmus, anhand der Vielzahl von Trainings-Datensätzen anzulernen.
Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z.B. auf einem Steuergerät eines Fahrzeugs) ausgeführt zu werden, und um dadurch eines der in diesem Dokument beschriebenen Verfahren auszuführen.
Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch eines der in diesem Dokument beschriebenen Verfahren auszuführen.
Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden.
Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen

1a eine beispielhafte Verkehrssituation mit mehreren Verkehrsteilnehmern;
1b beispielhafte Komponenten eines Fahrzeugs;
1c ein beispielhaftes Zustandsmodell eines Verkehrsteilnehmers;
2a ein beispielhaftes neuronales Netz;
2b ein beispielhaftes Neuron; und
3 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Schätzung des zukünftigen Verhaltens eines Verkehrsteilnehmers.

Wie eingangs dargelegt, befasst sich das vorliegende Dokument damit, das Verhalten eines Verkehrsteilnehmers in effizienter und präziser Weise zu prädizieren. In diesem Zusammenhang zeigt 1a eine beispielhafte Verkehrssituation, bei der ein Fahrzeug 110, in diesem Dokument auch als das Ego-Fahrzeug bezeichnet, auf einer Fahrbahn 100 auf eine Kreuzung 101 zufährt. An der Kreuzung 101 trifft das Ego-Fahrzeug 110 auf ein oder mehrere andere Verkehrsteilnehmer 120 (insbesondere andere Fahrzeuge). Dabei kann ein Verkehrsteilnehmer 120 unterschiedliche Absichten 121 in Bezug auf die an der Kreuzung 101 einzuschlagende Fahrtrichtung und/oder die zu fahrende Route aufweisen. Beispielsweise kann ein Verkehrsteilnehmer 120, wie in 1a beispielhaft dargestellt, ggf. die Absicht 121 haben, an der Kreuzung 101 rechts abzubiegen, links abzubiegen oder geradeaus zu fahren. Die unterschiedlichen möglichen Absichten 121 eines Verkehrsteilnehmers 120 in Bezug auf eine Route durch ein Straßennetz werden in diesem Dokument auch als Routen-Absichten 121 bezeichnet.
Ein Fahrzeug 110, insbesondere das Ego-Fahrzeug, kann, wie in 1b dargestellt, ein oder mehrere Umfeldsensoren 112 umfassen, die eingerichtet sind, Umfelddaten (d.h. Sensordaten) in Bezug auf das Umfeld des Fahrzeugs 110 zu erfassen. Beispielhafte Umfeldsensoren 112 sind: eine Bildkamera, ein Radarsensor, ein Lidarsensor, ein Ultraschallsensor, etc.
Das Fahrzeug 110 kann ferner ein oder mehrere Aktoren 113 zur Längs- und/oder Querführung des Fahrzeugs 110, 120 umfassen, insbesondere einen Antriebsmotor, eine Bremsvorrichtung und/oder eine Lenkvorrichtung. Eine Steuereinheit 111 des Fahrzeugs 110 kann eingerichtet sein, die ein oder mehreren Aktoren 113 des Fahrzeugs 110 automatisch in Abhängigkeit von den Umfelddaten zu betreiben, insbesondere um das Fahrzeug 110 zumindest teilweise automatisiert längs- und/oder querzuführen.
Die Steuereinheit 111 kann eingerichtet sein, auf Basis der Umfelddaten ein oder mehrere andere Verkehrsteilnehmer 120 im Umfeld des Fahrzeugs 110 zu detektieren. Des Weiteren kann die Steuereinheit 111 eingerichtet sein, auf Basis der Umfelddaten ein zukünftiges Verhalten der ein oder mehreren anderen Verkehrsteilnehmer 120 zu prädizieren. Zu diesem Zweck kann ein (maschinenerlerntes) Aktionsmodell 114, welches das Verhalten von Verkehrsteilnehmern modelliert, verwendet werden. Die ein oder mehreren Aktoren 113 können dann in Abhängigkeit von dem prädizierten Verhalten der ein oder mehreren anderen Verkehrsteilnehmer 120 betrieben werden, um eine zuverlässige und robuste automatisierte Längs- und/oder Querführung des Fahrzeugs 110 zu bewirken.
Zur Prädiktion des Verhaltens eines Verkehrsteilnehmers 120 in einer bestimmten Verkehrssituation kann die Menge aller (relevanten) K + 1 Teilnehmer 110, 120 an der Verkehrssituation ermittelt werden, d.h. $V = {V^{0}, \dots, V^{K}}$
Für einen bestimmten Zeitpunkt t kann für jeden oder für einen Teil der K + 1 Teilnehmer 110, 120 ein Zustand des jeweiligen Teilnehmers 110, 120 i ermittelt werden, z.B. $x_{t}^{i} = {[x_{t}^{i}, y_{t}^{i}, Ψ_{t}^{i}, v_{t}^{i}]}^{T}$
wobei $x_{t}^{i}, y_{t}^{i}$
die Position des Teilnehmers i an dem Zeitpunkt t anzeigt (in kartesischen Koordinaten), wobei $Ψ_{t}^{i}$
die Bewegungsrichtung des Teilnehmers i anzeigt, und wobei $v_{t}^{i}$
die (absolute) Fahr- bzw. Bewegungsgeschwindigkeit des Teilnehmers i anzeigt. Des Weiteren können die räumliche Ausdehnung (insbesondere die Länge und/oder die Breite) eines Teilnehmers i berücksichtigt werden. Außerdem weist der Teilnehmer i an dem Zeitpunkt t eine bestimmte Routen-Absicht $r_{t}^{i}$
auf, die die Route bzw. den Pfad anzeigt, über die bzw. den sich der Teilnehmer durch das Straßennetz bewegt.
An jedem Zeitpunkt t führt der Teilnehmer i 110, 120 einer Verkehrssituation eine Aktion in Bezug auf seine Bewegung aus. Die Aktion kann insbesondere als $a_{t}^{i} = {[a_{t}^{i}, δ_{t}^{i}]}^{T}$
beschrieben werden, wobei $a_{t}^{i}$
die (Längs-) Beschleunigung des Teilnehmers anzeigt, und wobei $δ_{t}^{i}$
den Lenkwinkel des Teilnehmers anzeigt. Die Aktion des Teilnehmers i hängt typischerweise von seiner Routen-Absicht rt, von der Karte map des Straßennetzes und/oder von den Zuständen $x_{t}^{i},$
, für i = 0, ..., K, aller Teilnehmer der Verkehrssituation ab. Durch die Aktion $a_{t}^{i}$
des Teilnehmers i wird der Zustand $x_{t}^{i}$
an dem Zeitpunkt t in den Zustand $x_{t + 1}^{i}$
an dem Zeitpunkt t + 1 überführt.
Typischerweise kann nicht der tatsächliche Zustand eines Teilnehmers ermittelt werden, sondern nur eine Annahme und/oder eine (Zustands-) Wahrscheinlichkeitsverteilung des Zustands des Teilnehmers. Dabei können an jedem Zeitpunkt t rauschbehaftete Messungen $z_{t}^{i} = {[z_{x, t}^{i}, z_{y, t}^{i}, z_{θ, t}^{i}, z_{v, t}^{i}]}^{T}$
in Bezug auf den Zustand des Teilnehmers i gemacht werden (z.B. auf Basis der Umfelddaten des Ego-Fahrzeugs 110). Dabei zeigt $z_{x, t}^{i}, z_{y, t}^{i}$
eine Messung der Position des Teilnehmers i, $z_{θ, t}^{i}$
eine Messung der Richtung des Teilnehmers i, und $z_{v, t}^{i}$
eine Messung der Bewegungsgeschwindigkeit des Teilnehmers i an. Es kann somit angenommen werden, dass zu jedem Zeitpunkt t Information in Bezug auf die Zustände $x_{t}^{0} bis x_{t}^{K}$
der K + 1 Teilnehmer einer Verkehrssituation vorliegt. Es kann dann die Aktions-Wahrscheinlichkeitsverteilung der Aktion des Teilnehmers i ermittelt werden, als $p (a^{i} | r^{i}, x^{0}, \dots, x^{K}, map)$
Für die Aktions-Wahrscheinlichkeitsverteilung der Aktion, die durch den Teilnehmer i an dem Zeitpunkt t durchgeführt wird, kann eine Normalverteilung angenommen werden $p (a^{i} | r^{i}, x^{0}, \dots, x^{K}, map) = N ([\begin{matrix} μ_{a} \\ μ_{δ} \end{matrix}], [\begin{matrix} σ_{a}^{2} & 0 \\ 0 & σ_{δ}^{2} \end{matrix}])$
wobei µ_α der Mittel- bzw. Erwartungswert der bewirkten Beschleunigung (d.h. der Aktion in Bezug auf die Längsführung) und $σ_{a}^{2}$
die Varianz der bewirkten Beschleunigung ist, und wobei µ_δ der Mittel- bzw. Erwartungswert des bewirkten Lenkwinkels (d.h. der Aktion in Bezug auf die Querführung) und $σ_{δ}^{2}$
die Varianz des bewirkten Lenkwinkels ist.
Die zeitliche Entwicklung einer Verkehrssituation kann als Markov Prozess modelliert werden, bei dem die Teilnehmer der Verkehrssituation miteinander interagieren. Dabei kann angenommen werden, dass die Aktionen der einzelnen Teilnehmer an einem bestimmten Zeitpunkt t unabhängig von den Aktionen der jeweils anderen Teilnehmer an dem bestimmten Zeitpunkt t sind. Andererseits ist die Aktion 132 $a_{t}^{i}$
des Teilnehmers i an dem Zeitpunkt t typischerweise von den Zuständen 130, 131 $x_{t}^{0}$
bis $x_{t}^{K}$
der K + 1 Teilnehmer an dem Zeitpunkt t und/oder von der Routen-Absicht $r_{t}^{i}$
121 des Teilnehmers i an dem Zeitpunkt t abhängig (wie in 1c für den Teilnehmer i = 0 dargestellt). Durch den (tatsächlichen) Zustand 130 $x_{t}^{i}$
des Teilnehmers i wird die Messung 133 $z_{t}^{i}$
des Zustands $x_{t}^{i}$
des Teilnehmers i beeinflusst.
Aus dem Zustand $x_{t}^{i}$
des Teilnehmers i an dem Zeitpunkt t kann mittels eines kinematischen Modells 135 des Teilnehmers i (z.B. mittels eines Einspurmodells oder eines Fahrradmodells) in Abhängigkeit von der bewirkten Aktion 132 $a_{t}^{i}$
des Teilnehmers i an dem Zeitpunkt t der Zustand $x_{t + 1}^{i}$
des Teilnehmers i an dem direkt nachfolgenden Zeitpunkt t + 1 ermittelt werden (wie in 1c veranschaulicht). Ein beispielhaftes kinematisches Modell 135 ist $\dot{x} = (\begin{matrix} \dot{x} \\ \dot{y} \\ \dot{ψ} \\ \dot{ν} \end{matrix}) = (\begin{matrix} ν c o s (ψ + β) \\ ν s i n (ψ + β) \\ \frac{ν}{l_{r}} s i n (β) \\ a_{t} \end{matrix})$
mit $β = arctan (\frac{l_{r}}{l_{f} + l_{r}} tan (δ))$
wobei l_f den Abstand zwischen der Front und dem Schwerpunkt des Teilnehmers i anzeigt, und wobei l_r den Abstand zwischen dem Heck und dem Schwerpunkt des Teilnehmers i anzeigt.
Das inverse kinematische Modell 135 ermöglicht es, aus zwei Zuständen $x_{t}^{i}$
und $x_{t + 1}^{i}$
an zwei (direkt) aufeinanderfolgenden Zeitpunkten t und t + 1 die Aktion 132 $a_{t}^{i}$
des Teilnehmers i zu ermitteln, als $a_{t} = \frac{ν_{t + 1} - ν_{t}}{Δ T}$
$δ_{t} = sgn (\frac{Δ ψ}{\bar{ν}}) arctan (\frac{l_{f} + l_{r}}{\sqrt{{(\frac{ν}{Δψ})}^{2} - l_{t}^{2}}})$
mit $\bar{υ} = \frac{υ_{t} + υ_{t + 1}}{2}$
Wie aus 1c ersichtlich, kann die Aktion 132 $a_{t}^{i}$
des Teilnehmers i an dem Zeitpunkt t durch ein statistisches Aktionsmodell 114 $p (a_{t}^{i} | r_{t}^{i}, x_{t}^{0}, \dots, x_{t}^{K}, m a p)$
ermittelt werden. Die von dem Aktionsmodell 114 bereitgestellte Aktions-Wahrscheinlichkeitsverteilung der von dem Teilnehmer i bewirkten Aktion kann dabei als Normalverteilung mit den Parametern µ_α, $σ_{a}^{2},$
µ_δ und $σ_{δ}^{2}$
betrachtet werden.
Das statistische Aktionsmodell 114 kann durch ein angelerntes neuronales Netz (insbesondere durch ein Deep Neural Network) beschrieben werden, wobei das neuronale Netz als Eingangswerte Merkmalswerte für ein oder mehrere Merkmale aufnimmt, wobei die ein oder mehreren Merkmale die aktuelle Verkehrssituation im Umfeld des Teilnehmers beschreiben, für den eine Aktion zu prädizieren ist. Des Weiteren stellt das neuronale Netz als Ausgangswerte die Parameter µ_α, $σ_{a}^{2},$
µ_δ und $σ_{δ}^{2}$
der Aktions-Wahrscheinlichkeitsverteilung der Aktion des Teilnehmers bereit. Die unterschiedlichen Routen-Absichten $r_{t}^{i}$
des Teilnehmers können durch unterschiedliche Merkmalswerte für zumindest einen Teil der Merkmale beschrieben, und so in effizienter Weise innerhalb des neuronalen Netzes berücksichtigt werden.
2a zeigt ein beispielhaftes neuronales Netz 200, insbesondere ein Feedforward-Netz. Das Netz 200 umfasst in dem dargestellten Beispiel zwei Eingangs-Neuronen bzw. Eingabe-Knoten 202, die zu einem bestimmten Zeitpunkt t jeweils einen aktuellen Merkmalswert eines Merkmals als Eingangswert 201 aufnehmen. Die ein oder mehrere Eingangs-Knoten 202 sind Teil einer Eingangs-Schicht 211.
Das neuronale Netz 200 umfasst ferner Neuronen 220 in ein oder mehreren verdeckten Schichten 212 des neuronalen Netzes 200. Jedes der Neuronen 220 kann als Eingangswerte die einzelnen Ausgangswerte der Neuronen der vorhergehenden Schicht 212, 211 aufweisen (oder zumindest einen Teil davon). In jedem der Neuronen 220 erfolgt eine Verarbeitung, um in Abhängigkeit von den Eingangswerten einen Ausgangswert des Neurons 220 zu ermitteln. Die Ausgangswerte der Neuronen 220 der letzten verdeckten Schicht 212 können in einem Ausgangs-Neuron bzw. Ausgabe-Knoten 220 einer Ausgangs-Schicht 213 verarbeitet werden, um die ein oder mehreren Ausgangswerte 203 des neuronalen Netzes 200 zu ermitteln (die z.B. die Aktions-Wahrscheinlichkeitsverteilung der Aktion an dem bestimmten Zeitpunkt t beschreiben).
2b veranschaulicht die beispielhafte Signalverarbeitung innerhalb eines Neurons 220, insbesondere innerhalb der Neuronen 202 der ein oder mehreren verdeckten Schichten 212 und/oder der Ausgangs-Schicht 213. Die Eingangswerte 221 des Neurons 220 werden mit individuellen Gewichten 222 gewichtet, um in einer Summeneinheit 223 eine gewichtete Summe 224 der Eingangswerte 221 zu ermitteln (ggf. unter Berücksichtigung eines Bias bzw. Offsets 227). Durch eine Aktivierungsfunktion 225 kann die gewichtete Summe 224 auf einen Ausgangswert 226 des Neurons 220 gemappt werden. Dabei kann durch die Aktivierungsfunktion 225 z.B. eine Begrenzung des Wertebereichs erfolgen. Für ein Neuron 220 kann z.B. eine Sigmoid-Funktion oder eine Tangens hyperbolicus (tanh)-Funktion oder eine Rectified Linear Unit (ReLU), z.B. f(x) = max(0, x) als Aktivierungsfunktion 225 verwendet werden. Die Aktivierungsfunktion 225 kann ggf. den Wert der gewichteten Summe 224 mit einem Offset 227 verschieben.
Ein Neuron 220 weist somit Gewichte 222 und/oder einen Offset 227 als Neuron-Parameter auf. Die Neuron-Parameter der Neuronen 220 eines neuronalen Netzes 200 können in einer Trainingsphase angelernt werden, um zu bewirken, dass das neuronale Netz 200 eine bestimmte Funktion ausführt und/oder ein bestimmtes Verhalten modelliert (z.B. das Aktionsmodell 114 von Teilnehmern 110, 120 an einer Verkehrssituation).
Das Anlernen eines neuronalen Netzes 200 kann z.B. anhand des Backpropagation-Algorithmus erfolgen. Zu diesem Zweck können in einer ersten Phase einer q^ten Epoche eines Lern-Algorithmus für die Eingangswerte 201 an den ein oder mehreren Eingangs-Knoten 202 des neuronalen Netzes 200 entsprechende Ausgangswerte 203 an dem Ausgang der ein oder mehreren Ausgangs-Neuronen 220 ermittelt werden. Die Eingangswerte 201 können aus Trainingsdaten entnommen werden, die auch entsprechende Soll-Ausgangswerte anzeigen. Die von dem neuronalen Netz 200 ermittelten bzw. prädizierten Ist-Ausgangswerte können mit den Soll-Ausgangswerten aus den Trainingsdaten verglichen werden, um den Wert einer Optimierungs- bzw. Fehlerfunktion zu ermitteln.
In einer zweiten Phase der q^ten Epoche des Lern-Algorithmus erfolgt eine Rückpropagation des Fehlers bzw. des Fehlerwertes von dem Ausgang zum Eingang des neuronalen Netzes, um schichtweise die Neuron-Parameter der Neuronen 220 zu verändern. Dabei kann die ermittelte Fehlerfunktion am Ausgang partiell nach jedem einzelnen Neuron-Parameter des neuronalen Netzes 200 abgeleitet werden, um ein Ausmaß zur Anpassung der einzelnen Neuron-Parameter zu ermitteln. Dieser Lern-Algorithmus kann iterativ für eine Vielzahl von Epochen wiederholt werden, bis ein vordefiniertes Konvergenzkriterium erreicht wird. Dabei können in unterschiedlichen Epochen zumindest teilweise unterschiedliche Trainingsdaten verwendet werden.
Die Trainingsdaten umfassen eine Vielzahl von Trainings-Datensätzen, wobei jeder Trainings-Datensatz tatsächliche Eingangswerte 201 und tatsächliche bzw. Soll-Ausgangswerte 203 anzeigt. Die Eingangswerte 201 können ermittelt werden, auf Basis von

• der Routen-Absicht $r_{t}^{i}$
eines Test-Teilnehmers i an einer Verkehrssituation, für den eine Aktion prädiziert werden soll;
• der Zustände $x_{t}^{0}, \dots, x_{t}^{K}$
der Test-Teilnehmer i an der Verkehrssituation; und/oder
• des Straßennetzes map im Umfeld der Verkehrssituation.

Insbesondere können auf Basis der o.g. Daten Merkmalswerte von ein oder mehreren Merkmalen ermittelt werden (die jeweils als Eingangswert 201 von dem neuronalen Netz 200 aufgenommen werden). Die ein oder mehreren Merkmale können jeweils ein oder mehrere Merkmale umfassen, die

• den Zustand des Teilnehmers i anzeigen, für den eine Aktion prädiziert werden soll (d.h. ein oder mehrere Zustands-Merkmale);
• den Zustand von ein oder mehreren anderen Teilnehmern der Verkehrssituation, mit denen der Teilnehmer i interagiert (d.h. ein oder mehrere Interaktions-Merkmale);
• das für die Verkehrssituation relevante Straßennetz beschreiben (d.h. ein oder mehrere Straßen-Merkmale); und/oder
• eine Verkehrsregel bei der Verkehrssituation beschreiben (d.h. ein oder mehrere Regel-Merkmale).

Beispielhafte Zustands-Merkmale sind

• die Fahr- bzw. Bewegungsgeschwindigkeit des Teilnehmers i; und/oder
• die laterale Position des Teilnehmers i innerhalb der aktuell befahrenen Fahrbahn 100.

Beispielhafte Straßen-Merkmale sind:

• ein oder mehrere Krümmungswerte in Bezug auf die Krümmung der befahrenen Fahrbahn 100 an unterschiedlichen vorausliegenden Punkten mit unterschiedlichen Abständen von dem Teilnehmer i;
• ein oder mehrere Beschleunigungswerte in Bezug auf eine angebrachte Beschleunigung des Teilnehmers i aufgrund der Krümmung der Fahrbahn 100; und/oder
• die Breite der Fahrbahn 100.

Beispielhafte Regel-Merkmale sind:

• eine Geschwindigkeitsbegrenzung bzw. eine zulässige Höchstgeschwindigkeit;
• der Abstand bis zu der nächsten Ampel;
• der Status der nächsten Ampel;
• der Abstand bis zur nächsten Haltelinie;
• der Abstand bis zur nächsten Vorfahrtslinie;
• der Abstand bis zur nächsten Kreuzung 101; und/oder
• ein Indikator dahingehend, ob der Teilnehmer i an der nächsten Kreuzung 101 Vorfahrt hat.

Beispielhafte Interaktions-Merkmale sind:

• die Geschwindigkeit des vorausfahrenden Teilnehmers;
• der Abstand zu dem vorausfahrenden Teilnehmer;
• die Geschwindigkeit des nächstliegenden Teilnehmers;
• der Abstand des nächstliegenden Teilnehmers zum Eingang einer Konfliktzone;
• der Abstand des nächstliegenden Teilnehmers zum Ausgang der Konfliktzone;
• der Abstand des Teilnehmers i zum Eingang der Konfliktzone;
• der Abstand des Teilnehmers i zum Ausgang der Konfliktzone; und/oder
• ein Indikator dahingehend, ob der Teilnehmer i in der Konfliktzone Vorfahrt hat.

Die Ausgangswerte 203 können auf Basis der tatsächlich bewirkten Aktion des Teilnehmers ermittelt werden. Diese tatsächlich bewirkte Aktion kann durch die o.g. Formeln (aus dem inversen kinematischen Modell) auf Basis der Zustände $x_{t}^{i}$
und $x_{t + 1}^{i}$
des Teilnehmers i an zwei (direkt= aufeinanderfolgenden Zeitpunkten t und t + 1 ermittelt werden.
Für unterschiedliche Routen-Absichten 121 des Teilnehmers i kann das gleiche neuronale Netz 200 für das Aktionsmodell 114 verwendet werden. Die unterschiedlichen Routen-Absichten 121 des Teilnehmers i können dabei durch unterschiedliche Merkmalswerte der Vielzahl von Merkmalen, die als Eingangswerte 201 an das Netz 200 übergeben werden, beschrieben werden. Insbesondere können sich für zumindest einen Teil der Straßen-Merkmale, der Routen-Merkmale und/oder der Interaktions-Merkmale für die unterschiedlichen Routen-Absichten 121 des Teilnehmers i unterschiedliche Merkmalswerte ergeben. Durch die Berücksichtigung der Routen-Absicht 121 können die Genauigkeit des Aktionsmodells 114 erhöht und die Genauigkeit und/oder Robustheit neuronalen Netze 200 reduziert werden.
Zum Anlernen des neuronalen Netzes 200 kann eine negative log-likelihood Optimierungs- bzw. Fehlerfunktion verwendet werden, z.B. $l_{NLL} (μ, Σ, t) = \frac{1}{2} {(μ - t)}^{T} Σ^{- 1} (μ - t) + l o g (\sqrt{| Σ |}),$
wobei µ = [µ_α, µ_δ]^T die von dem neuronalen Netz 200 ermittelten Ausgangwerte 203 in Bezug auf den Mittelwert der Aktion 132 sind, wobei t = [α, δ]^T die Soll- bzw. tatsächlichen Ausgangswerte der Aktion 132 sind (die sich aus den Trainingsdaten ergeben), wobei $Σ = diag (σ_{a}^{2}, σ_{δ}^{2})$
die Kovarianzmatrix der von dem neuronalen Netz 200 ermittelten Ausgangwerte 203 in Bezug auf die Varianz der Aktion 132 ist, und wobei |Σ| die Determinante der Kovarianzmatrix ist.
Das angelernte neuronale Netze 200 kann z.B. von der Steuereinheit 111 des Ego-Fahrzeugs 110 dazu verwendet werden, die Aktionen 132 der ein oder mehreren anderen Verkehrsteilnehmer 120 im Umfeld des Ego-Fahrzeugs 110 zu prädizieren. Zu diesem Zweck können an einem Zeitpunkt t (auf Basis der Umfelddaten der ein oder mehreren Umfeldsensoren 112 und auf Basis von digitaler Karteninformation map) für einen bestimmten anderen Verkehrsteilnehmer i 120 Merkmalswerte für die ein oder mehreren o.g. Merkmale als Eingangswerte 201 des neuronalen Netzes 200 ermittelt werden. Es können dann als Ausgangswerte 203 Werte für die Parameter µ_α, $σ_{a}^{2},$
µ_δ und $σ_{δ}^{2}$
ermittelt werden, die die Aktions-Wahrscheinlichkeitsverteilung der Aktion des anderen Verkehrsteilnehmers i 120 beschreiben. Die Aktions-Wahrscheinlichkeitsverteilung kann ggf. für alle detektieren Verkehrsteilnehmer 120 im Umfeld des Ego-Fahrzeugs 110 prädiziert werden.
Des Weiteren können für die ein oder mehreren anderen Verkehrsteilnehmer i 120 jeweils Q mögliche Routen-Absichten 121 ermittelt werden, wobei jede mögliche Routen-Absicht 121 eine bestimmte Routen-Wahrscheinlichkeit aufweist. Für jede mögliche Routen-Absicht 121 können anhand des jeweiligen neuronalen Netzes 200 jeweils Parameter µ_α, $σ_{a}^{2},$
µ_δ und $σ_{δ}^{2}$
ermittelt werden, die die Aktions-Wahrscheinlichkeitsverteilung der Aktion eines anderen Verkehrsteilnehmers i 120 für die jeweilige mögliche Routen-Absicht 121 anzeigen. Es können somit Q unterschiedliche Aktions-Wahrscheinlichkeitsverteilungen der Aktion eines anderen Verkehrsteilnehmers i 120 ermittelt werden, die gemäß der Routen-Wahrscheinlichkeit der möglichen Routen-Absichten 121 überlagert werden können, um eine effektive Aktions-Wahrscheinlichkeitsverteilung der Aktion des anderen Verkehrsteilnehmers i 120 zu ermitteln.
Auf Basis der (effektiven) Aktions-Wahrscheinlichkeitsverteilung der Aktion des anderen Verkehrsteilnehmers i 120 kann der Zustand des anderen Verkehrsteilnehmers i 120 an dem nachfolgenden Zeitpunkt t + 1 prädiziert werden (unter Verwendung des kinematischen Modells, wie in Zusammenhang mit 1c beschrieben). Dabei ergibt sich eine Zustands-Wahrscheinlichkeitsverteilung des Zustands des anderen Verkehrsteilnehmers i 120 an dem nachfolgenden Zeitpunkt t + 1.
Der prädizierte Zustand des anderen Verkehrsteilnehmers i 120 an dem nachfolgenden Zeitpunkt t + 1 kann wiederum als Ausgangspunkt für die Prädiktion einer Aktion des anderen Verkehrsteilnehmers i 120 an dem nachfolgenden Zeitpunkt t + 1 verwendet werden (wie oben beschrieben). So kann in iterativer Weise für eine Sequenz von Zeitpunkten der Zustand des anderen Verkehrsteilnehmers i 120 prädiziert werden. Dabei kann an jedem Zeitpunkt jeweils eine statistische Abtastung bzw. ein Sampling der Zustands-Wahrscheinlichkeitsverteilung des Zustands und/oder der Aktions-Wahrscheinlichkeitsverteilung der Aktion erfolgen.
An jedem Zeitpunkt t werden ausgehend von dem Zustand aller an einer Verkehrssituation beteiligten Teilnehmer Aktionen für alle an der Verkehrssituation beteiligten Teilnehmer ermittelt. Die Aktionen der einzelnen Teilnehmer können dann dazu genutzt werden (unter Verwendung des jeweiligen kinematischen Modells der unterschiedlichen Teilnehmer), den Zustand aller an einer Verkehrssituation beteiligten Teilnehmer an dem darauffolgenden Zeitpunkt t + 1 zu ermitteln. Es können somit an jedem Zeitpunkt die aktuellen Zustände aller an einer Verkehrssituation beteiligten Teilnehmer ermittelt werden. So kann in präziser Weise das Verhalten von Verkehrsteilnehmern über einen relativ langen Zeithorizont prädiziert werden.
3 zeigt ein Ablaufdiagramm eines beispielhaften Verfahrens 300 zur Vorhersage des Verhaltens eines Verkehrsteilnehmers 120 bei einer Verkehrssituation. Das Verfahren 300 kann z.B. durch eine Steuereinheit eines Fahrzeugs 110 ausgeführt werden.
Das Verfahren 300 umfasst, für einen Zeitpunkt t, das Ermitteln 301 von Merkmalswerten für eine Vielzahl von Merkmalen. Die Merkmale können auf Basis des Zustands 130 des Verkehrsteilnehmers 120 und/oder auf Basis des Zustands 131 von ein oder mehreren anderen an der Verkehrssituation beteiligten Verkehrsteilnehmern 110, 120 ermittelt werden.
Die Vielzahl von Merkmalen kann insbesondere umfassen: ein oder mehrere Zustands-Merkmale in Bezug auf den Zustand 130 des Verkehrsteilnehmers 120; ein oder mehrere Interaktions-Merkmale in Bezug auf ein oder mehrere andere Verkehrsteilnehmer 110, 120, die an der Verkehrssituation beteiligt sind; und/oder ein oder mehrere Straßen- und/oder Regel-Merkmale in Bezug auf zumindest eine Eigenschaft der von dem Verkehrsteilnehmer 120 bei der Verkehrssituation befahrenen Straße 100, 101.
Außerdem umfasst das Verfahren 300 das Prädizieren 302 einer Aktion, insbesondere einer Aktions-Wahrscheinlichkeitsverteilung der Aktion, des Verkehrsteilnehmers 120 (an dem Zeitpunkt t) anhand zumindest eines neuronalen Netzes 200. Dabei ist das neuronale Netz 200 (infolge eines Anlernprozesses) ausgebildet, die Merkmalswerte für die Vielzahl von Merkmalen als Eingangswerte 201 des neuronalen Netzes 200 aufzunehmen und die Aktion, insbesondere die Aktions-Wahrscheinlichkeitsverteilung, des Verkehrsteilnehmers 120 als Ausgangswert 203 des neuronalen Netzes 200 bereitzustellen.
Durch die in diesem Dokument beschriebenen Maßnahmen können in effizienter Weise präzise Aktionsmodelle 114 für das Verhalten von Verkehrsteilnehmern 120 bereitgestellt werden. Die präzise Vorhersage des Verhaltens von Verkehrsteilnehmern 120 ermöglicht es, die Güte von zumindest teilweise automatisierten Fahrfunktionen zu erhöhen.
Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.

Claims

Vorrichtung (111) zur Vorhersage des Verhaltens eines Verkehrsteilnehmers (120) bei einer Verkehrssituation; wobei die Vorrichtung (111) eingerichtet ist, für einen Zeitpunkt t, - Merkmalswerte für eine Vielzahl von Merkmalen zu ermitteln; wobei die Vielzahl von Merkmalen umfasst, - ein oder mehrere Zustands-Merkmale in Bezug auf einen Zustand (130) des Verkehrsteilnehmers (120); - ein oder mehrere Interaktions-Merkmale in Bezug auf ein oder mehrere andere Verkehrsteilnehmer (110, 120), die an der Verkehrssituation beteiligt sind; und - ein oder mehrere Straßen-Merkmale in Bezug auf zumindest eine Eigenschaft einer von dem Verkehrsteilnehmer (120) bei der Verkehrssituation befahrenen Straße (100, 101); und - anhand zumindest eines neuronalen Netzes (200) eine Aktion des Verkehrsteilnehmers (120) zu prädizieren, wobei das neuronale Netz (200) ausgebildet ist, die Merkmalswerte für die Vielzahl von Merkmalen als Eingangswerte (201) des neuronalen Netzes (200) aufzunehmen und die Aktion des Verkehrsteilnehmers (120) als Ausgangswert (203) des neuronalen Netzes (200) bereitzustellen.
Vorrichtung (111) gemäß Anspruch 1, wobei die Vorrichtung (111) eingerichtet ist, für den Zeitpunkt t, - eine Mehrzahl von unterschiedlichen Routen-Absichten (121) zu ermitteln, wobei eine Routen-Absicht (121) eine mögliche Route des Verkehrsteilnehmers (120) ausgehend von dem Zustand des Verkehrsteilnehmers (120) anzeigt, und - für jede der Mehrzahl von unterschiedlichen Routen-Absichten (121) eine mögliche Aktion des Verkehrsteilnehmers (120) zu prädizieren, und - das Verhalten des Verkehrsteilnehmers (120) auf Basis der Mehrzahl von möglichen Aktionen für die Mehrzahl von unterschiedlichen Routen-Absichten (121) zu ermitteln.
Vorrichtung (111) gemäß Anspruch 2, wobei - die Vorrichtung (111) eingerichtet ist, für jede der Mehrzahl von unterschiedlichen Routen-Absichten (121) jeweils spezifische Merkmalswerte für zumindest einen Teil der Vielzahl von Merkmalen zu ermitteln, um die mögliche Aktion des Verkehrsteilnehmers (120) für die jeweilige Routen-Absicht (121) zu prädizieren, und - die spezifischen Merkmalswerte für zumindest einen Teil der Vielzahl von Merkmalen von der jeweiligen Routen-Absicht (121) abhängen.
Vorrichtung (111) gemäß einem der Ansprüche 2 bis 3, wobei die Vorrichtung (111) eingerichtet ist, - eine Mehrzahl von Wahrscheinlichkeitswerten für die entsprechende Mehrzahl von unterschiedlichen Routen-Absichten (121) zu ermitteln, und - das Verhalten des Verkehrsteilnehmers (120) auch auf Basis der Mehrzahl von Wahrscheinlichkeitswerten zu ermitteln, insbesondere durch Überlagern der Mehrzahl von möglichen Aktionen für die Mehrzahl von unterschiedlichen Routen-Absichten (121) in Abhängigkeit von der Mehrzahl von Wahrscheinlichkeitswerten für die Mehrzahl von unterschiedlichen Routen-Absichten (121).
Vorrichtung (111) gemäß einem der vorhergehenden Ansprüche, wobei die prädizierte Aktion umfasst, - Information in Bezug auf eine Wahrscheinlichkeitsverteilung einer Längsbeschleunigung und/oder eines Lenkwinkels des Verkehrsteilnehmers (120); - einen Mittelwert der Längsbeschleunigung und/oder des Lenkwinkels des Verkehrsteilnehmers (120); und/oder - eine Varianz und/oder eine Standardabweichung der Längsbeschleunigung und/oder des Lenkwinkels des Verkehrsteilnehmers (120); und/oder - eine Kovarianz-Matrix der Längsbeschleunigung und/oder des Lenkwinkels des Verkehrsteilnehmers (120).
Vorrichtung (111) gemäß einem der vorhergehenden Ansprüche, wobei die Vorrichtung (111) eingerichtet ist, - in iterativer Weise für eine Sequenz von Zeitpunkten, auf Basis des Zustands des Verkehrsteilnehmers (120) an einem aktuellen Zeitpunkt und auf Basis der für den aktuellen Zeitpunkt prädizierten Aktion einen Zustand des Verkehrsteilnehmers (120) an einem direkt nachfolgenden Zeitpunkt zu prädizieren, um in iterativer Weise den Zustand des Verkehrsteilnehmers (120) an der Sequenz von Zeitpunkten zu prädizieren; und - anhand des Zustands des Verkehrsteilnehmers (120) an der Sequenz von Zeitpunkten eine Bewegungstrajektorie des Verkehrsteilnehmers (120) an der Sequenz von Zeitpunkten zu prädizieren.
Vorrichtung (111) gemäß Anspruch 6, wobei - die Verkehrssituation eine Mehrzahl von Verkehrsteilnehmern (110, 120) umfasst; und - die Vorrichtung (111) eingerichtet ist, in iterativer Weise, Zeitpunkt für Zeitpunkt aus der Sequenz von Zeitpunkten, - ausgehend von dem Zustand (130, 131) der Mehrzahl von Verkehrsteilnehmern (110, 120) an dem jeweils aktuellen Zeitpunkt eine Mehrzahl von Aktionen für die entsprechende Mehrzahl von Verkehrsteilnehmern (110, 120) zu prädizieren; und - für jeden der Mehrzahl von Verkehrsteilnehmern (110, 120), ausgehend von dem Zustand des Verkehrsteilnehmers (110, 120) an dem aktuellen Zeitpunkt und auf Basis der für den aktuellen Zeitpunkt prädizierten Aktion des Verkehrsteilnehmers (110, 120) den Zustand des Verkehrsteilnehmers (110, 120) an dem direkt nachfolgenden Zeitpunkt zu prädizieren, so dass, Zeitpunkt für Zeitpunkt der Zustand der Mehrzahl von Verkehrsteilnehmern (110, 120) und der Verkehrssituation ermittelt wird.
Vorrichtung (111) gemäß einem der Ansprüche 6 bis 7, wobei die Vorrichtung (111) eingerichtet ist, den Zustand des Verkehrsteilnehmers (120) an dem direkt nachfolgenden Zeitpunkt mittels eines kinematischen Modells (135), insbesondere mittels eines Einspurmodells oder mittels eines Fahrradmodells, des Verkehrsteilnehmers (120) zu ermitteln.
Vorrichtung (111) gemäß einem der Ansprüche 6 bis 8, wobei - die für den aktuellen Zeitpunkt prädizierte Aktion durch eine Aktions-Wahrscheinlichkeitsverteilung beschrieben wird; und - die Vorrichtung (111) eingerichtet ist, - an dem aktuellen Zeitpunkt Stichproben der Aktions-Wahrscheinlichkeitsverteilung zu nehmen, um eine Vielzahl von Aktions-Partikel zu ermitteln, wobei ein Aktions-Partikel einer Stichprobe der Aktions-Wahrscheinlichkeitsverteilung entspricht; - für jedes der Vielzahl von Aktions-Partikel ausgehend von dem Zustand des Verkehrsteilnehmers (120) an dem aktuellen Zeitpunkt einen Zustands-Partikel in Bezug auf den Zustand des Verkehrsteilnehmers (120) an dem direkt nachfolgenden Zeitpunkt zu prädizieren; und - den Zustand des Verkehrsteilnehmers (120) an dem direkt nachfolgenden Zeitpunkt, insbesondere eine Zustands-Wahrscheinlichkeitsverteilung des Zustands des Verkehrsteilnehmers (120) an dem direkt nachfolgenden Zeitpunkt, auf Basis der Vielzahl von Zustands-Partikel zu ermitteln.
Vorrichtung (111) gemäß einem der vorhergehenden Ansprüche, wobei die Vielzahl von Merkmalen umfasst, - zumindest ein Merkmal, das anzeigt, ob der Verkehrsteilnehmer (120) bei der Verkehrssituation Vorfahrt hat oder nicht; und/oder - zumindest ein Merkmal, das eine von einer Krümmung der von dem Verkehrsteilnehmer (120) befahrenen Straße (100, 101) abhängige Beschleunigung des Verkehrsteilnehmers (120) anzeigt.
Vorrichtung (111) gemäß einem der vorhergehenden Ansprüche, wobei - die Vorrichtung (111) Teil eines Fahrzeugs (110) ist, das an der Verkehrssituation beteiligt ist; und - die Vorrichtung (111) ausgebildet ist, die Merkmalswerte zumindest eines Teils der Vielzahl von Merkmalen auf Basis von Umfelddaten zu ermitteln, die von ein oder mehreren Umfeldsensoren (112) des Fahrzeugs (110) erfasst wurden, und/oder auf Basis von digitaler Karteninformation in Bezug auf ein von dem Fahrzeug (110) befahrendes Straßennetz zu ermitteln.
Vorrichtung (111) gemäß Anspruch 11, wobei die Vorrichtung (111) eingerichtet ist, ein oder mehrere Längs- und/oder Querführungs-Aktoren (113) des Fahrzeugs (110) in Abhängigkeit von der prädizierten Aktion des Verkehrsteilnehmers (120) zu betreiben, um das Fahrzeug (110) zumindest teilweise automatisiert längs- und/oder querzuführen.
Verfahren (300) zur Vorhersage des Verhaltens eines Verkehrsteilnehmers (120) bei einer Verkehrssituation; wobei das Verfahren (300) für einen Zeitpunkt t umfasst, - Ermitteln (301) von Merkmalswerten für eine Vielzahl von Merkmalen; wobei die Vielzahl von Merkmalen umfasst, - ein oder mehrere Zustands-Merkmale in Bezug auf einen Zustand (130) des Verkehrsteilnehmers (120); - ein oder mehrere Interaktions-Merkmale in Bezug auf ein oder mehrere andere Verkehrsteilnehmer (110, 120), die an der Verkehrssituation beteiligt sind; und - ein oder mehrere Straßen-Merkmale in Bezug auf zumindest eine Eigenschaft einer von dem Verkehrsteilnehmer (120) bei der Verkehrssituation befahrenen Straße (100, 101); und - Prädizieren (302) einer Aktion des Verkehrsteilnehmers (120) anhand zumindest eines neuronalen Netzes (200); wobei das neuronale Netz (200) ausgebildet ist, die Merkmalswerte für die Vielzahl von Merkmalen als Eingangswerte (201) des neuronalen Netzes (200) aufzunehmen und die Aktion des Verkehrsteilnehmers (120) als Ausgangswert (203) des neuronalen Netzes (200) bereitzustellen.
Verfahren zum Anlernen eines neuronalen Netzes (200) für eine Vorrichtung (111) gemäß einem der Ansprüche 1 bis 12; wobei das Verfahren umfasst, - Bereitstellen einer Vielzahl von Trainings-Datensätzen auf Basis von Messungen für zumindest einen Test-Verkehrsteilnehmer (120); wobei ein Trainings-Datensatz umfasst, - ein Tupel von Merkmalswerten für die Vielzahl von Merkmalen als Eingangswerte (201) des neuronalen Netzes (200); und - eine tatsächliche Aktion des Test-Verkehrsteilnehmers (120) als Ausgangswert (203) des neuronalen Netzes (200); und - Anlernen des neuronalen Netzes (200), insbesondere mittels eines Backpropagation-Algorithmus, anhand der Vielzahl von Trainings-Datensätzen.
Verfahren gemäß Anspruch 14, wobei das Verfahren umfasst, - Ermitteln der Merkmalswerte für zumindest einen Teil der Vielzahl von Merkmalen in Abhängigkeit von einem tatsächlichen Zustand (130) des Test-Verkehrsteilnehmers (120) an einem ersten Zeitpunkt; - Ermitteln der tatsächlichen Aktion des Test-Verkehrsteilnehmers (120) auf Basis des tatsächlichen Zustands (130) des Test-Verkehrsteilnehmers (120) an dem ersten Zeitpunkt und des tatsächlichen Zustands (130) des Test-Verkehrsteilnehmers (120) an einem auf den ersten Zeitpunkt nachfolgenden Zeitpunkt unter Berücksichtigung eines kinematischen Modells für den Test-Verkehrsteilnehmer (120).
Verfahren gemäß einem der Ansprüche 13 bis 14; wobei - das neuronale Netz (200) mittels einer Fehlerfunktion angelernt wird; und - die Fehlerfunktion ein oder mehrere Terme umfasst, die - von einer Abweichung einer von dem neuronalen Netz (200) ermittelten Aktion von der tatsächlichen Aktion abhängen; und/oder - von einer Varianz und/oder einer Kovarianz-Matrix der von dem neuronalen Netz (200) ermittelten Aktion abhängt.
Vorrichtung zum Anlernen eines neuronalen Netzes (200) für eine Vorrichtung (111) gemäß einem der Ansprüche 1 bis 12; wobei die Vorrichtung eingerichtet ist, - eine Vielzahl von Trainings-Datensätzen zu ermitteln, die von Messungen für zumindest einen Test-Verkehrsteilnehmer (120) abhängen; wobei ein Trainings-Datensatz umfasst, - ein tatsächliches Tupel von Merkmalswerten für die Vielzahl von Merkmalen als Eingangswerte (201) des neuronalen Netzes (200); und - eine tatsächliche Aktion des Test-Verkehrsteilnehmers (120) als Ausgangswert (203) des neuronalen Netzes (200); und - das neuronale Netz (200), insbesondere mittels eines Backpropagation-Algorithmus, anhand der Vielzahl von Trainings-Datensätzen anzulernen.