DE102020115012A1

DE102020115012A1 - Nutzerschnittstelle für autonomes Fahrzeug mit prognostizierten Trajektorien

Info

Publication number: DE102020115012A1
Application number: DE102020115012.1A
Authority: DE
Inventors: Hiromitsu Urano; Maiko HIRANO; Yusuke Sawamura
Original assignee: Toyota Research Institute Inc
Current assignee: Toyota Research Institute Inc
Priority date: 2019-07-31
Filing date: 2020-06-05
Publication date: 2021-02-04
Also published as: CN112319466A; US20210035447A1; US11328593B2; JP2021041913A; JP7370944B2

Abstract

Bereitgestellt werden Systeme und Verfahren zur Erzeugung von Trajektorien für eine Fahrzeugnutzerschnittstelle, welche eine Fahrerperspektivensicht zeigt. Die Verfahren umfassen das Erzeugen einer prognostizierten Ego-Fahrzeug-Trajektorie für ein Ego-Fahrzeug; und das Erzeugen zumindest einer prognostizierten Straßenakteur-Trajektorie für einen Straßenakteur, der sich außerhalb des Ego-Fahrzeugs befindet. Nachdem die prognostizierten Trajektorien erzeugt sind, fährt das Verfahren fort, indem bestimmt wird, dass zumindest zwei prognostizierte Trajektorien überlappen, wenn diese auf der Nutzerschnittstelle angezeigt werden, welche eine Fahrerperspektivensicht zeigt. Das Verfahren umfasst ein Modifizieren der zumindest einen prognostizierten Straßenakteur-Trajektorie, um die Überlappung zu beseitigen. Das Verfahren fährt dann mit einem Aktualisieren einer Anzeige der Nutzerschnittstelle fort, um jede modifizierte prognostizierte Straßenakteur-Trajektorie zu umfassen. Die Systeme umfassen ein Trajektorienprognosemodul zur Ausführung der Verfahren.

Description

Technisches Gebiet
Die vorliegende Offenbarung betrifft im Allgemeinen Nutzerschnittstellen für autonome Fahrzeuge und insbesondere Systeme und Verfahren zum Modifizieren und Anzeigen von prognostizierten Trajektorien auf Nutzerschnittstellen, welche eine Fahrerperspektivensicht bereitstellen.
Hintergrund
Die hier bereitgestellte Hintergrundbeschreibung dient zu dem Zweck, den Kontext der Offenbarung allgemein darzustellen. Arbeit der vorliegend genannten Erfinder, soweit diese in diesem Hintergrundabschnitt beschrieben werden kann, sowie Aspekte der Beschreibung, die zum Zeitpunkt der Anmeldung sonst nicht als Stand der Technik gelten würden, werden weder ausdrücklich noch implizit als Stand der Technik gegenüber der vorliegenden Technologie anerkannt.
In verschiedenen Anwendungen können Fahrzeugsysteme die Trajektorie eines Fahrzeugs (hierin manchmal als das „Ego-Fahrzeug“ bezeichnet) prognostizieren. Beispielsweise entspricht ein Parallel-Autonomitäts-Fahrzeug, wie ein Fahrzeug, das ein fortgeschrittenes Fahrerassistenzsystem (ADAS) umfasst, einem Fahrzeug, dessen Steuerung zwischen einem menschlichen Fahrer und einem System für autonomes Fahren aufgeteilt sein kann. Der menschliche Fahrer kann die Kontrolle über bestimmte Aspekte des Fahrens eines solchen Fahrzeugs (beispielsweise das Lenken) behalten, während das ADAS die Aktionen des Fahrers überwacht und, wenn nötig, eingreift, um einen Unfall zu verhindern. Das Prognostizieren der Trajektorie des Ego-Fahrzeuges ist daher ein wichtiger Aspekt eines solchen ADAS. Das Fahrzeugsystem kann die Ego-Fahrzeug-Trajektorien auf einer Nutzerschnittstelle anzeigen.
Das Fahrzeugsystem kann auch die Trajektorie eines oder mehrerer Straßenakteure außerhalb eines Fahrzeugs prognostizieren und die Straßenakteur-Trajektorien auf der Anzeige der Nutzerschnittstelle anzeigen. Beispiele für Straßenakteur umfassen verschiedene Arten von anderen Fahrzeugen (beispielsweise Automobile, Motorräder oder Fahrräder) und Fußgänger. Ein Ziel für ein autonomes Fahrzeug oder ein Parallel-Autonomitäts-Fahrzeug liegt darin, eine Route zu fahren, ohne mit den Straßenakteuren zu kollidieren, auf die das Fahrzeug auf dem Weg trifft. Da die Absichten von Straßenakteuren oder deren Fahrern einem autonomen Fahrzeug oder dem Fahrer eines Parallel-Autonomitäts-Fahrzeugs in der Regel nicht mit Sicherheit bekannt sind, kann das Prognostizieren der Trajektorie eines Straßenakteurs dieses Ziel fördern.
Wenn jedoch viele Straßenakteur-Trajektorien auf einer Nutzerschnittstelle bereitgestellt werden, kann es schnell übermäßig kompliziert werden, insbesondere wenn die Anzeige als eine Fahrerperspektivensicht bereitgestellt ist (beispielsweise im Vergleich zu einer Draufsicht). Entsprechend wäre es wünschenswert, verbesserte Trajektorien-Prognosesysteme bereitzustellen, die das Vorhandensein zahlreicher und/oder sich überlappender Trajektorien, die auf einer Nutzerschnittstelle bereitgestellt werden können, angemessen berücksichtigen, was zu weniger komplizierten Anzeigen führen kann.
Kurzfassung
Dieser Abschnitt stellt eine allgemeine Kurzfassung der Offenbarung bereit und entspricht keiner umfassenden Offenbarung des vollen Umfangs davon oder aller Merkmale davon.
In verschiedenen Aspekten stellen die vorliegenden Lehren ein System zum Erzeugen von Trajektorien für eine Fahrzeugnutzerschnittstelle bereit, welche eine Fahrerperspektivensicht zeigt. Das System umfasst einen oder mehrere Prozessoren und einen Speicher, der kommunikativ mit dem einen oder den mehreren Prozessoren gekoppelt ist. Der Speicher speichert ein Trajektorienprognosemodul mit Anweisungen, welche, wenn diese von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, eine Reihe von Schritten durchzuführen. Das Trajektorienprognosemodul kann beispielsweise eine Anweisung umfassen, um eine prognostizierte Ego-Fahrzeug-Trajektorie für ein Ego-Fahrzeug zu erzeugen und zumindest eine prognostizierte Straßenakteur-Trajektorie für einen Straßenakteur zu erzeugen, der sich außerhalb des Ego-Fahrzeugs befindet. Die Anweisungen können einen Schritt umfassen, um zu bestimmen, dass zumindest zwei prognostizierte Trajektorien überlappen, wenn diese auf der Nutzerschnittstelle angezeigt werden, die eine Fahrerperspektivensicht zeigt. Die Anweisungen können einen Schritt umfassen, um die zumindest eine prognostizierte Straßenakteur-Trajektorie zu modifizieren, um die Überlappung zu beseitigen. Es kann auch ein Steuermodul bereitgestellt sein, einschließlich Anweisungen, welche, wenn diese von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, die Nutzerschnittstelle zu aktualisieren, um jede modifizierte prognostizierte Straßenakteur-Trajektorie zu umfassen.
In anderen Aspekten umfasst das System zum Erzeugen von Trajektorien für eine Fahrzeugnutzerschnittstelle, welche eine Fahrerperspektivensicht zeigt, einen oder mehrere Prozessoren, und einen Speicher, der kommunikativ mit dem einen oder den mehreren Prozessoren gekoppelt ist. Der Speicher speichert ein Trajektorienprognosemodul mit Anweisungen, welche, wenn diese von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, eine Reihe von Schritten durchzuführen. Das Trajektorienprognosemodul kann beispielsweise eine Anweisung umfassen, eine prognostizierte Ego-Fahrzeug-Trajektorie für ein Ego-Fahrzeug zu erzeugen, und zumindest eine prognostizierte Straßenakteur-Trajektorie für einen Straßenakteur zu erzeugen, der sich außerhalb des Ego-Fahrzeugs befindet. Die Anweisungen können einen Schritt umfassen, um zu bestimmen, dass ein Abstand zwischen zwei benachbarten prognostizierten Trajektorien unter einem vorbestimmten Schwellenwert liegt, wenn diese auf der Nutzerschnittstelle angezeigt werden, welche eine Fahrerperspektivensicht zeigt. Danach können die Anweisungen einen Schritt umfassen, um zumindest eine Modifikation durchzuführen, welche aus der Gruppe ausgewählt ist, die aus Folgendem besteht: (1) Ändern einer Farbe zumindest einer der prognostizierten Straßenakteur-Trajektorien; (2) Ändern einer Abstandsposition zumindest einer der prognostizierten Straßenakteur-Trajektorien; (3) Ändern einer Dicke zumindest einer der prognostizierten Straßenakteur-Trajektorien; und (4) Bestimmen einer prognostizierten Prioritäts-Straßenakteur-Trajektorie auf der Grundlage einer nächsten Nähe zum bzw. dichtesten Lage am Ego-Fahrzeug und Anzeigen nur der prognostizierten Prioritäts-Straßenakteur-Trajektorie. Auch ein Steuermodul kann vorgesehen sein, das Anweisungen umfasst, welche, wenn diese von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, die Nutzerschnittstelle zu aktualisieren, um jede modifizierte prognostizierte Straßenakteur-Trajektorie zu umfassen.
In noch weiteren Aspekten stellen die vorliegenden Lehren ein Verfahren zum Erzeugen von Trajektorien für eine Fahrzeugnutzerschnittstelle bereit, welche eine Fahrerperspektivensicht zeigt. Das Verfahren umfasst das Erzeugen einer prognostizierten Ego-Fahrzeug-Trajektorie für ein Ego-Fahrzeug; und das Erzeugen zumindest einer prognostizierten Straßenakteur-Trajektorie für einen Straßenakteur, der sich außerhalb des Ego-Fahrzeugs befindet. Nachdem die prognostizierten Trajektorien erzeugt sind, fährt das Verfahren fort, indem bestimmt wird, dass zumindest zwei prognostizierte Trajektorien überlappen, wenn diese auf der Nutzerschnittstelle angezeigt werden, welche eine Fahrerperspektivensicht zeigt. Das Verfahren umfasst ein Modifizieren der zumindest einen prognostizierten Straßenakteur-Trajektorie, um die Überlappung zu beseitigen. Das Verfahren fährt dann mit einem Aktualisieren einer Anzeige der Nutzerschnittstelle fort, um jede modifizierte prognostizierte Straßenakteur-Trajektorie zu umfassen bzw. einzubeziehen.
Weitere Anwendungsbereiche und verschiedene Verfahren zur Verbesserung der vorstehenden Technologie werden aus der hierin bereitgestellten Beschreibung ersichtlicher. Die Beschreibung und spezifische Beispiele in dieser Kurzfassung dienen lediglich der Veranschaulichung und sollen den Schutzumfang der vorliegenden Offenbarung nicht beschränken.
Figurenliste
Die vorliegenden Lehren werden anhand der detaillierten Beschreibung und der begleitenden Abbildungen besser verständlich, wobei

1 eine schematische Abbildung ist, welche einen beispielhaften Aspekt eines Fahrzeugs darstellt, in dem hierin offenbarte Systeme und Verfahren gemäß der vorliegenden Technologie implementiert werden können;
2 eine schematische Abbildung ist, welche einen beispielhaften Aspekt eines Trajektorien-Prognosesystems, wie in 1 bereitgestellt, darstellt;
3 eine perspektivische Teilansicht einer Innenkabine eines beispielhaften Fahrzeuginnenraums darstellt, die mehrere Anzeigesysteme bereitstellt, die entweder einzeln oder in Kombination verwendet werden können, um eine Nutzerschnittstellenanzeige(n) gemäß verschiedenen Aspekten der vorliegenden Technologie bereitzustellen;
4A-4E fünf Beispielanzeigen sind, die eine Nutzerschnittstelle mit einem Bild darstellen, welches eine Draufsicht eines Ego-Fahrzeugs und zumindest eines Straßenakteurfahrzeugs oder Fußgängers mit entsprechenden Trajektorien darstellt;
5A-5E fünf Beispielanzeigen sind, die eine Nutzerschnittstelle mit einem Bild darstellen, welches eine perspektivische Frontansicht oder eine Sicht des Fahrers des Ego-Fahrzeugs und des/der Straßenakteurfahrzeug(e) oder der Fußgänger und deren jeweiliger Trajektorien in den gleichen Szenarien wie in den 4A-4E dargestellt, wobei eine Überlappung in Trajektorien und Fahrzeugen gezeigt ist;
6 ein Flussdiagramm eines Verfahrens zum Modifizieren zumindest einer prognostizierten Trajektorie auf der Grundlage einer Überlappung der prognostizierten Trajektorie mit einem Objekt gemäß einem darstellenden Aspekt der vorliegenden Technologie ist;
7 ein weiteres Flussdiagramm eines Verfahrens zum Modifizieren zumindest einer prognostizierten Trajektorie auf der Grundlage einer Überlappung der prognostizierten Trajektorie mit einem Objekt gemäß einem darstellenden Aspekt der vorliegenden Technologie ist;
8A-8C eine Modifikation zumindest einer prognostizierten Trajektorie auf der Grundlage einer Überlappung mit einem Objekt gemäß einem darstellenden Aspekt der vorliegenden Technologie darstellen;
9A-9C eine Modifikation zumindest einer prognostizierten Trajektorie auf der Grundlage einer Überlappung mit zwei Objekten gemäß einem darstellenden Aspekt der vorliegenden Technologie darstellen;
10 ein Flussdiagramm eines Verfahrens zum Modifizieren zumindest einer prognostizierten Trajektorie auf der Grundlage einer Überlappung mit einem Objekt durch Verbergen, Verwaschen und/oder Einblenden der prognostizierten Trajektorie gemäß verschiedenen Aspekten der vorliegenden Technologie ist;
11A-11E verschiedene Modifikationen zumindest einer prognostizierten Trajektorie gemäß den Verfahren von 10 darstellen;
12 ein Flussdiagramm eines Verfahrens zum Auswählen verschiedener Technologien zum Modifizieren zumindest einer prognostizierten Trajektorie auf der Grundlage unterschiedlicher Überlappungen gemäß verschiedenen Aspekten der vorliegenden Technologie ist;
13A-13B Modifikationen zumindest einer prognostizierten Trajektorie gemäß den Verfahren von 12 darstellen;
14 ein Flussdiagramm eines Verfahrens zum Modifizieren zumindest einer prognostizierten Trajektorie auf der Grundlage einer Überlappung von zumindest zwei prognostizierten Trajektorien bei einer optionalen Verwendung von Konfidenzwerten gemäß einem darstellenden Aspekt der vorliegenden Technologie ist;
15 ein Flussdiagramm eines Verfahrens zum Modifizieren zumindest einer prognostizierten Trajektorie auf der Grundlage eines verkürzten Abstands zwischen zwei benachbarten prognostizierten Trajektorien gemäß einem darstellenden Aspekt der vorliegenden Technologie ist;
16A-16C Modifikationen zumindest einer prognostizierten Trajektorie gemäß den Verfahren von 14 darstellen;
17 eine Nutzerschnittstellenanzeige aus einer Fahrerperspektivensicht bei einer Überlappung von Straßenakteuren und prognostizierten Trajektorien darstellt;
18A-18E Modifikationen zumindest einer prognostizierten Trajektorie von 17 gemäß den Verfahren der 14-15 darstellen;
19 ein Flussdiagramm eines Verfahrens zum Modifizieren zumindest einer prognostizierten Trajektorie auf der Grundlage einer Überlappung von zumindest zwei prognostizierten Trajektorien bei einer Bestimmung eines Prioritätskreuzungspunkts gemäß einem darstellenden Aspekt der vorliegenden Technologie ist;
20 einen Satz von vier Fahrzeugen mit prognostizierten Trajektorien mit vier Kreuzungspunkten mit verschiedenen Prioritäten darstellt;
21A-21B Modifikationen zumindest einer prognostizierten Trajektorie gemäß den Verfahren von 19 darstellen;
22 ein Flussdiagramm eines Verfahrens zum Modifizieren zumindest einer prognostizierten Trajektorie auf der Grundlage einer Überlappung einer projizierten Trajektorie und eines Objekts bei einer Bestimmung, dass das Objekt ein teilweise oder vollständig verdeckter bzw. verborgener Straßenakteur ist, gemäß einem darstellenden Aspekt der vorliegenden Technologie ist;
23A-23D eine Modifikation zumindest einer prognostizierten Trajektorie gemäß den Verfahren von 22 darstellen;
24A-24D zusätzliche Modifikationen zumindest einer prognostizierten Trajektorie gemäß den Verfahren von 22 darstellen;
25 ein Flussdiagramm eines Verfahrens zum Modifizieren zumindest einer prognostizierten Trajektorie auf der Grundlage des Vorhandenseins eines geneigten Geländes gemäß einem darstellenden Aspekt der vorliegenden Technologie ist;
26A-26D und 27A-27D Modifikationen zumindest einer prognostizierten Trajektorie gemäß den Verfahren von 25 darstellen;
28 ein Flussdiagramm eines Verfahrens zum Modifizieren zumindest einer prognostizierten Trajektorie auf der Grundlage zumindest einer aus einem Anzeigebereich hinausragenden Trajektorie bei unbekannter Fahrtrichtung gemäß einem darstellenden Aspekt der vorliegenden Technologie ist;
29A-29E eine Modifikation zumindest einer prognostizierten Trajektorie gemäß den Verfahren von 28 darstellen;
30 ein Flussdiagramm eines Verfahrens zum Modifizieren zumindest einer prognostizierten Trajektorie auf der Grundlage einer Überlappung einer projizierten Trajektorie und entweder eines Objekts oder einer anderen prognostizierten Trajektorie bei einer Bestimmung, dass die prognostizierte Trajektorie eine Mehrzahl von statischen Objekten überlappt, gemäß einem darstellenden Aspekt der vorliegenden Technologie ist;
31A-31C eine Modifikation zumindest einer prognostizierten Trajektorie gemäß den Verfahren von 30 darstellen;
32 ein Flussdiagramm eines Verfahrens zum Modifizieren zumindest einer prognostizierten Trajektorie auf der Grundlage einer Überlappung einer prognostizierten Trajektorie und entweder eines Objekts oder einer anderen prognostizierten Trajektorie bei einer Bestimmung, dass die prognostizierte Trajektorie eine Straßenakteur-Trajektorie aus der Vergangenheit ist, gemäß einem darstellenden Aspekt der vorliegenden Technologie ist;
33A-33C eine Modifikation zumindest einer prognostizierten Trajektorie gemäß den Verfahren von 32 darstellen;
34 ein Flussdiagramm eines Verfahrens zum Auswählen einer Darstellungsart, die bei einer Nutzerschnittstelle bereitzustellen ist, auf der Grundlage einer Komplexität gemäß einem darstellenden Aspekt der vorliegenden Technologie ist;
35A-35C Variationen von prognostizierten Trajektorien mit verschiedenen Linien, 2-D-Mustern und 3-D-Formen darstellen;
36A-36C prognostizierte 2D- und 3D-Trajektorien mit einer Überlappung von zwei prognostizierten Trajektorien darstellen;
37A-37C prognostizierte 2D- und 3D-Trajektorien mit einer Überlappung einer prognostizierten Trajektorie und zumindest einem statischen Objekt darstellen; und
38A-38B die Verwendung einer Kombination aus prognostizierten 2D- und 3D-Trajektorien auf einer einzelnen Anzeige bzw. einem einzelnen Display darstellen.

Zu beachten ist, dass die hierin dargestellten Abbildungen dahingehend gedacht sind, dass diese allgemeinen Charakteristika der Verfahren, Algorithmen und Vorrichtungen aus diesen der vorliegenden Technologie zum Zweck der Beschreibung bestimmter Aspekte darstellen. Diese Abbildungen können die Charakteristika irgendeines angegebenen Aspekts nicht präzise widerspiegeln und sind nicht notwendigerweise dahingehend gedacht, spezifische Aspekte innerhalb des Schutzumfangs dieser Technologie zu definieren oder zu beschränken. Ferner können bestimmte Aspekte Merkmale aus einer Kombination von Abbildungen umfassen.
Detaillierte Beschreibung
Die hierin beschriebene Technologie betrifft eine verbesserte Anzeige von prognostizierten Straßenakteur- und Ego-Fahrzeug-Trajektorien auf einer Nutzerschnittstelle. Insbesondere verbessert die Technologie, wie diese Trajektorien miteinander interagieren können und mit Bezug auf Größe, Position und verschiedene andere Details in Zusammenhang mit deren Anzeige auf der Nutzerschnittstelle angepasst und/oder vereinfacht werden. Diesbezüglich kann diese Technologie Trajektorieninformationen vereinfachen, welche einem Nutzer präsentiert werden. Diese kann beispielsweise verbesserte Trajektorienprognosesysteme vorsehen, welche Anzeigen bereitstellen, die das Vorhandensein zahlreicher und/oder sich überlappender Trajektorien, die auf einer Nutzerschnittstelle bereitgestellt werden können, angemessen berücksichtigen und zu weniger komplizierten Ansichten führen können.
Wie hierin verwendet, kann sich der Ausdruck „Trajektorie“ oder „Trajektorien“ auf vergangene, aktuelle und zukünftige Trajektorien beziehen, die für einen bestimmten Straßenakteur, ein Fahrzeug, ein Ego-Fahrzeug usw. simuliert, prognostiziert oder beobachtet werden. Wie hierin verwendet, bezieht sich der Ausdruck „Straßenakteur“ im Allgemeinen auf irgendein Objekt, das in der Lage ist, sich von Ort zu Ort entlang einer Fahrbahn oder in einer Art und Weise, die eine Fahrbahn schneidet, zu bewegen. Solche Objekte sind nicht unbedingt immer in Bewegung. Beispielsweise berücksichtigen verschiedene hierin beschriebene Aspekte ein Automobil, einen Bus, ein Fahrrad oder einen anderen Fahrzeugtyp, der entlang einer Straße geparkt ist, als einen Straßenakteur. Bei diesen Aspekten können die Systeme das geparkte Automobil zusammen mit anderen erfassten Objekten in der Umgebung unter Verwendung der Sensoren des Fahrzeugs verfolgen. Die Sensordaten zeigen typischerweise, dass der Straßenakteur (das geparkte Automobil) stationär ist - dass diesem keine zu diesem Zeitpunkt prognostizierbare Trajektorie zugeordnet ist. Bei diesen verschiedenen Aspekten könnte das System das geparkte Fahrzeug jedoch weiterhin verfolgen, da es sich jederzeit in Bewegung setzen könnte. In verschiedenen Aspekten liegen die Straßenakteure, die von Interesse sind, außerhalb eines Fahrzeugs (hierin manchmal als das „Ego-Fahrzeug“ oder „Host-Fahrzeug“ bezeichnet), in dem ein Aspekt der vorliegenden Technologie arbeitet. Solche Straßenakteure werden hierin manchmal als „externe Straßenakteure“ bezeichnet. Weitere nicht beschränkende Beispiele von Straßenakteuren umfassen unter anderem andere Fahrzeuge verschiedener Arten (Automobile, Busse, Motorräder, Fahrräder, Lastwagen, Baumaschinen usw.), Fußgänger und Tiere. In einigen Aspekten kann ein Straßenakteur einfach als ein Objekt bezeichnet werden.
In nicht beschränkenden Aspekten können probabilistische Variationstrajektorienprädiktoren verwendet werden, um die Ego-Fahrzeug- und/oder Straßenakteur-Trajektorien zu prognostizieren, die als prognostizierte Trajektorien bezeichnet werden können. In diesen Aspekten können die Trajektorienwahrscheinlichkeitsverteilungen für das Ego-Fahrzeug oder einen bestimmten Straßenakteur, je nachdem, was zutrifft, gesampled werden, um eine oder mehrere spezifische prognostizierte Trajektorien zu erzeugen. Diese prognostizierten Trajektorien können, wie vorstehend beschrieben, zwischen dem Ego-Fahrzeug und einem oder mehreren Straßenakteuren gekreuzt und iterativ aktualisiert werden, und diese können auch an ein Steuermodul des Ego-Fahrzeugs ausgegeben werden, welches zumindest in gewissem Ausmaß die Ausgabe steuert, die an verschiedene Anzeigen und Nutzerschnittstellen des Ego-Fahrzeugs geliefert wird, wie nachstehend weiter beschrieben ist. Bei einigen Variations-Prädiktor-Aspekten können die statistischen Parameter der Trajektorienwahrscheinlichkeitsverteilungen an das Steuermodul des Ego-Fahrzeuges ausgegeben werden, anstelle von spezifischen Trajektorien, die aus den Verteilungen gesampled werden.
Abhängig von dem jeweiligen Aspekt können die prognostizierten Ego-Fahrzeug-Trajektorien unter Berücksichtigung der prognostizierten Trajektorien mehrerer externer Straßenakteure in einer beliebigen von mehreren möglichen Anordnungen geschaffen werden. In einem Aspekt werden die prognostizierten Straßenakteur-Trajektorien nach deren Entfernung vom Ego-Fahrzeug priorisiert, wobei diese näher am Ego-Fahrzeug eine höhere Priorität erhalten als diese weiter entfernt. In einem weiteren Aspekt werden die prognostizierten Straßenakteur-Trajektorien nach irgendeiner mit den prognostizierten Straßenakteur-Trajektorien verbundenen Unsicherheit priorisiert, wobei diejenigen mit geringerer Unsicherheit (das heißt, größerer Sicherheit) eine höhere Priorität erhalten als diejenigen mit größerer Unsicherheit (das heißt, geringerer Sicherheit). Darüber hinaus können prognostizierte Zwischen-Trajektorien für das Ego-Fahrzeug und/oder einen oder mehrere externe Straßenakteure während des iterativen Trajektorienprognoseprozesses erhalten, gesammelt und aggregiert werden, wobei alle möglichen Anordnungen der externen Straßenakteure berücksichtigt werden. Das Aufrechterhalten all dieser verschiedenen Hypothesen erlaubt es dem Steuerungsmodul des Ego-Fahrzeugs, alle möglichen Aktionen der Straßenakteure zu berücksichtigen. Dieser vorsichtige Ansatz fördert das Ziel der Planung des Ego-Fahrzeugs und das Durchlaufen einer sicheren Trajektorie.
Andere Technologien können vorteilhaft mit der vorstehend beschriebenen iterativen Trajektorienprognosearchitektur kombiniert werden: (1) Einsatz mehrerer Trajektorien-Prädiktoren zum Prognostizieren der zukünftigen Trajektorie des Ego-Fahrzeugs und mehrerer Trajektorien-Prädiktoren zum Prognostizieren der zukünftigen Trajektorie eines oder mehrerer Straßenakteure außerhalb des Ego-Fahrzeugs; und (2) Erzeugen von Konfidenzschätzungen für die prognostizierten Ego-Fahrzeug- und Straßenakteur-Trajektorien, so dass deren Vertrauenswürdigkeit bewertet werden kann. Diese Technologien werden in den folgenden Abschnitten näher erläutert.
Zur Prognose der zukünftigen Trajektorie des Ego-Fahrzeugs oder eines bestimmten externen Straßenakteurs setzen einige der hierin beschriebenen Aspekte zwei oder mehr Trajektorien-Prädiktoren ein, die verschiedene deterministische oder probabilistische Berechnungsmodelle verwenden. Beispielsweise entspricht bei einem Aspekt mit zwei Trajektorien-Prädiktoren der erste Trajektorien-Prädiktor einem probabilistischen Variations-Trajektorien-Prädiktor, der eine DNN umfasst, und der zweite Trajektorien-Prädiktor entspricht einem physikalisch basierten (deterministischen) Modell. Bei verschiedenen Aspekten empfangen die Trajektorien-Prädiktoren als Eingaben irgendwelche aus einer Mehrzahl von Fahrzeugsensordaten, die nachstehend weiter erörtert sind. Abhängig vom jeweiligen Aspekt können die Trajektorien-Prädiktoren auch gemessene vergangene Trajektorieninformationen für das Ego-Fahrzeug oder den Straßenakteur empfangen, je nachdem, welche Art von Trajektorie prognostiziert wird.
In Bezug auf die Konfidenzschätzungen entspricht ein wichtiger Aspekt der offenbarten Aspekte dem zeitlichen (Zeit-) Horizont, über den eine Fahrzeug- oder Straßenakteur-Trajektorie prognostiziert wird. Beispielsweise könnte eine bestimmte prognostizierte Trajektorie von einem bestimmten Trajektorien-Prädiktor über einen relativ kurzen Zeithorizont von etwa 0,1 bis etwa 3 Sekunden vertrauenswürdig sein, diese könnte jedoch über einen längeren Zeithorizont, der sich über etwa 3 Sekunden hinaus bis zu etwa 10 Sekunden erstreckt, nicht vertrauenswürdig sein. In einigen Aspekten werden die Konfidenzschätzungen für die prognostizierten Ego-Fahrzeug- und Straßenakteur-Trajektorien unter Verwendung eines DNN (Deep-Neural-Network)-Modells als eine kontinuierliche Zeitfunktion über den anwendbaren Zeithorizont berechnet. Die Konfidenzmessungen unterstützen somit das Trajektorienprognosesystem bei der Entscheidung, welche prognostizierten Ego-Fahrzeug- und Straßenakteur-Trajektorien für bestimmte Segmente des gesamten zeitlichen Prognosehorizonts am vertrauenswürdigsten sind. In verschiedenen Aspekten werden die Konfidenzwerte in Zusammenhang mit den iterativ aktualisierten prognostizierten Ego-Fahrzeug- und Straßenakteur-Trajektorien ebenfalls iterativ aktualisiert, da die prognostizierten Trajektorien selbst iterativ aktualisiert werden.
Unter Bezugnahme auf 1 wird ein Beispiel für ein Fahrzeug 100 (hierin manchmal als „Ego-Fahrzeug“ bezeichnet) dargestellt. Wie hierin verwendet, entspricht ein „Fahrzeug“ irgendeiner Form eines motorisierten Transports. In einer oder mehreren Implementierungen entspricht das Fahrzeug 100 einem Automobil. Während hierin Anordnungen mit Bezug auf Automobile beschrieben werden, ist ersichtlich, dass Aspekte nicht auf Automobile beschränkt sind. In einigen Implementierungen kann das Fahrzeug 100 irgendeiner anderen Form eines motorisierten Transports entsprechen, der beispielsweise zumindest halbautonom arbeiten kann.
Das Fahrzeug 100 umfasst auch verschiedene Elemente. Es ist ersichtlich, dass es in verschiedenen Aspekten nicht erforderlich sein kann, dass das Fahrzeug 100 alle der in 1 dargestellten Elemente aufweist. Das Fahrzeug 100 kann irgendeine Kombination der in 1 gezeigten verschiedenen Elemente aufweisen. Ferner kann das Fahrzeug 100 zusätzliche Elemente zu den in 1 gezeigten aufweisen. Bei einigen Anordnungen kann das Fahrzeug 100 ohne eines oder mehrere der in 1 gezeigten Elemente implementiert sein. Während die verschiedenen Elemente in 1 als innerhalb des Fahrzeuges 100 angeordnet gezeigt sind, ist ersichtlich, dass eines oder mehrere dieser Elemente außerhalb des Fahrzeuges 100 angeordnet sein kann/können. Ferner können die gezeigten Elemente physisch durch große Abstände voneinander getrennt sein. Einige der möglichen Elemente des Fahrzeugs 100 sind in 1 gezeigt und werden zusammen mit den nachfolgenden Abbildungen beschrieben. Eine Beschreibung vieler der Elemente in 1 wird jedoch zum Zwecke der Kürze dieser Beschreibung nach der Erörterung der übrigen Abbildungen bereitgestellt.
Unter Bezugnahme auf 2 wird ein beispielhaftes Trajektorienprognosesystem 170 von 1 dargestellt. Das Trajektorienprognosesystem 170 ist implementiert, um Verfahren und andere Funktionen, wie hierin offenbart, durchzuführen, die sich auf eine Steuerung des Betriebs des Fahrzeugs 100 beziehen und zumindest teilweise auf vergangenen, aktuellen, beobachteten oder prognostizierten zukünftigen Trajektorien des Fahrzeugs 100 selbst und/oder auf vergangenen, aktuellen, beobachteten oder prognostizierten Trajektorien eines oder mehrerer Straßenakteure außerhalb des Fahrzeugs 100 basieren. In einigen Aspekten kann die Trajektorie des Fahrzeugs 100 oder eines Straßenakteurs im dreidimensionalen Raum modelliert werden.
Das Trajektorienprognosesystem 170 ist so gezeigt, dass dieses einen oder mehrere Prozessoren 110 von dem Fahrzeug 100 von 1 umfasst. Der eine oder die mehreren Prozessoren 110 können einem Teil des Trajektorienprognosesystems 170 entsprechen, das Trajektorienprognosesystem 170 kann einen oder mehrere separate Prozessoren zu dem einen oder den mehreren Prozessoren 110 des Fahrzeugs 100 umfassen, oder das Trajektorienprognosesystem 170 kann je nach Ausführungsform über einen Datenbus oder einen anderen Kommunikationspfad auf den einen oder die mehreren Prozessoren 110 zugreifen. In einem Aspekt umfasst das Trajektorienprognosesystem 170 einen Speicher 172, welcher zumindest ein Trajektorienprognosemodul 174 und ein Steuermodul 176 speichert. Bei dem Speicher 172 kann es sich um einen Direktzugriffsspeicher (RAM), einen Nurlesespeicher (ROM), ein Festplattenlaufwerk, einen Flash-Speicher oder einen anderen geeigneten Speicher zum Speichern der Module 174, 176 handeln. Bei den Modulen 174, 176 handelt es sich beispielsweise um computerlesbare Anweisungen, welche, wenn diese von dem einen oder den mehreren Prozessoren 110 ausgeführt werden, bewirken, dass der eine oder die mehreren Prozessoren 110 die verschiedenen hierin offenbarten Funktionen durchführen.
In Zusammenhang mit dem Prognostizieren der Trajektorie des Fahrzeugs 100 kann das Trajektorienprognosesystem 170 verschiedene Arten von modellbezogenen Daten 178 in einer Datenbank 180 speichern. Wie in 1 gezeigt ist, kann das Trajektorienprognosesystem 170 Sensordaten von einem Sensorsystem 120 im Fahrzeug 100 (dem Ego-Fahrzeug) empfangen. Beispielsweise empfängt das Trajektorienprognosesystem 170 in einigen Aspekten Bilddaten von einer oder mehreren Kameras 126. Das Trajektorienprognosesystem 170 kann je nach der jeweiligen Ausführungsform auch LIDAR-Daten von LIDAR-Sensoren 124, Radardaten von Radarsensoren 123 und/oder Sonardaten von Sonarsensoren 125 empfangen. In einigen Aspekten empfängt das Trajektorienprognosesystem 170 auch Eingaben von Fahrzeugsystemen 140. Beispiele umfassen unter anderem einen Lenkradwinkel, eine Gaspedalstellung bzw. eine Gaspedalposition, eine lineare Geschwindigkeit und eine Winkelgeschwindigkeit. Lenkradwinkel- und Gaspedalpositionsdaten sind Beispiele für so genannte Controller-Area-Network (CAN-Bus)-Daten, und die lineare Geschwindigkeit und die Winkelgeschwindigkeit sind Beispiele für so genannte Inertial-Messeinheits (IMU)-Daten. Einige der vorstehenden Arten von Sensordaten beziehen sich auf die Prognose der Trajektorie des Fahrzeugs 100 (des Ego-Fahrzeugs), nicht jedoch auf die Prognose der Trajektorie eines externen Straßenakteurs, wie nachstehend weiter erläutert ist. Wie ebenfalls in 1 angegeben ist, kann das Trajektorienprognosesystem 170, insbesondere das Steuermodul 176, mit den Fahrzeugsystemen 140 und/oder dem/den Autonom-Fahrmodul(en) 160 kommunizieren, um eine halb autonome oder autonome Steuerung verschiedener Funktionen des Fahrzeugs 100 zu unterstützen. Das Steuermodul 176 umfasst auch Anweisungen, die den einen oder die mehreren Prozessor(en) 110 veranlassen, den Betrieb des Nutzerschnittstellensystems 182 zu steuern, und die Daten, einschließlich der prognostizierten Trajektorien, zu koordinieren, die bei verschiedenen Anzeigen im gesamten Fahrzeug 100 bereitgestellt werden.
In einigen Aspekten können andere oder zusätzliche Arten von Daten vom Sensorsystem 120 zu dem Trajektorienprognosesystem 170 geführt werden, wie beispielsweise Radar- und/oder Sonardaten. Zusätzlich können höher strukturierte Daten, wie beispielsweise gerasterte Kartendaten (beispielsweise ein Belegungsraster für die Umgebung des Fahrzeugs 100), einem Variations-Trajektorien-Prädiktor zugeführt werden. Die spezifischen Arten von Sensorrohdaten oder strukturierten Daten, die dem Trajektorienprognosesystem 170 zugeführt werden, können je nach Aspekt variieren.
In einigen Aspekten, welche die nachstehend beschriebenen Konfidenz-Werte umfassen, können die Konfidenz-Werte zumindest teilweise auf der Grundlage der Anzahl von Iterationen berechnet werden, die zwischen der Prognose von Ego-Fahrzeug-Trajektorien und der Prognose von Straßenakteur-Trajektorien auftreten, während die prognostizierten Ego-Fahrzeug- und Straßenakteur-Trajektorien iterativ aktualisiert werden. Im Allgemeinen entspricht eine größere Anzahl von Iterationen einem höheren Konfidenzniveau in die resultierenden prognostizierten Trajektorien, da die prognostizierten Trajektorien dazu neigen, nach ausreichenden Iterationen zu stabileren Prognosen zu konvergieren.
Wie hierin im Detail beschrieben ist, umfasst das Trajektorienprognosemodul 174 im Allgemeinen Anweisungen, die den einen oder die mehreren Prozessoren 110 veranlassen, eine oder mehrere prognostizierte Trajektorien für das Fahrzeug 100 (das Ego-Fahrzeug) und eine oder mehrere prognostizierte Trajektorien für zumindest einen externen Straßenakteur zur Anzeige auf einer Nutzerschnittstelle zu erstellen. Verschiedene Designs von Nutzerschnittstellen können für die Anzeige von Trajektorieninformationen mit Bezug auf die vorliegende Technologie nützlich sein, und die hierin bereitgestellte Beschreibung ist nicht dazu gedacht, die Arten von Anzeigen, die mit der vorliegenden Technologie nützlich sind, zu beschränken.
3 stellt eine perspektivische Teilansicht eines beispielhaften Fahrzeuginnenraums 50 dar, in der zwei Vordersitze für Fahrzeuginsassen sowie verschiedene Fahrzeugsteuerungen bzw. -bedienelemente dargestellt sind. Wie zu sehen ist, umfasst das Fahrzeug ein Navigationsdisplay 52 und ein Head-Up-Display (HUD) 54, das auf eine Windschutzscheibe 56 mit mehreren Panels 58 projiziert wird, die das Display für eine Nutzerschnittstelle aufnehmen können. Multi-Informations-Displays (MIDs) 60, wie beispielsweise Bildschirme/Anzeigen, die zwischen verschiedenen Informationsanzeigen hin- und herschalten können, können ebenfalls verwendet werden und befinden sich in verschiedenen Bereichen des Fahrzeuginnenraums. In anderen Aspekten können auch persönliche elektronische Vorrichtungen, wie Telefone 62, Tablets (nicht gezeigt) und dergleichen für Anzeigezwecke verwendet werden. Abhängig vom jeweiligen Aspekt sind verschiedene Variationen der eben beschriebenen Architektur möglich. In verschiedenen Aspekten können die hierin bereitgestellten Systeme und Verfahren die Verwendung eines Straßenakteurs umfassen, der als ein Automobil, ein Motorrad, ein Fahrrad und/oder ein Fußgänger vorgesehen ist; und die Fahrzeugnutzerschnittstelle entspricht einem Element aus einem Navigationsdisplay, einem Multi-Informations-Display, einem Head-Up-Display (HUD), einem Head-Mounted-Display bzw. kopfmontierten Display (HMD), einem Remote-Operator-Display bzw. Fernbedienungsdisplay und einer tragbaren Vorrichtung. Mehrere Displays bzw. Anzeigen können in Kombination miteinander verwendet werden und können verschiedene Perspektiven umfassen.
Die 4A-4E sind fünf Beispielanzeigen, welche eine Nutzerschnittstelle mit einem Bild darstellen, das eine Draufsicht 300 eines Ego-Fahrzeuges 100 und zumindest eines Straßenakteurs, wie eines Fahrzeugs 200 oder eines Fußgängers 204, mit entsprechenden Trajektorien 202, 206 darstellt. Die 5A-5E sind fünf Beispielanzeigen, die eine Nutzerschnittstelle mit einem Bild darstellen, das eine perspektivische Frontansicht 310 oder die Sicht des Fahrers desselben Ego-Fahrzeugs 100 und des/der Straßenakteurfahrzeugs/Fahrzeuge 200 oder Fußgänger 202 und deren jeweiligen Trajektorien 202, 204 in den gleichen Szenarien wie in den 4A-4E dargestellt, wobei eine Überlappung von Trajektorien und Fahrzeugen gezeigt ist.
Beispielsweise stellt 4A eine Draufsicht 300 mit zwei Straßenakteurfahrzeugen 200 bereit. Während die prognostizierten Straßenakteur-Trajektorien 202 in 4A nicht überlappen, liegen in 5A mit der Fahrerperspektivensicht 310 die prognostizierten Straßenakteur-Trajektorien 202 nahe beieinander, wobei Abschnitte überlappen, was einen Nutzer verwirren kann. Die 4B-4D stellen Draufsichten 300 eines Ego-Fahrzeugs 100 mit einer prognostizierten Ego-Fahrzeug Trajektorie 102 und einer Mehrzahl von Straßenakteurfahrzeugen 200 und deren jeweiligen prognostizierten Straßenakteur-Trajektorien 202 in verschiedenen Verkehrsmustern dar. Wie gezeigt ist, überlappen die verschiedenen prognostizierten Trajektorien 102, 202 nicht nur untereinander, sondern diese überlappen auch mit einigen der Straßenakteurfahrzeuge selbst, was wahrscheinlich zu einer Verwirrung bei einem Nutzer führt. Die 5B-5D stellen die Sichten 310 des Fahrers auf diese Fahrzeuge 100, 200 und die ähnliche Überlappung der prognostizierten Trajektorien 102, 202 dar und bieten ebenfalls eine komplexe Visualisierung, die wahrscheinlich die Sicht behindert und/oder Verwirrung bei einem Nutzer verursacht. Die 4E und 5E stellen das Ego-Fahrzeug 100 und die prognostizierte Trajektorie 102 neben einem Zebrastreifen mit einer Mehrzahl von Fußgängern 204 und deren jeweiligen prognostizierten Trajektorien 206 mit verschiedenen Überlappungen dar.
6 ist ein Flussdiagramm eines Verfahrens 320 zum Modifizieren zumindest einer prognostizierten Trajektorie auf der Grundlage einer Überlappung der prognostizierten Trajektorie mit einem Objekt gemäß einem darstellenden Aspekt der vorliegenden Technologie. Das Verfahren 320 dient zur Erzeugung von Trajektorien für eine Fahrzeugnutzerschnittstelle, welche eine Fahrerperspektivensicht zeigt. Das Verfahren umfasst zunächst das Erzeugen einer prognostizierten Ego-Fahrzeug Trajektorie 102 für ein Ego-Fahrzeug 100 und das Erzeugen zumindest einer prognostizierten Straßenakteur-Trajektorie 202 für einen Straßenakteur, der sich außerhalb des Ego-Fahrzeugs 100 befindet. Der/die Straßenakteur(e) können andere Fahrzeuge 200, Fußgänger 204 und Kombinationen daraus sein. Wie durch Verfahrensschritt 322 angegeben ist, wird nach der Erzeugung der jeweiligen prognostizierten Trajektorien 102, 202 das Verfahren 320 fortgesetzt, indem bestimmt wird, dass zumindest eine prognostizierte Straßenakteur-Trajektorie 202 aus der Fahrerperspektive hinter einem Objekt existiert, was auf eine Fahrt hinter dem Objekt hinweist. Wie durch Verfahrensschritt 324 angegeben ist, bestimmt das Verfahren weiterhin, ob die prognostizierte Trajektorie 202 mit dem Objekt überlappt, wenn diese auf der Nutzerschnittstelle angezeigt werden, die eine Fahrerperspektivensicht zeigt. Sofern nicht anders angegeben, kann der Ausdruck „Objekt“, wie bei den hierin beschriebenen Verfahren verwendet, in breiter Art und Weise ein statisches Objekt, wie ein geparktes Fahrzeug, ein Gebäude, eine Mitteltrennwand usw., umfassen; und/oder dieser kann auch ein sich bewegendes Objekt umfassen, das ein sich bewegendes Fahrzeug, einen sich bewegenden Fußgänger und dergleichen umfassen kann. Das Verfahren 320 umfasst dann ein Modifizieren der zumindest einen prognostizierten Straßenakteur-Trajektorie 202, um die Überlappung zu beseitigen, wie durch Verfahrensschritt 326 angegeben ist. Das Verfahren fährt dann mit einem Aktualisieren einer Anzeige der Nutzerschnittstelle fort, um jede modifizierte prognostizierte Straßenakteur-Trajektorie(n) zu umfassen. Mit erneuter Bezugnahme auf 2 kann in verschiedenen Aspekten ein Steuermodul 176 verwendet werden, um Anweisungen bei einem oder mehreren Prozessoren 110 und/oder dem Nutzerschnittstellensystem 182 bereitzustellen, um eine Nutzerschnittstelle zu aktualisieren, so dass diese eine Anzeige jeder modifizierten prognostizierten Straßenakteur-Trajektorie umfasst.
7 ist ein Flussdiagramm eines Verfahrens 328 zum Modifizieren zumindest einer prognostizierten Trajektorie auf der Grundlage einer Überlappung der prognostizierten Trajektorie mit einem Objekt, ähnlich zu dem Verfahren 320 von 6, jedoch mit einem zusätzlichen Merkmal. Wie in 7 gezeigt ist, gibt es einen zusätzlichen Verfahrensschritt 330 zur Bestimmung, ob es sich bei dem Objekt um einen Straßenakteur mit einer eigenen prognostizierten Trajektorie handelt. Ist dies der Fall, werden keine Modifikationen vorgenommen. Falls dies keine Ursache ist, dann werden die Modifikationen vorgenommen.
Die 8A-8C veranschaulichen die Modifikation zumindest einer prognostizierten Trajektorie auf der Grundlage einer Überlappung mit einem Objekt gemäß den Verfahren der 6-7. 8A ist eine Draufsicht 300, welche zwei Straßenakteurfahrzeuge 200A, 200B mit jeweils einer prognostizierten Straßenakteur-Trajektorie 202A, 202B mit einem Pfeil zur Angabe einer Fahrtrichtung vorsieht. Die Straßenakteurfahrzeuge 200A, 200B fahren in entgegengesetzte Richtungen. Aus der Fahrerperspektivensicht des Ego-Fahrzeugs wird ein Fahrzeug 200A hinter einem Objekt 208 fahren und ein Fahrzeug 200B wird vor dem Objekt 208 fahren. 8B stellt die Fahrerperspektivensicht 310 der in 8A dargestellten Situation dar. Wie in 8B gezeigt ist, kann die prognostizierte Straßenakteur-Trajektorie 202A zu Verwirrung führen, da diese mit dem Objekt 208 überlappt und es den Anschein hat, dass das Fahrzeug 200A vor dem Objekt 208 fahren wird, während in Wirklichkeit das Fahrzeug 200A hinter dem Objekt 208 fahren wird. 8C veranschaulicht die resultierende Modifikation einer Länge der prognostizierten Straßenakteur-Trajektorie 202A, die verkürzt ist, so dass diese mit dem Objekt 208 nicht länger überlappt.
Die 9A-9C veranschaulichen eine Modifikation zumindest einer prognostizierten Straßentrajektorie auf der Grundlage einer Überlappung mit zwei Objekten gemäß einem darstellenden Aspekt der vorliegenden Technologie. 9A ist eine Draufsicht 300, welche zwei Straßenakteurfahrzeuge 200A, 200B, jedes mit einer entsprechenden prognostizierten Straßenakteur-Trajektorie 202A, 202B mit einem Pfeil zur Angabe einer Fahrtrichtung, vorsieht. Die Straßenakteurfahrzeuge 200A, 200B fahren in entgegengesetzte Richtungen. Aus der Fahrerperspektivensicht des Ego-Fahrzeugs wird ein Fahrzeug 200A hinter einem ersten Objekt 208 fahren und ein Fahrzeug 200B wird vor dem ersten Objekt 208, jedoch hinter einem zweiten Objekt 110 fahren. 9B stellt die Fahrerperspektivensicht 310 der in 9A dargestellten Situation dar. Wie in 9B gezeigt ist, können die prognostizierten Straßenakteur-Trajektorien 202A, 202B zu Verwirrung führen, da beide mit den Objekten 208, 210 überlappen und es scheint, dass beide Fahrzeuge 200A, 200B vor den Objekten 208, 210 fahren werden, während in Wirklichkeit das Fahrzeug 200A hinter dem ersten Objekt 208 und das Fahrzeug 200B vor dem ersten Objekt 208 und hinter dem zweiten Objekt 210 fahren wird. 9C veranschaulicht die resultierende Modifikation einer Länge der beiden prognostizierten Straßenakteur-Trajektorien 202A, 202B, die so verkürzt sind, dass diese mit den Objekten 208, 210 nicht länger überlappen.
10 ist ein Flussdiagramm eines Verfahrens 332 zum Modifizieren zumindest einer prognostizierten Straßentrajektorie auf der Grundlage einer Überlappung mit einem Objekt durch Verbergen, Verwaschen und/oder Einblenden der prognostizierten Trajektorie gemäß verschiedenen Aspekten der vorliegenden Technologie. Der Verfahrensschritt 334 bestimmt, ob eine prognostizierte Straßenakteur-Trajektorie mit einem Objekt überlappt, wenn diese auf einer Nutzerschnittstelle mit einer Fahrerperspektivensicht angezeigt wird. Ähnlich zu dem Verfahren 320 von 8 bestimmt auch dieses Verfahren 332, ob eine prognostizierte Straßenakteur-Trajektorie teilweise oder vollständig hinter einem Objekt existiert, was auf eine Fahrt hinter dem Objekt hinweist, wie in Verfahrensschritt 336 dargestellt. Falls ja, fährt das Verfahren 332 fort, indem eine Anzeige des Objekts und der prognostizierten Trajektorien modifiziert wird. Beispielsweise kann ein Abschnitt oder eine Gesamtheit der prognostizierten Straßenakteur-Trajektorie so modifiziert werden, dass diese von dem Objekt verborgen bzw. verdeckt ist oder hinter diesem liegt, wie in Verfahrensschritt 338 dargestellt. Ist dies nicht der Fall, fährt das Verfahren 332 durch Modifizieren eines Abschnitts oder der Gesamtheit der prognostizierten Trajektorie fort, so dass diese verwaschen, eingeblendet bzw. integriert oder dergleichen wird, wie in Verfahrensschritt 340 dargestellt, damit der Nutzer die anteroposteriore Beziehung in der Situation besser verstehen kann. In anderen Aspekten umfasst das Verfahren Anweisungen, um eine Anzeige des Objekts so zu modifizieren, dass ein erster Teil der prognostizierten Straßenakteur-Trajektorie hinter dem Objekt verdeckt erscheint, wenn diese auf der Nutzerschnittstelle angezeigt werden, die eine Fahrerperspektivensicht zeigt; und um einen zweiten Teil der prognostizierten Straßenakteur-Trajektorie unter Verwendung zumindest einer Technologie zu modifizieren, die aus der Gruppe bestehend aus Verbergen, Verwaschen und Einblenden bzw. Integrieren ausgewählt ist.
Die 11A-11E veranschaulichen verschiedene Modifikationen zumindest einer prognostizierten Straßenakteur-Trajektorie gemäß den Verfahren 332 von 10. 11A ist eine Draufsicht 300, welche zwei Straßenakteurfahrzeuge 200A, 200B jeweils mit einer entsprechenden prognostizierten Straßenakteur-Trajektorie 202A, 202B mit einem Pfeil zur Angabe einer Fahrtrichtung vorsieht. Die Straßenakteurfahrzeuge 200A, 200B fahren in entgegengesetzte Richtungen. Aus der Fahrerperspektivensicht des Ego-Fahrzeugs wird ein Fahrzeug 200A hinter einem Objekt 208 fahren und ein Fahrzeug 200B wird vor dem Objekt 208 fahren. 8B stellt die Fahrerperspektivensicht 310 der in 8A dargestellten Situation bereit. Wie in 8B gezeigt ist, kann die prognostizierte Straßenakteur-Trajektorie 202A zu Verwirrung führen, da diese mit dem Objekt 208 überlappt und es den Anschein hat, dass das Fahrzeug 200A vor dem Objekt 208 fahren wird, während in Wirklichkeit das Fahrzeug 200A hinter dem Objekt 208 fahren wird. 11C sieht eine erste resultierende Modifikation vor, bei welcher beide prognostizierten Straßenakteur-Trajektorien 202A und 202B so modifiziert werden, dass jeweils ein Abschnitt davon hinter dem Objekt 208 verdeckt ist. Dadurch erhält der Nutzer eine klarere Sicht auf das Objekt 208, es kann jedoch eine Unklarheit darüber bestehen, ob das zweite Fahrzeug 200B vor oder hinter dem Objekt 208 fährt. Die 11D und 11E können dem Benutzer ein klareres Verständnis der Situation vermitteln. In 11D ist die prognostizierte Straßenakteur-Trajektorie 202A für das hinter dem Objekt 208 fahrende Straßenakteurfahrzeug 200A teilweise hinter dem Objekt 208 verdeckt bzw. verborgen, während die prognostizierte Straßenakteur-Trajektorie 202B für das vor dem Objekt 208 fahrende Straßenakteurfahrzeug 200B teilweise bei dem Objekt 208 integriert bzw. eingeblendet ist. In 11E ist die prognostizierte Straßenakteur-Trajektorie 202A für das hinter dem Objekt 208 fahrende Straßenakteurfahrzeug 200A teilweise hinter dem Objekt 208 verwaschen, während die prognostizierte Straßenakteur-Trajektorie 202B für das vor dem Objekt 208 fahrende Straßenakteurfahrzeug 200B teilweise bei dem Objekt 208 integriert ist. Es können verschiedene Kombinationen aus Verbergen bzw. Ausblenden, Integrieren bzw. Einblenden und Verwaschen verwendet werden.
12 ist ein Flussdiagramm eines Verfahrens 342 zur Auswahl verschiedener Technologien zum Modifizieren zumindest einer prognostizierten Trajektorie auf der Grundlage verschiedener Überlappungen gemäß verschiedenen Aspekten der vorliegenden Technologie. Wie in Verfahrensschritt 344 dargestellt ist, bestimmt das Verfahren die anteroposteriore Beziehung zwischen verschiedenen Straßenakteuren und Objekten, die in einer Nutzerschnittstellenanzeige mit einer Fahrerperspektivensicht angezeigt werden. Das Verfahren bestimmt dann, ob ein Zielobjekt mit einem anderen Objekt überlappt, wie durch Verfahrensschritt 346 dargestellt. Wenn es eine Überlappung gibt, bestimmt das Verfahren, ob ein anderer Straßenakteur den Überlappungspunkt erreicht, bevor das Ego-Fahrzeug den Überlappungspunkt erreicht. Falls ja, weist Schritt 350 des Verfahrens auf die Anwendung des in 7 vorgesehenen Verfahrens, um die prognostizierten Straßenakteur-Trajektorien zu modifizieren. Wenn nicht, weist Schritt 352 des Verfahrens auf die Anwendung des Verfahrens gemäß 10, um die prognostizierten Straßenakteur-Trajektorien zu modifizieren.
Die 13A-13B veranschaulichen Modifikationen zumindest einer prognostizierten Trajektorie gemäß den Verfahren 342 von 12, während die Ego-Fahrzeug-Trajektorie der Einfachheit halber ignoriert wird. 13A ist eine Draufsicht 300 mit drei Straßenakteurfahrzeugen 200A, 200B, 200C in Reihe, jeweils mit einer entsprechenden prognostizierten Trajektorie 202A, 202B, 202C. Zwei der prognostizierten Trajektorien 202A, 202B überlappen mit einem benachbarten Straßenakteurfahrzeug 200B, 200C. 13B stellt eine Fahrerperspektivensicht 310 nach der Implementierung des Verfahrens 342 von 12 bereit. Da sich beispielsweise kein Straßenakteur oder Objekt vor dem Fahrzeug 200C befindet, wird das Verfahren von 7 auf die prognostizierte Stra-ßenakteur-Trajektorie 202C angewendet, die im Display vorgesehen ist. Da sich andere Fahrzeuge vor den beiden Fahrzeugen 200A und 200B befinden, wird das Verfahren von 10 auf deren jeweilige prognostizierte Trajektorien 202A, 202B angewendet. Infolgedessen überlappt die prognostizierte Trajektorie 202A mit dem Fahrzeug 200B, die prognostizierte Trajektorie 202B ist jedoch aufgrund der Überlappung mit dem Fahrzeug 200C verborgen bzw. verdeckt.
14 ist ein Flussdiagramm eines Verfahrens 354 zum Modifizieren zumindest einer prognostizierten Trajektorie auf der Grundlage einer Überlappung von zumindest zwei prognostizierten Trajektorien in einer Fahrerperspektivensicht, mit einer optionalen Verwendung von Konfidenzwerten gemäß einem darstellenden Aspekt der vorliegenden Technologie. Das Verfahren 354 umfasst das Erzeugen einer prognostizierten Ego-Fahrzeug-Trajektorie für ein Ego-Fahrzeug; und das Erzeugen zumindest einer prognostizierten Straßenakteur-Trajektorie für einen Straßenakteur, der sich außerhalb des Ego-Fahrzeugs befindet. Nachdem die prognostizierten Trajektorien erzeugt sind, fährt das Verfahren fort, indem bestimmt wird, dass zumindest zwei prognostizierte Trajektorien überlappen, wenn diese auf der Nutzerschnittstelle angezeigt werden, die eine Fahrerperspektivensicht zeigt, wie durch Verfahrensschritt 356 gezeigt. In verschiedenen Aspekten kann das Verfahren 356 direkt zu Schritt 364 übergehen, der ein Modifizieren der zumindest einen prognostizierten Straßenakteur-Trajektorie zur Beseitigung der Überlappung umfasst. Das Verfahren fährt dann mit einem Aktualisieren einer Anzeige der Nutzerschnittstelle fort, um jede modifizierte prognostizierte Straßenakteur-Trajektorie zu umfassen. Bei optionalen Verfahren, wie in Verfahrensschritt 358 gezeigt, kann das Trajektorienprognosemodul 170 Anweisungen zur Berechnung oder anderweitigen Erhaltung eines Konfidenzwertes umfassen, der repräsentativ für die Wahrscheinlichkeit einer Kollision zwischen Straßenakteuren aufgrund der Darstellung einer Überlappung von prognostizierten Straßenakteur-Trajektorien ist. Die Verfahren können auch die Durchführung eines Vergleichs des Konfidenzwertes umfassen, um zu bestimmen, dass der Konfidenzwert unter einer vorbestimmten Schwelle liegt, wie durch Verfahrensschritt 360 angegeben. Sobald bestimmt wird, dass das Risiko einer Kollision unter einer vorbestimmten Schwelle liegt, kann das Verfahren optional in Schritt 362 fortgesetzt werden, indem bestimmt wird, ob ein anderer Straßenakteur den Überlappungspunkt der prognostizierten Trajektorien erreicht, bevor das Ego-Fahrzeug diesen Kreuzungspunkt erreicht. Falls ja, umfasst das Verfahren ein Modifizieren zumindest einer prognostizierten Trajektorie, um die Überlappung zu beseitigen, wie durch Verfahrensschritt 364 gezeigt. In verschiedenen Aspekten kann die Modifikation ein Verkürzen einer Länge der prognostizierten Trajektorie, ein Bereitstellen eines Trennungsabstands zwischen zumindest zwei der prognostizierten Trajektorien und ein Modifizieren einer prognostizierten Trajektorie unter Verwendung einer Technologie, wie beispielsweise Verbergen, Verwaschen, Einblenden, oder ein ähnliches Modifizieren zumindest eines Abschnitts der prognostizierten Trajektorie (und/oder eines benachbarten Straßenakteurs oder Objekts) umfassen.
15 ist ein Flussdiagramm eines Verfahrens 366 zum Modifizieren zumindest einer prognostizierten Trajektorie auf der Grundlage der Berechnung eines verkürzten Abstands zwischen zwei benachbarten prognostizierten Trajektorien, der unter einem Schwellenwert liegt, gemäß einem darstellenden Aspekt der vorliegenden Technologie. Beispielsweise kann das Trajektorienprognosemodul 170 eine Anweisung zur Erzeugung einer prognostizierten Ego-Fahrzeug-Trajektorie für ein Ego-Fahrzeug und zur Erzeugung zumindest einer prognostizierten Straßenakteur-Trajektorie für einen Straßenakteur, der sich außerhalb des Ego-Fahrzeugs befindet, umfassen. Wie in den Verfahrensschritten 368 und 370 gezeigt ist, können die Anweisungen einen Schritt umfassen, um zu bestimmen, dass ein Abstand zwischen zwei benachbarten prognostizierten Trajektorien unter einem vorbestimmten Schwellenwert liegt, wenn diese auf der Nutzerschnittstelle angezeigt werden, die eine Fahrerperspektivensicht zeigt. Danach können die Anweisungen einen Schritt umfassen, um zumindest eine Modifikation durchzuführen, welche aus der Gruppe ausgewählt wird, die aus Folgendem besteht: (1) Ändern einer Farbe zumindest einer der prognostizierten Straßenakteur-Trajektorien; (2) Ändern einer Abstandsposition zumindest einer der prognostizierten Straßenakteur-Trajektorien; (3) Ändern einer Dicke zumindest einer der prognostizierten Straßenakteur-Trajektorien; und (4) Bestimmen einer prognostizierten Prioritäts-Straßenakteur-Trajektorie auf der Grundlage einer nächsten Nähe zum Ego-Fahrzeug und Anzeigen nur der prognostizierten Prioritäts-Straßenakteur-Trajektorie. Ein Steuermodul 176 kann auch Anweisungen bereitstellen, welche, wenn diese von dem einen oder den mehreren Prozessoren 110 ausgeführt werden, den einen oder die mehrere Prozessoren 110 oder ein Nutzerschnittstellensystem 182 veranlassen, die Nutzerschnittstelle zu aktualisieren, um jede modifizierte prognostizierte Stra-ßenakteur-Trajektorie zu umfassen.
Die 16A-16C veranschaulichen Modifikationen zumindest einer prognostizierten Straßenakteur- und Ego-Fahrzeug-Trajektorie gemäß den Verfahren 366 von 14. 16A stellt eine Draufsicht 300 eines Ego-Fahrzeuges 100 mit dessen prognostizierter Trajektorie 102 sowie zwei Straßenakteurfahrzeuge 200A, 200B und deren entsprechende prognostizierte Trajektorien 202A, 202B dar. Wie gezeigt ist, überlappt die prognostizierte Ego-Fahrzeug-Trajektorie 102 mit der prognostizierten Straßenakteur-Trajektorie 202B, und die andere prognostizierte Straßenakteur-Trajektorie 202A überlappt mit dem Ego-Fahrzeug 100. 16B stellt eine Fahrerperspektivensicht 310 bereit, welche das Straßenakteurfahrzeug 200A und dessen prognostizierte Trajektorie 202A vollständig verbirgt (entfernt) und eine Länge der prognostizierten Ego-Fahrzeug-Trajektorie 102 verkürzt, um die Überlappung der prognostizierten Trajektorien 102, 202B zu beseitigen. 16C stellt eine Fahrerperspektivensicht 310 bereit, welche das Straßenakteurfahrzeug 200A und dessen prognostizierte Trajektorie 202A vollständig verbirgt (entfernt) und eine Farbe der prognostizierten Ego-Fahrzeug-Trajektorie 102 mischt bzw. optisch angleicht, um das Vorhandensein der Überlappung der prognostizierten Trajektorien 102, 202B zu minimieren.
17 veranschaulicht eine Nutzerschnittstellenanzeige aus einer Fahrerperspektivensicht 310 mit einer Überlappung von Straßenakteuren 200A, 200B mit prognostizierten Trajektorien 202A, 202B. Die 18A-18E veranschaulichen Modifikationen zumindest einer prognostizierten Trajektorie von 17 gemäß den Verfahren der 14-15. Beispielsweise kann in den 18A-18B eine Farbe, ein Verlauf oder ein Muster einer prognostizierten Straßenakteur-Trajektorie 202A so geändert werden, dass sich die Erscheinung davon von einer anderen prognostizierten Straßenakteur-Trajektorie 202B unterscheidet. In 18C können die prognostizierten Straßenakteur-Trajektorien 202A, 202B mit unterschiedlichen Dicken versehen werden. In 18D kann eine der prognostizierten Trajektorien 202A um einen Abstand „a“ verschoben oder separiert werden, um einen größeren Raum zwischen den benachbarten prognostizierten Trajektorien 202A, 202B bereitzustellen. In 18E kann eine der prognostizierten Trajektorien 202A ganz aus der Sicht entfernt (verborgen bzw. ausgeblendet) werden.
19 ist ein Flussdiagramm eines Verfahrens 374 zum Modifizieren zumindest einer prognostizierten Trajektorie auf der Grundlage einer Überlappung von entweder zumindest zwei prognostizierten Trajektorien oder einer oder mehreren prognostizierten Trajektorien und einem oder mehreren Objekten bei einer Bestimmung eines Prioritätskreuzungspunkts gemäß einem darstellenden Aspekt der vorliegenden Technologie. Nach der Erzeugung der erforderlichen prognostizierten Trajektorien umfasst das Verfahren eine Bestimmung, ob zumindest zwei der prognostizierten Trajektorien (oder Trajektorie und Objekt) an einem ersten Kreuzungspunkt überlappen, wie durch Verfahrensschritt 376 gezeigt, und eine Bestimmung, ob zumindest zwei der prognostizierten Trajektorien (oder Trajektorie und Objekt) an einem zweiten Kreuzungspunkt überlappen, wie durch Verfahrensschritt 378 gezeigt. Wenn zumindest zwei Überlappungen lokalisiert sind, sieht Verfahrensschritt 380 die Bestimmung eines Prioritätskreuzungspunkts vor. Diese Bestimmung basiert auf einer Berechnung, welche Straßenakteure zuerst an einem der ersten und zweiten Kreuzungspunkte ankommen werden. Sobald der Prioritätskreuzungspunkt lokalisiert ist, umfasst das Verfahren die Modifizierung zumindest einer prognostizierten Trajektorie, die mit dem Prioritätskreuzungspunkt überlappt, wie in Verfahrensschritt 382 gezeigt.
Zur weiteren Erläuterung des Verfahrens 374 von 19 wird in 20 ein Satz von vier Fahrzeugen dargestellt, deren prognostizierte Trajektorien an vier Kreuzungspunkten mit unterschiedlichen Kreuzungszeiten überlappen. 20 umfasst vier Kreuzungspunkte, die mit A, B, C und D gekennzeichnet sind. Der Prioritätskreuzungspunkt befindet sich hier an dem Kreuzungspunkt B, der zeitlich zuerst eintritt, vorausgesetzt, die Fahrzeuge fahren mit der gleichen Geschwindigkeit. Der Kreuzungspunkt C sollte zeitlich zuletzt auftreten, wobei die Kreuzungspunkte A und D irgendwann zwischen B und C auftreten.
Die 21A-21B veranschaulichen ferner die Modifikationen zumindest einer prognostizierten Trajektorie gemäß den Verfahren von 19. 21B entspricht einer Draufsicht 300 eines Ego-Fahrzeugs 100, eines Straßenakteurfahrzeugs 200 und zweier Fußgänger 204, jeweils mit einer entsprechenden prognostizierten Trajektorie 102, 202, 206A, 206B. An der Fahrbahnkreuzung sind zwei Stoppschilder 214 vorgesehen. Da sich das Straßenakteurfahrzeug 200 an einem Stoppschild befindet, liegt der Prioritätskreuzungspunkt zwischen dem Ego-Fahrzeug 100 und einem der Fußgänger 204A, 204B, je nach Geschwindigkeit der Fußgänger. Der zeitlich letzte Kreuzungspunkt wird zwischen dem Ego-Fahrzeug 100 und dem Straßenakteurfahrzeug 200 liegen. 21B stellt eine Fahrerperspektivensicht 310 der in 21A dargestellten Situation bereit und besitzt eine modifizierte prognostizierte Ego-Fahrzeug-Trajektorie 102 durch Verkürzung einer Länge davon, da diese bei dem Prioritätskreuzungspunkt involviert ist.
22 entspricht einem Flussdiagramm eines Verfahrens 384 zum Modifizieren zumindest einer prognostizierten Trajektorie auf der Grundlage einer Überlappung einer projizierten Trajektorie und eines Objekts bei einer Bestimmung, dass das Objekt ein teilweise oder vollständig verdeckter Straßenakteur ist, gemäß einem darstellenden Aspekt der vorliegenden Technologie. Nach der Erzeugung der erforderlichen prognostizierten Trajektorien umfasst das Verfahren einen Schritt 386 zum Bestimmen, dass eine prognostizierte Straßenakteur-Trajektorie hinter einem Objekt existiert, was eine Fahrt hinter dem Objekt anzeigt, wenn eine Fahrerperspektivensicht betrachtet wird. Wie durch Verfahrensschritt 388 gezeigt ist, bestimmt das Verfahren, dass die prognostizierte Straßenakteur-Trajektorie mit dem Objekt überlappt, wenn diese auf einer Nutzerschnittstelle angezeigt werden. Falls in Verfahrensschritt 390 bestimmt wird, dass sich zumindest ein verdeckter Straßenakteur hinter dem Objekt befindet, wenn diese auf der Nutzerschnittstelle angezeigt werden, die eine Fahrerperspektivensicht zeigt, sieht Schritt 392 die Durchführung zumindest einer Modifikation bereit, welche aus der Gruppe ausgewählt ist, die aus Folgendem besteht: Entfernen sowohl des verdeckten Straßenakteurs als auch der jeweiligen prognostizierten Straßenakteur-Trajektorie; Verbergen bzw. Verdecken bzw. Ausblenden, Verwaschen oder Einblenden eines Abschnitts der prognostizierten Straßenakteur-Trajektorie bei dem Objekt; und Überlagern des verdeckten Straßenakteurs über das Objekt.
Die 23A-23D veranschaulichen Beispielsituationen, in denen eine Modifikation zumindest einer prognostizierten Trajektorie gemäß den Verfahren von 22 erforderlich ist. 23A stellt beispielsweise eine Draufsicht 300 mit einem kleineren Fahrzeug 200A bereit, das sich neben einem größeren Fahrzeug 200B, wie zum Beispiel einem Lastwagen, befindet. 23B stellt eine Draufsicht 300 mit einem Fahrzeug 200 neben einem Objekt, wie beispielsweise einem Gebäude 212, bereit. Die 23C und 23D stellen Fahrerperspektivensichten 310 der in den 23A bzw. 23B dargestellten Situationen bereit, in denen das Straßenakteurfahrzeug nicht sichtbar ist. Die 24A-24D veranschaulichen zusätzliche Modifikationen zumindest einer prognostizierten Trajektorie gemäß den Verfahren von 22, wenn diese bei den Situationen der 23C und 23D dargestellt werden. 24A entfernt sowohl das verdeckte Straßenakteurfahrzeug als auch die entsprechende prognostizierte Straßenakteur-Trajektorie für beide Situationen vollständig. 24B entfernt den verdeckten Straßenakteur, präsentiert jedoch weiterhin die prognostizierten Trajektorien. 24C blendet die prognostizierten Trajektorien bei dem Straßenakteurfahrzeug 200B und dem Gebäude 212 ein bzw. integriert diese. 24D überlagert die verdeckten Straßenakteure 200, 200A mit dem Gebäude 212 bzw. dem Straßenakteurfahrzeug 200B.
25 ist ein Flussdiagramm eines Verfahrens 394 zum Modifizieren zumindest einer prognostizierten Trajektorie auf der Grundlage des Vorhandenseins eines geneigten Geländes bei einer Fahrbahn gemäß einem darstellenden Aspekt der vorliegenden Technologie. Das Verfahren 394 dient zur Erzeugung von Trajektorien für eine Fahrzeugnutzerschnittstelle, die eine Fahrerperspektivensicht zeigt, und umfasst die Erzeugung einer prognostizierten Ego-Fahrzeug-Trajektorie für ein Ego-Fahrzeug und die Erzeugung zumindest einer prognostizierten Straßenakteur-Trajektorie für einen Straßenakteur, der sich außerhalb des Ego-Fahrzeugs befindet. Wie durch Verfahrensschritt 396 angegeben ist, fährt das Verfahren 394 nach der Erzeugung der jeweiligen prognostizierten Trajektorien fort, indem bestimmt wird, dass zumindest eine prognostizierte Straßenakteur-Trajektorie hinter einem Objekt existiert, wenn diese in der Fahrerperspektivensicht betrachtet wird, was auf eine Fahrt hinter dem Objekt hinweist. Das Verfahren bestimmt ferner, dass die prognostizierte Straßenakteur-Trajektorie mit dem Objekt überlappt, wenn diese in der Fahrerperspektivensicht angezeigt werden. Insbesondere wird bei diesem Aspekt des Verfahrens bestimmt, dass es sich bei dem Objekt um ein geneigtes Gelände handelt und die prognostizierte Trajektorie zumindest teilweise verborgen bzw. verdeckt ist, wie durch Verfahrensschritt 400 angegeben. Wie in 26A gezeigt ist, kann das geneigte Gelände 214 sowohl bergauf als auch bergab verlaufen. Wie durch Verfahrensschritt 402 angegeben ist, fährt das Verfahren damit fort, zumindest eine prognostizierte Straßenakteur-Trajektorie für die Anzeige als eine gekrümmte Trajektorie zu modifizieren, die sich über das geneigte Gelände erstreckt, so dass diese bei einer Anzeige auf der Nutzerschnittstelle sichtbar ist, welche die Fahrerperspektivensicht zeigt. Das Verfahren fährt dann mit einer Aktualisierung einer Anzeige der Nutzerschnittstelle fort, um jede modifizierte prognostizierte Straßenakteur-Trajektorie(n) zu umfassen.
Die 26A-26D und 27A-27D veranschaulichen Modifikationen zumindest einer prognostizierten Trajektorie, bei welcher ein geneigtes Gelände die Sicht behindert, gemäß den Verfahren von 25. 26A ist eine perspektivische Teilansicht eines Beispielszenarios mit einem Ego-Fahrzeug 100 und einem Straßenakteurfahrzeug 200 mit dessen prognostizierter Trajektorie 202. 26B bietet eine seitliche Draufsicht auf die Höhenunterschiede, die insbesondere das geneigte Gelände 214 zeigt, wobei die prognostizierte Straßenakteur-Trajektorie 202 aufgrund der Neigung nach oben zeigt, was nicht wünschenswert ist. 26C bietet eine Draufsicht 300, während 26D die Fahrerperspektivensicht 310 bereitstellt, die ein verdecktes Straßenakteurfahrzeug 200 besitzt und bei der nur ein Abschnitt der prognostizierten Trajektorie 202 zu sehen ist, was wahrscheinlich Verwirrung beim Nutzer sowohl hinsichtlich der Position des Straßenakteurs als auch dessen Fahrtrichtung verursacht. Die 27A und 27B veranschaulichen, wie die prognostizierte Trajektorie des Straßenakteurfahrzeugs 200 von einer geraden Linie 202 in eine gekrümmte oder zumindest teilweise gekrümmte Trajektorie 203 umgewandelt wird, die sich mit einem im Wesentlichen festgelegten Abstand vom (über das) geneigte Gelände erstrecken kann, so dass diese keine Richtung angibt, die anscheinend nach oben in den Himmel oder nach unten in die Fahrbahn führt. Falls beispielsweise der Abstand zwischen einer Trajektorie 202 und der Straße/dem Gelände zunehmend größer wird als eine vorbestimmte Schwelle, was auf eine Aufwärtsfahrt hindeutet, kann zumindest ein Abschnitt der prognostizierten Trajektorie 203 in einer Abwärtsrichtung gekrümmt werden 203, wie in 27A gezeigt ist. Falls in einem anderen Beispiel der Abstand zwischen einer Trajektorie 202 und der Straße/dem Gelände abnehmend kleiner wird als eine andere vorbestimmte Schwelle, kann zumindest ein Abschnitt der prognostizierten Trajektorie in einer Richtung nach oben gekrümmt werden 203, wie in 27B gezeigt ist. 27C veranschaulicht eine Fahrerperspektivensicht 310 des Szenarios von 27A mit der gekrümmten prognostizierten Trajektorie 203. 27D stellt ferner eine überlagerte Darstellung des Straßenakteurfahrzeugs 200 bereit, die mit einer Farbe und/oder Form versehen sein kann, um anzuzeigen, dass dieses verdeckt ist, sich auf der anderen Seite eines Hügels befindet oder dergleichen.
28 ist ein Flussdiagramm eines Verfahrens 404 zum Modifizieren zumindest einer prognostizierten Trajektorie auf der Grundlage, dass zumindest eine prognostizierte Straßenakteur-Trajektorie von einem Anzeigebereich hinausragt, was andererseits einem Nutzer eine unbekannte Fahrtrichtung des Straßenakteurs anzeigen würde, gemäß einem darstellenden Aspekt der vorliegenden Technologie. Das Verfahren 404 dient zur Erzeugung von Trajektorien für eine Fahrzeugnutzerschnittstelle, welche eine Fahrerperspektivensicht zeigt, und umfasst das Erzeugen einer prognostizierten Ego-Fahrzeug-Trajektorie für ein Ego-Fahrzeug und das Erzeugen zumindest einer prognostizierten Straßenakteur-Trajektorie für einen Straßenakteur, der sich außerhalb des Ego-Fahrzeugs befindet. Wie durch Verfahrensschritt 406 angegeben ist, kann das Verfahren 404, nachdem die jeweiligen prognostizierten Trajektorien erzeugt sind, das Trajektorienprognosemodul mit einer Anweisung verwenden, um zu bestimmen, dass zumindest eine prognostizierte Straßenakteur-Trajektorie aus einem Anzeigebereich herausragt und ferner eine unbekannte Bewegungs- bzw. Fahrtrichtung besitzt, wenn diese auf der Nutzerschnittstelle angezeigt wird, welche eine Fahrerperspektivensicht zeigt, wie durch Verfahrensschritt 408 gezeigt ist. Die Verfahren können einen Schritt 410 umfassen, um die zumindest eine prognostizierte Straßenakteur-Trajektorie so zu modifizieren, dass eine Richtungsangabe im Anzeigebereich bereitgestellt wird.
Die 29A-29E veranschaulichen eine Modifikation zumindest einer prognostizierten Trajektorie gemäß den Verfahren von 28. 29A stellt eine Draufsicht 300 mit einem Ego-Fahrzeug 100 und einem Straßenakteurfahrzeug 200 dar. Sowohl das Straßenakteurfahrzeug 200 als auch der Richtungspfeil erstrecken sich entfernt von dem Display. 29B stellt dieses Szenario aus einer Fahrerperspektivensicht 310 dar. Wie gezeigt, ist nur ein Abschnitt der prognostizierten Straßenakteur-Trajektorie 202 vorhanden, was beim Benutzer Verwirrung hinsichtlich der Fahrtrichtung hinterlässt. 29C fügt ein Symbol hinzu, das zumindest eine Teilansicht des Straßenakteurfahrzeuges 200 darstellt, was jedoch aufgrund des Fehlens eines Richtungspfeils für den Benutzer immer noch verwirrend sein kann. Die 29D und 29E modifizieren eine Länge der prognostizierten Straßenakteur-Trajektorie 202 und fügen einen Richtungspfeil am geeigneten Ende der prognostizierten Trajektorie hinzu, um einem Benutzer bei Betrachtung aus der Fahrerperspektivensicht die zusätzlichen Informationen zu liefern.
30 ist ein Flussdiagramm eines Verfahrens 412 zum Modifizieren zumindest einer prognostizierten Trajektorie auf der Grundlage einer Überlappung zwischen einer prognostizierten Trajektorie und entweder einem Objekt oder einer anderen prognostizierten Trajektorie bei einer Bestimmung, dass die prognostizierte Trajektorie ein oder mehrere statische Objekte überlappt, gemäß einem darstellenden Aspekt der vorliegenden Technologie. Das Verfahren 412 dient zur Erzeugung von Trajektorien für eine Fahrzeugnutzerschnittstelle, welche eine Fahrerperspektivensicht zeigt, und umfasst das Erzeugen einer prognostizierten Ego-Fahrzeug-Trajektorie für ein Ego-Fahrzeug und das Erzeugen zumindest einer prognostizierten Straßenakteur-Trajektorie für einen Straßenakteur, der sich außerhalb des Ego-Fahrzeugs befindet. Wie durch Verfahrensschritt 414 angegeben ist, fährt das Verfahren 412 nach der Erzeugung der jeweiligen prognostizierten Trajektorien fort, indem bestimmt wird, dass zumindest eine prognostizierte Straßenakteur-Trajektorie entweder ein Objekt oder eine andere prognostizierte Straßenakteur-Trajektorie überlappt. Das Verfahren fährt mit Schritt 416 fort, um zu bestimmen, ob die prognostizierte Straßenakteur-Trajektorie ein oder mehrere statische Objekte überlappt, insbesondere statische Objekte, die sich nicht auf einer Fahrbahn oder auf einem Gehweg befinden. Nicht beschränkende Beispiele für solche statischen Objekte können eine Reihe von Bäumen, eine Reihe von Gebäuden oder Strukturen usw. umfassen. Mehrere statische Objekte können je nach deren Größe und Lage als eine Gruppe oder einzeln betrachtet werden. Wie in Verfahrensschritt 418 gezeigt ist, umfasst das Verfahren ein Modifizieren der prognostizierten Straßenakteur-Trajektorie durch Verbergen bzw. Ausblenden, Verwaschen oder Integrieren bzw. Einblenden der prognostizierten Straßenakteur-Trajektorie an einer oder mehreren der Stellen, an denen die prognostizierte Trajektorie eines oder mehrere der statischen Objekte überlappt.
Die 31A-31C veranschaulichen eine Modifikation zumindest einer prognostizierten Trajektorie, die an mehrere statische Objekte angrenzt, gemäß den Verfahren von 30. 31A stellt eine Draufsicht 300 eines Ego-Fahrzeugs 100 und eines Stra-ßenakteurfahrzeugs 200 bereit. Die prognostizierte Trajektorie 202 befindet sich vor einer Mehrzahl von statischen Objekten 216. Wenn diese, wie in 31B gezeigt, aus der Fahrerperspektivensicht 310 dargestellt wird, kann die Beziehung zwischen der prognostizierten Straßenakteur-Trajektorie 202 und den statischen Objekten 216 verwirrend erscheinen. Entsprechend wird, wie in 31C gezeigt, die prognostizierte Straßenakteur-Trajektorie 202 modifiziert, so dass Bereiche/Stellen der prognostizierten Trajektorie 202, die mit den Objekten 216 überlappen, als bei den Objekten 216 integriert bzw. eingeblendet bereitgestellt werden. Bei anderen Aspekten können diese Abschnitte in Abhängigkeit der Art des statischen Objekts und optional anderer Faktoren verwässert bzw. verwaschen dargestellt und/oder verborgen bzw. ausgeblendet werden.
32 ist ein Flussdiagramm eines Verfahrens 420 zum Modifizieren zumindest einer prognostizierten Trajektorie auf der Grundlage einer Überlappung zwischen einer projizierten Trajektorie und entweder einem Objekt oder einer anderen prognostizierten Trajektorie bei einer Bestimmung, dass die prognostizierte Trajektorie einer Straßenakteur-Trajektorie aus der Vergangenheit entspricht, gemäß einem darstellenden Aspekt der vorliegenden Technologie. Üblicherweise sind die prognostizierten Straßenakteur-Trajektorien aktuelle und/oder zukünftige Trajektorien. In verschiedenen Aspekten kann es jedoch vorteilhaft oder wünschenswert sein, zumindest eine vergangene Trajektorie bzw. Trajektorie aus der Vergangenheit oder einen Hinweis über eine Straßenakteur-Trajektorie, die einen Abschnitt der Fahrbahn bereits durchquert hat und keine Kollisionsgefahr mit dem Ego-Fahrzeug mehr darstellt, zu liefern. Das Verfahren 420 dient zum Erzeugen von Trajektorien für eine Fahrzeugnutzerschnittstelle, welche eine Fahrerperspektivensicht zeigt, und umfasst das Erzeugen einer prognostizierten Ego-Fahrzeug-Trajektorie für ein Ego-Fahrzeug und das Erzeugen zumindest einer prognostizierten Straßenakteur-Trajektorie für einen Straßenakteur, der sich außerhalb des Ego-Fahrzeugs befindet. Wie durch Verfahrensschritt 422 angegeben ist, fährt das Verfahren 420 nach der Erzeugung der jeweiligen prognostizierten Trajektorien fort, indem bestimmt wird, dass zumindest eine prognostizierte Straßenakteur-Trajektorie mit entweder einem Objekt oder einer anderen prognostizierten Straßenakteur-Trajektorie überlappt. Das Verfahren fährt mit Schritt 424 fort, um zu bestimmen, dass die prognostizierte Straßenakteur-Trajektorie tatsächlich eine prognostizierte Straßenakteur-Trajektorie aus der Vergangenheit ist. Mit anderen Worten, die Fahrt über die Fahrbahn hat bereits stattgefunden. Wie in Verfahrensschritt 426 gezeigt ist, umfasst das Verfahren ein Modifizieren der prognostizierten Straßenakteur-Trajektorie aus der Vergangenheit, beispielsweise durch Modifizieren oder Ändern einer Gestalt oder Dicke davon.
Die 33A-33C veranschaulichen eine Modifikation zumindest einer prognostizierten Trajektorie gemäß den Verfahren von 32. 33A stellt zum Beispiel eine Draufsicht 300 eines Ego-Fahrzeugs 100 und eines ersten Straßenakteurfahrzeuges 200A mit einer aktuellen oder zukünftigen Trajektorie 202A und eines zweiten Straßenakteurfahrzeuges 200B mit einer prognostizierten Straßenakteur-Trajektorie 202B aus der Vergangenheit dar. 33B stellt eine Fahrerperspektivensicht 310 des Szenarios gemäß 33A bereit. Die prognostizierte Ego-Fahrzeug-Trajektorie wird aus Gründen der Klarheit weggelassen. Die Anwesenheit der prognostizierten Straßenakteur-Trajektorie 202B aus der Vergangenheit kann jedoch für den Nutzer verwirrend sein. Daher stellt 33C eine Modifikation der Gestalt und/oder Dicke usw. der prognostizierten Straßenakteur-Trajektorie aus der Vergangenheit bereit.
34 ist ein Flussdiagramm eines Verfahrens 428 zur Auswahl einer Darstellungsart, die bei einer Nutzerschnittstelle auf der Grundlage der Komplexität bereitzustellen ist, gemäß einem darstellenden Aspekt der vorliegenden Technologie. Das Verfahren 428 dient zum Erzeugen von Trajektorien für eine Fahrzeugnutzerschnittstelle, welche eine Fahrerperspektivensicht zeigt, und umfasst das Erzeugen einer prognostizierten Ego-Fahrzeug-Trajektorie für ein Ego-Fahrzeug und das Erzeugen zumindest einer prognostizierten Straßenakteur-Trajektorie für einen Straßenakteur, der sich außerhalb des Ego-Fahrzeugs befindet. Wie durch Verfahrensschritt 430 angegeben ist, fährt das Verfahren 428 nach der Erzeugung der jeweiligen prognostizierten Trajektorien fort, indem bestimmt wird, dass zumindest eine prognostizierte Straßenakteur-Trajektorie entweder mit einem Objekt oder einer anderen prognostizierten Straßenakteur-Trajektorie überlappt. Das Verfahren fährt mit Schritt 432 fort, in dem das Trajektorienprognosemodul bestimmt, dass eine Anzeige bei der Nutzerschnittstelle, welche die perspektivische Ansicht zeigt, komplex oder verwirrend sein kann, wenn diese mit einem Fahrerperspektivensichtfeld präsentiert/angezeigt wird. In verschiedenen Aspekten kann eine Komplexitätsbestimmung auf einem oder mehreren von vielen Faktoren basieren, einschließlich: einer Schwellenzahl und/oder Art der in der Anzeige vorhandenen Straßenakteure und Objekte; Standorte der Straßenakteure, Objekte und prognostizierten Trajektorien; Tageszeit; Verkehrsstau; Wetter; Erfahrung des Nutzers; Dauer der Fahrt; und dergleichen. In verschiedenen Aspekten kann eine Komplexitätsbestimmung auf einer oder mehreren Berechnungen oder Konfidenzwerten basieren, die beispielsweise auf der Dichte der prognostizierten Trajektorien, einer Anzahl von Straßenakteuren und/oder Objekten und einer Anzahl von Überlappungspunkten beruhen können. Wie in Verfahrensschritt 434 vorgesehen ist, umfasst das Verfahren die Erzeugung einer Darstellung bei der Nutzerschnittstelle, die eine Draufsicht zeigt, im Gegensatz zu einer Fahrerperspektivensicht. Die Verwendung der Draufsicht soll die Darstellung vereinfachen und dem Nutzer eine vollständigere Darstellung der Umgebung und der Szenarien bieten. In verschiedenen Aspekten können die Verfahren Anforderungsanweisungen umfassen, um eine Auswahlanforderung von einem Nutzer zu erhalten, und dem Benutzer ermöglichen, eine Vorschau auf verschiedene Anzeige- bzw. Darstellungsoptionen zu erhalten und frei zwischen den verschiedenen Ansichten zu wechseln. In verschiedenen anderen Aspekten können die Verfahren die Bereitstellung beider Arten von Darstellungen für den Nutzer umfassen, beispielsweise die Bereitstellung einer Draufsicht in einer ersten Anzeige und die Anzeige der Fahrerperspektivensicht in einer zweiten Anzeige. Bei noch weiteren Aspekten kann eine einzelne Anzeige erzeugt werden, die sowohl eine Draufsicht als auch eine Fahrerperspektivensicht in einer Seite-an-Seite-Anordnung bereitstellt, oder dergleichen.
Mit Bezug auf die Anzeige von Symbolen sowie die Darstellung von prognostizierten Trajektorien, der Fahrbahnen, Objekte usw. ist ersichtlich, dass die vorliegende Technologie nicht auf die hierin spezifisch beschriebenen Typen und Stile beschränkt sein soll und dass diese nach Wunsch angepasst werden können. In diesem Zusammenhang veranschaulichen 35A-35C verschiedene nicht beschränkende Variationen von prognostizierten Trajektorien mit unterschiedlichen Linien, 2-D-Mustern und 3-D-Formen. Beispielsweise stellt 35 verschiedene Arten von Linien- und Pfeilkombinationen und Designs dar, welche Hinweise (in 35A als Punkte gezeigt) auf separate Segmente umfassen können, die eine Änderung der Fahrtrichtung anzeigen können. 35B stellt verschiedene Arten von zweidimensionalen Formen bereit, die anstelle der Linien von 35 verwendet werden können. Die zweidimensionalen Formen können mit verschiedenen Gradienten bzw. Verläufen oder Farben gestaltet sein, um eine Fahrtrichtung, Geschwindigkeit, Konfidenzniveaus und dergleichen besser anzuzeigen. 35C stellt verschiedene Arten von dreidimensionalen Formen bereit, die anstelle der Linien von 35 verwendet werden können. Die dreidimensionalen Formen können gleichermaßen mit verschiedenen Verläufen oder Farben gestaltet sein, um eine Fahrtrichtung, Geschwindigkeit, Konfidenzniveaus und dergleichen besser anzuzeigen. Die dreidimensionalen Formen können mit verschiedenen Detailstufen versehen sein, die von der Verwendung von Linien und einfachen Formen bis hin zur Darstellung detaillierter dreidimensionaler Objekte reichen.
Die 36A-36C veranschaulichen prognostizierte 2-D- und 3-D-Trajektorien mit einer Überlappung von zwei prognostizierten Trajektorien. 36A veranschaulicht das zuvor mit Bezug auf die 16A-16C diskutierte Szenario, bei welchem die prognostizierte Ego-Fahrzeug-Trajektorie 102 die prognostizierte Straßenakteur-Trajektorie 202 schneidet und mit dieser überlappt. 36B stellt zwei Sätze von zweidimensionalen Formen mit variierenden Farben und Verläufen zur Darstellung der prognostizierten Trajektorien 102, 202 bereit. 36C stellt zwei Sätze von dreidimensionalen Formen mit variierenden Farben und Verläufen zur Darstellung der prognostizierten Trajektorien 102, 202 bereit.
Die 37A-37C veranschaulichen prognostizierte 2-D- und 3-D-Trajektorien mit einer Überlappung einer prognostizierten Trajektorie und zumindest eines statischen Objekts. 37A veranschaulicht das zuvor mit Bezug auf die 31A-31C diskutierte Szenario, bei dem das Straßenakteurfahrzeug 200 neben einer Mehrzahl statischer Objekte 216 fährt. 37B stellt zweidimensionale Formen mit variierenden Farben und Verläufen bereit, um die prognostizierte Trajektorie 202 darzustellen. 37C stellt dreidimensionale Formen mit einer Variation von Einblenden, Verwaschen und Verbergen bzw. Ausblenden bereit, um die prognostizierte Trajektorie 202 darzustellen.
Die 38A-38B veranschaulichen die Verwendung einer Kombination aus prognostizierten 2-D- und 3-D-Trajektorien auf einer einzelnen Anzeige. 38A stellt eine Draufsicht 300 bereit und 38B stellt eine Fahrerperspektivensicht 310 des in 38A dargestellten Szenarios bereit. 38B sieht insbesondere die prognostizierte Ego-Fahrzeug-Trajektorie 102 mit einem einfachen Linienmuster vor, sieht eine erste prognostizierte Straßenakteur-Trajektorie 202A mit einer dreidimensionalen Form vor und sieht eine zweite prognostizierte Straßenakteur-Trajektorie 202B mit einer zweidimensionalen Form vor. Es ist erkennbar, dass verschiedene Modifikationen und Kombinationen bei der vorliegenden Technologie verwendet werden können. In verschiedenen Aspekten kann der Nutzer die Darstellungsarten anpassen und ändern, und die Systeme und Verfahren können ein Ändern einer Form und/oder Dimension oder der prognostizierten Trajektorien auf der Grundlage vorbestimmter Schwellen und Anforderungen umfassen.
Jedes der verschiedenen hierin beschriebenen Verfahren kann als ein Teil von Systemen bereitgestellt werden, die einen oder mehrere Prozessoren und einen Speicher umfassen können, der ein Trajektorienprognosemodul mit Anweisungen umfassen kann, welche, wenn diese von dem einen oder den mehreren Prozessoren ausgeführt werden, die Prozessoren veranlassen, Aktionen auszuführen, um die in verschiedenen Teilen der Verfahren beschriebenen Schritte durchzuführen. Gleichermaßen kann jedes der hierin beschriebenen Verfahren als Anweisungen auf einem nichtflüchtigen, computerlesbaren Medium gespeichert werden.
1 wird nun ausführlich als eine beispielhafte Fahrzeugumgebung erörtert, in der das System und die Verfahren, wie hierin beschrieben, arbeiten können. In einigen Fällen ist das Fahrzeug 100 derart konfiguriert, dass dieses selektiv zwischen einem autonomen Modus, einem oder mehreren halbautonomen Betriebsmodi und/oder einem manuellen Modus umschaltet. Ein solches Umschalten, das auch als Übergabe (EN: Handover) bei einem Übergang auf einen manuellen Modus bezeichnet wird, kann in einer heute bekannten oder später entwickelten geeigneten Art und Weise implementiert sein. „Manueller Modus“ bedeutet, dass die Gesamtheit oder ein Großteil der Navigation und/oder des Manövrierens des Fahrzeugs entsprechend Eingaben eines Nutzers (beispielsweise menschlicher Fahrer/Bediener) durchgeführt wird.
In einem oder mehreren Aspekten ist das Fahrzeug 100 ein autonomes Fahrzeug. Wie hier verwendet, bezieht sich „autonomes Fahrzeug“ auf ein Fahrzeug, welches in einem autonomen Modus arbeitet. „Autonomer Modus“ bezieht sich auf das Navigieren und/oder Manövrieren des Fahrzeugs 100 entlang einer Reiseroute unter Verwendung eines oder mehrerer Computersysteme zur Steuerung des Fahrzeugs 100 mit minimalen oder keinen Eingaben durch einen menschlichen Fahrer/Bediener. In einem oder mehreren Aspekten ist das Fahrzeug 100 hochautomatisiert oder vollständig automatisiert. In einem Aspekt ist das Fahrzeug 100 mit einem oder mehreren halbautonomen Betriebsmodi konfiguriert, in denen ein oder mehrere Computersysteme einen Teil der Navigation und/oder des Manövrierens des Fahrzeugs entlang einer Reiseroute durchführen und ein Fahrzeugbediener (das heißt Fahrer) Eingaben bei dem Fahrzeug bereitstellt, um einen Teil der Navigation und/oder des Manövrierens des Fahrzeugs 100 entlang einer Reiseroute durchzuführen. Somit arbeitet das Fahrzeug 100 in einem oder mehreren Aspekten autonom gemäß einem bestimmten definierten Autonomiegrad bzw. Autonomiestufe. Beispielsweise kann das Fahrzeug 100 gemäß den Fahrzeugautonomieklassifikationen 0-5 der Society of Automotive Engineers (SAE) arbeiten. In einem Aspekt arbeitet das Fahrzeug 100 gemäß SAE-Level 2, welches vorsieht, dass das Autonom-Fahrmodul 160 das Fahrzeug 100 durch Bremsen, Beschleunigen und Lenken ohne Bedienereingabe steuert, der Fahrer/Bediener das Fahren jedoch überwachen muss und wachsam und bereit sein muss, bei der Steuerung des Fahrzeugs 100 einzugreifen, falls das Autonom-Modul 160 nicht richtig reagiert oder anderweitig nicht in der Lage ist, das Fahrzeug 100 angemessen zu steuern.
Das Fahrzeug 100 kann einen oder mehrere Prozessoren 110 umfassen. In einer oder mehreren Anordnungen kann(können) der(die) Prozessor(en) 110 ein Hauptprozessor des Fahrzeugs 100 sein. Der/die Prozessor(en) 110 kann/können beispielsweise einer elektronischen Steuerungseinheit (ECU) entsprechen. Das Fahrzeug 100 kann einen oder mehrere Datenspeicher 115 zur Speicherung einer oder mehrerer Arten von Daten umfassen. Der Datenspeicher 115 kann einen flüchtigen und/oder nichtflüchtigen Speicher umfassen. Beispiele für geeignete Datenspeicher 115 umfassen einen RAM (Direktzugriffsspeicher), einen Flash-Speicher, einen ROM (Nurlesespeicher), einen PROM (programmierbarer Nurlesespeicher), einen EPROM (löschbarer programmierbarer Nurlesespeicher), einen EEPROM (elektrisch löschbarer programmierbarer Nurlesespeicher), Register, Magnetplatten, optische Platten, Festplatten oder irgendein anderes geeignetes Speichermedium oder irgendeine Kombination davon. Der Datenspeicher 115 kann einer Komponente des/der Prozessors(en) 110 entsprechen, oder der Datenspeicher 115 kann betriebsfähig mit dem/den Prozessor(en) 110 zur Verwendung dadurch verbunden sein. Der Begriff „betriebsfähig verbunden“, wie in dieser Beschreibung durchgängig verwendet, kann direkte oder indirekte Verbindungen umfassen, einschließlich Verbindungen ohne direkten physischen Kontakt.
Bei einer oder mehreren Anordnungen können der eine oder die mehreren Datenspeicher 115 Kartendaten 116 umfassen. Die Kartendaten 116 können Karten von einem oder mehreren geographischen Gebieten umfassen. In einigen Fällen können die Kartendaten 116 Informationen oder Daten über Straßen, Verkehrssteuerungsvorrichtungen, Straßenmarkierungen, Strukturen, Merkmale und/oder Orientierungspunkte in dem einen oder den mehreren geografischen Gebieten umfassen. Die Kartendaten 116 können in jeder geeigneten Form vorliegen. In einigen Fällen können die Kartendaten 116 Luftbilder eines Gebiets umfassen. In einigen Fällen können die Kartendaten 116 Bodenansichten eines Gebiets, einschließlich 360-Grad-Bodenansichten, umfassen. Die Kartendaten 116 können Messungen, Dimensionen, Entfernungen und/oder Informationen zu einem oder mehreren in den Kartendaten 116 umfassten Elementen und/oder relativ zu anderen in den Kartendaten 116 umfassten Elementen umfassen. Die Kartendaten 116 können eine digitale Karte mit Informationen über eine Straßengeometrie umfassen. Die Kartendaten 116 können von hoher Qualität und/oder sehr detailliert sein.
Bei einer oder mehreren Anordnungen können die Kartendaten 116 eine oder mehrere Geländekarten 117 umfassen. Die Geländekarte(n) 117 kann/können Informationen über den Boden, das Gelände, Straßen, Oberflächen und/oder andere Merkmale eines oder mehrerer geographischer Gebiete umfassen. Die Geländekarte(n) 117 kann/können Höhendaten in dem einem oder den mehreren geographischen Gebieten umfassen. Die Kartendaten 116 können von hoher Qualität und/oder sehr detailliert sein. Die Geländekarte(n) 117 kann/können eine oder mehrere Bodenoberflächen definieren, die befestigte Straßen, unbefestigte Straßen, Land und andere Dinge umfassen können, die eine Bodenoberfläche definieren.
Bei einer oder mehreren Anordnungen können die Kartendaten 116 eine oder mehrere Karten 118 für statische Hindernisse umfassen. Die Karte(n) 118 für statische Hindernisse kann/können Informationen über ein oder mehrere statische Hindernisse umfassen, die sich in einem oder mehreren geografischen Gebieten befinden. Ein „statisches Hindernis“ ist ein physisches Objekt, dessen Position sich über einen Zeitraum nicht oder nicht wesentlich ändert und/oder dessen Größe sich über einen Zeitraum nicht oder nicht wesentlich ändert. Beispiele für statische Hindernisse umfassen Bäume, Gebäude, Bordsteine, Zäune, Geländer, Mittelstreifen, Leitungsmasten, Statuen, Denkmäler, Schilder, Bänke, Möbel, Briefkästen, große Felsen, Hügel. Bei den statischen Hindernissen kann es sich um Objekte handeln, die sich über die Geländeoberfläche erstrecken. Das eine oder die mehreren statischen Hindernisse, das/die in der/den Karte(n) 118 für statische Hindernisse umfassen sind, können Standortdaten, Größendaten, Dimensionsdaten, Materialdaten und/oder andere damit verbundene Daten aufweisen. Die Karte(n) 118 für statische Hindernisse kann/können Messungen, Dimensionen, Entfernungen und/oder Informationen für ein oder mehrere statische Hindernisse umfassen. Die Karte(n) 118 für statische Hindernisse kann/können von hoher Qualität und/oder sehr detailliert sein. Die Karte(n) 118 für statische Hindernisse kann/können aktualisiert werden, um Änderungen innerhalb eines kartografierten Bereichs widerzuspiegeln.
Der eine oder die mehreren Datenspeicher 115 können Sensordaten 119 umfassen. In diesem Zusammenhang stehen „Sensordaten“ für alle Informationen über die Sensoren, mit denen das Fahrzeug 100 ausgestattet ist, einschließlich der Fähigkeiten und anderer Informationen über solche Sensoren. Wie im Folgenden erläutert wird, kann das Fahrzeug 100 das Sensorsystem 120 umfassen. Die Sensordaten 119 können sich auf einen oder mehrere Sensoren des Sensorsystems 120 beziehen. Als ein Beispiel können die Sensordaten 119 bei einer oder mehreren Anordnungen Informationen über einen oder mehrere LIDAR-Sensoren 124 des Sensorsystems 120 umfassen.
In einigen Fällen kann sich zumindest ein Teil der Kartendaten 116 und/oder der Sensordaten 119 in einem oder mehreren Datenspeichern 115 befinden, die sich an Bord des Fahrzeugs 100 befinden. Alternativ oder zusätzlich kann sich zumindest ein Teil der Kartendaten 116 und/oder der Sensordaten 119 in einem oder mehreren Datenspeichern 115 befinden, die entfernt vom Fahrzeug 100 angeordnet sind.
Wie vorstehend erwähnt, kann das Fahrzeug 100 das Sensorsystem 120 umfassen. Das Sensorsystem 120 kann einen oder mehrere Sensoren umfassen. „Sensor“ steht für irgendeine Vorrichtung, Komponente und/oder irgendein System, welche/welches etwas erkennen und/oder erfassen kann. Der eine oder die mehreren Sensoren können derart konfiguriert sein, dass diese etwas in Echtzeit erkennen und/oder erfassen. Wie hierin verwendet, steht der Begriff „Echtzeit“ für ein Niveau eines Verarbeitungsansprechverhaltens, das ein Benutzer oder System als ausreichend unmittelbar empfindet, damit ein bestimmter Prozess oder eine bestimmte Bestimmung vorgenommen werden kann, oder das es dem Prozessor ermöglicht, mit einem bestimmten externen Prozess Schritt zu halten.
In Anordnungen, in denen das Sensorsystem 120 eine Mehrzahl von Sensoren umfasst, können die Sensoren unabhängig voneinander funktionieren. Alternativ können zwei oder mehr der Sensoren in Kombination miteinander arbeiten. In einem solchen Fall können die zwei oder mehr Sensoren ein Sensornetzwerk bilden. Das Sensorsystem 120 und/oder der eine oder die mehreren Sensoren kann/können betriebsfähig mit dem/den Prozessor(en) 110, dem/den Datenspeicher(n) 115 und/oder einem anderen Element des Fahrzeugs 100 (einschließlich irgendeines der in 1 gezeigten Elemente) verbunden sein. Das Sensorsystem 120 kann Daten von zumindest einem Teil der äußeren Umgebung des Fahrzeugs 100 (beispielsweise nahegelegene Fahrzeuge) erlangen.
Das Sensorsystem 120 kann irgendeinen geeigneten Sensortyp umfassen. Verschiedene Beispiele für unterschiedliche Sensortypen werden hierin beschrieben. Es wird jedoch verständlich, dass die Aspekte nicht auf die einzelnen beschriebenen Sensoren beschränkt sind. Das Sensorsystem 120 kann einen oder mehrere Fahrzeugsensoren 121 umfassen. Der/die Fahrzeugsensor(en) 121 kann/können Informationen über das Fahrzeug 100 selbst erkennen, bestimmen und/oder erfassen. Bei einer oder mehreren Anordnungen kann/können der/die Fahrzeugsensor(en) 121 derart konfiguriert sein, dass dieser/diese Positions- und Orientierungsänderungen des Fahrzeugs 100, wie beispielsweise auf der Grundlage einer Inertialbeschleunigung, erkennen und/oder erfassen kann/können. Bei einer oder mehreren Anordnungen kann/können der/die Fahrzeugsensor(en) 121 einen oder mehrere Beschleunigungsmesser, ein oder mehrere Gyroskope, eine Inertialmesseinheit (IMU), ein Koppelnavigationssystem, ein globales Navigationssatellitensystem (GNSS), ein globales Positionierungssystem (GPS), ein Navigationssystem 147 und/oder andere geeignete Sensoren umfassen. Der/die Fahrzeugsensor(en) 121 kann/können derart konfiguriert sein, dass dieser/diese eine oder mehrere Charakteristika des Fahrzeugs 100 erkennt und/oder erfasst. Bei einer oder mehreren Anordnungen kann/können der/die Fahrzeugsensor(en) 121 einen Geschwindigkeitsmesser umfassen, um eine aktuelle Geschwindigkeit des Fahrzeugs 100 zu bestimmen.
Alternativ oder zusätzlich kann das Sensorsystem 120 einen oder mehrere Umgebungssensoren 122 umfassen, welche derart konfiguriert sind, dass diese Fahrumgebungsdaten erlangen und/oder erfassen. „Fahrumgebungsdaten“ umfassen Daten oder Informationen über die äußere Umgebung, in der sich ein autonomes Fahrzeug befindet, oder ein oder mehrere Teile davon. Beispielsweise kann/können der eine oder die mehreren Umgebungssensoren 122 derart konfiguriert sein, dass diese Hindernisse in zumindest einem Teil der äußeren Umgebung des Fahrzeugs 100 und/oder Informationen/Daten über solche Hindernisse erkennen, quantifizieren und/oder erfassen. Solche Hindernisse können stationäre Objekte und/oder dynamische Objekte sein. Der eine oder die mehreren Umgebungssensoren 122 können derart konfiguriert sein, dass diese andere Dinge in der äußeren Umgebung des Fahrzeuges 100, wie beispielsweise Fahrbahnmarkierungen, Schilder, Ampeln, Verkehrszeichen, Fahrbahnlinien, Zebrastreifen, Bordsteine in der Nähe des Fahrzeuges 100, Objekte außerhalb der Straße usw. erkennen, messen, quantifizieren und/oder erfassen.
Verschiedene Beispiele von Sensoren des Sensorsystems 120 werden hierin beschrieben. Die beispielhaften Sensoren können Teil des einen oder der mehreren Umgebungssensoren 122 und/oder des einen oder der mehrerer Fahrzeugsensoren 121 sein. Darüber hinaus kann das Sensorsystem 120 Bedienersensoren umfassen, die dazu dienen, Aspekte mit Bezug auf den Fahrer/Bediener des Fahrzeugs 100 zu verfolgen oder anderweitig zu überwachen. Es ist jedoch ersichtlich, dass die Aspekte nicht auf die beschriebenen bestimmten Sensoren beschränkt sind.
Als ein Beispiel kann das Sensorsystem 120 bei einer oder mehreren Anordnungen einen oder mehrere Radarsensoren 123, einen oder mehrere LIDAR-Sensoren 124, einen oder mehrere Sonarsensoren 125 und/oder eine oder mehrere Kameras 126 umfassen. Bei einer oder mehreren Anordnungen können die eine oder mehreren Kameras 126 High-Dynamic-Range (HDR) -Kameras, Infrarot (IR) -Kameras usw. sein. In einem Aspekt umfassen die Kameras 126 eine oder mehrere Kameras, die in einem Fahrgastraum des Fahrzeugs angeordnet sind, um eine Blickverfolgung des Bedieners/Fahrers durchzuführen, um einen Blick des Bedieners/Fahrers, eine Blickverfolgung des Bedieners/Fahrers usw. zu bestimmen.
Das Fahrzeug 100 kann ein Eingabesystem 130 umfassen. Ein „Eingabesystem“ umfasst irgendein(e) Vorrichtung, Komponente, System, Element oder Anordnung oder Gruppen davon, welche(s) die Eingabe von Informationen/Daten in eine Maschine ermöglicht/ermöglichen. Das Eingabesystem 130 kann eine Eingabe von einem Fahrzeuginsassen (beispielsweise Fahrer oder Beifahrer) empfangen. Das Fahrzeug 100 kann ein Ausgabesystem 135 umfassen. Ein „Ausgabesystem“ umfasst irgendeine Vorrichtung, Komponente oder Anordnung oder Gruppen davon, welche die Darstellung von Informationen/Daten für einen Fahrzeuginsassen (beispielsweise eine Person, einen Fahrzeuginsassen usw.) ermöglicht/ermöglichen.
Das Fahrzeug 100 kann ein oder mehrere Fahrzeugsysteme 140 umfassen. Verschiedene Beispiele für das eine oder die mehreren Fahrzeugsysteme 140 sind in 1 gezeigt. Das Fahrzeug 100 kann jedoch mehr, weniger oder andere Fahrzeugsysteme umfassen. Es sollte erkannt werden, dass, obwohl bestimmte Fahrzeugsysteme getrennt definiert sind, jedes oder irgendeines der Systeme oder Abschnitte davon anderweitig über Hardware und/oder Software innerhalb des Fahrzeugs 100 kombiniert oder separiert werden können. Das Fahrzeug 100 kann ein Antriebssystem 141, ein Bremssystem 142, ein Lenksystem 143, ein Drosselsystem 144, ein Übertragungssystem 145, ein Signalsystem 146 und/oder ein Navigationssystem 147 umfassen. Jedes dieser Systeme kann eine oder mehrere heute bekannte oder später entwickelte Vorrichtungen, Komponenten und/oder Kombinationen davon umfassen.
Das Navigationssystem 147 kann eine oder mehrere heute bekannte oder später entwickelte Vorrichtungen, Sensoren, Anwendungen und/oder Kombinationen davon umfassen, welche derart konfiguriert sind, dass diese die geografische Position des Fahrzeugs 100 bestimmen und/oder eine Reiseroute für das Fahrzeug 100 bestimmen. Das Navigationssystem 147 kann eine oder mehrere Kartenanwendungen umfassen, um eine Reiseroute für das Fahrzeug 100 zu bestimmen. Das Navigationssystem 147 kann ein globales Positionierungssystem, ein lokales Positionierungssystem oder ein Geolokalisierungssystem umfassen.
Der/die Prozessor(en) 110, das Trajektorienprognosesystem 170 und/oder das/die Autonom-Fahrmodul(e) 160 können betriebsfähig verbunden sein, um mit den verschiedenen Fahrzeugsystemen 140 und/oder individuellen Komponenten davon zu kommunizieren. Beispielsweise können unter Rückbezug auf 1 der/die Prozessor(en) 110 und/oder das/die Autonom-Fahrmodul(e) 160 in Kommunikation stehen, um Informationen von den verschiedenen Fahrzeugsystemen 140 zu senden und/oder zu empfangen, um die Bewegung, die Geschwindigkeit, das Manövrieren, den Kurs, die Richtung usw. des Fahrzeugs 100 zu steuern. Der (die) Prozessor(en) 110, das Trajektorienprognosesystem 170 und/oder das/die Autonom-Fahrmodul(e) 160 können einige oder alle dieser Fahrzeugsysteme 140 steuern und können somit teilweise oder vollständig autonom sein.
Der/die Prozessor(en) 110, das Trajektorienprognosesystem 170 und/oder das/die Autonom-Fahrmodul(e) 160 können betriebsfähig verbunden sein, um mit den verschiedenen Fahrzeugsystemen 140 und/oder individuellen Komponenten davon zu kommunizieren. Beispielsweise können unter Rückbezug auf 1 der/die Prozessor(en) 110, das Trajektorienprognosesystem 170 und/oder das/die Autonom-Fahrmodul(e) 160 in Kommunikation stehen, um Informationen von den verschiedenen Fahrzeugsystemen 140 zu senden und/oder zu empfangen, um die Bewegung, die Geschwindigkeit, das Manövrieren, den Kurs, die Richtung usw. des Fahrzeugs 100 zu steuern. Der/die Prozessor(en) 110, das Trajektorienprognosesystem 170 und/oder das/die Autonom-Fahrmodul(e) 160 können einige oder alle dieser Fahrzeugsysteme 140 steuern.
Der/die Prozessor(en) 110, das Trajektorienprognosesystem 170 und/oder das/die Autonom-Fahrmodul(e) 160 können so betriebsfähig sein, dass diese die Navigation und/oder das Manövrieren des Fahrzeugs 100 durch Steuern eines oder mehrerer der Fahrzeugsysteme 140 und/oder Komponenten davon steuern. Wenn beispielsweise in einem autonomen Modus gearbeitet wird, können der/die Prozessor(en) 110, das Trajektorienprognosesystem 170 und/oder das/die Autonom-Fahrmodul(e) 160 die Richtung und/oder Geschwindigkeit des Fahrzeugs 100 steuern. Der/die Prozessor(en) 110, das Trajektorienprognosesystem 170 und/oder das/die Autonom-Fahrmodul(e) 160 können veranlassen, dass das Fahrzeug 100 beschleunigt (beispielsweise durch Erhöhen der Kraftstoffzufuhr zu der Maschine), verzögert (beispielsweise durch Verringern der Kraftstoffzufuhr zu der Maschine und/oder durch Betätigen der Bremsen) und/oder die Richtung ändert (beispielsweise durch Drehen der vorderen beiden Räder). Wie hierin verwendet, steht „veranlasst“ oder „veranlassen“ dafür, ein Ereignis oder eine Aktion entweder direkt oder indirekt herbeizuführen, zu forcieren, zu erzwingen, zu lenken, zu befehlen, anzuweisen und/oder zu ermöglichen, oder dass zumindest ein Zustand vorliegt, in dem ein solches Ereignis oder eine solche Handlung auftreten kann.
Das Fahrzeug 100 kann ein oder mehrere Stellglieder 150 umfassen. Bei den Stellgliedern 150 kann es sich um irgendein Element oder irgendeine Kombination von Elementen handeln, die betriebsfähig sind, um im Ansprechen auf den Empfang von Signalen oder anderen Eingaben von dem/den Prozessor(en) 110 und/oder dem/den Autonom-Fahrmodul(en) 160 eines oder mehrere der Fahrzeugsysteme 140 oder Komponenten davon zu modifizieren, anzupassen und/oder zu verändern. Jedes geeignete Stellglied kann verwendet werden. Das eine oder die mehreren Stellglieder 150 können beispielsweise Motoren, pneumatische Stellglieder, Hydraulikkolben, Relais, Magnetventile und/oder piezoelektrische Stellglieder umfassen, um nur einige Möglichkeiten zu nennen.
Das Fahrzeug 100 kann ein oder mehrere Module umfassen, von denen zumindest einige hierin beschrieben sind. Die Module können als computerlesbarer Programmcode implementiert sein, der, wenn dieser von einem Prozessor 110 ausgeführt wird, einen oder mehrere der verschiedenen hierin beschriebenen Prozesse implementiert. Eines oder mehrere der Module können einer Komponente des Prozessors bzw. der Prozessoren 110 entsprechen, oder eines oder mehrere der Module kann/können auf anderen Verarbeitungssystemen, mit denen der/die Prozessor(en) 110 betriebsfähig verbunden ist/sind, ausgeführt werden und/oder auf diese verteilt sein. Die Module können Anweisungen (beispielsweise eine Programmlogik) umfassen, die von einem oder mehreren Prozessor(en) 110 ausgeführt werden können. Alternativ oder zusätzlich kann/können ein oder mehrere Datenspeicher 115 solche Anweisungen enthalten. Im Allgemeinen umfasst der Ausdruck Modul, wie hierin verwendet, Routinen, Programme, Objekte, Komponenten, Datenstrukturen usw., welche bestimmte Aufgaben ausführen oder bestimmte Datentypen implementieren. In weiteren Aspekten speichert ein Speicher im Allgemeinen die genannten Module. Bei dem Speicher, der einem Modul zugeordnet ist, kann es sich um einen Puffer oder Cache handeln, der in einem Prozessor, einem RAM, einem ROM, einem Flash-Speicher oder einem anderen geeigneten elektronischen Speichermedium eingebettet ist. In noch weiteren Aspekten ist ein Modul im Sinne der vorliegenden Offenbarung als eine anwendungsspezifische integrierte Schaltung (ASIC), eine Hardware-Komponente eines Systems auf einem Chip (SoC), als ein programmierbares Logik-Array (PLA) oder als eine andere geeignete Hardware-Komponente implementiert, die mit einem definierten Konfigurationssatz (beispielsweise Anweisungen) zur Ausführung der offenbarten Funktionen eingebettet bzw. integriert ist.
In einer oder mehreren Anordnungen kann/können eines oder mehrere der hierin beschriebenen Module Elemente künstlicher oder rechnergestützter Intelligenz umfassen, beispielsweise neuronale Netze, Fuzzy-Logik oder andere Algorithmen für maschinelles Lernen. Ferner kann/können in einer oder mehreren Anordnungen eines oder mehrere der Module auf eine Mehrzahl der hierin beschriebenen Module verteilt sein. In einer oder mehreren Anordnungen können zwei oder mehrere der hierin beschriebenen Module zu einem einzelnen Modul kombiniert sein.
Das Fahrzeug 100 kann ein oder mehrere Autonom-Fahrmodule 160 umfassen. Das/die Autonom-Fahrmodul(e) 160 kann/können derart konfiguriert sein, dass diese(s) Daten vom Sensorsystem 120 und/oder irgendeinem anderen Systemtyp empfängt/empfangen, der Informationen mit Bezug auf das Fahrzeug 100 und/oder die äußere Umgebung des Fahrzeugs 100 erfassen kann. In einer oder mehreren Anordnungen kann/können das/die Autonom-Fahrmodul(e) 160 solche Daten verwenden, um ein oder mehrere Fahrszenenmodelle zu erzeugen. Das/die Autonom-Fahrmodul(e) 160 kann/können eine Position und Geschwindigkeit des Fahrzeugs 100 bestimmen. Das/die Autonom-Fahrmodul(e) 160 kann/können die Position von Hindernissen oder anderen Umgebungsmerkmalen, wie Verkehrsschildern, Bäumen, Sträuchern, benachbarten Fahrzeugen, Fußgängern usw. bestimmen.
Das/die Autonom-Fahrmodul(e) 160 kann/können derart konfiguriert sein, dass diese(s) Standortinformationen für Hindernisse innerhalb der äußeren Umgebung des Fahrzeugs 100 zur Verwendung durch den/die Prozessor(en) 110 und/oder eines oder mehrere der hierin beschriebenen Module empfängt/empfangen/ und/oder bestimmt/bestimmen, um die Position und Orientierung bzw. Ausrichtung des Fahrzeugs 100, die Fahrzeugposition in globalen Koordinaten auf der Grundlage von Signalen von mehreren Satelliten oder irgendwelche andere Daten und/oder Signale, die zur Bestimmung des aktuellen Zustands des Fahrzeugs 100 oder zur Bestimmung der Position des Fahrzeugs 100 mit Bezug auf seine Umgebung verwendet werden könnten, zur Verwendung entweder bei der Erstellung einer Karte oder bei der Bestimmung der Position des Fahrzeugs 100 mit Bezug auf Kartendaten abzuschätzen.
Das/die Autonom-Fahrmodul(e) 160 kann/können entweder unabhängig oder in Kombination mit dem Trajektorienprognosesystem 170 derart konfiguriert sein, dass diese(s) einen Fahrweg(e), aktuelle autonome Fahrmanöver für das Fahrzeug 100, zukünftige autonome Fahrmanöver und/oder Modifikationen an aktuellen autonomen Fahrmanövern auf der Grundlage von durch das Sensorsystem 120 erlangten Daten, Fahrszenenmodellen und/oder Daten von irgendeiner anderen geeigneten Quelle bestimmen. „Fahrmanöver“ steht für eine oder mehrere Aktionen, welche die Bewegung eines Fahrzeugs beeinflussen. Beispiele für Fahrmanöver umfassen: Beschleunigen, Verzögern, Bremsen, Abbiegen, Bewegen in seitlicher Richtung des Fahrzeugs 100, Wechseln von Fahrspuren, Einfädeln in eine Fahrspur und/oder Rückwärtsfahren, um nur einige Möglichkeiten zu nennen. Das/die Autonom-Fahrmodul(e) 160 kann/können derart konfiguriert sein, dass diese(s) bestimmte Fahrmanöver implementiert/implementieren. Das/die Autonom-Fahrmodul(e) 160 kann/können direkt oder indirekt die Implementierung solcher autonomen Fahrmanöver veranlassen. Wie hierin verwendet, steht „veranlasst“ oder „veranlassen“ dafür, ein Ereignis oder eine Aktion entweder direkt oder indirekt herbeizuführen, zu befehlen, anzuweisen und/oder zu ermöglichen, oder dass zumindest ein Zustand vorliegt, in dem ein solches Ereignis oder eine solche Handlung auftreten kann. Das/die Autonom-Fahrmodul(e) 160 kann/können derart konfiguriert sein, dass diese(s) verschiedene Fahrzeugfunktionen ausführt/ausführen und/oder dem Fahrzeug 100 oder einem oder mehreren Systemen davon (beispielsweise ein oder mehrere der Fahrzeugsysteme 140) Daten übermittelt/übermitteln, von diesem/diesen Daten empfängt/empfangen, mit diesem/diesen interagiert/interagieren und/oder dieses/diese steuert/steuern.
Hier werden detaillierte Aspekte offenbart. Es ist jedoch verständlich, dass die offenbarten Aspekte nur als Beispiele gedacht sind. Daher sind spezifische strukturelle und funktionelle Details, die hierin offenbart sind, nicht als beschränkend zu interpretieren, sondern lediglich als eine Grundlage für die Ansprüche und als eine repräsentative Grundlage für die Unterweisung eines Fachmanns, die hierin offenbarten Aspekte in praktisch jeder geeignet detaillierten Struktur unterschiedlich einzusetzen. Ferner sind die hierin verwendeten Begriffe und Formulierungen nicht beschränkend gedacht, sondern diese sollen vielmehr eine verständliche Beschreibung möglicher Implementierungen liefern. In den kollektiven Abbildungen sind verschiedene Aspekte gezeigt, die Aspekte sind jedoch nicht auf die dargestellte Struktur oder Anwendung beschränkt.
Die Flussdiagramme und Blockdiagramme in den Abbildungen stellen die Architektur, Funktionalität und Funktionsweise möglicher Implementierungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Aspekten dar. In dieser Hinsicht kann jeder Block in den Flussdiagrammen oder Blockdiagrammen ein Modul, ein Segment oder einen Abschnitt des Codes darstellen, der eine oder mehrere ausführbare Anweisungen zur Implementierung der spezifizierten logischen Funktion(en) aufweist. Es ist auch zu beachten, dass bei einigen alternativen Implementierungen die im Block angegebenen Funktionen außerhalb der in den Abbildungen angegebenen Reihenfolge auftreten können. So können beispielsweise zwei nacheinander gezeigte Blöcke tatsächlich im Wesentlichen gleichzeitig ausgeführt werden, oder die Blöcke können manchmal in umgekehrter Reihenfolge ausgeführt werden, je nach der betreffenden Funktionalität.
Die vorstehend beschriebenen Systeme, Komponenten und/oder Prozesse können in Hardware oder einer Kombination aus Hardware und Software realisiert werden und können in einer zentralisierten Art in einem Verarbeitungssystem oder in einer verteilten Art, bei welcher verschiedene Elemente auf mehrere miteinander verbundene Verarbeitungssysteme verteilt sind, realisiert werden. Jede Art von Verarbeitungssystem oder eine andere Vorrichtung, welche für die Ausführung der hierin beschriebenen Verfahren angepasst ist, ist geeignet. Eine typische Kombination aus Hardware und Software kann einem Verarbeitungssystem mit einem computerverwendbaren Programmcode entsprechen, der beim Laden und Ausführen das Verarbeitungssystem so steuert, dass dieses die hier beschriebenen Verfahren ausführt. Die Systeme, Komponenten und/oder Prozesse können auch in einem computerlesbaren Speicher eingebettet sein, wie beispielsweise einem Computerprogrammprodukt oder einer anderen Datenprogrammspeichervorrichtung, die von einer Maschine gelesen werden kann, welcher ein Programm von Anweisungen greifbar darstellt, die von der Maschine ausgeführt werden können, um die hierin beschriebenen Verfahren und Prozesse auszuführen. Diese Elemente können auch in einem Anwendungsprodukt eingebettet sein, das alle Merkmale aufweist, welche die Implementierung der hierin beschriebenen Verfahren ermöglichen, und welches, wenn dieses in ein Verarbeitungssystem geladen wird, in der Lage ist, diese Verfahren auszuführen.
Darüber hinaus können die hierin beschriebenen Anordnungen die Form eines Computerprogrammprodukts annehmen, das in einem oder mehreren computerlesbaren Medien mit einem darauf verkörperten, beispielsweise gespeicherten, computerlesbaren Programmcode verkörpert ist. Jede Kombination aus einem oder mehreren computerlesbaren Medien kann verwendet werden. Das computerlesbare Medium kann ein computerlesbares Signalmedium oder ein computerlesbares Speichermedium sein. Der Ausdruck „computerlesbares Speichermedium“ steht für ein nichtflüchtiges Speichermedium. Ein computerlesbares Speichermedium kann beispielsweise ein elektronisches, magnetisches, optisches, elektromagnetisches, Infrarot- oder Halbleiter-System, Einrichtung oder Vorrichtung oder irgendeine geeignete Kombination aus dem Vorstehenden sein, ist jedoch nicht darauf beschränkt. Spezifischere Beispiele (eine nicht erschöpfende Liste) für das computerlesbare Speichermedium wären unter anderem: eine tragbare Computerdiskette, ein Festplattenlaufwerk (HDD), ein Festkörperlaufwerk (SSD), ein Nurlesespeicher (ROM), ein löschbarer programmierbarer Nurlesespeicher (EPROM oder Flash-Speicher), ein tragbarer Compact-Disc-Nurlesespeicher (CD-ROM), eine digitale vielseitige Platte (DVD), eine optische Speichervorrichtung, eine magnetische Speichervorrichtung oder irgendeine geeignete Kombination des Vorstehenden. In Zusammenhang mit diesem Dokument kann ein computerlesbares Speichermedium jedes greifbare Medium sein, das ein Programm zur Verwendung durch oder in Verbindung mit einem Anweisungsausführungssystem, einer Einrichtung oder einer Vorrichtung enthalten oder speichern kann.
Programmcode, der auf einem computerlesbaren Medium verkörpert ist, kann unter Verwendung irgendeines geeigneten Mediums übertragen werden, einschließlich drahtlos, drahtgebunden, einer optischen Faser, eines Kabels, RF usw. oder irgendeine geeignete Kombination des Vorstehenden, ist jedoch nicht darauf beschränkt. Ein Computerprogrammcode zur Ausführung von Operationen für Aspekte der vorliegenden Anordnungen kann in einer beliebigen Kombination aus einer oder mehreren Programmiersprachen geschrieben sein, einschließlich einer objektorientierten Programmiersprache, wie Java™, Smalltalk, C++ oder dergleichen, und herkömmlichen prozeduralen Programmiersprachen, wie der Programmiersprache „C“ oder ähnlichen Programmiersprachen. Der Programmcode kann vollständig auf dem Computer des Nutzers, teilweise auf dem Computer des Nutzers, als ein eigenständiges Softwarepaket, teilweise auf dem Computer des Nutzers und teilweise auf einem Remotecomputer oder vollständig auf dem Remotecomputer oder Server ausgeführt werden. Im letzteren Szenario kann der Remotecomputer mit dem Computer des Nutzers über jede Art von Netzwerk verbunden sein, einschließlich eines lokalen Netzwerks (LAN) oder eines Weitverkehrsnetzwerks (WAN), oder die Verbindung kann mit einem externen Computer hergestellt werden (beispielsweise über das Internet unter Verwendung eines Internet-Service-Providers).
Die vorstehende Beschreibung dient der Veranschaulichung und Beschreibung und ist in keiner Weise dazu gedacht, die Offenbarung, deren Anwendung oder Nutzung zu beschränken. Diese soll weder erschöpfend sein noch die Offenbarung beschränken. Individuelle Elemente oder Merkmale eines bestimmten Aspekts sind im Allgemeinen nicht auf diesen bestimmten Aspekt beschränkt, sondern sind, wo anwendbar, austauschbar und können in einem ausgewählten Aspekt verwendet werden, auch wenn dies nicht speziell gezeigt oder beschrieben ist. Diese können auch in vielerlei Hinsicht variiert werden. Solche Variationen sollen nicht als eine Abweichung von der Offenbarung betrachtet werden, und alle solchen Modifikationen sollen in dem Schutzumfang der Offenbarung enthalten sein.
Wie hierin verwendet, sollte der Ausdruck zumindest ein Element aus A, B und C so ausgelegt werden, dass dieser für ein logisches (A oder B oder C) unter Verwendung eines nicht ausschließlichen logischen „oder“ steht. Es ist erkennbar, dass die verschiedenen Schritte innerhalb eines Verfahrens in unterschiedlicher Reihenfolge ausgeführt werden können, ohne die Prinzipien der vorliegenden Offenbarung zu verändern. Die Offenbarung von Bereichen umfasst die Offenbarung aller Bereiche und unterteilten Bereiche innerhalb des gesamten Bereichs, einschließlich der Endpunkte.
Die hier verwendeten Überschriften (wie beispielsweise „Hintergrund“ und „Kurzfassung“) und Unter-Überschriften sollen nur der allgemeinen Organisation von Themen innerhalb der vorliegenden Offenbarung dienen und sind nicht dazu gedacht, die Offenbarung der Technologie oder irgendeines Aspekts davon zu beschränken. Die Rezitation mehrerer Aspekte mit angegebenen Merkmalen soll andere Aspekte mit zusätzlichen Merkmalen oder andere Aspekte, die verschiedene Kombinationen der angegebenen Merkmale umfassen, nicht ausschließen.
Wie hierin verwendet, sollen die Ausdrücke „aufweisen“ und „umfassen“ und deren Varianten nicht beschränkend sein, so dass die aufeinanderfolgende Rezitation von Elementen oder einer Liste nicht andere ähnliche Elemente ausschließt, die ebenfalls in den Vorrichtungen und Verfahren dieser Technologie nützlich sein können. Gleichermaßen soll der Ausdruck „können“ und dessen Varianten nicht beschränkend sein, so dass die Rezitation, dass ein Aspekt bestimmte Elemente oder Merkmale umfassen kann, andere Aspekte der vorliegenden Technologie, welche diese Elemente oder Merkmale nicht umfassen, nicht ausschließt. Die Ausdrücke „ein/eine/eines, wie hierin verwendet, sind als eines oder mehr als eines definiert. Der Ausdruck „Mehrzahl“, wie hierin verwendet, ist als zwei oder mehr als zwei definiert. Der Ausdruck „andere/anderes“, wie hierin verwendet, ist definiert als zumindest ein/eine zweiter/zweites/zweite oder mehr.
Die umfassenden Lehren der vorliegenden Offenbarung können in einer Vielzahl von Formen implementiert sein. Daher sollte, auch wenn diese Offenbarung bestimmte Beispiele umfasst, der wahre Schutzumfang der Offenbarung nicht so beschränkt sein, da andere Modifikationen dem Fachmann nach einer Untersuchung der Spezifikation und der folgenden Ansprüche aufscheinen. Die Bezugnahme hierin auf einen Aspekt oder verschiedene Aspekte bedeutet, dass ein bestimmtes Merkmal, eine bestimmte Struktur oder eine bestimmte Charakteristik, welches/welche in Verbindung mit einer Ausführungsform oder einem bestimmten System beschrieben ist, in zumindest einer Ausführungsform oder einem Aspekt umfassen ist. Das Erscheinen der Wendung „in einem Aspekt“ (oder Variationen davon) bezieht sich nicht notwendigerweise auf den gleichen Aspekt oder die gleiche Ausführungsform. Es ist auch erkennbar, dass die verschiedenen hierin erörterten Verfahrensschritte nicht in der gleichen Reihenfolge wie dargestellt ausgeführt werden müssen, und nicht jeder Verfahrensschritt in jedem Aspekt oder jeder Ausführungsform erforderlich ist.

Claims

System zur Erzeugung von Trajektorien für eine Fahrzeugnutzerschnittstelle, welche eine Fahrerperspektivensicht zeigt, wobei das System aufweist: einen oder mehrere Prozessoren; und einen Speicher, der kommunikativ mit dem einen oder den mehreren Prozessoren gekoppelt ist und Folgendes speichert: ein Trajektorienprognosemodul mit Anweisungen, welche, wenn diese von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren dazu veranlassen: eine prognostizierte Ego-Fahrzeug-Trajektorie für ein Ego-Fahrzeug zu erzeugen; zumindest eine prognostizierte Straßenakteur-Trajektorie für einen Straßenakteur zu erzeugen, der sich außerhalb des Ego-Fahrzeugs befindet; zu bestimmen, dass zumindest zwei prognostizierte Trajektorien überlappen, wenn diese auf der Nutzerschnittstelle angezeigt werden, welche eine Fahrerperspektivensicht zeigt; und zumindest eine prognostizierte Trajektorie zu modifizieren, um die Überlappung zu beseitigen; und ein Steuermodul mit Anweisungen, welche, wenn diese von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, die Nutzerschnittstelle zu aktualisieren, um jede modifizierte prognostizierte Straßenakteur-Trajektorie zu umfassen.
System nach Anspruch 1, wobei die Anweisung, zumindest eine prognostizierte Trajektorie zu modifizieren, um die Überlappung zu beseitigen, eine Anweisung umfasst, um eine Länge zumindest einer der prognostizierten Trajektorien zu modifizieren.
System nach Anspruch 1, wobei die Anweisung, zumindest eine prognostizierte Trajektorie zu modifizieren, um die Überlappung zu beseitigen, eine Anweisung aufweist, um einen Trennungsabstand zwischen den zumindest zwei prognostizierten Trajektorien bereitzustellen.
System nach Anspruch 1, wobei das Trajektorienprognosemodul weitere Anweisungen umfasst, um einen Konfidenzwert zu berechnen, der repräsentativ ist für eine Wahrscheinlichkeit einer Kollision, die basierend auf der Überlappung der zumindest zwei prognostizierten Trajektorien auftritt.
System nach Anspruch 4, wobei das Trajektorienprognosemodul weitere Anweisungen umfasst, um: zu bestimmen, dass der Konfidenzwert, welcher repräsentativ für die Wahrscheinlichkeit einer Kollision ist, kleiner als eine vorbestimmte Schwelle ist; und eine Länge der zumindest einen prognostizierten Trajektorie zu verkürzen.
System nach Anspruch 5, wobei das Trajektorienprognosemodul weitere Anweisungen umfasst, um: vor dem Verkürzen der Länge der zumindest einen prognostizierten Trajektorie zu bestimmen, dass ein anderer Straßenakteur vor dem Ego-Fahrzeug an einer Position der Überlappung ankommen wird.
System nach Anspruch 4, wobei das Trajektorienprognosemodul weitere Anweisungen umfasst, um: zu bestimmen, dass der Konfidenzwert, welcher repräsentativ für die Wahrscheinlichkeit einer Kollision ist, kleiner als eine vorbestimmte Schwelle ist; und die zumindest eine prognostizierte Trajektorie unter Verwendung zumindest einer Technologie zu modifizieren, die aus der Gruppe bestehend aus Verbergen, Verwaschen und Einblenden ausgewählt ist.
System nach Anspruch 1, wobei das Trajektorienprognosemodul weitere Anweisungen umfasst, um: zu bestimmen, dass zumindest zwei prognostizierte Straßenakteur-Trajektorien an einem ersten Kreuzungspunkt überlappen; zu bestimmen, dass zumindest zwei prognostizierte Straßenakteur-Trajektorien an einem zweiten Kreuzungspunkt überlappen; einen Prioritätskreuzungspunkt auf der Grundlage einer Berechnung dahingehend, welche Straßenakteure zuerst an einem der ersten und zweiten Kreuzungspunkte ankommen, zu bestimmen; und zumindest eine prognostizierte Straßenakteur-Trajektorie zu modifizieren, welche an dem Prioritätskreuzungspunkt überlappt.
System nach Anspruch 1, wobei das Trajektorienprognosemodul weitere Anweisungen umfasst, um: zu bestimmen, dass eine erste prognostizierte Straßenakteur-Trajektorie an einem ersten Kreuzungspunkt mit einem ersten Objekt überlappt; zu bestimmen, dass eine zweite prognostizierte Straßenakteur-Trajektorie an einem zweiten Kreuzungspunkt mit einem Element aus einem zweiten Objekt und einer dritten prognostizierten Straßenakteur-Trajektorie überlappt; einen Prioritätskreuzungspunkt basierend auf einer Berechnung dahingehend, welche Straßenakteure zuerst an einem der ersten und zweiten Kreuzungspunkte ankommen, zu bestimmen; und zumindest eine prognostizierte Straßenakteur-Trajektorie zu modifizieren, die an dem Prioritätskreuzungspunkt überlappt.
System nach Anspruch 1, wobei die Anweisung, zumindest eine prognostizierte Trajektorie zu modifizieren, um die Überlappung zu beseitigen, eine Anweisung aufweist, um zumindest eine Modifikation durchzuführen, welche aus der Gruppe ausgewählt ist, die aus Folgendem besteht: Ändern einer Farbe zumindest einer der prognostizierten Straßenakteur-Trajektorien; Ändern einer Abstandsposition zumindest einer der prognostizierten Straßenakteur-Trajektorien; Ändern einer Dicke zumindest einer der prognostizierten Straßenakteur-Trajektorien; und Bestimmen einer prognostizierten Prioritäts-Straßenakteur-Trajektorie auf der Grundlage einer nächsten Nähe zum Ego-Fahrzeug und Anzeigen nur der prognostizierten Prioritäts-Straßenakteur-Trajektorie.
System zum Erzeugen von Trajektorien für eine Fahrzeugnutzerschnittstelle, welche eine Fahrerperspektivensicht zeigt, wobei das System aufweist: einen oder mehrere Prozessoren; und einen Speicher, der kommunikativ mit dem einen oder den mehreren Prozessoren gekoppelt ist und Folgendes speichert: ein Trajektorienprognosemodul mit Anweisungen, welche, wenn diese von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren dazu veranlassen: eine prognostizierte Ego-Fahrzeug-Trajektorie für ein Ego-Fahrzeug zu erzeugen; zumindest eine prognostizierte Straßenakteur-Trajektorie für einen Straßenakteur zu erzeugen, der sich außerhalb des Ego-Fahrzeugs befindet; zu bestimmen, dass ein Abstand zwischen zwei benachbarten prognostizierten Trajektorien unter einem vorbestimmten Schwellenwert liegt, wenn diese auf der Nutzerschnittstelle angezeigt werden, welche eine Fahrerperspektivensicht zeigt; und zumindest eine Modifikation durchzuführen, welche aus der Gruppe ausgewählt ist, die aus Folgendem besteht: Ändern einer Farbe zumindest einer der prognostizierten Straßenakteur-Trajektorien; Ändern einer Abstandsposition zumindest einer der prognostizierten Straßenakteur-Traj ektorien; Ändern einer Dicke zumindest einer der prognostizierten Straßenakteur-Trajektorien; und Bestimmen einer prognostizierten Prioritäts-Straßenakteur-Trajektorie auf der Grundlage einer nächsten Nähe zum Ego-Fahrzeug und Anzeigen nur der prognostizierten Prioritäts-Straßenakteur-Trajektorie; und ein Steuermodul mit Anweisungen, welche, wenn diese von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, die Nutzerschnittstelle zu aktualisieren, um jede modifizierte prognostizierte Straßenakteur-Trajektorie zu umfassen.
Verfahren zum Erzeugen von Trajektorien für eine Fahrzeugnutzerschnittstelle, welche eine Fahrerperspektivensicht zeigt, wobei das Verfahren aufweist: Erzeugen einer prognostizierten Ego-Fahrzeug-Trajektorie für ein Ego-Fahrzeug; Erzeugen zumindest einer prognostizierten Straßenakteur-Trajektorie für einen Straßenakteur, der sich außerhalb des Ego-Fahrzeugs befindet; Bestimmen, dass zumindest zwei prognostizierte Trajektorien überlappen, wenn diese auf der Nutzerschnittstelle angezeigt werden, welche eine Fahrerperspektivensicht zeigt; Modifizieren zumindest einer prognostizierten Trajektorie, um die Überlappung zu beseitigen; und Aktualisieren der Nutzerschnittstelle, um jede modifizierte prognostizierte Straßenakteur-Trajektorie zu umfassen.
Verfahren nach Anspruch 12, wobei das Modifizieren zumindest einer prognostizierten Trajektorie, um die Überlappung zu beseitigen, zumindest einen der folgenden Schritte aufweist: Modifizieren einer Länge zumindest einer der prognostizierten Trajektorien; und Bereitstellen eines Trennungsabstands zwischen den zumindest zwei prognostizierten Trajektorien.
Verfahren nach Anspruch 12, aufweisend: Berechnen eines Konfidenzwertes, der repräsentativ ist für eine Wahrscheinlichkeit einer Kollision, die basierend auf der Überlappung der zumindest zwei prognostizierten Trajektorien auftritt.
Verfahren nach Anspruch 14, aufweisend: Bestimmen, dass der Konfidenzwert, welcher repräsentativ für die Wahrscheinlichkeit einer Kollision ist, kleiner als eine vorbestimmte Schwelle ist; und Verkürzen einer Länge der zumindest einen prognostizierten Trajektorie.
Verfahren nach Anspruch 15, ferner aufweisend: Bestimmen, dass ein anderer Straßenakteur vor dem Ego-Fahrzeug an einer Position der Überlappung ankommt, vor dem Verkürzen der Länge der zumindest einen prognostizierten Trajektorie.
Verfahren nach Anspruch 14, ferner aufweisend: Bestimmen, dass der Konfidenzwert, welcher repräsentativ für die Wahrscheinlichkeit einer Kollision ist, kleiner als eine vorbestimmte Schwelle ist; und Modifizieren der zumindest einen prognostizierten Trajektorie unter Verwendung zumindest einer Technologie, die aus der Gruppe bestehend aus Verbergen, Verwaschen und Einblenden ausgewählt wird.
Verfahren nach Anspruch 12, ferner aufweisend: Bestimmen, dass zumindest zwei prognostizierte Straßenakteur-Trajektorien an einem ersten Kreuzungspunkt überlappen; Bestimmen, dass zumindest zwei prognostizierte Straßenakteur-Trajektorien an einem zweiten Kreuzungspunkt überlappen; Bestimmen eines Prioritätskreuzungspunkts auf der Grundlage einer Berechnung dahingehend, welche Straßenakteure zuerst an einem der ersten und zweiten Kreuzungspunkte ankommen; und Modifizieren zumindest einer prognostizierten Straßenakteur-Trajektorie, welche an dem Prioritätskreuzungspunkt überlappt.
Verfahren nach Anspruch 12, wobei das Modifizieren zumindest einer prognostizierten Trajektorie, um die Überlappung zu beseitigen, ein Durchführen zumindest einer Modifikation aufweist, welche aus der Gruppe ausgewählt wird, die aus Folgendem besteht: Ändern einer Farbe zumindest einer der prognostizierten Straßenakteur-Trajektorien; Ändern einer Abstandsposition zumindest einer der prognostizierten Straßenakteur-Trajektorien; Ändern einer Dicke zumindest einer der prognostizierten Straßenakteur-Trajektorien; und Bestimmen einer prognostizierten Prioritäts-Straßenakteur-Trajektorie auf der Grundlage einer nächsten Nähe zum Ego-Fahrzeug und Anzeigen nur der prognostizierten Prioritäts-Straßenakteur-Trajektorie.
Verfahren nach Anspruch 12, wobei: der Straßenakteur ein Automobil, ein Motorrad, ein Fahrrad oder ein Fußgänger ist; und die Fahrzeugnutzerschnittstelle einem Element aus einem Navigationsdisplay, einem Multi-Informations-Display, einem Head-Up-Display (HUD), einem Head-Mounted-Display (HMD), einem Fernbedienungsdisplay und einer tragbaren Vorrichtung entspricht.