DE102022102186A1

DE102022102186A1 - Vorhersagen der Bewegung hypothetischer Agenten

Info

Publication number: DE102022102186A1
Application number: DE102022102186.6A
Authority: DE
Inventors: Yu Pan; You Hong Eng; Scott D. Pendleton; James Guo Ming Fu
Original assignee: Motional AD LLC
Current assignee: Motional AD LLC
Priority date: 2021-11-19
Filing date: 2022-01-31
Publication date: 2023-05-25
Also published as: KR20230074396A; US20230159026A1; CN116149308A; GB2613037A; GB202201321D0

Abstract

Es sind Verfahren zum Vorhersagen der Bewegung hypothetischer Agenten bereitgestellt, die beinhalten können: Empfangen von Sensordaten, Erzeugen einer Segmentierungsmaske, die mindestens einen verdeckten Bereich angibt, Erzeugen mindestens einer hypothetischen Agententrajektorie, Bestimmen mindestens eines Agentenerzeugungspunkts, Bestimmen, ob ein Schwellenabstand von dem mindestens einen Agentenerzeugungspunkt zu dem Fahrzeug erfüllt ist, Erzeugen mindestens eines Agenten, Planen eines Pfades des Fahrzeugs und Steuern des Fahrzeugs gemäß dem geplanten Pfad. Es sind auch Systeme und Computerprogrammprodukte bereitgestellt.

Description

HINTERGRUND
Autonome Fahrzeuge sind in Umgebungen mit einem oder mehreren anderen Agenten, wie etwa einem Fußgänger oder einem Fahrzeug, betreibbar. Ein Agent kann plötzlich in der Sicht eines autonomen Fahrzeugs erscheinen. Das plötzliche Erscheinen des Agenten kann bewirken, dass das autonome Fahrzeug scharf manövriert, um eine Kollision mit dem Agenten zu vermeiden. Das scharfe Manöver kann gefährlich sein oder die Fahrgäste im autonomen Fahrzeug stören.
Figurenliste

1 ist eine beispielhafte Umgebung, in der ein Fahrzeug, das eine oder mehrere Komponenten eines autonomen Systems beinhaltet, implementiert werden kann;
2 ist ein Diagramm eines oder mehrerer Systeme eines Fahrzeugs, das ein autonomes System beinhaltet;
3 ist ein Diagramm von Komponenten einer oder mehrerer Vorrichtungen und/oder eines oder mehrerer Systeme der 1 und 2;
4 ist ein Diagramm bestimmter Komponenten eines autonomen Systems;
5 ist ein Blockdiagramm einer Implementierung eines Prozesses zum Vorhersagen der Bewegung hypothetischer Agenten.
6A ist ein Prozess zum Erzeugen und Aktualisieren fußgängerartiger hypothetischer Agenten.
6B ist ein Graph, der Wahrscheinlichkeiten veranschaulicht, die mit Verdeckungsgebietsübergängen assoziiert sind.
7 ist ein Prozess zum Bestimmen von Agentenerzeugungspunkten für fahrzeugartige hypothetische Agenten.
8 ist ein Flussdiagramm eines Prozesses zum Vorhersagen der Bewegung hypothetischer Agenten.

AUSFÜHRLICHE BESCHREIBUNG
In der folgenden Beschreibung werden zahlreiche spezifische Einzelheiten dargelegt, um ein umfassendes Verständnis der vorliegenden Offenbarung für Erläuterungszwecke bereitzustellen. Es versteht sich jedoch, dass die durch die vorliegende Offenbarung beschriebenen Ausführungsformen ohne diese spezifischen Einzelheiten umgesetzt werden können. In manchen Fällen sind wohlbekannte Strukturen und Vorrichtungen in Blockdiagrammform veranschaulicht, um zu verhindern, die Aspekte der vorliegenden Offenbarung unnötig unklar zu machen.
Spezifische Anordnungen oder Ordnungen schematischer Elemente, wie etwa jenen, die Systeme, Vorrichtungen, Module, Anweisungsblöcke, Datenelemente und/oder dergleichen repräsentieren, sind zur Vereinfachung der Beschreibung in den Zeichnungen veranschaulicht. Fachleute auf dem Gebiet werden jedoch verstehen, dass die spezifische Ordnung oder Anordnung der schematischen Elemente in den Zeichnungen nicht andeuten soll, dass eine spezielle Verarbeitungsreihenfolge oder -abfolge oder Trennung von Prozessen erforderlich ist, insofern nicht ausdrücklich derartig beschrieben. Ferner soll der Einschluss eines schematischen Elements in einer Zeichnung nicht andeuten, dass ein solches Element in allen Ausführungsformen erforderlich ist oder dass die durch ein solches Element repräsentierten Merkmale möglicherweise bei manchen Ausführungsformen nicht in anderen Elementen enthalten sind oder mit diesen kombiniert werden, insofern nicht ausdrücklich derartig beschrieben.
Ferner soll in den Zeichnungen, in denen Verbindungselemente wie etwa durchgezogene oder gestrichelte Linien oder Pfeile verwendet werden, um eine Verbindung, Beziehung oder Zuordnung zwischen oder unter zwei oder mehr anderen schematischen Elementen zu veranschaulichen, das Nichtvorhandensein jeglicher solcher Verbindungselemente nicht andeuten, dass keine Verbindung, Beziehung oder Zuordnung bestehen kann. Mit anderen Worten sind manche Verbindungen, Beziehungen oder Zuordnungen zwischen Elementen in den Zeichnungen nicht veranschaulicht, um die Offenbarung nicht unklar zu machen. Zusätzlich kann zur Vereinfachung der Veranschaulichung ein einzelnes Verbindungselement verwendet werden, um mehrere Verbindungen, Beziehungen oder Zuordnungen zwischen Elementen zu repräsentieren. Wenn ein Verbindungselement eine Kommunikation von Signalen, Daten oder Anweisungen (z. B. „Softwareanweisungen“) repräsentiert, sollten Fachleute auf dem Gebiet beispielsweise verstehen, dass ein solches Element einen oder mehrere Signalpfade (z. B. einen Bus) repräsentieren kann, wie erforderlich, um die Kommunikation zu bewirken.
Obwohl die Begriffe erster, zweiter, dritter und/oder dergleichen verwendet werden, um verschiedene Elemente zu beschreiben, sollten diese Elemente nicht durch diese Begriffe eingeschränkt werden. Die Begriffe erster, zweiter, dritter und/oder dergleichen werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Beispielsweise könnte ein erster Kontakt als ein zweiter Kontakt bezeichnet werden und gleichermaßen könnte ein zweiter Kontakt als ein erster Kontakt bezeichnet werden, ohne vom Schutzumfang der beschriebenen Ausführungsformen abzuweichen. Sowohl der erste Kontakt als auch der zweite Kontakt sind Kontakte, sie sind aber nicht derselbe Kontakt.
Die in der Beschreibung der verschiedenen beschriebenen Ausführungsformen hierin verwendete Terminologie ist nur zum Zweck der Beschreibung spezieller Ausführungsformen enthalten und soll nicht beschränkend sein. Wie in der Beschreibung der verschiedenen beschriebenen Ausführungsformen und in den angehängten Ansprüchen verwendet, sollen die Singularformen „ein“, „eine“ und „der/die/das“ auch die Pluralformen einschließen und können austauschbar mit „ein/e oder mehrere“ oder „mindestens ein/e“ verwendet werden, insofern der Zusammenhang deutlich nicht etwas anderes angibt. Es versteht sich auch, dass sich der Begriff „und/oder“, wie hierin verwendet, auf jegliche und alle möglichen Kombinationen eines oder mehrerer der assoziierten aufgelisteten Punkte bezieht und einschließt. Es versteht sich ferner, dass die Begriffe „beinhaltet“, „einschließlich“, „umfasst“ und/oder „umfassend“, wenn in dieser Beschreibung verwendet, das Vorhandensein genannter Merkmale, Ganzzahlen, Schritte, Operationen, Elemente und/oder Komponenten spezifiziert, aber nicht das Vorhandensein oder den Zusatz eines/einer oder mehrerer anderer Merkmale, Ganzzahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon ausschließt.
Wie hierin verwendet, beziehen sich die Begriffe „Kommunikation“ und „kommunizieren“ auf den Empfang und/oder den Erhalt und/oder die Übertragung und/oder den Transfer und/oder die Bereitstellung und/oder dergleichen von Informationen (oder Informationen, die beispielsweise durch Daten, Signale, Nachrichten, Anweisungen, Befehle und/oder dergleichen repräsentiert werden). Dass eine Einheit (z. B. eine Vorrichtung, ein System, eine Komponente einer Vorrichtung oder eines Systems, Kombinationen davon und/oder dergleichen) in Kommunikation mit einer anderen Einheit steht, bedeutet, dass die eine Einheit in der Lage ist, direkt oder indirekt Informationen von der anderen Einheit zu empfangen und/oder zu dieser zu senden (z. B. zu übertragen). Dies kann sich auf eine direkte oder indirekte Verbindung beziehen, die drahtgebunden und/oder drahtlos ist. Zusätzlich können zwei Einheiten in Kommunikation miteinander stehen, selbst wenn die übertragenen Informationen zwischen der ersten und zweiten Einheit modifiziert, verarbeitet, weitergeleitet und/oder geroutet werden. Beispielsweise kann eine erste Einheit in Kommunikation mit einer zweiten Einheit stehen, selbst wenn die erste Einheit Informationen passiv empfängt und nicht aktiv Informationen zu der zweiten Einheit überträgt. Als ein anderes Beispiel kann eine erste Einheit in Kommunikation mit einer zweiten Einheit stehen, falls mindestens eine Zwischeneinheit (z. B. eine dritte Einheit, die sich zwischen der ersten Einheit und der zweiten Einheit befindet) von der ersten Einheit empfangene Informationen verarbeitet und die verarbeiteten Informationen zu der zweiten Einheit überträgt. In manchen Ausführungsformen kann sich eine Nachricht auf ein Netzwerkpaket (z. B. ein Datenpaket und/oder dergleichen) beziehen, das Daten beinhaltet.
Wie hierin verwendet, soll der Begriff „falls“ optional so ausgelegt werden, dass er in oder Abhängigkeit vom Zusammenhang „wenn“, „bei“, „als Reaktion auf das Bestimmen“, „als Reaktion auf das Detektieren“ und/oder dergleichen bedeutet. Gleichermaßen wird der Ausdruck „falls bestimmt wird“ oder „falls [eine angegebene Bedingung oder ein angegebenes Ereignis] detektiert wird“ optional als „beim Bestimmen“, „als Reaktion auf das Bestimmen“, „beim Detektieren [der angegebenen Bedingung oder des angegebenen Ereignisses]“, „als Reaktion auf das Detektieren [der angegebenen Bedingung oder des angegebenen Ereignisses]“ und/oder dergleichen bedeutend, in Abhängigkeit vom Kontext ausgelegt. Wie hierin verwendet sollen außerdem die Begriffe „hat“, „haben“, „aufweisend“ oder dergleichen offene Begriffe sein. Ferner soll der Ausdruck „basierend auf“ „zumindest teilweise basierend auf“ bedeuten, insofern nichts anderes ausdrücklich angegeben ist.
Einige Ausführungsformen der vorliegenden Offenbarung sind hierin in Verbindung mit einer Schwelle beschrieben. Wie hierin beschrieben, kann sich das Erfüllen einer Schwelle darauf beziehen, dass ein Wert größer als die Schwelle ist, mehr als die Schwelle ist, höher als die Schwelle ist, größer als oder gleich der Schwelle ist, kleiner als die Schwelle ist, weniger als die Schwelle ist, niedriger als die Schwelle ist, kleiner oder gleich der Schwelle ist, gleich der Schwelle ist und/oder dergleichen.
Nun wird ausführlicher Bezug auf Ausführungsformen genommen, von denen Beispiele in den begleitenden Zeichnungen veranschaulicht sind. In der folgenden ausführlichen Beschreibung werden zahlreiche spezifische Einzelheiten dargelegt, um ein umfassendes Verständnis der verschiedenen beschriebenen Ausführungsformen bereitzustellen. Ein Durchschnittsfachmann auf dem Gebiet wird jedoch verstehen, dass die verschiedenen beschriebenen Ausführungsformen ohne diese spezifischen Einzelheiten umgesetzt werden können. In anderen Fällen sind wohlbekannte Verfahren, Prozeduren, Komponenten, Schaltungen und Netzwerke nicht ausführlich beschrieben, damit Aspekte der Ausführungsformen nicht unnötig unklar gemacht werden.
Allgemeiner Überblick
In manchen Aspekten und/oder Ausführungsformen beinhalten und/oder implementieren hierin beschriebene Systeme, Verfahren und Computerprogrammprodukte das Vorhersagen der Bewegung hypothetischer Agenten. Das Vorhandensein und die Bewegung eines hypothetischen Agenten (z. B. eines Fußgängers oder eines Fahrzeugs) wird teilweise basierend auf Merkmalen eines Objekts vorhergesagt, das den hypothetischen Agenten verdeckt. Im Allgemeinen kann ein Fahrzeug vorhersagen, dass ein Agent hinter einer Verdeckung vorhanden ist, und mögliche Trajektorien für den Agenten erzeugen, um sich auf Szenarien vorzubereiten, in denen der Agent tatsächlich vorhanden ist und vermieden werden muss (z. B. um eine Kollision mit einem Agenten zu verhindern, der plötzlich von hinter der Verdeckung hervortritt). Falls die Verdeckung „offen“ ist (z. B. die Verdeckung einen Eintrittspunkt und einen Austrittspunkt aufweist, die für das Fahrzeug sichtbar sind), dann kann das Fahrzeug Beschränkungen an der Bewegung des hypothetischen Agenten genauer vorhersagen. Beispielsweise ist es wahrscheinlich, dass sich ein Agent nicht mit einer hohen Geschwindigkeit hinter einer offenen Verdeckung fortbewegt, es sei denn, dass er für das Fahrzeug sichtbar war, bevor er hinter der offenen Verdeckung läuft.
Aufgrund der Implementierung von hierin beschriebenen Systemen, Verfahren und Computerprogrammprodukten weisen Techniken zum Vorhersagen der Bewegung hypothetischer Agenten die folgenden Vorteile auf. Eine Verteilung von Bewegungsprofilen für Agenten gewährleistet realistischere Beschränkungen für das Fahrzeug, um eine Kollision mit den Agenten zu vermeiden, falls sie vorhanden sind. Das Antizipieren von Agenten in nicht beobachtbaren Gebieten ermöglicht, dass das Fahrzeug sicherer betrieben wird. Agenten werden nur erzeugt, wenn sich das Fahrzeug innerhalb eines Abstands von den hypothetischen Pfaden des Agenten befindet, was dem Fahrzeug ermöglicht, Rechenressourcen zu sparen. Zwei eingeführte Klassen von Agenten (z. B. Fußgänger und Fahrzeuge) ermöglichen dem Fahrzeug eine kollisionsärmere Pfadplanung.
Jetzt mit Bezug auf 1 ist eine beispielhafte Umgebung 100 veranschaulicht, in der Fahrzeuge, die autonome Systeme beinhalten, sowie Fahrzeuge, die diese nicht beinhalten, betrieben werden. Wie veranschaulicht, beinhaltet die Umgebung 100 Fahrzeuge 102a-102n, Objekte 104a-104n, Routen 106a-106n, einen Bereich 108, eine Fahrzeug-zu-Infrastruktur(V21)-Vorrichtung 110, ein Netzwerk 112, ein Fern-Autonomes-Fahrzeug-System (Fern-AV-System) 114, ein Flottenmanagementsystem 116 und ein V21-System 118. Die Fahrzeuge 102a-102n, die Fahrzeug-zu-Infrastruktur(V21)-Vorrichtung 110, das Netzwerk 112, das Autonome-Fahrzeug(AV)-System 114, das Flottenmanagementsystem 116 und das V21-System 118 sind über drahtgebundene Verbindungen, drahtlose Verbindungen oder eine Kombination von drahtgebundenen oder drahtlosen Verbindungen miteinander verbunden (z. B. erstellen eine Verbindung zum Kommunizieren und/oder dergleichen). In manchen Ausführungsformen sind die Objekte 104a-104n über drahtgebundene Verbindungen, drahtlose Verbindungen oder eine Kombination von drahtgebundenen oder drahtlosen Verbindungen mit den Fahrzeugen 102a-102n und/oder der Fahrzeug-zu-Infrastruktur(V21)-Vorrichtung 110 und/oder dem Netzwerk 112 und/oder dem Autonomes-Fahrzeug(AV)-System 114 und/oder dem Flottenmanagementsystem 116 und/oder dem V21-System 118 verbunden.
Die Fahrzeuge 102a-102n (einzeln als Fahrzeug 102 und kollektiv als Fahrzeuge 102 bezeichnet) beinhalten mindestens eine Vorrichtung, die zum Transportieren von Gütern und/oder Menschen ausgelegt ist. In manchen Ausführungsformen sind die Fahrzeuge 102 dazu ausgelegt, sich über das Netzwerk 112 in Kommunikation mit der V21-Vorrichtung 110, dem Fern-AV-System 114, dem Flottenmanagementsystem 116 und/oder dem V21-System 118 zu befinden. In manchen Ausführungsformen beinhalten die Fahrzeuge 102 Autos, Busse, Lastkraftwagen, Züge und/oder dergleichen. In manchen Ausführungsformen sind die Fahrzeuge 102 die gleichen oder ähnlich wie die hierin beschriebenen Fahrzeuge 200 (siehe 2). In manchen Ausführungsformen ist ein Fahrzeug 200 eines Satzes von Fahrzeugen 200 mit einem autonomen Flottenmanager assoziiert. In manchen Ausführungsformen fahren die Fahrzeuge 102 entlang jeweiliger Routen 106a-106n (einzeln als Route 106 und kollektiv als Routen 106 bezeichnet), wie hierin beschrieben. In manchen Ausführungsformen beinhalten ein oder mehrere Fahrzeuge 102 ein autonomes System (z. B. ein autonomes System, das das gleiche oder ähnlich ist wie das autonome System 202).
Die Objekte 104a-104n (einzeln als Objekt 104 und kollektiv als Objekte 104 bezeichnet) beinhalten beispielsweise mindestens ein Fahrzeug, mindestens einen Fußgänger, mindestens einen Fahrradfahrer, mindestens eine Struktur (z. B. ein Gebäude, ein Schild, einen Hydranten usw.) und/oder dergleichen. Jedes Objekt 104 ist stationär (z. B. befindet sich für einen Zeitraum an einem festen Ort) oder mobil (z. B. mit einer Geschwindigkeit und mit mindestens einer Trajektorie assoziiert). In manchen Ausführungsformen sind die Objekte 104 mit entsprechenden Standorten im Bereich 108 assoziiert.
Die Routen 106a-106n (einzeln als Route 106 und kollektiv als Routen 106 bezeichnet) sind jeweils mit einer Sequenz von Handlungen (auch als eine Trajektorie bekannt) assoziiert (z. B. festgelegt), die Zustände verbinden, entlang denen ein AV navigieren kann. Jede Route 106 startet an einem Anfangszustand (z. B. einem Zustand, der einem ersten raumzeitlichen Standort, einer ersten Geschwindigkeit und/oder dergleichen entspricht) und weist einen Endzielzustand (z. B. einem Zustand, der einem zweiten raumzeitlichen Standort entspricht, der sich vom ersten raumzeitlichen Standort unterscheidet) oder ein Zielgebiet (z. B. einen Teilraum akzeptabler Zustände (z. B. Endzustände)) auf. In manchen Ausführungsformen beinhaltet der erste Zustand einen Standort, an dem ein Individuum oder Individuen durch das AV abzuholen ist/sind, und der zweite Zustand oder das Gebiet beinhaltet einen Standort oder Standorte, an dem/denen das Individuum oder die Individuen, das/die durch das AV abgeholt wurde/n, abzusetzen ist/sind. In manchen Ausführungsformen beinhalten die Routen 106 mehrere akzeptable Zustandssequenzen (z. B. mehrere raumzeitliche Standortsequenzen), wobei die mehreren Zustandssequenzen mit mehreren Trajektorien assoziiert sind (z. B. definieren). In einem Beispiel beinhalten die Routen 106 nur Handlungen hoher Ebene oder Standorte mit ungenauem Zustand, wie etwa eine Reihe von verbundenen Straßen, die Abbiegerichtungen an Straßenkreuzungen vorschreiben. Zusätzlich oder alternativ können die Routen 106 genauere Handlungen oder Zustände beinhalten, wie etwa zum Beispiel spezifische Zielspuren oder genaue Standorte innerhalb der Spurbereiche und eine angezielte Geschwindigkeit an diesen Positionen. In einem Beispiel beinhalten die Routen 106 mehrere genaue Zustandssequenzen entlang der mindestens einen Handlungssequenz hoher Ebene mit einem beschränkten Vorausschauhorizont, um Zwischenziele zu erreichen, wobei die Kombination erfolgreicher Iterationen von Zustandssequenzen mit beschränktem Horizont kumulativ mehreren Trajektorien entsprechen, die kollektiv die Route hoher Ebene bilden, um am Endzielzustand oder -gebiet zu enden.
Der Bereich 108 beinhaltet einen physischen Bereich (z. B. ein geografisches Gebiet), in dem die Fahrzeuge 102 navigieren können. In einem Beispiel beinhaltet der Bereich 108 mindestens einen Staat (z. B. ein Land, eine Provinz, ein einzelnes Bundesland mehrerer Bundesländer, die in einem Land eingeschlossen sind, usw.), mindestens einen Teil eines Staates, mindestens eine Stadt, mindestens einen Teil einer Stadt usw. In manchen Ausführungsformen beinhaltet der Bereich 108 mindestens eine benannte Durchgangsstraße (hierin als eine „Straße“ bezeichnet), wie etwa eine Landstraße, eine Autobahn, eine Schnellstraße, eine Stadtstraße usw. Zusätzlich oder alternativ beinhaltet der Bereich 108 in manchen Beispielen mindestens eine unbenannte Straße wie etwa eine Einfahrt, einen Abschnitt eines Parkplatzes, einen Abschnitt eines unbebauten und/oder bebauten Grundstücks, einen Feldweg usw. In manchen Ausführungsformen beinhaltet eine Straße mindestens eine Spur (z. B. einen Teil der Straße, der von den Fahrzeugen 102 befahren werden kann). In einem Beispiel beinhaltet eine Straße mindestens eine Spur, die mit mindestens einer Spurmarkierung assoziiert ist (z. B. basierend darauf identifiziert wird).
Die Fahrzeug-zu-Infrastruktur(V21)-Vorrichtung 110 (manchmal als eine Fahrzeug-zu-Infrastruktur(V2X)-Vorrichtung bezeichnet) beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, sich in Kommunikation mit den Fahrzeugen 102 und/oder dem V21-Infrastruktursystem 118 zu befinden. In manchen Ausführungsformen ist die V21-Vorrichtung 110 dazu ausgelegt, sich über das Netzwerk 112 in Kommunikation mit den Fahrzeugen 102, dem Fern-AV-System 114, dem Flottenmanagementsystem 116 und/oder dem V21-System 118 zu befinden. In manchen Ausführungsformen beinhaltet die V21-Vorrichtung 110 eine Hochfrequenzidentifikation(RFID)-Vorrichtung, Beschilderung, Kameras (z. B. zweidimensionale (2D) und/oder dreidimensionale (3D) Kameras), Spurmarkierungen, Straßenleuchten, Parkuhren usw. In manchen Ausführungsformen ist die V21-Vorrichtung 110 dazu ausgelegt, direkt mit den Fahrzeugen 102 zu kommunizieren. Zusätzlich oder alternativ ist die V21-Vorrichtung 110 in manchen Ausführungsformen dazu ausgelegt, über das V21-System 118 mit den Fahrzeugen 102, dem Fern-AV-System 114 und/oder dem Flottenmanagementsystem 116 zu kommunizieren. In manchen Ausführungsformen ist die V21-Vorrichtung 110 dazu ausgelegt, über das Netzwerk 112 mit dem V2I-System 118 zu kommunizieren.
Das Netzwerk 112 beinhaltet ein oder mehrere drahtgebundene und/oder drahtlose Netzwerke. In einem Beispiel beinhaltet das Netzwerk 112 ein Zellularnetzwerk (z. B. ein Long-Term-Evolution(LTE)-Netzwerk, ein Drittgeneration(3G)-Netzwerk, ein Viertgeneration(4G)-Netzwerk, ein Fünftgeneration(5G)-Netzwerk, ein CDMA(Codemultiplex-Mehrfachzugriff)-Netzwerk usw.), ein öffentliches Landmobilnetz (PLMN), ein Lokalnetzwerk (LAN), ein Weitbereichsnetzwerk (WAN), ein städtisches Netzwerk (MAN), ein Telefonnetz (z. B. das öffentliche Fernsprechnetz (PSTN)), ein privates Netzwerk, ein Ad-Hoc-Netzwerk, ein Intranet, das Internet, ein Faseroptik-basiertes Netzwerk, ein Cloud-Computing-Netzwerk usw., eine Kombination mancher oder aller dieser Netzwerke und/oder dergleichen.
Das Fern-AV-System 114 beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, sich über das Netzwerk 112 in Kommunikation mit den Fahrzeugen 102, der V21-Vorrichtung 110, dem Netzwerk 112, dem Fern-AV-System 114, dem Flottenmanagementsystem 116 und/oder dem V21-System 118 zu befinden. In einem Beispiel beinhaltet das Fern-AV-System 114 einen Server, eine Gruppe von Servern und/oder andere gleichartige Vorrichtungen. In manchen Ausführungsformen ist das Fern-AV-System 114 mit dem Flottenmanagementsystem 116 kolokalisiert. In manchen Ausführungsformen ist das Fern-AV-System 114 an der Installation eines Teils oder aller Komponenten eines Fahrzeugs beteiligt, einschließlich eines autonomen Systems, eines autonomen Fahrzeugcomputers, Software, die durch einen autonomen Fahrzeugcomputer implementiert wird, und/oder dergleichen. In manchen Ausführungsformen verwaltet (z. B. aktualisiert und/oder ersetzt) das Fern-AV-System 114 solche Komponenten und/oder Software während der Lebensdauer des Fahrzeugs.
Das Flottenmanagementsystem 116 beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, sich in Kommunikation mit den Fahrzeugen 102, der V21-Vorrichtung 110, dem Fern-AV-System 114 und/oder dem V2I-Infrastruktursystem 118 zu befinden. In einem Beispiel beinhaltet das Flottenmanagementsystem 116 einen Server, eine Gruppe von Servern und/oder andere gleichartige Vorrichtungen. In manchen Ausführungsformen ist das Flottenmanagementsystem 116 mit einem Fahrgemeinschaftsunternehmen assoziiert (z. B. einer Organisation, die den Betrieb mehrerer Fahrzeuge steuert (z. B. Fahrzeuge, die autonome Systeme beinhalten, und/oder Fahrzeuge, die keine autonome Systeme beinhalten), und/oder dergleichen).
In manchen Ausführungsformen beinhaltet das V21-System 118 mindestens eine Vorrichtung, die dazu ausgelegt ist, sich über das Netzwerk 112 mit den Fahrzeugen 102, der V21-Vorrichtung 110, dem Fern-AV-System 114 und/oder dem Flottenmanagementsystem 116 in Kommunikation zu befinden. In manchen Beispielen ist das V21-System 118 dazu ausgelegt, über eine andere Verbindung als das Netzwerk 112 mit der V21-Vorrichtung 110 in Kommunikation zu stehen. In manchen Ausführungsformen beinhaltet das V21-System 118 einen Server, eine Gruppe von Servern und/oder andere gleichartige Vorrichtungen. In manchen Ausführungsformen ist das V21-System 118 mit einer Stadtverwaltung oder einer privaten Institution (z. B. einer privaten Institution, die die V21-Vorrichtung 110 verwaltet und/oder dergleichen) assoziiert.
Die Anzahl und die Anordnung der in 1 veranschaulichten Elemente sind als ein Beispiel bereitgestellt. Es kann zusätzliche Elemente, weniger Elemente, andere Elemente und/oder anders angeordnete Elemente als die in 1 veranschaulichten geben. Zusätzlich oder alternativ kann mindestens ein Element der Umgebung 100 eine oder mehrere Funktionen durchführen, die als durch mindestens ein anderes Element von 1 durchgeführt beschrieben werden. Zusätzlich oder alternativ kann mindestens ein Satz von Elementen der Umgebung 100 eine oder mehrere Funktionen durchführen, die als durch mindestens einen anderen Satz von Elementen der Umgebung 100 durchgeführt beschrieben werden.
Jetzt mit Bezug auf 2 beinhaltet ein Fahrzeug 200 ein autonomes System 202, ein Antriebsstrangsteuersystem 204, ein Lenkungssteuersystem 206 und ein Bremssystem 208. In manchen Ausführungsformen ist das Fahrzeug 200 das gleiche oder ähnlich wie das Fahrzeug 102 (siehe 1). In manchen Ausführungsformen weist das Fahrzeug 102 autonome Fähigkeit auf (z. B. implementiert mindestens eine Funktion, mindestens ein Merkmal, mindestens eine Vorrichtung und/oder dergleichen, die/das dem Fahrzeug 200 ermöglicht, teilweise oder vollständig ohne menschlichen Eingriff betrieben zu werden, einschließlich unter anderem vollautonome Fahrzeuge (z. B. Fahrzeuge, die nicht auf einen menschlichen Eingriff angewiesen sind), hochautonome Fahrzeuge (z. B. Fahrzeuge, die in gewissen Situationen nicht auf einen menschlichen Eingriff angewiesen sind) und/oder dergleichen). Für eine ausführliche Beschreibung von vollautonomen Fahrzeugen und hochautonomen Fahrzeugen kann Bezug auf den Standard J3016 von SAE International: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems (Klassifikation und Definitionen für Begriffe bezüglich automatisierter Fahrsysteme für Straßenkraftfahrzeuge) genommen werden, der hiermit in seiner Gesamtheit einbezogen wird. In manchen Ausführungsformen ist das Fahrzeug 200 mit einem autonomen Flottenmanager und/oder einem Fahrgemeinschaftsunternehmen assoziiert.
Das autonome System 202 beinhaltet eine Sensorsuite, die eine oder mehrere Vorrichtungen wie etwa Kameras 202a, LiDAR-Sensoren 202b, Radar-Sensoren 202c und Mikrofone 202d beinhaltet. In manchen Ausführungsformen kann das autonome System 202 mehr oder weniger Vorrichtungen und/oder andere Vorrichtungen beinhalten (z. B. Ultraschallsensoren, inertiale Sensoren, GPS-Empfänger (nachstehend besprochen), Hodometriesensoren, die Daten erzeugen, die mit einer Angabe einer durch das Fahrzeug 200 gefahrenen Entfernung assoziiert sind, und/oder dergleichen). In manchen Ausführungsformen verwendet das autonome System 202 die eine oder die mehreren im autonomen System 202 enthaltenen Vorrichtungen, um Daten zu erzeugen, die mit der hierin beschriebenen Umgebung 100 assoziiert sind. Die durch die eine oder die mehreren Vorrichtungen des autonomen Systems 202 erzeugten Daten können durch ein oder mehrere hierin beschriebene Systeme verwendet werden, um die Umgebung (z. B. die Umgebung 100) zu beobachten, in der sich das Fahrzeug 200 befindet. In manchen Ausführungsformen beinhaltet das autonome System 202 eine Kommunikationsvorrichtung 202e, einen autonomen Fahrzeugcomputer 202f und ein Drive-by-Wire(DBW)-System 202h.
Die Kameras 202a beinhalten mindestens eine Vorrichtung, die dazu ausgelegt ist, sich über einen Bus (z. B. einen Bus, der der gleiche oder ähnlich ist wie der Bus 302 von 3) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem autonomen Fahrzeugcomputer 202f und/oder einer Sicherheitssteuerung 202g zu befinden. Die Kameras 202a beinhalten mindestens eine Kamera (z. B. eine Digitalkamera, die einen Lichtsensor verwendet, wie etwa eine CCD (Charge-Coupled Device), eine Wärmekamera, eine Infrarot(IR)-Kamera, eine Ereigniskamera und/oder dergleichen), um Bilder aufzunehmen, die physische Objekte (z. B. Autos, Busse, Bordsteinkanten, Menschen und/oder dergleichen) beinhalten. In manchen Ausführungsformen erzeugt die Kamera 202a Kameradaten als Ausgabe. In manchen Beispielen erzeugt die Kamera 202a Kameradaten, die Bilddaten beinhalten, die mit einem Bild assoziiert sind. In diesem Beispiel können die Bilddaten mindestens einen Parameter (z. B. Bildcharakteristiken wie etwa Belichtung, Helligkeit usw., einen Bildzeitstempel und/oder dergleichen) entsprechend dem Bild spezifizieren. In einem solchen Beispiel kann das Bild in einem Format vorliegen (z. B. RAW, JPEG, PNG und/oder dergleichen). In manchen Ausführungsformen beinhaltet die Kamera 202a mehrere unabhängige Kameras, die auf einem Fahrzeug ausgebildet (z. B. positioniert) sind, um Bilder für Stereopsis (Stereosicht) aufzunehmen. In manchen Beispielen beinhaltet die Kamera 202a mehrere Kameras, die Bilddaten erzeugen und die Bilddaten zu dem autonomen Fahrzeugcomputer 202f und/oder einem Flottenmanagementsystem (z. B. einem Flottenmanagementsystem, das das gleiche oder ähnlich ist wie das Flottenmanagementsystem 116 von 1) übertragen. In einem solchen Beispiel bestimmt der autonome Fahrzeugcomputer 202f eine Tiefe zu einem oder mehreren Objekten in einem Sichtfeld von mindestens zwei Kameras der mehreren Kameras basierend auf den Bilddaten von den mindestens zwei Kameras. In manchen Ausführungsformen sind die Kameras 202a dazu ausgelegt, Bilder von Objekten innerhalb eines Abstands von den Kameras 202a (z. B. bis zu 100 Metern, bis zu einem Kilometer und/oder dergleichen) aufzunehmen. Dementsprechend beinhalten die Kameras 202a Merkmale wie etwa Sensoren und Objektive, die zum Wahrnehmen von Objekten optimiert sind, die sich bei einem oder mehreren Abständen von den Kameras 202a befinden.
In einigen Ausführungsformen beinhaltet die Kamera 202a mindestens eine Kamera, die dazu ausgelegt ist, ein oder mehrere Bilder aufzunehmen, die mit einer oder mehreren Ampeln, einem oder mehreren Straßenschildern und/oder anderen physischen Objekten assoziiert sind, die visuelle Navigationsinformationen bereitstellen. In manchen Ausführungsformen erzeugt die Kamera 202a Ampeldaten, die mit einem oder mehreren Bildern assoziiert sind. In manchen Beispielen erzeugt die Kamera 202a TLD-Daten, die mit einem oder mehreren Bildern assoziiert sind, die ein Format (z. B. RAW, JPEG, PNG und/oder dergleichen) beinhalten. In manchen Ausführungsformen unterscheidet sich die Kamera 202a, die TLD-Daten erzeugt, in dem Sinne von anderen hierin beschriebenen Systemen, die Kameras beinhalten, dass die Kamera 202a eine oder mehrere Kameras mit einem weiten Sichtfeld beinhalten kann (z. B. einem Weitwinkelobjektiv, einem Fischaugenobjektiv, einem Objektiv mit einem Sichtwinkel von ungefähr 120 Grad oder mehr und/oder dergleichen), um Bilder über so viele physische Objekte wie möglich zu erzeugen.
Die LiDAR(Lichtdetektion und -entfernungsmessung)-Sensoren 202b beinhalten mindestens eine Vorrichtung, die dazu ausgelegt ist, sich über einen Bus (z. B. einen Bus, der der gleiche oder ähnlich ist wie der Bus 302 von 3) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem autonomen Fahrzeugcomputer 202f und/oder der Sicherheitssteuerung 202g zu befinden. Die LiDAR-Sensoren 202b beinhalten ein System, das dazu ausgelegt ist, Licht von einem Lichtemitter (z. B. einem Laser-Sender) zu übertragen. Durch die LiDAR-Sensoren 202b emittiertes Licht beinhaltet Licht (z. B. Infrarotlicht und/oder dergleichen), das sich außerhalb des sichtbaren Spektrums befindet. In manchen Ausführungsformen trifft während des Betriebs Licht, das durch die LiDAR-Sensoren 202b emittiert wird, auf ein physisches Objekt (z. B. ein Fahrzeug) und wird zurück zu den LiDAR-Sensoren 202b reflektiert. In manchen Ausführungsformen dringt das durch die LiDAR-Sensoren 202b emittierte Licht nicht in die physischen Objekte ein, auf die das Licht trifft. Die LiDAR-Sensoren 202b beinhalten auch mindestens einen Lichtdetektor, der das Licht detektiert, das vom Lichtemitter emittiert wurde, nachdem das Licht auf ein physisches Objekt traf. In manchen Ausführungsformen erzeugt mindestens ein Datenverarbeitungssystem, das mit den LiDAR-Sensoren 202b assoziiert ist, ein Bild (z. B. eine Punktwolke, eine kombinierte Punktwolke und/oder dergleichen), das die in einem Sichtfeld der LiDAR-Sensoren 202b enthaltenen Objekte repräsentiert. In manchen Beispielen erzeugt das mindestens eine Datenverarbeitungssystem, das mit den LiDAR-Sensoren 202b assoziiert ist, ein Bild, das die Grenzen eines physischen Objekts, die Oberflächen (z. B. die Topologie der Oberflächen) des physischen Objekts und/oder dergleichen repräsentiert. In einem solchen Beispiel wird das Bild verwendet, um die Grenzen von physischen Objekten im Sichtfeld der LiDAR-Sensoren 202b zu bestimmen.
Die Radar(Funkdetektion und -entfernungsmessung)-Sensoren 202c beinhalten mindestens eine Vorrichtung, die dazu ausgelegt ist, sich über einen Bus (z. B. einen Bus, der der gleiche oder ähnlich ist wie der Bus 302 von 3) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem autonomen Fahrzeugcomputer 202f und/oder der Sicherheitssteuerung 202g zu befinden. Die Radar-Sensoren 202c beinhalten ein System, das dazu ausgelegt ist, Funkwellen (entweder gepulst oder kontinuierlich) zu übertragen. Die durch die Radar-Sensoren 202c übertragenen Funkwellen beinhalten Funkwellen, die innerhalb eines vorbestimmten Spektrums liegen. In manchen Ausführungsformen treffen während des Betriebs Funkwellen, die durch die Radar-Sensoren 202c übertragen werden, auf ein physisches Objekt und werden zurück zu den Radar-Sensoren 202c reflektiert. In manchen Ausführungsformen werden die durch die Radar-Sensoren 202c übertragenen Funkwellen nicht durch irgendwelche Objekte reflektiert. In manchen Ausführungsformen erzeugt mindestens ein Datenverarbeitungssystem, das mit den Radar-Sensoren 202c assoziiert ist, Signale, die die in einem Sichtfeld der Radar-Sensoren 202c enthaltenen Objekte repräsentieren. Beispielsweise erzeugt das mindestens eine Datenverarbeitungssystem, das mit den Radar-Sensoren 202c assoziiert ist, ein Bild, das die Grenzen eines physischen Objekts, die Oberflächen (z. B. die Topologie der Oberflächen) des physischen Objekts und/oder dergleichen repräsentiert. In manchen Beispielen wird das Bild verwendet, um die Grenzen von physischen Objekten im Sichtfeld der Radar-Sensoren 202c zu bestimmen.
Die Mikrofone 202d beinhalten mindestens eine Vorrichtung, die dazu ausgelegt ist, sich über einen Bus (z. B. einen Bus, der der gleiche oder ähnlich ist wie der Bus 302 von 3) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem autonomen Fahrzeugcomputer 202f und/oder einer Sicherheitssteuerung 202g zu befinden. Die Mikrofone 202d beinhalten ein oder mehrere Mikrofone (z. B. Array-Mikrofone, externe Mikrofone und/oder dergleichen), die Audiosignale erfassen und Daten erzeugen, die mit den Audiosignalen assoziiert sind (z. B. repräsentieren). In manchen Beispielen beinhalten die Mikrofone 202d Wandlervorrichtungen und/oder gleichartige Vorrichtungen. In manchen Ausführungsformen können ein oder mehrere hierin beschriebene Systeme die durch die Mikrofone 202d erzeugten Daten empfangen und eine Position eines Objekts relativ zu dem Fahrzeug 200 (z. B. einen Abstand und/oder dergleichen) basierend auf den mit den Daten assoziierten Audiosignalen bestimmen.
Die Kommunikationsvorrichtung 202e beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, sich mit den Kameras 202a, den LiDAR-Sensoren 202b, den Radar-Sensoren 202c, den Mikrofonen 202d, dem autonomen Fahrzeugcomputer 202f, der Sicherheitssteuerung 202g und/oder dem DBW-System 202h in Kommunikation zu befinden. Beispielsweise kann die Kommunikationsvorrichtung 202e eine Vorrichtung beinhalten, die die gleiche oder ähnlich ist wie die Kommunikationsschnittstelle 314 von 3. In manchen Ausführungsformen beinhaltet die Kommunikationsvorrichtung 202e eine Fahrzeug-zu-Fahrzeug(V2V)-Kommunikationsvorrichtung (z. B. eine Vorrichtung, die eine drahtlose Kommunikation von Daten zwischen Fahrzeugen ermöglicht).
Der autonome Fahrzeugcomputer 202f beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, sich mit den Kameras 202a, den LiDAR-Sensoren 202b, den Radar-Sensoren 202c, den Mikrofonen 202d, der Kommunikationsvorrichtung 202e, der Sicherheitssteuerung 202g und/oder dem DBW-System 202h in Kommunikation zu befinden. In manchen Beispielen beinhaltet der autonome Fahrzeugcomputer 202f eine Vorrichtung wie etwa eine Client-Vorrichtung, eine mobile Vorrichtung (z. B. ein zellulares Telefon, ein Tablet und/oder dergleichen), einen Server (z. B. eine Rechenvorrichtung, die eine oder mehrere Zentralverarbeitungseinheiten, Grafikverarbeitungseinheiten und/oder dergleichen beinhaltet) und/oder dergleichen. In manchen Ausführungsformen ist der autonome Fahrzeugcomputer 202f der gleiche oder ähnlich wie der hierin beschriebene autonome Fahrzeugcomputer 400. Alternativ oder zusätzlich ist der autonome Fahrzeugcomputer 202f in manchen Ausführungsformen dazu ausgelegt, sich in Kommunikation mit einem autonomen Fahrzeugsystem (z. B. einem autonomen Fahrzeugsystem, das das gleiche oder ähnlich ist wie das Fern-AV-System 114 von 1), einem Flottenmanagementsystem (z. B. einem Flottenmanagementsystem, das das gleiche oder ähnlich ist wie das Flottenmanagementsystem 116 von 1), einer V21-Vorrichtung (z. B. einer V21-Vorrichtung, die die gleiche oder ähnlich ist wie die V21-Vorrichtung 110 von 1) und/oder einem V21-System (z. B. einem V2I-System, das das gleiche oder ähnlich ist wie das V21-System 118 von 1) zu befinden.
Die Sicherheitssteuerung 202g beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, sich mit den Kameras 202a, den LiDAR-Sensoren 202b, den Radar-Sensoren 202c, den Mikrofonen 202d, der Kommunikationsvorrichtung 202e, dem autonomen Fahrzeugcomputer 202f und/oder dem DBW-System 202h in Kommunikation zu befinden. In manchen Beispielen beinhaltet die Sicherheitssteuerung 202g eine oder mehrere Steuerungen (elektrische Steuerungen, elektromechanische Steuerungen und/oder dergleichen), die dazu ausgelegt sind, Steuersignale zum Betreiben einer oder mehrerer Vorrichtungen des Fahrzeugs 200 (z. B. Antriebsstrangsteuersystem 204, Lenkungssteuersystem 206, Bremssystem 208 und/oder dergleichen) zu erzeugen und/oder zu übertragen. In manchen Ausführungsformen ist die Sicherheitssteuerung 202g dazu ausgelegt, Steuersignale zu erzeugen, die gegenüber Steuersignalen Vorrang haben (z. B. überschreiben), die durch den autonomen Fahrzeugcomputer 202f erzeugt und/oder übertragen werden.
Das DBW-System 202h beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, mit der Kommunikationsvorrichtung 202e und/oder dem autonomen Fahrzeugcomputer 202f in Kommunikation zu stehen. In manchen Beispielen beinhaltet das DBW-System 202h eine oder mehrere Steuerungen (z. B. elektrische Steuerungen, elektromechanische Steuerungen und/oder dergleichen), die dazu ausgelegt sind, Steuersignale zum Betreiben einer oder mehrerer Vorrichtungen des Fahrzeugs 200 (z. B. Antriebsstrangsteuersystem 204, Lenkungssteuersystem 206, Bremssystem 208 und/oder dergleichen) zu erzeugen und/oder zu übertragen. Zusätzlich oder alternativ sind die eine oder die mehreren Steuerungen des DBW-Systems 202h dazu ausgelegt, Steuersignale zum Betreiben mindestens einer anderen Vorrichtung (z. B. eines Blinkers, Scheinwerfer, Türverriegelungen, Scheibenwischer und/oder dergleichen) des Fahrzeugs 200 zu erzeugen und/oder zu übertragen.
Das Antriebsstrangsteuersystem 204 beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, sich in Kommunikation mit dem DBW-System 202h zu befinden. In manchen Beispielen beinhaltet das Antriebsstrangsteuersystem 204 mindestens eine Steuerung, einen Aktor und/oder dergleichen. In manchen Ausführungsformen empfängt das Antriebsstrangsteuersystem 204 Steuersignale vom DBW-System 202h und das Antriebsstrangsteuersystem 204 bewirkt, dass das Fahrzeug 200 anfängt, sich vorwärts zu bewegen, aufhört, sich vorwärts zu bewegen, anfängt, sich rückwärts bewegen, aufhört, sich rückwärts zu bewegen, in eine Richtung beschleunigt, in eine Richtung abbremst, nach links abbiegt, nach rechts abbiegt und/oder dergleichen. In einem Beispiel bewirkt das Antriebsstrangsteuersystem 204, dass die einem Motor des Fahrzeugs bereitgestellte Energie (z. B. Kraftstoff, Elektrizität und/oder dergleichen) zunimmt, gleich bleibt oder abnimmt, wodurch bewirkt wird, dass sich mindestens ein Rad des Fahrzeugs 200 dreht oder nicht dreht.
Das Lenkungssteuersystem 206 beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, ein oder mehrere Räder des Fahrzeugs 200 zu drehen. In manchen Beispielen beinhaltet das Lenkungssteuersystem 206 mindestens eine Steuerung, einen Aktor und/oder dergleichen. In manchen Ausführungsformen bewirkt das Lenkungssteuersystem 206, dass sich die zwei Vorderräder und/oder die zwei Hinterräder des Fahrzeugs 200 nach links oder rechts drehen, um zu bewirken, dass das Fahrzeug 200 nach links oder rechts abbiegt.
Das Bremssystem 208 beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, eine oder mehrere Bremsen zu betätigen, um zu bewirken, dass das Fahrzeug 200 die Geschwindigkeit reduziert und/oder stationär bleibt. In manchen Beispielen beinhaltet das Bremssystem 208 mindestens eine Steuerung und/oder mindestens einen Aktor, die/der dazu ausgelegt ist, zu bewirken, dass sich ein oder mehrere Bremssattel, die mit einem oder mehreren Rädern des Fahrzeugs 200 assoziiert sind, an einem entsprechenden Rotor des Fahrzeugs 200 schließen. Zusätzlich oder alternativ beinhaltet das Bremssystem 208 in manchen Beispielen ein automatisches Notfallbremssystem (AEB-System), ein regeneratives Bremssystem und/oder dergleichen.
In manchen Ausführungsformen beinhaltet das Fahrzeug 200 mindestens einen Plattformsensor (nicht ausdrücklich veranschaulicht), der Eigenschaften eines Status oder eines Zustands des Fahrzeugs 200 misst oder folgert. In manchen Beispielen beinhaltet das Fahrzeug 200 Plattformsensoren wie etwa einen Empfänger eines globalen Positionierungssystem (GPS), eine inertiale Messeinheit (IMU), einen Radgeschwindigkeitssensor, einen Radbremsdrucksensor, einen Raddrehmomentsensor, einen Motordrehmomentsensor, einen Lenkwinkelsensor und/oder dergleichen.
Jetzt mit Bezug auf 3 ist ein schematisches Diagramm einer Vorrichtung 300 veranschaulicht. Wie veranschaulicht, beinhaltet die Vorrichtung 300 einen Prozessor 304, einen Speicher 306, eine Speicherungskomponente 308, eine Eingangsschnittstelle 310, eine Ausgangsschnittstelle 312, eine Kommunikationsschnittstelle 314 und einen Bus 302. In manchen Ausführungsformen entspricht die Vorrichtung 300 mindestens einer Vorrichtung der Fahrzeuge 102 (z. B. mindestens einer Vorrichtung eines Systems der Fahrzeuge 102), mindestens einer Vorrichtung der Fahrzeuge 200 (z. B. mindestens einer Vorrichtung eines Systems der Fahrzeuge 200) und/oder einer oder mehrerer Vorrichtungen des Netzwerks 112 (z. B. einer oder mehrerer Vorrichtungen eines Systems des Netzwerks 112). In manchen Ausführungsformen beinhalten eine oder mehrere Vorrichtungen der Fahrzeuge 102 (z. B. eine oder mehrere Vorrichtungen eines Systems der Fahrzeuge 102), eine oder mehrere Vorrichtungen der Fahrzeuge 200 (z. B. eine oder mehrere Vorrichtungen eines Systems der Fahrzeuge 200) und/oder eine oder mehrere Vorrichtungen des Netzwerks 112 (z. B. eine oder mehrere Vorrichtungen eines Systems des Netzwerks 112) mindestens eine Vorrichtung 300 und/oder mindestens eine Komponente der Vorrichtung 300. Wie in 3 gezeigt, beinhaltet die Vorrichtung 300 den Bus 302, den Prozessor 304, den Speicher 306, die Speicherungskomponente 308, die Eingangsschnittstelle 310, die Ausgangsschnittstelle 312 und die Kommunikationsschnittstelle 314.
Der Bus 302 beinhaltet eine Komponente, die eine Kommunikation zwischen den Komponenten der Vorrichtung 300 ermöglicht. In manchen Ausführungsformen wird der Prozessor 304 in Hardware, Software oder einer Kombination von Hardware und Software implementiert. In manchen Beispielen beinhaltet der Prozessor 304 einen Prozessor (z. B. eine Zentralverarbeitungseinheit (CPU), eine Grafikverarbeitungseinheit (GPU), eine beschleunigte Verarbeitungseinheit (APU) und/oder dergleichen), ein Mikrofon, einen Digitalsignalprozessor (DSP) und/oder eine beliebige Verarbeitungskomponente (z. B. ein feldprogrammierbares Gate-Array (FPGA), eine anwendungsspezifische integrierte Schaltung (ASIC) und/oder dergleichen), die dahingehend programmiert werden kann, mindestens eine Funktion durchzuführen. Der Speicher 306 beinhaltet Direktzugriffsspeicher (RAM), Nurlesespeicher (ROM) und/oder eine andere Art von dynamischer und/oder statischer Speicherungsvorrichtung (z. B. Flash-Speicher, magnetischer Speicher, optischer Speicher und/oder dergleichen), die Daten und/oder Anweisungen zur Verwendung durch den Prozessor 304 speichert.
Die Speicherungskomponente 308 speichert Daten und/oder Software bezüglich des Betriebs und der Verwendung der Vorrichtung 300. In manchen Beispielen beinhaltet die Speicherungskomponente 308 eine Festplatte (z. B. eine Magnetplatte, eine optische Platte, eine magnetooptische Platte, eine Solid-State-Platte und/oder dergleichen), eine Compact Disc (CD), eine Digital Versatile Disc (DVD), eine Diskette, eine Kassette, ein Magnetband, eine CD-ROM, RAM, ROM, EPROM, FLASH-EPROM, NV-RAM und/oder eine andere Art von computerlesbarem Medium zusammen mit einem entsprechenden Laufwerk.
Die Eingangsschnittstelle 310 beinhaltet eine Komponente, die der Vorrichtung 300 ermöglicht, Informationen zu empfangen, wie etwa über eine Benutzereingabe (z. B. eine Touchscreen-Anzeige, eine Tastatur, ein Tastenfeld, eine Maus, eine Taste, einen Schalter, ein Mikrofon, eine Kamera und/oder dergleichen). Zusätzlich oder alternativ beinhaltet die Eingangsschnittstelle 310 in manchen Ausführungsformen einen Sensor, der Informationen erfasst (z. B. einen Empfänger eines globalen Positionierungssystems (GPS), einen Beschleunigungsmesser, ein Gyroskop, einen Aktor und/oder dergleichen). Die Ausgangsschnittstelle 312 beinhaltet eine Komponente, die Ausgangsinformationen von der Vorrichtung 300 bereitstellt (z. B. eine Anzeige, einen Lautsprecher, eine oder mehrere Leuchtdioden (LEDs) und/oder dergleichen).
In manchen Ausführungsformen beinhaltet die Kommunikationsschnittstelle 314 eine sendeempfängerartige Komponente (z. B. einen Sendeempfänger, einen getrennten Empfänger und Sender und/oder dergleichen), die der Vorrichtung 300 ermöglicht, über eine drahtgebundene Verbindung, eine drahtlose Verbindung oder eine Kombination aus drahtgebundenen und drahtlosen Verbindungen mit anderen Vorrichtungen zu kommunizieren. In manchen Beispielen ermöglicht die Kommunikationsschnittstelle 314 der Vorrichtung 300, Informationen von einer anderen Vorrichtung zu empfangen und/oder einer anderen Vorrichtung Informationen bereitzustellen. In manchen Beispielen beinhaltet die Kommunikationsschnittstelle 314 eine Ethernet-Schnittstelle, eine optische Schnittstelle, eine Koaxialschnittstelle, eine Infrarotschnittstelle, eine Hochfrequenz(HF)-Schnittstelle, eine Universal-Serial-Bus(USB)-Schnittstelle, eine WiFi^®-Schnittstelle, eine Zellularnetzschnittstelle und/oder dergleichen.
In manchen Ausführungsformen führt die Vorrichtung 300 einen oder mehrere hierin beschriebene Prozesse durch. Die Vorrichtung 300 führt diese Prozesse basierend darauf durch, dass der Prozessor 304 Softwareanweisungen ausführt, die durch ein computerlesbares Medium gespeichert werden, wie etwa den Speicher 306 und/oder die Speicherungskomponente 308. Ein computerlesbares Medium (z. B. ein nichtflüchtiges computerlesbares Medium) ist hierin als eine nichtflüchtige Speichervorrichtung definiert. Eine nichtflüchtige Speichervorrichtung beinhaltet Speicherplatz, der sich innerhalb einer einzelnen physischen Speicherungsvorrichtung befindet, oder Speicherplatz, der über mehrere physische Speicherungsvorrichtungen verteilt ist.
In manchen Ausführungsformen werden Softwareanweisungen über die Kommunikationsschnittstelle 314 in den Speicher 306 und/oder die Speicherungskomponente 308 von einem anderen computerlesbaren Medium oder von einer anderen Vorrichtung gelesen. Bei ihrer Ausführung bewirken die im Speicher 306 und/oder in der Speicherungskomponente 308 gespeicherten Softwareanweisungen, dass der Prozessor 304 einen oder mehrere hierin beschriebene Prozesse durchführt. Zusätzlich oder alternativ wird eine festverdrahtete Schaltungsanordnung anstelle von oder in Kombination mit Softwareanweisungen verwendet, um einen oder mehrere hierin beschriebene Prozesse durchzuführen. Somit sind hierin beschriebene Ausführungsformen nicht auf irgendeine spezifische Kombination von Hardwareschaltungsanordnung und Software beschränkt, insofern nicht anderweitig ausführlich dargelegt.
Der Speicher 306 und/oder die Speicherungskomponente 308 beinhalten Datenspeicherung oder mindestens eine Datenstruktur (z. B. eine Datenbank und/oder dergleichen). Die Vorrichtung 300 ist in der Lage, Informationen von der Datenspeicherung oder der mindestens einen Datenstruktur im Speicher 306 oder in der Speicherungskomponente 308 zu empfangen, Informationen darin zu speichern, Informationen zu dieser zu kommunizieren oder nach darin gespeicherten Informationen zu suchen. In manchen Beispielen beinhalten die Informationen Netzwerkdaten, Eingangsdaten, Ausgangsdaten oder eine beliebige Kombination davon.
In manchen Ausführungsformen ist die Vorrichtung 300 dazu ausgelegt, Softwareanweisungen auszuführen, die entweder im Speicher 306 und/oder im Speicher einer anderen Vorrichtung (z. B. einer anderen Vorrichtung, die die gleiche oder ähnlich ist wie die Vorrichtung 300) gespeichert sind. Wie hierin verwendet, bezieht sich der Begriff „Modul“ auf mindestens eine Anweisung, die im Speicher 306 und/oder im Speicher einer anderen Vorrichtung gespeichert ist, die bei Ausführung durch den Prozessor 304 und/oder durch einen Prozessor einer anderen Vorrichtung (z. B. einer anderen Vorrichtung, die die gleiche oder ähnlich ist wie die Vorrichtung 300) bewirkt, dass die Vorrichtung 300 (z. B. mindestens eine Komponente der Vorrichtung 300) einen oder mehrere hierin beschriebene Prozesse durchführt. In manchen Ausführungsformen wird ein Modul in Software, Firmware, Hardware und/oder dergleichen implementiert.
Die Anzahl und die Anordnung der in 3 veranschaulichten Komponenten sind als ein Beispiel bereitgestellt. In manchen Ausführungsformen kann die Vorrichtung 300 zusätzliche Komponenten, weniger Komponenten, andere Komponenten oder anders angeordnete Komponenten wie die in 3 veranschaulichten beinhalten. Zusätzlich oder alternativ kann ein Satz von Komponenten (z. B. eine oder mehrere Komponenten) der Vorrichtung 300 eine oder mehrere Funktionen durchführen, die als durch eine andere Komponente oder einen anderen Satz von Komponenten der Vorrichtung 300 durchgeführt beschrieben werden.
Jetzt mit Bezug auf 4 ist ein beispielhaftes Blockdiagramm eines autonomen Fahrzeugcomputers 400 veranschaulicht (manchmal als ein „AV-Stapel“ bezeichnet). Wie veranschaulicht, beinhaltet der autonome Fahrzeugcomputer 400 ein Wahrnehmungssystem 402 (manchmal als ein Wahrnehmungsmodul bezeichnet), ein Planungssystem 404 (manchmal als ein Planungsmodul bezeichnet), ein Lokalisierungssystem 406 (manchmal als ein Lokalisierungsmodul bezeichnet), ein Steuersystem 408 (manchmal als ein Steuermodul bezeichnet) und eine Datenbank 410. In manchen Ausführungsformen sind das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in einem autonomen Navigationssystem eines Fahrzeugs (z. B. autonomen Fahrzeugcomputer 202f des Fahrzeugs 200) enthalten und/oder implementiert. Zusätzlich oder alternativ sind in manchen Ausführungsformen das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in einem oder mehreren unabhängigen Systemen (z. B. einem oder mehreren Systemen, die die gleichen oder ähnlich sind wie ein autonomer Fahrzeugcomputer 400 und/oder dergleichen) enthalten. In manchen Beispielen sind das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in einem oder mehreren unabhängigen Systemen enthalten, die sich in einem Fahrzeug und/oder mindestens einem Fernsystem befinden, wie hierin beschrieben. In manchen Ausführungsformen werden beliebige und/oder alle der im autonomen Fahrzeugcomputer 400 enthaltenen Systeme in Software (z. B. in Softwareanweisungen, die im Speicher gespeichert sind), Computerhardware (z. B. durch Mikroprozessoren, Mikrocontroller, anwendungsspezifische integrierte Schaltungen [ASICs], feldprogrammierbare Gate-Arrays (FPGAs) und/oder dergleichen) oder Kombinationen von Computersoftware und Computerhardware implementiert. Es versteht sich, dass in manchen Ausführungsformen der autonome Fahrzeugcomputer 400 dazu ausgelegt ist, sich in Kommunikation mit einem Fernsystem (z. B. einem autonomen Fahrzeugsystem, das das gleiche oder ähnlich ist wie das Fern-AV-System 114, einem Flottenmanagementsystem 116, das das gleiche oder ähnlich ist wie das Flottenmanagementsystem 116, ein V21-System, das das gleiche oder ähnlich ist wie das V21-System 118, und/oder dergleichen) zu befinden.
In manchen Ausführungsformen empfängt das Wahrnehmungssystem 402 Daten, die mit mindestens einem physischen Objekt in einer Umgebung assoziiert sind (z. B. Daten, die durch das Wahrnehmungssystem 402 verwendet werden, um das mindestens eine physische Objekt zu detektieren), und klassifiziert das mindestens eine physische Objekt. In manchen Beispielen empfängt das Wahrnehmungssystem 402 Bilddaten, die durch mindestens eine Kamera (z. B. Kameras 202a) aufgenommen werden, wobei das Bild mit einem oder mehreren physischen Objekten in einem Sichtfeld der mindestens einen Kamera assoziiert ist (z. B. dieses repräsentiert). In einem solchen Beispiel klassifiziert das Wahrnehmungssystem 402 mindestens ein physisches Objekt basierend auf einer oder mehreren Gruppierungen physischer Objekte (z. B. Fahrräder, Fahrzeuge, Verkehrsschilder, Fußgänger und/oder dergleichen). In manchen Ausführungsformen überträgt das Wahrnehmungssystem 402 Daten, die mit der Klassifikation der physischen Objekte assoziiert sind, zu dem Planungssystem 404 basierend darauf, dass das Wahrnehmungssystem 402 die physischen Objekte klassifiziert.
In manchen Ausführungsformen empfängt das Planungssystem 404 Daten, die mit einem Bestimmungsort assoziiert sind, und erzeugt Daten, die mit mindestens einer Route (z. B. Routen 106) assoziiert sind, entlang der ein Fahrzeug (z. B. Fahrzeuge 102) in Richtung eines Bestimmungsortes fahren kann. In manchen Ausführungsformen empfängt das Planungssystem 404 Daten periodisch oder kontinuierlich vom Wahrnehmungssystem 402 (z. B. Daten, die mit der Klassifikation physischer Objekte assoziiert sind, wie oben beschrieben) und das Planungssystem 404 aktualisiert die mindestens eine Trajektorie oder erzeugt mindestens eine andere Trajektorie basierend auf den durch das Wahrnehmungssystem 402 erzeugten Daten. In manchen Ausführungsformen empfängt das Planungssystem 404 Daten, die mit einer aktualisierten Position eines Fahrzeugs (z. B. Fahrzeuge 102) assoziiert sind, vom Lokalisierungssystem 406 und das Planungssystem 404 aktualisiert die mindestens eine Trajektorie oder erzeugt mindestens eine andere Trajektorie basierend auf den durch das Lokalisierungssystem 406 erzeugten Daten.
In manchen Ausführungsformen empfängt das Lokalisierungsmodul 406 Daten, die mit einem Standort eines Fahrzeugs (z. B. Fahrzeuge 102) in einem Bereich assoziiert sind (z. B. diese repräsentieren). In manchen Beispielen empfängt das Lokalisierungssystem 406 LiDAR-Daten, die mit mindestens einer Punktwolke assoziiert sind, die durch mindestens einen LiDAR-Sensor (z. B. LiDAR-Sensoren 202b) erzeugt werden. In bestimmten Beispielen empfängt das Lokalisierungsmodul 406 Daten, die mit mindestens einer Punktwolke von mehreren LiDAR-Sensoren assoziiert sind, und das Lokalisierungsmodul 406 erzeugt eine kombinierte Punktwolke basierend auf jeder der Punktwolken. In diesen Beispielen vergleicht das Lokalisierungsmodul 406 die mindestens eine Punktwolke oder die kombinierte Punktwolke mit einer in der Datenbank 410 gespeicherten zweidimensionalen (2D) und/oder einer dreidimensionalen (3D) Karte des Bereichs. Das Lokalisierungssystem 406 bestimmt dann die Position des Fahrzeugs in dem Bereich basierend darauf, dass das System 406 die mindestens eine Punktwolke oder die kombinierte Punktwolke mit der Karte vergleicht. In manchen Ausführungsformen beinhaltet die Karte eine kombinierte Punktwolke des Bereichs, die vor der Navigation des Fahrzeugs erzeugt wird. In manchen Ausführungsformen beinhalten Karten unter anderem Hochpräzisionskarten der geometrischen Eigenschaften der Straße, Karten, die Konnektivitätseigenschaften des Straßennetzes beschreiben, Karten, die physische Eigenschaften der Straße beschreiben (wie etwa Verkehrsgeschwindigkeit, Verkehrsvolumen, die Anzahl von Fahrzeug- und Fahrradfahrer-Verkehrsspuren, Fahrspurbreite, Fahrspurverkehrsrichtungen oder Fahrspurmarkierungsarten und -orte oder Kombinationen davon), und Karten, die die räumlichen Orte von Straßenmerkmalen wie etwa Fußgängerüberwege, Verkehrszeichen oder andere Verkehrssignale verschiedener Arten beschreiben. In manchen Ausführungsformen wird die Karte in Echtzeit basierend auf den durch das Wahrnehmungssystem empfangenen Daten erzeugt.
In einem anderen Beispiel empfängt das Lokalisierungssystem 406 Daten eines globalen Satellitennavigationssystems (GNSS), die durch einen Empfänger eines globalen Positionierungssystems (GPS) erzeugt werden. In manchen Beispielen empfängt das Lokalisierungssystem 406 GNSS-Daten, die mit dem Standort des Fahrzeugs in dem Bereich assoziiert sind, und das Lokalisierungssystem 406 bestimmt einen Breitengrad und Längengrad des Fahrzeugs in dem Bereich. In einem solchen Beispiel bestimmt das Lokalisierungssystem 406 die Position des Fahrzeugs in dem Bereich basierend auf dem Breitengrad und dem Längengrad des Fahrzeugs. In manchen Ausführungsformen erzeugt das Lokalisierungssystem 406 Daten, die mit der Position des Fahrzeugs assoziiert sind. In manchen Beispielen erzeugt das Lokalisierungssystem 406 Daten, die mit der Position des Fahrzeugs assoziiert sind, basierend darauf, dass das Lokalisierungssystem 406 die Position des Fahrzeugs bestimmt. In einem solchen Beispiel beinhalten die Daten, die mit der Position des Fahrzeugs assoziiert sind, Daten, die mit einer oder mehreren semantischen Eigenschaften entsprechend der Position des Fahrzeugs assoziiert sind.
In manchen Ausführungsformen empfängt das Steuersystem 408 Daten, die mit mindestens einer Trajektorie assoziiert sind, vom Planungssystem 404 und das Steuersystem 408 steuert den Betrieb des Fahrzeugs. In manchen Beispielen empfängt das Steuersystem 408 Daten, die mit mindestens einer Trajektorie assoziiert sind, vom Planungssystem 404 und das Steuersystem 408 steuert den Betrieb des Fahrzeugs durch Erzeugen und Übertragen von Steuersignalen, um zu bewirken, dass ein Antriebsstrangsteuersystem (z. B. DBW-System 202h, Antriebsstrangsteuersystem 204 und/oder dergleichen), ein Lenkungssteuersystem (z. B. Lenkungssteuersystem 206) und/oder ein Bremssystem (z. B. Bremssystem 208) arbeiten. In einem Beispiel, bei dem eine Trajektorie eine Linksabbiegung beinhaltet, überträgt das Steuersystem 408 ein Steuersignal, um zu bewirken, dass das Lenkungssteuersystem 206 einen Lenkwinkel des Fahrzeugs 200 anpasst, wodurch bewirkt wird, dass das Fahrzeug 200 nach links abbiegt. Zusätzlich oder alternativ erzeugt und überträgt das Steuersystem 408 Steuersignale, um zu bewirken, dass andere Vorrichtungen (z. B. Scheinwerfer, Blinker, Türverriegelungen, Scheibenwischer und/oder dergleichen) des Fahrzeugs 200 ihren Zustand ändern.
In manchen Ausführungsformen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 mindestens ein maschinelles Lernmodell (z. B. mindestens einen Multilayer-Perzeptron (MLP), mindestens ein faltendes neuronales Netzwerk (CNN), mindestens ein rekurrentes neuronales Netzwerk (RNN), mindestens einen Autocodierer, mindestens einen Transformator und/oder dergleichen). In manchen Beispielen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 mindestens ein maschinelles Lernmodell alleine oder in Kombination mit einem oder mehreren der oben angemerkten Systeme. In manchen Beispielen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 mindestens ein maschinelles Lernmodell als Teil einer Pipeline (z. B. einer Pipeline zum Identifizieren eines oder mehrerer Objekte, die sich in einer Umgebung befinden, und/oder dergleichen).
Die Datenbank 410 speichert Daten, die zu dem Wahrnehmungssystem 402, dem Planungssystem 404, dem Lokalisierungssystem 406 und/oder dem Steuersystem 408 übertragen, von diesen empfangen und/oder durch diese aktualisiert werden. In manchen Beispielen beinhaltet die Datenbank 410 eine Speicherungskomponente (z. B. eine Speicherungskomponente, die die gleiche oder ähnlich ist wie die Speicherungskomponente 308 von 3), die Daten und/oder Software bezüglich des Betriebs speichert und mindestens ein System des autonomen Fahrzeugcomputers 400 verwendet. In manchen Ausführungsformen speichert die Datenbank 410 Daten, die mit 2D- und/oder 3D-Karten mindestens eines Bereichs assoziiert sind. In manchen Beispielen speichert die Datenbank 410 Daten, die mit 2D- und/oder 3D-Karten eines Teils einer Stadt, mehrerer Teile mehrerer Städte, mehrerer Städte, eines Landkreises, eines Staates (z. B. eines Landes) und/oder dergleichen assoziiert sind. In einem solchen Beispiel kann ein Fahrzeug (z. B. ein Fahrzeug, das das gleiche oder ähnlich ist wie die Fahrzeuge 102 und/oder das Fahrzeug 200) entlang eines oder mehrerer befahrbarer Gebiete (z. B. einspurige Straßen, mehrspurige Straßen, Landstraßen, Nebenstraßen, Feldwege und/oder dergleichen) fahren und bewirken, dass mindestens ein LiDAR-Sensor (z. B. ein LiDAR-Sensor, der der gleiche oder ähnlich ist wie die LiDAR-Sensoren 202b) Daten erzeugt, die mit einem Bild assoziiert sind, das die Objekte repräsentiert, die in einem Sichtfeld des mindestens einen LiDAR-Sensors enthalten sind.
In manchen Ausführungsformen kann die Datenbank 410 über mehrere Vorrichtungen implementiert werden. In manchen Beispielen ist die Datenbank 410 in einem Fahrzeug (z. B. einem Fahrzeug, das das gleiche oder ähnlich ist wie die Fahrzeuge 102 und/oder das Fahrzeug 200), einem autonomen Fahrzeugsystem (z. B. einem autonomen Fahrzeugsystem, das das gleiche oder ähnlich ist wie das Fern-AV-System 114), einem Flottenmanagementsystem (z. B. einem Flottenmanagementsystem, das das gleiche oder ähnlich ist wie das Flottenmanagementsystem 116 von 1), einem V21-System (z. B. einem V2I-System, das das gleiche oder ähnlich ist wie das V21-System 118 von 1) und/oder dergleichen enthalten.
Jetzt mit Bezug auf 5 ist ein beispielhaftes Blockdiagramm eines Systems 500 zum Vorhersagen der Bewegung hypothetischer Agenten veranschaulicht. Das System 500 legt als Reaktion auf offene Verdeckungen der Operation, der Bewegung oder dem Verhalten des Fahrzeugs Beschränkungen auf. In manchen Fällen rufen die Beschränkungen einen konservativeren und sicheren Betrieb oder konservativere und sichere Manöver hervor. Im Allgemeinen ist eine Beschränkung am Fahrzeug eine Begrenzung oder Modifikation des Fahrzeugbetriebs, der Bewegung oder des Verhaltens des Fahrzeugs. In Ausführungsformen wenden die vorliegenden Techniken als Reaktion auf hypothetische Agenten Beschränkungen an einem Fahrzeug an. Im Allgemeinen ist ein hypothetischer Agent ein Agent, dessen Existenz postuliert wird, obwohl er nicht beobachtbar ist (z. B. nicht durch die Sensoren 202 von 2 detektiert wird). Falls das Fahrzeug einen Agenten beobachten würde, der aus der Verdeckung nahe einem hypothetischen Agenten hervortritt, würde es im Wesentlichen die Hypothese validieren, dass es einen ungesehenen Agenten gab, der durch die Verdeckung blockiert wurde. Umgekehrt invalidiert das Beobachten, dass der zuvor verdeckte Bereich, in dem ein hypothetischer Agent platziert war, nicht belegt ist, die Hypothese, dass es einen ungesehenen Agenten gab, der durch die Verdeckung blockiert wurde, wobei der verdeckte Bereich nach einer Weiterfahrt entlang einer geplanten Trajektorie neu beobachtbar ist.
Ein verdeckter Bereich ist ein Bereich, der nicht durch ein Fahrzeug beobachtbar ist (z. B. ein Bereich, der durch ein geparktes Fahrzeug von der Sensoransicht blockiert wird, ein Bereich außerhalb des Sensorbereichs eines Sensors, der mit dem System 500 assoziiert ist, usw.). In manchen Ausführungsformen ist das Fahrzeug ein autonomes Fahrzeug. In solchen Ausführungsformen ist das autonome Fahrzeug ähnlich oder das gleiche wie das in 2 gezeigte Fahrzeug 200. In manchen Ausführungsformen beinhaltet das System 500 ein Wahrnehmungssystem 502, ein Planungssystem 504, ein Segmentierungsmaskensystem 530, ein Agententrajektoriesystem 540 und ein Agentenerzeugungssystem 550. In manchen Ausführungsformen ist das Planungssystem 504 das gleiche oder ähnlich wie ein Teil des Planungssystems 404 von 4. In manchen Ausführungsformen ist das Planungssystem 504 ein unabhängiges externes oder Backup-Planungssystem (z. B. ein Planungssystem, das in einem Steuersystem eingeschlossen ist, das das gleiche oder ähnlich ist wie das Steuersystem 408, und/oder dergleichen). Gleichermaßen ist das Wahrnehmungssystem 502 in manchen Ausführungsformen das gleiche oder ähnlich wie ein Teil des Wahrnehmungssystems 402 von 4. In manchen Ausführungsformen ist das Wahrnehmungssystem 502 ein unabhängiges externes oder Backup-Wahrnehmungssystem (z. B. ein Planungssystem, das in einem Steuersystem eingeschlossen ist, das das gleiche oder ähnlich ist wie das Steuersystem 408, und/oder dergleichen).
In manchen Ausführungsformen wird das System 500 über den in 3 gezeigten Prozessor 304 ausgeführt. In manchen Ausführungsformen verwendet das System 500 einen Fernprozessor in einer Cloud-Rechenumgebung. In manchen Ausführungsformen können das Wahrnehmungssystem 502, das Planungssystem 504, das Segmentierungsmaskensystem 530, das Agententrajektoriesystem 540 und das Agentenerzeugungssystem 550 das gleiche oder ähnlich wie die Vorrichtung 300 von 3 sein (z. B. können eine oder mehrere Komponenten beinhalten, die die gleichen oder ähnlich sind wie eine oder mehrere Komponenten der Vorrichtung 300).
Das Wahrnehmungssystem 502 erzeugt Wahrnehmungssensordaten 512. In manchen Ausführungsformen beinhaltet das Wahrnehmungssystem 502 die Kameras 202a, die LiDAR-Sensoren 202b und/oder die Radar-Sensoren 202c, die in 2 gezeigt sind. Das Wahrnehmungssystem 502 kann zusätzliche Sensoren beinhalten, wie etwa Sonare, haptische Vorrichtungen und/oder dergleichen. In manchen Ausführungsformen beinhalten die Wahrnehmungssensordaten 512 Kameradaten, LiDAR-Daten oder Radar-Daten. Allgemeiner sind die Wahrnehmungssensordaten 512 Daten, die die umliegende Umgebung des Fahrzeugs repräsentieren. Die Wahrnehmungssensordaten 512 werden als Eingabe in ein Segmentierungsmaskensystem 530 bereitgestellt. Das Segmentierungsmaskensystem 530 erzeugt eine Segmentierungsmaske, die die Position mindestens eines verdeckten Bereichs 532, falls vorhanden, basierend auf den Wahrnehmungssensordaten 512 angibt. Eine Segmentierungsmaske ist ein Bild, das Gebiete von Interesse markiert. Beispielsweise wird in einer Segmentierungsmaske Pixeln, die ähnlichen Objekten entsprechen, das gleiche Label zugewiesen. In einem solchen Beispiel werden in der Segmentierungsmaske Pixel, die Fahrzeugen entsprechen, als 1 gelabelt und Pixel, die Straßen entsprechen, werden als 2 gelabelt. Einige beispielhafte Segmentierungsmasken können in der folgenden Besprechung gefunden werden. In manchen Ausführungsformen ist das Segmentierungsmaskensystem 530 ein Teil des Wahrnehmungssystems 502 oder des Lokalisierungssystems 406.
In manchen Ausführungsformen erzeugt das Segmentierungsmaskensystem 530 die Segmentierungsmaske durch Vergleichen eines maximalen Sensorbereichs mit den empfangenen Wahrnehmungssensordaten 512. In solchen Ausführungsformen kann die Segmentierungsmaske als eine Vogelperspektive des Umfelds des Fahrzeugs repräsentiert werden. In manchen Ausführungsformen werden Zellen (z. B. Pixel, Gruppen von Pixeln und/oder dergleichen) der Segmentierungsmaske, die Bereichen innerhalb des maximalen Sensorbereichs entsprechen, aber nicht von Sensordatenpunkten befüllt sind, als verdeckte Bereiche gelabelt. In solchen Ausführungsformen ist die Segmentierungsmaske ein 2D-Binärbild, das Pixel in einem verdeckten Bereich 532 als 1 und Pixel in nicht verdeckten Bereichen als 0 zeigt.
In manchen Ausführungsformen beinhaltet die Segmentierungsmaske, die den verdeckten Bereich 532 angibt, Ortsinformationen über den verdeckten Bereich 532, wie etwa, ob sich der verdeckte Bereich 532 auf der Straße (z. B. eine befahrbare Straße usw.) oder abseits der Straße (z. B. ein Fußweg, ein unbefestigter Bereich, ein offenes Feld usw.) befindet. In solchen Ausführungsformen ist die Segmentierungsmaske ein 2D-Ternärbild, das Pixel in einem verdeckten Bereich 532 auf der Straße als 1, Pixel in einem verdeckten Bereich 532 abseits der Straße als 2 und Pixel in nicht verdeckten Bereichen als 0 zeigt. Zusätzlich oder alternativ wird in solchen Ausführungsformen den Pixeln, die einer Spurmitte (z. B. Mitte einer Fahrspur) in einer Segmentierungsmaske eines verdeckten Bereichs 532 auf der Straße entsprechen, ein anderes Label (z. B. 4) zugewiesen.
In manchen Ausführungsformen wendet das Segmentierungsmaskensystem 530 einen Glättungsalgorithmus an der Segmentierungsmaske an. Der Glättungsalgorithmus ermöglicht, dass der verdeckte Bereich 532 eine glattere und realistischere Begrenzung aufweist. In manchen Ausführungsformen kann das Segmentierungsmaskensystem 530 den Glättungsalgorithmus verwenden, um Pixel der Segmentierungsmaske zu aktualisieren.
Ein Agententrajektoriesystem 540 erzeugt Agententrajektorien 542 für unterschiedliche Typen von Agenten basierend auf einer initialen Trajektorie 522 des Fahrzeugs und/oder dem einen oder den mehreren verdeckten Bereichen 532, die auf der Segmentierungsmaske angegeben werden. Die initiale Trajektorie 522 wird vom Planungssystem 504 empfangen und ist eine Referenztrajektorie, der das Fahrzeug folgen soll. Im Allgemeinen bezieht sich eine Trajektorie auf eine Sequenz von zeitgestempelten Stellungen. Die Sequenz von zeitgestempelten Stellungen beinhaltet ein Geschwindigkeitsprofil, das auch zusätzlich zu dem räumlichen Ort übermittelt wird. Der mit der Trajektorie assoziierte räumliche Ort wird verwendet, um Trajektorien für einen oder mehrere hypothetische Agenten am Agententrajektorieerzeugungssystem 540 zu erzeugen. Am Beschränkungserzeugungssystem 560 werden die mit der initialen Trajektorie assoziierten zeitlichen Informationen evaluiert, um Beschränkungen am Fahrzeug zu bestimmen, und eine finale ausgeführte Trajektorie wird von der initialen Trajektorie 522 modifiziert, um Kollisionen mit den Agententrajektorien zu vermeiden.
In Beispielen ist die initiale Trajektorie 522 eine vorbestimmte Trajektorie, die basierend auf Daten, die in der umliegenden Umgebung beobachtet werden, und einem vorbestimmten Bestimmungsort erzeugt wird. Beispielsweise werden Trajektorien für hypothetisch Agenten, die Fußgänger sind, als Pfade mit konstantem Kurs erzeugt, die orthogonal zu der initialen Trajektorie 522 und in deren Richtung gerichtet sind. Anders ausgedrückt wird angenommen, dass Fußgänger, die hypothetisch sind, sich der initialen Trajektorie durch einen kürzesten möglichen Pfad von einem nächstgelegenen Abschnitt des verdeckten Bereichs nähern. Der nächstgelegene Abschnitt des verdeckten Bereichs ist ein nächstgelegener Abschnitt, der groß genug ist, um einen Fußgänger zu verdecken. In Ausführungsformen erzeugt das Agententrajektoriesystem eine hypothetische Fußgängertrajektorie für jede Verdeckung. Beispielsweise in einer Situation, bei der eine Anzahl geparkter Autos einen Bereich verdecken, wird hypothesiert, dass der eine Fußgänger (z. B. hypothetischer Agent) von hinter jedem geparkten Auto entlang einer Trajektorie, die vom Fahrzeug navigiert wird, hervortritt.
In manchen Ausführungsformen sind die erzeugten Agententrajektorien 542 offene Verdeckungstrajektorien. Eine offene Verdeckungstrajektorie ist eine Trajektorie eines hypothetischen Agenten, die mindestens ein Paar von Verdeckungseintritt und Verdeckungsaustritt enthält. Mit anderen Worten enthält eine offene Verdeckungstrajektorie ein Segment in den verdeckten Bereichen 532 und zwei Enden (z. B. den Verdeckungseintritt und Verdeckungsaustritt), die sich an der Grenze der verdeckten Bereiche 532 befinden. Der Verdeckungseintritt ist der Punkt, an dem der hypothetische Agent in den verdeckten Bereich 532 eintritt, und der Verdeckungsaustritt ist der Punkt, an dem der hypothetische Agent aus dem verdeckten Bereich 532 hervortritt und wieder in einen durch das Fahrzeug beobachtbaren Bereich eintritt. In manchen Ausführungsformen befindet sich der Verdeckungsaustritt näher am Fahrzeug als der Verdeckungseintritt.
In manchen Ausführungsformen basieren die Agententrajektorien 542 zumindest teilweise auf einem Agententyp. Wie oben besprochen, beinhaltet die Segmentierungsmaske Ortsinformationen über den verdeckten Bereich 532, wie etwa, ob sich der verdeckte Bereich 532 auf der Straße (z. B. eine befahrbare Straße usw.) oder abseits der Straße (z. B. ein Fußweg, ein unbefestigter Bereich, ein offenes Feld usw.) befindet. Wenn der verdeckte Bereich 532 auf der Straße liegt und groß genug ist, dass ein Auto mit standardmäßiger Größe, das entlang der Mitte der Spur positioniert ist, hinein passt, dann werden Trajektorien für Fahrzeuge als hypothetische Agenten erzeugt. Wenn der verdeckte Bereich 532 entweder auf der Straße oder abseits der Straße liegt und groß genug ist, dass ein Fußgänger mit standardmäßiger Größe hinein passt, dann werden Trajektorien für Fußgänger als hypothetische Agenten erzeugt. In Beispielen werden andere Faktoren in Betracht gezogen, wenn ein Agententyp für die Erzeugung von Agententrajektorien bestimmt wird. Beispielsweise könnten die erzeugten Agententrajektorien auf Fußgängern als hypothetische Agenten in einem verdeckten Bereich abseits der Straße, der für unachtsamen Fußgängerverkehr bekannt ist, oder in der Nähe von Fußgängerüberwegen basieren. Einzelheiten bezüglich des Erzeugens der Agententrajektorien 542 für unterschiedliche Typen von Agenten werden nachstehend in den 6 und 7 besprochen.
Das Agentenerzeugungssystem 550 nimmt als Eingabe eine Agententrajektorie 542 an und erzeugt eine Verteilung von Agenten 552. In manchen Ausführungsformen bestimmt das Agentenerzeugungssystem 550 diskretisierte Agentenerzeugungspunkte mit einer vorbestimmten Auflösung (z. B. 5 Meter voneinander getrennt) entlang der Agententrajektorie 542. Ein Agentenerzeugungspunkt ist ein diskretisierter Ort auf der Agententrajektorie, an dem ein hypothetischer Agent erzeugt wird. Beispielsweise wird für jeden Agentenerzeugungspunkt eine Verteilung von Agenten 552 (z. B. simulierte Agenten) mit unterschiedlichen Bewegungsprofilen (z. B. Geschwindigkeit von 0 ms^-1, 0,5 ms^-1, ... , 2 ms^-1 mit oder ohne Beschleunigung von -0,5 ms^-2, 0, 0,5 ms^-2) durch das Agentenerzeugungssystem 550 erzeugt. In einem Beispiel gibt eine positive Beschleunigung eines Agenten an, dass sich der Agent in Richtung des Fahrzeugs bewegt. Die unterschiedlichen Bewegungsprofile können basierend auf der Verteilung von Agenten erzeugt werden. Beispielsweise werden die unterschiedlichen Bewegungsprofile basierend auf einer gaußschen Verteilung von Agenten erzeugt. In manchen Ausführungsformen werden Agenten, die sich vom Fahrzeug weg bewegen, verworfen (z. B. durch das Agentenerzeugungssystem 550 entfernt oder dekonstruiert), um Rechenressourcen zu sparen.
In manchen Ausführungsformen wird jeder Agentenerzeugungspunkt verwendet, um Agenten 552 einmal zu erzeugen. Beispielsweise werden die Agentenerzeugungspunkte verwendet, um Agenten 552 zu erzeugen, wenn ein Schwellenabstand von den Agentenerzeugungspunkten zu dem Fahrzeug erfüllt ist. Zusätzlich werden die Agentenerzeugungspunkte verwendet, um Agenten 552 zu erzeugen, wenn ein Schwellenabstand von einem nächstgelegenen Punkt des verdeckten Bereichs zu dem Fahrzeug erfüllt ist. In Ausführungsformen ist der Schwellenabstand vorbestimmt, wie etwa 500 Meter. In Ausführungsformen wird der Schwellenabstand basierend auf den Bereichen des Wahrnehmungssystems 502 (z. B. unter Verwendung eines logistischen Regressionsmodells) berechnet. In manchen Ausführungsformen werden einige Agentenerzeugungspunkte wiederholt verwendet, um wiederkehrende Agenten 552 zu erzeugen. Einzelheiten bezüglich des Erzeugens von Agenten in manchen beispielhaften Szenarien sind nachstehend in den 6 und 7 besprochen.
Die Agenten 552 werden als Eingabe in ein Beschränkungserzeugungssystem 560 bereitgestellt. In Beispielen sind hypothetische Agenten, die sich in Richtung des Fahrzeugs oder eines geplanten Pfades des Fahrzeugs fortbewegen, mit strengeren Beschränkungen an dem Verhalten des Fahrzeugs assoziiert. In Beispielen wird angenommen, dass die Fortbewegungsrichtung für einen hypothetischen Agenten, wie etwa einen Fußgänger, senkrecht zu dem AV-Pfad ist. Im Allgemeinen repräsentiert dies ein Schlimmstfallszenario, bei dem der hypothetische Agent den Pfad des AV abfangen und eine Kollision verursachen könnte. Strengere Beschränkungen am Fahrzeugverhalten beinhalten eine Einschränkung des Fahrzeugverhaltens während der Zeit, zu der der verdeckte Bereich beobachtet wird. In Beispielen erzeugt das Beschränkungserzeugungssystem 560 Beschränkungen basierend auf einer Wahrscheinlichkeit, dass die Beschränkung eine Kollision mit einem hypothetischen Agenten verhindern wird. Die Beschränkungen werden angewendet, um die Fahrzeugfunktionalität unter Verwendung eines oder mehrerer Systeme zu regeln, die den Betrieb des Fahrzeugs ermöglichen. Beispielsweise werden eine oder mehrere Beschränkungen durch ein Steuersystem oder Planungssystem erhalten und an Fahrzeugfunktionen angewendet.
Ein Steuersystem kann Einschränkungen an Geschwindigkeit, Lenkung, Gasgeben, Bremsung und dergleichen anwenden. In dem Beispiel mit hypothetischen Agenten, die sich in Richtung des Fahrzeugs fortbewegen, kann das Steuersystem Grenzen auf die Befehlsgeschwindigkeit anwenden, um ein Szenario zu vermeiden, bei dem der hypothetische Agent mit dem Fahrzeug kollidiert. Im Gegensatz dazu weisen Agenten, die sich vom Fahrzeug oder einem geplanten Pfad des Fahrzeugs weg fortbewegen, geringere Wahrscheinlichkeiten auf, den geplanten Pfad des Fahrzeugs zu schneiden oder zu beeinträchtigen, und infolgedessen werden weniger strenge Beschränkungen für das Verhalten des Fahrzeugs auferlegt. In einem Beispiel mit hypothetischen Agenten, die sich vom Fahrzeug weg fortbewegen, sind Einschränkungen des Fahrzeugverhaltens nicht notwendig, da sich die hypothetischen Agenten vom Pfad des Fahrzeugs weg bewegen. Ein Beispiel für eine Beschränkung ist eine Zunahme oder Reduzierung der Geschwindigkeit (einschließlich zu einem vollständigen Stopp kommend), eine laterale Freiraumschwelle, die zu einer Änderung des Pfades führen könnte, und dergleichen. Einige beispielhafte offene Verdeckungstrajektorien können nachstehend in den 6A und 7 gefunden werden.
In einem Beispiel kann ein Planungssystem Einschränkungen an der initialen Trajektorie zumindest teilweise basierend auf Beschränkungen vom Beschränkungserzeugungssystem 560 anwenden. In Ausführungsformen werden die Agenten 552 einem Planungssystem bereitgestellt, wie etwa dem Planungssystem 504 oder dem Planungssystem 404 von 4. In manchen Ausführungsformen führen die Agenten 552 Beschränkungen am Fahrzeugverhalten, wie durch das Beschränkungserzeugungssystem 560 bestimmt, ein und das Planungssystem evaluiert die Auswirkung der Agenten auf den geplanten Pfad. Das Planungssystem aktualisiert den Pfad oder die Trajektorie für das Fahrzeug, sodass das Fahrzeug manövrieren wird, um eine Kollision mit den Agenten zu vermeiden. In manchen Ausführungsformen wird der aktualisierte Pfad oder die aktualisierte Trajektorie verwendet, um das Fahrzeug durch ein Steuersystem 408 zu steuern.
Jetzt mit Bezug auf 6A ist ein beispielhaftes Szenario 600 zum Erzeugen und Aktualisieren hypothetischer Agenten veranschaulicht. In dem beispielhaften Szenario 600 ist der hypothetische Agent ein simulierter Fußgänger. In Ausführungsformen wird das Aktualisieren in diskreter Zeit durchgeführt, bei der hypothetische Agenten bei jeder Wahrnehmungsaktualisierung (dem Aktualisierungszeitschritt äquivalent zu der Verzögerung zwischen aufeinanderfolgenden Beobachtungen) oder weniger häufig aktualisiert werden könnten. Die folgende Besprechung präsentiert zwei Zeitschritte, t und t+1. Zeit t kann einen vorherigen Zeitschritt repräsentieren, während Zeit t+1 ein aktueller Zeitschritt ist. Zeit t und Zeit t+1 können jedoch einen beliebigen Zeitschritt und einen Zeitschritt sofort danach repräsentieren (z. B. einen gegenwärtigen Zeitschritt und einen zukünftigen Zeitschritt).
Zur Zeit t weist ein Fahrzeug 610 einen geplanten Fahrzeugpfad 612a auf. In manchen Ausführungsformen wird der geplante Fahrzeugpfad 612a zu einer vorherigen Zeit erzeugt. In manchen Ausführungsformen ist das Fahrzeug 610 ein Fahrzeug 200, das das System 500 enthält, und der geplante Fahrzeugpfad 612a ist eine beispielhafte initiale Trajektorie 522. Das Verdeckungsgebiet 620a wird von der Beobachtung des Fahrzeugs 610 durch zwei geparkte Fahrzeuge 630a und 630b blockiert. Das Verdeckungsgebiet 620a ist ein beispielhafter verdeckter Bereich 532. In manchen Ausführungsformen ist das Verdeckungsgebiet 620a ein ausgereiftes Verdeckungsgebiet. Ein ausgereiftes Verdeckungsgebiet ist ein Gebiet, das für eine ausreichend lange Dauer nicht von einem Fahrzeug beobachtbar ist und sehr wahrscheinlich ungesehene Objekte (z. B. Fußgänger, Fahrradfahrer und/oder dergleichen) enthalten kann. Ein Beispiel für ein ausgereiftes Verdeckungsgebiet beinhaltet ein Gebiet, das von einem Bus, einer Barriere, einem Wagen und/oder dergleichen verdeckt wird.
Das Fahrzeug 610 erkennt das Verdeckungsgebiet 620a über Indikationen auf der Segmentierungsmaske, die durch das Segmentierungsmaskensystem 530 des Fahrzeugs 610 erzeugt wird. In manchen Ausführungsformen wird die Reife der Verdeckung für jede Zelle auf der Segmentierungsmaske beibehalten. In manchen Ausführungsformen beinhaltet das auf der Segmentierungsmaske angegebene Verdeckungsgebiet 620a keinen Teil einer befahrbaren Straße. Beispielsweise ist eine ausgereifte Verdeckung eine Verdeckung, die für mehr als eine Schwellenzeitdauer verdeckt ist.
In Beispielen geht das Verdeckungsgebiet gemäß einem statistischen Modell von beobachtbar zu einer frischen Verdeckung, zu einer ausgereiften Verdeckung und zurück zu einer beobachtbaren Verdeckung über. Das statistische Modell beschreibt die Wahrscheinlichkeit, dass ein Gebiet von einem Fußgänger, einem Fahrrad oder einem Fahrzeug belegt ist. In Ausführungsformen ist das statistische Modell ein Poisson-Prozess. Ein Poisson-Prozess ist ein Modell für eine Reihe diskreter Ereignisse, bei denen die durchschnittliche Zeit zwischen Ereignissen bekannt ist, aber das exakte Timing von Ereignissen zufällig ist. Im Beispiel von 6A wird angenommen, dass an einem sonnigen Morgen an einem Wochentag im Durchschnitt alle 10 Sekunden ein Fußgänger die Straße überquert. Dann lautet die Wahrscheinlichkeit, dass der Bereich von einem oder mehreren Fußgängern belegt ist: $P (T < t) = 1 - e^{- λ * t}$
wobei $λ = \frac{A n k u n f t v o n F u ß g \ddot{a} g e r n i n e i n e m G e b i e t}{10 S e k u n d e n} = 0,1 E r e i g n i s s e / S e k u n d e$
6B veranschaulicht die Wahrscheinlichkeit für drei unterschiedliche Lambda-Werte. Die Wahrscheinlichkeit tendiert zu 1 mit einer schnelleren Rate für größere Lambda-Werte. In Beispielen ist ein verdeckter Bereich ausgereift, wenn die Wahrscheinlichkeit zum Beispiel größer als 0,7 (70 %) beträgt. In dem Beispiel von 6B beträgt die für diese Lambda-Werte erforderliche Übergangszeit 2,4 s, 3,2 s bzw. 4,8 s.
Erneut mit Bezug auf 6A erzeugt das Agententrajektoriesystem 540 des Fahrzeugs 610 Trajektorien 640a und 650a für einen hypothetischen Agenten basierend auf dem Verdeckungsgebiet 620a. In diesem Beispiel ist der simulierte Agent ein Fußgänger und die hypothetischen Agententrajektorien 640a und 650a sind offene Verdeckungstrajektorien. Die Trajektorien 640a und 650a erstrecken sich von innerhalb des Verdeckungsgebiets 620a in Richtung des geplanten Fahrzeugpfades 612a. Die Richtungen der Trajektorien 640a und 650a geben die positiven Richtungen der Geschwindigkeiten und Beschleunigungen hypothetischer Agenten an, die sich entlang der Trajektorien 640a und 650a fortbewegen. In manchen Ausführungsformen sind die Trajektorien 640a und 650a senkrecht zu dem geplanten Fahrzeugpfad 612a, um die kürzesten Trajektorien zu repräsentieren, auf denen sich hypothetische fußgängerartige Agenten in Richtung des Fahrzeugs 610 fortbewegen. In manchen Ausführungsformen weisen beide Trajektorien 640a und 650a Verdeckungseintritte und Verdeckungsaustritte in dem durch das Fahrzeug 610 beobachtbaren Bereich auf.
In Anbetracht der Trajektorien 640a und 650a bestimmt das Agentenerzeugungssystem 550 des Fahrzeugs 610 diskretisierte Agentenerzeugungspunkte entlang der Trajektorien 640a und 650a. Ein beispielhafter Agentenerzeugungspunkt entlang der Trajektorie 640a ist Punkt 642a und ein anderer beispielhafter Agentenerzeugungspunkt entlang der Trajektorie 650a ist Punkt 652a. Da sich sowohl der Punkt 642a als auch der Punkt 652a im verdeckten Gebiet 620a finden, sind die am Punkt 642a oder Punkt 652a erzeugten Agenten hypothetische Agenten.
Wenn sich das Fahrzeug 610 innerhalb eines Schwellenabstands von einem Agentenerzeugungspunkt (z. B. Punkt 642a oder Punkt 652a) befindet, verwendet das Agentenerzeugungssystem 550 den Punkt innerhalb des Schwellenabstands, um eine Verteilung von Agenten mit variierenden Bewegungsprofilen zu erzeugen. Beispielsweise befindet sich zu der Zeit t der Punkt 642a innerhalb des Schwellenabstands vom Fahrzeug, aber nicht der Punkt 652a, und das Agentenerzeugungssystem 550 verwendet den Punkt 642a, aber nicht den Punkt 652a, um Agenten zu erzeugen. In manchen Ausführungsformen sind die zum Erzeugen von Agenten verwendeten variierenden Bewegungsprofile von einer Verteilungsfunktion (z. B. einer gaußschen Verteilung). Erzeugte Agenten werden in eine spätere Zeit (z. B. Zeit t+1) gemäß den jeweiligen Bewegungsprofilen propagiert. Die erzeugten Agenten werden dem Planungssystem 404 des Fahrzeugs 610 bereitgestellt, um den geplanten Fahrzeugpfad 612a zu aktualisieren, sodass das Fahrzeug 610 eine Kollision mit den Agenten in einer zukünftigen Zeit (z. B. zur Zeit t+1) vermeiden wird.
In manchen Ausführungsformen folgt das Fahrzeug 610 dem geplanten Fahrzeugpfad 612a und weist zur Zeit t+1 einen aktuellen Zustand auf (z. B. eine neue Stellung, eine neue Position und eine neue Orientierung zur Zeit t+1). Ein zuvor verdeckter Raum wird durch das Fahrzeug 610 beobachtbar, während ein zuvor beobachtbarer Bereich verdeckt wird. In einem Beispiel ist das verdeckte Gebiet 620b ein zuvor verdeckter Raum, der verdeckt bleibt, und ist ein ausgereiftes Verdeckungsgebiet. In einem Beispiel war das verdeckte Gebiet 620c durch das Fahrzeug zur Zeit t beobachtbar, ist aber nicht zur Zeit t+1, und ist seit Kurzem verdeckt. Das verdeckte Gebiet 620c wird ein frisches Verdeckungsgebiet genannt. Ein frisches Verdeckungsgebiet repräsentiert Bereiche, die das Fahrzeug 610 vor Kurzem beobachtet hat und sehr unwahrscheinlich ungesehene Objekte enthalten. In manchen Ausführungsformen wird eine Schwellendauer verwendet, um zwischen einem frischen Verdeckungsgebiet und einem ausgereiften Verdeckungsgebiet zu unterscheiden. Zur Einfachheit halber ist in der folgenden Besprechung die Schwellendauer ein Zeitschritt. Beispielsweise wird das verdeckte Gebiet 620c, ein frisches Verdeckungsgebiet zur Zeit t+1, ein ausgereiftes Verdeckungsgebiet zum nächsten Zeitschritt (z. B. Zeit t+2) werden.
Zur Zeit t+1 erzeugt das Planungssystem 404 des Fahrzeugs 610 einen neuen geplanten Fahrzeugpfad 612b basierend auf Informationen zur Zeit t, einschließlich der zur Zeit t erzeugten Agenten. In manchen Ausführungsformen folgt das Fahrzeug dem neuen geplanten Fahrzeugpfad 612b bis zum nächsten Zeitschritt (z. B. Zeit t+2). Der neue geplante Fahrzeugpfad 612b kann basierend auf späteren Informationen aktualisiert werden, ähnlich zu dem Aktualisieren des geplanten Fahrzeugpfades 612a. In manchen Ausführungsformen ist der neue geplante Fahrzeugpfad 612b Teil des aktuellen Zustands des Fahrzeugs 610.
Angesichts der verdeckten Gebiete 620b und 620c zur Zeit t+1 erzeugt das Agententrajektoriesystem 540 des Fahrzeugs 610 neue offene Verdeckungstrajektorien für einen fußgängerartigen hypothetischen Agenten. Zwei beispielhafte neue Verdeckungstrajektorien 640b und 650b, die senkrecht zu den neuen geplanten Fahrzeugpfad 612b sind. In manchen Ausführungsformen werden die neuen Verdeckungstrajektorien 640b und 650b durch Aktualisieren der Trajektorien 640a und 650a durch das Berechnen neuer Positionen der Trajektorien 640a und 650a basierend auf dem aktuellen Zustand des Fahrzeugs 610 erzeugt.
Das Agentenerzeugungssystem 550 des Fahrzeugs 610 nimmt die neuen Verdeckungstrajektorien 640b und 650b an und bestimmt mehrere neue diskrete Agentenerzeugungspunkte. Zwei beispielhafte neue Agentenerzeugungspunkte sind Punkt 642b entlang der Trajektorie 640b und Punkt 652b entlang der Trajektorie 650b. In manchen Ausführungsformen befinden sich die neuen Agentenerzeugungspunkte nur in dem ausgereiften Verdeckungsgebiet 620b, aber nicht im frischen Verdeckungsgebiet 620c, da das frische Verdeckungsgebiet 620c von dem Fahrzeug 610 als kürzlich unbelegt beobachtet wurde und keine hypothetischen Agenten erzeugen sollte.
In manchen Ausführungsformen wird der aktuelle Zustand des Fahrzeugs 610 verwendet, um zu bestimmen, ob die neuen Agentenerzeugungspunkte 642b und 652b den Agentenerzeugungspunkten 642a und 652a entsprechen. In einem beispielhaften Datenassoziationsprozess wird der aktuelle Zustand des Fahrzeugs 610 am Agentenerzeugungssystem verwendet, um eine aktualisierte Position für den Agentenerzeugungspunkt 642a basierend auf den relativen Positionen zur Zeit t des Fahrzeugs 610 und des Punktes 642a zu berechnen. Falls die aktualisierte Position für den Agentenerzeugungspunkt 642a innerhalb eines kleinen Schwellenabstands vom neuen Agentenerzeugungspunkt 642b liegt, entsprechen die Punkte 642a und 642b einander.
Zur Einfachheit halber nimmt die folgende Besprechung an, dass der Punkt 642b dem Punkt 642a entspricht und der Punkt 652b dem Punkt 652a entspricht. Zur Zeit t+1 wird angenommen, dass das Fahrzeug 610 den Schwellenabstand von den Punkten 642b und 652b erfüllt. In manchen Ausführungsformen, da der Punkt 642a zur Zeit t zum Erzeugen von Agenten verwendet wurde, wird der Punkt 642b zur Zeit t+1 nicht zum Erzeugen von Agenten verwendet. In diesem Fall wird nur der Punkt 652b durch das Agentenerzeugungssystem 550 verwendet, um Agenten zu erzeugen, die der Trajektorie 650b folgen. Dies verbietet duplizierte Sätze von Agenten und gewährleistet, dass der Agentenerzeugungsprozess bezüglich Rechenressourcen des Fahrzeugs 610 effizient ist. In manchen Ausführungsformen gewährleistet die Korrespondenz zwischen Agentenerzeugungspunkten, wie etwa die Korrespondenz zwischen dem Punkt 642a und dem Punkt 642b, dass jeder Agentenerzeugungspunkt nur einmal zum Erzeugen von Agenten verwendet wird, selbst zu unterschiedlichen Zeiten (z. B. in unterschiedlichen Zeitschritten).
In manchen Ausführungsformen bestimmt das Agentenerzeugungssystem 550 einige Agentenerzeugungspunkte in der Nähe der Grenzen der verdeckten Gebiete (z. B. des Verdeckungsgebiets 620a oder der Vereinigung der verdeckten Gebiete 620b und 620c), um wiederkehrende Agenten zu erzeugen. Die wiederkehrenden Agenten repräsentieren unaufmerksame fußgängerartige Agenten (z. B. einen unaufmerksamen Fußgänger, einen Skater, der in der Nähe der Straße skatet, oder einen Fahrradfahrer, der in Kreisen fährt). Jeder wiederkehrende Agentenerzeugungspunkt kann verwendet werden, um auch eine Verteilung von wiederkehrenden Agenten zu erzeugen. Die wiederkehrenden Agentenerzeugungspunkte können verwendet werden, um eine Korrespondenz unter Verwendung des oben beschriebenen beispielhaften Datenassoziationsprozesses herzustellen.
Zur Zeit t+1 aktualisiert der Agentengenerator Positionen und Geschwindigkeiten der zur Zeit t erzeugten Agenten. Ein zur Zeit t erzeugter Agent, der seinem Bewegungsprofil folgt, weist eine aktualisierte Position und eine aktualisierte Geschwindigkeit zur Zeit t+1 auf. In manchen Ausführungsformen, falls der hypothetische Agent in dem durch das Fahrzeug 610 beobachtbaren Bereich für eine ausreichende Menge an Zeit (z. B. 0,3 Sekunden) bleibt, wird der hypothetische Agent aus zukünftigen Aktualisierungen entfernt, indem das Agentenerzeugungssystem 550 den Agenten löscht oder dekonstruiert. In manchen Ausführungsformen wird die Menge an Zeit hinsichtlich einer Anzahl von Zeitschritten (z. B. der nächsten 5 Zeitschritte) definiert. Diese Verzögerung kann Unsicherheiten in der Wahrnehmung rund um die Verdeckungsgrenzen mindern. Schnellere hypothetisch Agenten werden in das sichtbare Gebiet früher eintreten und typischerweise größere Beschränkungen auferlegen, aber sie werden auch früher beendet. Die Agenten, die für eine längere Zeit innerhalb des verdeckten Bereichs überleben, repräsentieren Verzögerungseffekte oder etwas langsamere fußgängerartige Agenten (z. B. Fahrradfahrer, Skater und/oder Fußgänger). Die Löschung oder Dekonstruktion von Agenten gibt Speicherplatz und Rechenressourcen des Fahrzeugs 610 frei.
In manchen Ausführungsformen werden Agenten mit negativen Geschwindigkeiten aus zukünftigen Aktualisierungen entfernt, falls die Agenten negative Geschwindigkeiten für eine ausreichende Menge an Zeit aufweisen. Die Agenten mit negativen Geschwindigkeiten repräsentieren Fußgänger, die sich vom Pfad des Fahrzeugs 610 weg bewegen und daher viel weniger strenge Beschränkungen an dem Verhalten des Fahrzeugs 610 auferlegen. Das Entfernen dieser Agenten aus zukünftigen Aktualisierungen gibt ebenso Speicherplatz und Rechenressourcen des Fahrzeugs 610 frei.
Jetzt mit Bezug auf 7 ist ein beispielhaftes Szenario 700 zum Bestimmen von Agentenerzeugungspunkten für hypothetische Agenten, die simulierte Fahrzeuge sind, veranschaulicht. In manchen Ausführungsformen ist das Erzeugen und Aktualisieren hypothetischer Agenten, die simulierte Fahrzeuge sind, das gleiche oder ähnlich wie das oben beschriebene Erzeugen und Aktualisieren von fußgängerartigen hypothetischen Agenten. In manchen Ausführungsformen wird der Prozess 700 durch ein Fahrzeug 710 durchgeführt. In manchen Ausführungsformen ist das Fahrzeug 710 das Fahrzeug 200, das das System 500 enthält. In manchen Ausführungsformen ist das Fahrzeug 710 das gleiche oder ähnlich wie das Fahrzeug 610.
In Ausführungsformen erkennt ein autonomes System 702 des Fahrzeugs 710 (das das gleiche oder ähnlich ist wie das autonome System 202 von 2) das Verdeckungsgebiet 720, das von einem anderen Fahrzeug 740 auf der Straße blockiert wird, durch Indikationen auf der Segmentierungsmaske, die durch das Segmentierungsmaskensystem 530 des Fahrzeugs 710 erzeugt werden. In manchen Ausführungsformen beinhaltet das auf der Segmentierungsmaske angegebene Verdeckungsgebiet 720 einen Teil einer befahrbaren Straße. Die befahrbare Straße beinhaltet eine Spurmitte 730. In manchen Ausführungsformen ist die Spurmitte 730 eine Mitte einer Fahrspur, die auf der befahrbaren Straße enthalten ist.
Das System 702 des Fahrzeugs 710 erkennt in dem Verdeckungsgebiet 720 die Spurmitte 730. Die Erkennung basiert auf Indikationen auf der Segmentierungsmaske oder basiert auf einer Interpolation oder Extrapolation der Umgebung, die unter Verwendung der Wahrnehmungssensordaten 512 rekonstruiert wird, oder beidem.
Das Agententrajektoriesystem 540 des Fahrzeugs 710 erzeugt neue offene Verdeckungstrajektorien für hypothetische Agenten, die simulierte Fahrzeuge sind, basierend auf der Spurmitte 730. Eine beispielhafte offene Verdeckungstrajektorie liegt entlang der Spurmitte 730. In manchen Ausführungsformen erstreckt sich die offene Verdeckungstrajektorie in Richtung des Fahrzeugs 710 ungeachtet der Fortbewegungsrichtung. In solchen Ausführungsformen können die fahrzeugartigen Agenten Fahrzeuge mit anormalem Verhalten repräsentieren (z. B. rückwärts gehen, rückwärts fahren und/oder dergleichen).
Das Agentenerzeugungssystem 550 des Fahrzeugs 710 nimmt die neuen Verdeckungstrajektorien an und bestimmt diskrete Agentenerzeugungspunkte entlang der offenen Verdeckungstrajektorien. Ein beispielhafter Agentenerzeugungspunkt für einen hypothetischen Agenten, der ein simuliertes Fahrzeug ist, ist Punkt 732 entlang der Spurmitte 730. In manchen Ausführungsformen bestimmt das Agentenerzeugungssystem 550 einige Agentenerzeugungspunkte in der Nähe der Grenzen des befahrbaren Straßensegments des verdeckten Bereichs 720, um wiederkehrende simulierte Fahrzeuge als hypothetische Agenten zu erzeugen.
Jetzt mit Bezug auf 8 ist ein Flussdiagramm eines beispielhaften Prozesses 800 zum Vorhersagen einer Bewegung hypothetischer Agenten veranschaulicht. In manchen Ausführungsformen werden ein oder mehrere der Schritte, die mit Bezug auf den Prozess 800 beschrieben sind, (z. B. vollständig, teilweise und/oder dergleichen) durch den Prozessor 304 des Fahrzeugs 610 und/oder des Fahrzeugs 710 durchgeführt. Zusätzlich oder alternativ werden in manchen Ausführungsformen ein oder mehrere Schritte, die mit Bezug auf den Prozess 800 beschrieben sind, (z. B. vollständig, teilweise und/oder dergleichen) durch eine andere Vorrichtung oder Gruppe von Vorrichtungen separat von oder einschließlich des Prozessors 304 durchgeführt, wie etwa ein Fernprozessor in einer Cloud-Rechenumgebung.
Weiterhin mit Bezug auf 8 werden Sensordaten empfangen, die die Umgebung rund um ein Fahrzeug angeben (Block 810). Beispielsweise können die Sensordaten, die die Umgebung rund um das Fahrzeug angeben, durch ein System eines Fahrzeugs (z. B. ein System eines Fahrzeugs, das das gleiche oder ähnlich wie das Fahrzeug 610 und/oder das Fahrzeug 710 ist) empfangen werden. In manchen Ausführungsformen sind die Sensordaten die Wahrnehmungssensordaten 512, die von dem in 5 gezeigten Wahrnehmungssystem 502 erzeugt werden. In manchen Ausführungsformen ist das Fahrzeug das in 6A gezeigte Fahrzeug 610. In manchen Ausführungsformen ist das Fahrzeug das in 7 gezeigte Fahrzeug 710.
Weiterhin mit Bezug auf 8 wird eine Segmentierungsmaske erzeugt, die mindestens einen verdeckten Bereich angibt (Block 820). In manchen Ausführungsformen wird die Segmentierungsmaske durch das in 5 gezeigte Segmentierungsmaskensystem 530 erzeugt. In manchen Ausführungsformen ist der mindestens eine verdeckte Bereich der in 5 gezeigte verdeckte Bereich 532. In manchen Ausführungsformen wird der mindestens eine verdeckte Bereich, der auf der Segmentierungsmaske von einer vorherigen Zeit angegeben wird, basierend auf einem aktuellen Zustand des Fahrzeugs aktualisiert. In solchen Ausführungsformen ist der aktualisierte mindestens eine verdeckte Bereich eines der verdeckten Gebiete 620b-c. In manchen Ausführungsformen wird mindestens ein wiederkehrender Agentenerzeugungspunkt als in der Nähe (z. B. innerhalb) der Grenze des mindestens einen verdeckten Bereichs bestimmt.
Weiterhin mit Bezug auf 8 wird mindestens eine hypothetische Agententrajektorie in den mindestens einen verdeckten Bereich auf der Segmentierungsmaske erzeugt (Block 830). In manchen Ausführungsformen wird die mindestens eine hypothetische Agententrajektorie durch das in 5 gezeigte Agententrajektoriesystem 540 erzeugt. In manchen Ausführungsformen ist die mindestens eine hypothetische Agententrajektorie eine offene Verdeckungstrajektorie. In manchen Ausführungsformen basiert die mindestens eine hypothetische Agententrajektorie auf einem geplanten Pfad des Fahrzeugs oder ist senkrecht zu diesem, wie etwa den offenen Verdeckungstrajektorien 640a und 650a für fußgängerartige hypothetische Agenten. In manchen Ausführungsformen basiert die mindestens eine hypothetische Agententrajektorie auf einer Mitte einer Fahrspur oder liegt entlang dieser, wie etwa der offenen Verdeckungstrajektorie für fahrzeugartige hypothetische Agenten entlang der Spurmitte 730. In manchen Ausführungsformen wird die mindestens eine hypothetische Agententrajektorie basierend auf dem Aktualisieren des mindestens einen verdeckten Bereichs und einem geplanten Pfad des Fahrzeugs aktualisiert. In solchen Ausführungsformen ist die aktualisierte mindestens eine hypothetische Agententrajektorie eine der offenen Verdeckungstrajektorien 640b und 650b für fußgängerartige hypothetische Agenten.
Weiterhin mit Bezug auf 8 wird mindestens ein Agentenerzeugungspunkt entlang der mindestens einen Agententrajektorie bestimmt (Block 840). In manchen Ausführungsformen wird der mindestens eine Agentenerzeugungspunkt durch das in 5 gezeigte Agentenerzeugungssystem 550 erzeugt. In manchen Ausführungsformen wird mindestens ein aktualisierter Agentenerzeugungspunkt basierend auf der aktualisierten mindestens einen Agententrajektorie bestimmt. In solchen Ausführungsformen ist der mindestens eine aktualisierte Agentenerzeugungspunkt einer von Punkt 642b und Punkt 652b. In manchen Ausführungsformen wird bestimmt, dass der mindestens eine aktualisierte Agentenerzeugungspunkt nicht einem zuvor verwendeten Agentenerzeugungspunkt entspricht. In solchen Ausführungsformen entspricht Punkt 642b einem zuvor verwendeten Agentenerzeugungspunkt 642a und wird nicht erneut verwendet.
Weiterhin mit Bezug auf 8 wird bestimmt, ob ein Schwellenabstand von dem mindestens einen Agentenerzeugungspunkt zu dem Fahrzeug erfüllt ist (Block 850). In manchen Ausführungsformen ist der Schwellenabstand von dem mindestens einen Agentenerzeugungspunkt zu dem Fahrzeug vorbestimmt. In manchen Ausführungsformen wird der Schwellenabstand von dem mindestens einen Agentenerzeugungspunkt zu dem Fahrzeug basierend auf dem Erfassungsbereich der am Fahrzeug befestigten Sensoren berechnet.
Weiterhin mit Bezug auf 8 wird mindestens ein Agent, der mit mindestens einem Bewegungsprofil assoziiert ist, basierend auf dem mindestens einen Agentenerzeugungspunkt, basierend auf dem Bestimmen, dass der vordefinierte Schwellenabstand erfüllt ist, erzeugt (Block 860). In manchen Ausführungsformen stammt der mindestens eine Agent von einer Verteilung von Agenten. In manchen Ausführungsformen sind die erzeugten Agenten der in 5 gezeigte Agent 552. In manchen Ausführungsformen ist der mindestens ein Agentenerzeugungspunkt einer der Agentenerzeugungspunkte 642a-b, 652a-b oder 732, die in den 6 und 7 gezeigt sind. In manchen Ausführungsformen wird mindestens ein wiederkehrender Agent, der mit mindestens einem Bewegungsprofil assoziiert ist, basierend auf dem Bestimmen des mindestens einen wiederkehrenden Agentenerzeugungspunkts erzeugt. In manchen Ausführungsformen werden eine Position und eine Geschwindigkeit eines erzeugten Agenten basierend auf seinem Bewegungsprofil aktualisiert. In solchen Ausführungsformen wird ein Agent, der in einen durch das Fahrzeug beobachtbaren Bereich für eine ausreichende Menge an Zeit eintritt, relativ zu einer vorbestimmten Schwelle, aus zukünftigen Aktualisierungen entfernt werden.
Weiterhin mit Bezug auf 8 wird ein Pfad des Fahrzeugs als Reaktion auf den mindestens einen Agenten geplant (Block 870). In manchen Ausführungsformen wird der Pfad des Fahrzeugs durch das Planungssystem 404 geplant, um eine Kollision mit dem mindestens einen Agenten zu vermeiden. In manchen Ausführungsformen ist der geplante Pfad einer der geplanten Fahrzeugpfade 612a-b.
Weiterhin mit Bezug auf 8 wird das Fahrzeug gemäß dem geplanten Pfad gesteuert (Block 880). In manchen Ausführungsformen wird das Fahrzeug durch das Steuersystem 408 gesteuert.
In der vorstehenden Beschreibung wurden Aspekte und Ausführungsformen der vorliegenden Offenbarung mit Bezugnahme auf zahlreiche spezifische Einzelheiten beschrieben, die von Implementierung zu Implementierung variieren können. Dementsprechend sind die Beschreibung und die Zeichnungen als veranschaulichend anstatt beschränkend aufzufassen. Der alleinige und exklusive Indikator des Schutzumfangs der Erfindung, und was durch die Anmelder als der Schutzumfang der Erfindung beabsichtigt wird, ist der wörtliche und äquivalente Schutzumfang des Satzes von Ansprüchen, der sich aus dieser Anmeldung ergibt, in der spezifischen Form, in der solche Ansprüche sich ergeben, einschließlich einer jeglichen anschließenden Korrektur. Jegliche Definitionen, die hierin für in solchen Ansprüchen enthaltenen Begriffe dargelegt sind, sollen die Bedeutung solcher Begriffe, wie in den Ansprüchen verwendet, bestimmen. Zusätzlich, wenn der Begriff „ferner umfassend“ in der vorstehenden Beschreibung oder den folgenden Ansprüchen verwendet wird, kann, was diesem Ausdruck folgt, ein zusätzlicher Schritt oder eine zusätzliche Entität oder ein Teilschritt/eine Teilentität eines zuvor vorgetragenen Schritts oder einer zuvor vorgetragenen Entität sein.

Claims

Verfahren, umfassend: Empfangen, unter Verwendung mindestens eines Prozessors, von Sensordaten, die die Umgebung rund um ein Fahrzeug angeben; Erzeugen, unter Verwendung des mindestens einen Prozessors, einer Segmentierungsmaske, die mindestens einen verdeckten Bereich angibt; Erzeugen, unter Verwendung des mindestens einen Prozessors, mindestens einer hypothetischen Agententrajektorie basierend auf dem mindestens einen verdeckten Bereich; Bestimmen, unter Verwendung des mindestens einen Prozessors, mindestens eines Agentenerzeugungspunkts basierend auf der mindestens einen Agententrajektorie; Bestimmen, unter Verwendung des mindestens einen Prozessors, ob ein Schwellenabstand von dem mindestens einen Agentenerzeugungspunkt zu dem Fahrzeug erfüllt ist; Erzeugen, basierend auf dem mindestens einen Agentenerzeugungspunkt, unter Verwendung des mindestens einen Prozessors, mindestens eines Agenten, der mit mindestens einem Bewegungsprofil assoziiert ist, basierend auf dem Bestimmen, dass der vordefinierte Schwellenabstand erfüllt ist; Planen, unter Verwendung des mindestens einen Prozessors, eines Pfades des Fahrzeugs basierend auf dem Erzeugen des mindestens einen Agenten; und Steuern, unter Verwendung des mindestens einen Prozessors, des Fahrzeugs gemäß dem geplanten Pfad.
Verfahren nach Anspruch 1, ferner umfassend: Aktualisieren des mindestens einen verdeckten Bereichs, der auf der Segmentierungsmaske von einer vorherigen Zeit angegeben wird, basierend auf einem aktuellen Zustand des Fahrzeugs; Aktualisierung der mindestens einen Agententrajektorie basierend auf dem Aktualisieren des mindestens einen verdeckten Bereichs und einer initialen Trajektorie des Fahrzeugs; Bestimmen mindestens eines aktualisierten Agentenerzeugungspunkts basierend auf der aktualisierten mindestens einen Agententrajektorie; und Bestimmen, dass der mindestens eine aktualisierte Agentenerzeugungspunkt keinem zuvor verwendeten Agentenerzeugungspunkt entspricht.
Verfahren nach Anspruch 1 oder 2, ferner umfassend: Bestimmen mindestens eines wiederkehrenden Agentenerzeugungspunkts in der Nähe der Grenze des mindestens einen verdeckten Bereichs; und Erzeugen mindestens eines wiederkehrenden Agenten, der mit mindestens einem Bewegungsprofil assoziiert ist, basierend auf dem Bestimmen des mindestens einen wiederkehrenden Agentenerzeugungspunkts.
Verfahren nach den Ansprüchen 1-3, ferner umfassend: Aktualisieren einer Position und einer Geschwindigkeit eines erzeugten Agenten basierend auf seinem Bewegungsprofil.
Verfahren nach Anspruch 4, ferner umfassend: Bestimmen, dass ein Agent in einen vom Fahrzeug beobachtbaren Bereich für eine ausreichende Menge an Zeit eintritt; und Entfernen des Agenten aus zukünftigen Aktualisierungen basierend auf dem Bestimmen, dass der Agent in einen vom Fahrzeug beobachtbaren Bereich für eine ausreichende Menge an Zeit eintritt.
Verfahren nach den Ansprüchen 1-5, wobei der Schwellenabstand basierend auf dem Erfassungsbereich der am Fahrzeug befestigten Sensoren berechnet wird.
Verfahren nach den Ansprüchen 1-6, wobei es sich bei der mindestens einen Agententrajektorie um eine offene Verdeckungstrajektorie handelt.
Verfahren nach den Ansprüchen 1-7, wobei die mindestens eine Agententrajektorie basierend auf einer initialen Trajektorie des Fahrzeugs erzeugt wird.
Verfahren nach Anspruch 8, wobei die mindestens eine Agententrajektorie senkrecht zu der initialen Trajektorie des Fahrzeugs ist.
Verfahren nach den Ansprüchen 1-7, wobei die mindestens eine Agententrajektorie basierend auf einer Mitte einer Fahrspur erzeugt wird.
Verfahren nach Anspruch 10, wobei die mindestens eine Agententrajektorie entlang der Mitte einer Fahrspur liegt.
Fahrzeug, umfassend: mindestens einen Prozessor, und mindestens ein nichtflüchtiges Speicherungsmedium, das Anweisungen speichert, die bei Ausführung durch den mindestens einen Prozessor bewirken, dass der mindestens eine Prozessor das Verfahren nach Anspruch 1 durchführt.
Nichtflüchtiges Speicherungsmedium bzw. nichtflüchtige Speicherungsmedien, die Anweisungen speichern, die bei Ausführung durch mindestens einen Prozessor bewirken, dass der mindestens eine Prozessor das Verfahren nach Anspruch 1 durchführt.