DE102022102187A1

DE102022102187A1 - High-fidelity-daten-getriebene multimodale simulation

Info

Publication number: DE102022102187A1
Application number: DE102022102187.4A
Authority: DE
Inventors: Austin Dill; Yunming Shao; Silvio Maeta; Arpit Jangid
Original assignee: Motional AD LLC
Current assignee: Motional AD LLC
Priority date: 2021-11-19
Filing date: 2022-01-31
Publication date: 2023-05-25
Also published as: KR20230074395A; GB2613038A; US20230159033A1; CN116149309A

Abstract

Es sind Verfahren zum Generieren synthetischer High-Fidelity-Sensordaten bereitgestellt, die hypothetische Fahrszenarien für das Fahrzeug repräsentieren. Einige beschriebene Verfahren beinhalten Zugreifen auf Sensordaten, die mit einem Betrieb eines Fahrzeugs in einer Umgebung, das einen ersten Pfad befährt, assoziiert sind. Ein Betrieb eines simulierten Fahrzeugs wird entlang eines synthetischen Fahrszenarios in der simulierten Umgebung entlang eines zweiten Pfades, der sich vom ersten Pfad unterscheidet, und in Simulation mit den mehreren simulierten Agenten simuliert. Es sind auch Systeme und Computerprogrammprodukte bereitgestellt.

Description

HINTERGRUND
Autonome Fahrzeuge können mehrere Sensoren beinhalten, die Sensordaten über das Fahrzeug und seine Umgebung erzeugen. LiDAR(Lichtdetektion und -entfernungsmessung)-Sensoren können gepulste Lichtwellen in eine umliegende Umgebung emittieren und können einen Detektor verwenden, um Informationen aus Licht zu bestimmen, das von Objekten in der Umgebung reflektiert wird. Gleichermaßen können RADAR(Funkdetektion und -entfernungsmessung)-Sensoren Objektinformationen aus Funkwellen bestimmen, die von einem Objekt in der Umgebung reflektiert werden, nachdem die Wellen durch einen Emitter emittiert werden. Autonome Fahrzeuge können die LiDAR- und RADAR-Informationen verwenden, um Pfade durch die Umgebung zu befahren.
Figurenliste

1 ist eine beispielhafte Umgebung, in der ein Fahrzeug, das eine oder mehrere Komponenten eines autonomen Systems beinhaltet, implementiert werden kann;
2 ist ein Diagramm eines oder mehrerer Systeme eines Fahrzeugs, das ein autonomes System beinhaltet;
3 ist ein Diagramm von Komponenten einer oder mehrerer Vorrichtungen und/oder eines oder mehrerer Systeme der 1 und 2;
4A ist ein Diagramm bestimmter Komponenten eines autonomen Systems;
4B ist ein Diagramm einer Implementierung eines neuronalen Netzwerks;
4C und 4D sind ein Diagramm, das einen beispielhaften Betrieb eines CNN veranschaulicht;
4E ist ein Diagramm, das ein Beispiel für ein Generative Adversarial Network (generierendes gegnerisches Netzwerk) (GAN) veranschaulicht;
5A-5C sind Diagramme, die ein Beispiel für eine Implementierung eines Prozesses für eine High-Fidelity-Daten-getriebene multimodale Simulation veranschaulichen; und
6 ist ein Flussdiagramm eines Prozesses für eine High-Fidelity-Daten-getriebene multimodale Simulation.

AUSFÜHRLICHE BESCHREIBUNG
In der folgenden Beschreibung werden zahlreiche spezifische Einzelheiten dargelegt, um ein umfassendes Verständnis der vorliegenden Offenbarung für Erläuterungszwecke bereitzustellen. Es versteht sich jedoch, dass die durch die vorliegende Offenbarung beschriebenen Ausführungsformen ohne diese spezifischen Einzelheiten umgesetzt werden können. In manchen Fällen sind wohlbekannte Strukturen und Vorrichtungen in Blockdiagrammform veranschaulicht, um zu verhindern, die Aspekte der vorliegenden Offenbarung unnötig unklar zu machen.
Spezifische Anordnungen oder Ordnungen schematischer Elemente, wie etwa jenen, die Systeme, Vorrichtungen, Module, Anweisungsblöcke, Datenelemente und/oder dergleichen repräsentieren, sind zur Vereinfachung der Beschreibung in den Zeichnungen veranschaulicht. Fachleute auf dem Gebiet werden jedoch verstehen, dass die spezifische Ordnung oder Anordnung der schematischen Elemente in den Zeichnungen nicht andeuten soll, dass eine spezielle Verarbeitungsreihenfolge oder -abfolge oder Trennung von Prozessen erforderlich ist, insofern nicht ausdrücklich derartig beschrieben. Ferner soll der Einschluss eines schematischen Elements in einer Zeichnung nicht andeuten, dass ein solches Element in allen Ausführungsformen erforderlich ist oder dass die durch ein solches Element repräsentierten Merkmale möglicherweise bei manchen Ausführungsformen nicht in anderen Elementen enthalten sind oder mit diesen kombiniert werden, insofern nicht ausdrücklich derartig beschrieben.
Ferner soll in den Zeichnungen, in denen Verbindungselemente wie etwa durchgezogene oder gestrichelte Linien oder Pfeile verwendet werden, um eine Verbindung, Beziehung oder Zuordnung zwischen oder unter zwei oder mehr anderen schematischen Elementen zu veranschaulichen, das Nichtvorhandensein jeglicher solcher Verbindungselemente nicht andeuten, dass keine Verbindung, Beziehung oder Zuordnung bestehen kann. Mit anderen Worten sind manche Verbindungen, Beziehungen oder Zuordnungen zwischen Elementen in den Zeichnungen nicht veranschaulicht, um die Offenbarung nicht unklar zu machen. Zusätzlich kann zur Vereinfachung der Veranschaulichung ein einzelnes Verbindungselement verwendet werden, um mehrere Verbindungen, Beziehungen oder Zuordnungen zwischen Elementen zu repräsentieren. Wenn ein Verbindungselement eine Kommunikation von Signalen, Daten oder Anweisungen (z. B. „Softwareanweisungen“) repräsentiert, sollten Fachleute auf dem Gebiet beispielsweise verstehen, dass ein solches Element einen oder mehrere Signalpfade (z. B. einen Bus) repräsentieren kann, wie erforderlich, um die Kommunikation zu bewirken.
Obwohl die Begriffe erster, zweiter, dritter und/oder dergleichen verwendet werden, um verschiedene Elemente zu beschreiben, sollten diese Elemente nicht durch diese Begriffe eingeschränkt werden. Die Begriffe erster, zweiter, dritter und/oder dergleichen werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Beispielsweise könnte ein erster Kontakt als ein zweiter Kontakt bezeichnet werden und gleichermaßen könnte ein zweiter Kontakt als ein erster Kontakt bezeichnet werden, ohne vom Schutzumfang der beschriebenen Ausführungsformen abzuweichen. Sowohl der erste Kontakt als auch der zweite Kontakt sind Kontakte, sie sind aber nicht derselbe Kontakt.
Die in der Beschreibung der verschiedenen beschriebenen Ausführungsformen hierin verwendete Terminologie ist nur zum Zweck der Beschreibung spezieller Ausführungsformen enthalten und soll nicht beschränkend sein. Wie in der Beschreibung der verschiedenen beschriebenen Ausführungsformen und in den angehängten Ansprüchen verwendet, sollen die Singularformen „ein“, „eine“ und „der/die/das“ auch die Pluralformen einschließen und können austauschbar mit „ein/e oder mehrere“ oder „mindestens ein/e“ verwendet werden, insofern der Zusammenhang deutlich nicht etwas anderes angibt. Es versteht sich auch, dass sich der Begriff „und/oder“, wie hierin verwendet, auf jegliche und alle möglichen Kombinationen eines oder mehrerer der assoziierten aufgelisteten Punkte bezieht und einschließt. Es versteht sich ferner, dass die Begriffe „beinhaltet“, „einschließlich“, „umfasst“ und/oder „umfassend“, wenn in dieser Beschreibung verwendet, das Vorhandensein genannter Merkmale, Ganzzahlen, Schritte, Operationen, Elemente und/oder Komponenten spezifiziert, aber nicht das Vorhandensein oder den Zusatz eines/einer oder mehrerer anderer Merkmale, Ganzzahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon ausschließt.
Wie hierin verwendet, beziehen sich die Begriffe „Kommunikation“ und „kommunizieren“ auf den Empfang und/oder den Erhalt und/oder die Übertragung und/oder den Transfer und/oder die Bereitstellung und/oder dergleichen von Informationen (oder Informationen, die beispielsweise durch Daten, Signale, Nachrichten, Anweisungen, Befehle und/oder dergleichen repräsentiert werden). Dass eine Einheit (z. B. eine Vorrichtung, ein System, eine Komponente einer Vorrichtung oder eines Systems, Kombinationen davon und/oder dergleichen) in Kommunikation mit einer anderen Einheit steht, bedeutet, dass die eine Einheit in der Lage ist, direkt oder indirekt Informationen von der anderen Einheit zu empfangen und/oder zu dieser zu senden (z. B. zu übertragen). Dies kann sich auf eine direkte oder indirekte Verbindung beziehen, die drahtgebunden und/oder drahtlos ist. Zusätzlich können zwei Einheiten in Kommunikation miteinander stehen, selbst wenn die übertragenen Informationen zwischen der ersten und zweiten Einheit modifiziert, verarbeitet, weitergeleitet und/oder geroutet werden. Beispielsweise kann eine erste Einheit in Kommunikation mit einer zweiten Einheit stehen, selbst wenn die erste Einheit Informationen passiv empfängt und nicht aktiv Informationen zu der zweiten Einheit überträgt. Als ein anderes Beispiel kann eine erste Einheit in Kommunikation mit einer zweiten Einheit stehen, falls mindestens eine Zwischeneinheit (z. B. eine dritte Einheit, die sich zwischen der ersten Einheit und der zweiten Einheit befindet) von der ersten Einheit empfangene Informationen verarbeitet und die verarbeiteten Informationen zu der zweiten Einheit überträgt. In manchen Ausführungsformen kann sich eine Nachricht auf ein Netzwerkpaket (z. B. ein Datenpaket und/oder dergleichen) beziehen, das Daten beinhaltet.
Wie hierin verwendet, soll der Begriff „falls“ optional so ausgelegt werden, dass er in oder Abhängigkeit vom Zusammenhang „wenn“, „bei“, „als Reaktion auf das Bestimmen“, „als Reaktion auf das Detektieren“ und/oder dergleichen bedeutet. Gleichermaßen wird der Ausdruck „falls bestimmt wird“ oder „falls [eine angegebene Bedingung oder ein angegebenes Ereignis] detektiert wird“ optional als „beim Bestimmen“, „als Reaktion auf das Bestimmen“, „beim Detektieren [der angegebenen Bedingung oder des angegebenen Ereignisses]“, „als Reaktion auf das Detektieren [der angegebenen Bedingung oder des angegebenen Ereignisses]“ und/oder dergleichen bedeutend, in Abhängigkeit vom Kontext ausgelegt". Wie hierin verwendet sollen außerdem die Begriffe „hat“, „haben“, „aufweisend“ oder dergleichen offene Begriffe sein. Ferner soll der Ausdruck „basierend auf“ „zumindest teilweise basierend auf“ bedeuten, insofern nichts anderes ausdrücklich angegeben ist.
Nun wird ausführlicher Bezug auf Ausführungsformen genommen, von denen Beispiele in den begleitenden Zeichnungen veranschaulicht sind. In der folgenden ausführlichen Beschreibung werden zahlreiche spezifische Einzelheiten dargelegt, um ein umfassendes Verständnis der verschiedenen beschriebenen Ausführungsformen bereitzustellen. Ein Durchschnittsfachmann auf dem Gebiet wird jedoch verstehen, dass die verschiedenen beschriebenen Ausführungsformen ohne diese spezifischen Einzelheiten umgesetzt werden können. In anderen Fällen sind wohlbekannte Verfahren, Prozeduren, Komponenten, Schaltungen und Netzwerke nicht ausführlich beschrieben, damit Aspekte der Ausführungsformen nicht unnötig unklar gemacht werden.
Allgemeiner Überblick
In manchen Aspekten und/oder Ausführungsformen beinhalten und/oder implementieren hierin beschriebene Systeme, Verfahren und Computerprogrammprodukte einen Prozess für eine High-Fidelity-Daten-getriebene multimodale Simulation. Es wird auf Sensordaten zugegriffen, die mit einem Betrieb eines Fahrzeugs in einer Umgebung assoziiert sind. Das Fahrzeug befährt einen ersten Pfad durch die Umgebung während des Betriebs des Fahrzeugs. Synthetische Sensordaten und eine simulierte Umgebung werden basierend auf den Sensordaten generiert, die mit dem Betrieb des Fahrzeugs assoziiert sind. Die simulierte Umgebung basiert auf realen Daten und ist dazu ausgelegt, synthetische Umgebungsbedingungen zu simulieren. Ein synthetisches Fahrszenario wird in der simulierten Umgebung unter Verwendung der synthetischen Sensordaten simuliert. Das Simulieren des synthetischen Fahrszenarios beinhaltet Simulieren des Betriebs simulierter Agenten in der simulierten Umgebung und Simulieren des Betriebs eines simulierten Fahrzeugs entlang eines zweiten Pfades, der sich vom ersten Pfad unterscheidet, und in Simulation mit den simulierten Agenten. Ein simulierter Agent kann zum Beispiel ein anderes autonomes Fahrzeug sein. Das Simulieren des synthetischen Fahrszenarios beinhaltet Simulieren von null oder mehr Umgebungsbedingungen in dem synthetischen Fahrszenario, die sich von einer oder mehreren Umgebungsbedingungen unterscheiden, die während des Betriebs des Fahrzeugs in der Umgebung vorhanden sind.
In manchen Ausführungsformen kann ein Fahrzeug, wie etwa ein autonomes Fahrzeug, mehrere Sensoren beinhalten, die Sensordaten über das Fahrzeug und seine Umgebung erzeugen. Die hier beschriebene Technologie verwendet dieser Sensordaten, um synthetische High-Fidelity-Sensordaten zu generieren, die hypothetische Fahrszenarien für das Fahrzeug repräsentieren. Insbesondere werden Bilddaten, LiDAR- oder Lidar(Lichtdetektion und -entfernungsmessung)-Daten und andere Sensordaten, die durch die Sensoren des Fahrzeugs erzeugt werden, interpoliert oder anderweitig modifiziert, um synthetische Sensordaten für neuartige Fahrzeugtrajektorien und -blickwinkel zu generieren. In manchen Beispielen werden die Sensordaten mit Daten augmentiert, die neue Objekte (z. B. Fahrzeuge oder Fußgänger) oder neue Verhaltensweisen oder Attribute für bestehende Objekte repräsentieren, um die synthetischen Sensordaten zu generieren, die das Fahrszenario repräsentieren. Durch die Sensordaten repräsentierte Umgebungsbedingungen, wie etwa Wetterbedingungen, Straßenbedingungen und/oder Tageszeit, können auch modifiziert werden, um die synthetischen Sensordaten zu generieren. Sobald sie generiert sind, können die synthetischen Sensordaten verwendet werden, um den Betrieb des Fahrzeugs durch das hypothetische (oder synthetische) Fahrszenario zu simulieren.
Aufgrund der Implementierung von hierin beschriebenen Systemen, Verfahren und Computerprogrammprodukten, Techniken zum Ermöglichen der Entwicklung und des Prüfens von autonomen Fahrzeugsystemen unter Verwendung von realen Sensordaten, um synthetische High-Fidelity-Sensordaten für neuartige Fahrszenarien zu generieren. Insbesondere können Sensordaten für Randfall(z. B. sicherheitskritische)-Fahrszenarien ohne die Kosten oder das Risiko des Sammelns solcher Daten durch das Fahren des Fahrzeugs generiert werden. Zusätzlich wird durch das wirksame Einsetzen realer Sensordaten die Komplexität des Rekonstruierens des gesamten Szenarios in der Simulation vermieden und Higher Fidelity (höhere Wiedergabetreue) wird bezüglich Systemen erreicht, die auf Modelle zum Approximieren der Sensordaten angewiesen sind. Die hier beschriebene Technologie kann auch konsistente Sensordaten in mehreren Modalitäten, wie etwa Bild- und Lidar-Modalitäten, generieren, was zu einer realistischeren Simulation bezüglich Systemen führt, die Daten in einer einzigen Modalität generieren.
Jetzt mit Bezug auf 1 ist eine beispielhafte Umgebung 100 veranschaulicht, in der Fahrzeuge, die autonome Systeme beinhalten, sowie Fahrzeuge, die diese nicht beinhalten, betrieben werden. Wie veranschaulicht, beinhaltet die Umgebung 100 Fahrzeuge 102a-102n, Objekte 104a-104n, Routen 106a-106n, einen Bereich 108, eine Fahrzeug-zu-Infrastruktur(V21)-Vorrichtung 110, ein Netzwerk 112, ein Fern-Autonomes-Fahrzeug-System (Fern-AV-System) 114, ein Flottenmanagementsystem 116 und ein V21-System 118. Die Fahrzeuge 102a-102n, die Fahrzeug-zu-Infrastruktur(V21)-Vorrichtung 110, das Netzwerk 112, das Autonome-Fahrzeug(AV)-System 114, das Flottenmanagementsystem 116 und das V21-System 118 sind über drahtgebundene Verbindungen, drahtlose Verbindungen oder eine Kombination von drahtgebundenen oder drahtlosen Verbindungen miteinander verbunden (z. B. erstellen eine Verbindung zum Kommunizieren und/oder dergleichen). In manchen Ausführungsformen sind die Objekte 104a-104n über drahtgebundene Verbindungen, drahtlose Verbindungen oder eine Kombination von drahtgebundenen oder drahtlosen Verbindungen mit den Fahrzeugen 102a-102n und/oder der Fahrzeug-zu-Infrastruktur(V21)-Vorrichtung 110 und/oder dem Netzwerk 112 und/oder dem Autonomes-Fahrzeug(AV)-System 114 und/oder dem Flottenmanagementsystem 116 und/oder dem V21-System 118 verbunden.
Die Fahrzeuge 102a-102n (einzeln als Fahrzeug 102 und kollektiv als Fahrzeuge 102 bezeichnet) beinhalten mindestens eine Vorrichtung, die zum Transportieren von Gütern und/oder Menschen ausgelegt ist. In manchen Ausführungsformen sind die Fahrzeuge 102 dazu ausgelegt, sich über das Netzwerk 112 in Kommunikation mit der V21-Vorrichtung 110, dem Fern-AV-System 114, dem Flottenmanagementsystem 116 und/oder dem V21-System 118 zu befinden. In manchen Ausführungsformen beinhalten die Fahrzeuge 102 Autos, Busse, Lastkraftwagen, Züge und/oder dergleichen. In manchen Ausführungsformen sind die Fahrzeuge 102 die gleichen oder ähnlich wie die hierin beschriebenen Fahrzeuge 200 (siehe 2). In manchen Ausführungsformen ist ein Fahrzeug 200 eines Satzes von Fahrzeugen 200 mit einem autonomen Flottenmanager assoziiert. In manchen Ausführungsformen fahren die Fahrzeuge 102 entlang jeweiliger Routen 106a-106n (einzeln als Route 106 und kollektiv als Routen 106 bezeichnet), wie hierin beschrieben. In manchen Ausführungsformen beinhalten ein oder mehrere Fahrzeuge 102 ein autonomes System (z. B. ein autonomes System, das das gleiche oder ähnlich ist wie das autonome System 202).
Die Objekte 104a-104n (einzeln als Objekt 104 und kollektiv als Objekte 104 bezeichnet) beinhalten beispielsweise mindestens ein Fahrzeug, mindestens einen Fußgänger, mindestens einen Fahrradfahrer, mindestens eine Struktur (z. B. ein Gebäude, ein Schild, einen Hydranten usw.) und/oder dergleichen. Jedes Objekt 104 ist stationär (z. B. befindet sich für einen Zeitraum an einem festen Ort) oder mobil (z. B. mit einer Geschwindigkeit und mit mindestens einer Trajektorie assoziiert). In manchen Ausführungsformen sind die Objekte 104 mit entsprechenden Standorten im Bereich 108 assoziiert.
Die Routen 106a-106n (einzeln als Route 106 und kollektiv als Routen 106 bezeichnet) sind jeweils mit einer Sequenz von Handlungen (auch als eine Trajektorie bekannt) assoziiert (z. B. festgelegt), die Zustände verbinden, entlang denen ein AV navigieren kann. Jede Route 106 startet an einem Anfangszustand (z. B. einem Zustand, der einem ersten raumzeitlichen Standort, einer ersten Geschwindigkeit und/oder dergleichen entspricht) und weist einen Endzielzustand (z. B. einem Zustand, der einem zweiten raumzeitlichen Standort entspricht, der sich vom ersten raumzeitlichen Standort unterscheidet) oder ein Zielgebiet (z. B. einen Teilraum akzeptabler Zustände (z. B. Endzustände)) auf. In manchen Ausführungsformen beinhaltet der erste Zustand einen Standort, an dem ein Individuum oder Individuen durch das AV abzuholen ist/sind, und der zweite Zustand oder das Gebiet beinhaltet einen Standort oder Standorte, an dem/denen das Individuum oder die Individuen, das/die durch das AV abgeholt wurde/n, abzusetzen ist/sind. In manchen Ausführungsformen beinhalten die Routen 106 mehrere akzeptable Zustandssequenzen (z. B. mehrere raumzeitliche Standortsequenzen), wobei die mehreren Zustandssequenzen mit mehreren Trajektorien assoziiert sind (z. B. definieren). In einem Beispiel beinhalten die Routen 106 nur Handlungen hoher Ebene oder Standorte mit ungenauem Zustand, wie etwa eine Reihe von verbundenen Straßen, die Abbiegerichtungen an Straßenkreuzungen vorschreiben. Zusätzlich oder alternativ können die Routen 106 genauere Handlungen oder Zustände beinhalten, wie etwa zum Beispiel spezifische Zielspuren oder genaue Standorte innerhalb der Spurbereiche und eine angezielte Geschwindigkeit an diesen Positionen. In einem Beispiel beinhalten die Routen 106 mehrere genaue Zustandssequenzen entlang der mindestens einen Handlungssequenz hoher Ebene mit einem beschränkten Vorausschauhorizont, um Zwischenziele zu erreichen, wobei die Kombination erfolgreicher Iterationen von Zustandssequenzen mit beschränktem Horizont kumulativ mehreren Trajektorien entsprechen, die kollektiv die Route hoher Ebene bilden, um am Endzielzustand oder -gebiet zu enden.
Der Bereich 108 beinhaltet einen physischen Bereich (z. B. ein geografisches Gebiet), in dem die Fahrzeuge 102 navigieren können. In einem Beispiel beinhaltet der Bereich 108 mindestens einen Staat (z. B. ein Land, eine Provinz, ein einzelnes Bundesland mehrerer Bundesländer, die in einem Land eingeschlossen sind, usw.), mindestens einen Teil eines Staates, mindestens eine Stadt, mindestens einen Teil einer Stadt usw. In manchen Ausführungsformen beinhaltet der Bereich 108 mindestens eine benannte Durchgangsstraße (hierin als eine „Straße“ bezeichnet), wie etwa eine Landstraße, eine Autobahn, eine Schnellstraße, eine Stadtstraße usw. Zusätzlich oder alternativ beinhaltet der Bereich 108 in manchen Beispielen mindestens eine unbenannte Straße wie etwa eine Einfahrt, einen Abschnitt eines Parkplatzes, einen Abschnitt eines unbebauten und/oder bebauten Grundstücks, einen Feldweg usw. In manchen Ausführungsformen beinhaltet eine Straße mindestens eine Spur (z. B. einen Teil der Straße, der von den Fahrzeugen 102 befahren werden kann). In einem Beispiel beinhaltet eine Straße mindestens eine Spur, die mit mindestens einer Spurmarkierung assoziiert ist (z. B. basierend darauf identifiziert wird).
Die Fahrzeug-zu-Infrastruktur(V21)-Vorrichtung 110 (manchmal als eine Fahrzeug-zu-Infrastruktur(V2X)-Vorrichtung bezeichnet) beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, sich in Kommunikation mit den Fahrzeugen 102 und/oder dem V21-Infrastruktursystem 118 zu befinden. In manchen Ausführungsformen ist die V21-Vorrichtung 110 dazu ausgelegt, sich über das Netzwerk 112 in Kommunikation mit den Fahrzeugen 102, dem Fern-AV-System 114, dem Flottenmanagementsystem 116 und/oder dem V21-System 118 zu befinden. In manchen Ausführungsformen beinhaltet die V21-Vorrichtung 110 eine Hochfrequenzidentifikation(RFID)-Vorrichtung, Beschilderung, Kameras (z. B. zweidimensionale (2D) und/oder dreidimensionale (3D) Kameras), Spurmarkierungen, Straßenleuchten, Parkuhren usw. In manchen Ausführungsformen ist die V21-Vorrichtung 110 dazu ausgelegt, direkt mit den Fahrzeugen 102 zu kommunizieren. Zusätzlich oder alternativ ist die V21-Vorrichtung 110 in manchen Ausführungsformen dazu ausgelegt, über das V21-System 118 mit den Fahrzeugen 102, dem Fern-AV-System 114 und/oder dem Flottenmanagementsystem 116 zu kommunizieren. In manchen Ausführungsformen ist die V21-Vorrichtung 110 dazu ausgelegt, über das Netzwerk 112 mit dem V2I-System 118 zu kommunizieren.
Das Netzwerk 112 beinhaltet ein oder mehrere drahtgebundene und/oder drahtlose Netzwerke. In einem Beispiel beinhaltet das Netzwerk 112 ein Zellularnetzwerk (z. B. ein Long-Term-Evolution(LTE)-Netzwerk, ein Drittgeneration(3G)-Netzwerk, ein Viertgeneration(4G)-Netzwerk, ein Fünftgeneration(5G)-Netzwerk, ein CDMA(Codemultiplex-Mehrfachzugriff)-Netzwerk usw.), ein öffentliches Landmobilnetz (PLMN), ein Lokalnetzwerk (LAN), ein Weitbereichsnetzwerk (WAN), ein städtisches Netzwerk (MAN), ein Telefonnetz (z. B. das öffentliche Fernsprechnetz (PSTN)), ein privates Netzwerk, ein Ad-Hoc-Netzwerk, ein Intranet, das Internet, ein Faseroptik-basiertes Netzwerk, ein Cloud-Computing-Netzwerk usw., eine Kombination mancher oder aller dieser Netzwerke und/oder dergleichen.
Das Fern-AV-System 114 beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, sich über das Netzwerk 112 in Kommunikation mit den Fahrzeugen 102, der V21-Vorrichtung 110, dem Netzwerk 112, dem Fern-AV-System 114, dem Flottenmanagementsystem 116 und/oder dem V21-System 118 zu befinden. In einem Beispiel beinhaltet das Fern-AV-System 114 einen Server, eine Gruppe von Servern und/oder andere gleichartige Vorrichtungen. In manchen Ausführungsformen ist das Fern-AV-System 114 mit dem Flottenmanagementsystem 116 kolokalisiert. In manchen Ausführungsformen ist das Fern-AV-System 114 an der Installation eines Teils oder aller Komponenten eines Fahrzeugs beteiligt, einschließlich eines autonomen Systems, eines autonomen Fahrzeugcomputers, Software, die durch einen autonomen Fahrzeugcomputer implementiert wird, und/oder dergleichen. In manchen Ausführungsformen verwaltet (z. B. aktualisiert und/oder ersetzt) das Fern-AV-System 114 solche Komponenten und/oder Software während der Lebensdauer des Fahrzeugs.
Das Flottenmanagementsystem 116 beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, sich in Kommunikation mit den Fahrzeugen 102, der V21-Vorrichtung 110, dem Fern-AV-System 114 und/oder dem V2I-Infrastruktursystem 118 zu befinden. In einem Beispiel beinhaltet das Flottenmanagementsystem 116 einen Server, eine Gruppe von Servern und/oder andere gleichartige Vorrichtungen. In manchen Ausführungsformen ist das Flottenmanagementsystem 116 mit einem Fahrgemeinschaftsunternehmen assoziiert (z. B. einer Organisation, die den Betrieb mehrerer Fahrzeuge steuert (z. B. Fahrzeuge, die autonome Systeme beinhalten, und/oder Fahrzeuge, die keine autonome Systeme beinhalten), und/oder dergleichen).
In manchen Ausführungsformen beinhaltet das V21-System 118 mindestens eine Vorrichtung, die dazu ausgelegt ist, sich über das Netzwerk 112 mit den Fahrzeugen 102, der V21-Vorrichtung 110, dem Fern-AV-System 114 und/oder dem Flottenmanagementsystem 116 in Kommunikation zu befinden. In manchen Beispielen ist das V21-System 118 dazu ausgelegt, über eine andere Verbindung als das Netzwerk 112 mit der V21-Vorrichtung 110 in Kommunikation zu stehen. In manchen Ausführungsformen beinhaltet das V21-System 118 einen Server, eine Gruppe von Servern und/oder andere gleichartige Vorrichtungen. In manchen Ausführungsformen ist das V21-System 118 mit einer Stadtverwaltung oder einer privaten Institution (z. B. einer privaten Institution, die die V21-Vorrichtung 110 verwaltet und/oder dergleichen) assoziiert.
Die Anzahl und die Anordnung der in 1 veranschaulichten Elemente sind als ein Beispiel bereitgestellt. Es kann zusätzliche Elemente, weniger Elemente, andere Elemente und/oder anders angeordnete Elemente als die in 1 veranschaulichten geben. Zusätzlich oder alternativ kann mindestens ein Element der Umgebung 100 eine oder mehrere Funktionen durchführen, die als durch mindestens ein anderes Element von 1 durchgeführt beschrieben werden. Zusätzlich oder alternativ kann mindestens ein Satz von Elementen der Umgebung 100 eine oder mehrere Funktionen durchführen, die als durch mindestens einen anderen Satz von Elementen der Umgebung 100 durchgeführt beschrieben werden.
Jetzt mit Bezug auf 2 beinhaltet ein Fahrzeug 200 ein autonomes System 202, ein Antriebsstrangsteuersystem 204, ein Lenkungssteuersystem 206 und ein Bremssystem 208. In manchen Ausführungsformen ist das Fahrzeug 200 das gleiche oder ähnlich wie das Fahrzeug 102 (siehe 1). In manchen Ausführungsformen weist das Fahrzeug 102 autonome Fähigkeit auf (z. B. implementiert mindestens eine Funktion, mindestens ein Merkmal, mindestens eine Vorrichtung und/oder dergleichen, die/das dem Fahrzeug 200 ermöglicht, teilweise oder vollständig ohne menschlichen Eingriff betrieben zu werden, einschließlich unter anderem vollautonome Fahrzeuge (z. B. Fahrzeuge, die nicht auf einen menschlichen Eingriff angewiesen sind), hochautonome Fahrzeuge (z. B. Fahrzeuge, die in gewissen Situationen nicht auf einen menschlichen Eingriff angewiesen sind) und/oder dergleichen). Für eine ausführliche Beschreibung von vollautonomen Fahrzeugen und hochautonomen Fahrzeugen kann Bezug auf den Standard J3016 von SAE International: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems (Klassifikation und Definitionen für Begriffe bezüglich automatisierter Fahrsysteme für Straßenkraftfahrzeuge) genommen werden, der hiermit in seiner Gesamtheit einbezogen wird. In manchen Ausführungsformen ist das Fahrzeug 200 mit einem autonomen Flottenmanager und/oder einem Fahrgemeinschaftsunternehmen assoziiert.
Das autonome System 202 beinhaltet eine Sensorsuite, die eine oder mehrere Vorrichtungen wie etwa Kameras 202a, Lidar-Sensoren 202b, Funkdetektion und -entfernungsmessungs(RADAR oder Radar)-Sensoren 202c und Mikrofone 202d beinhaltet. In manchen Ausführungsformen kann das autonome System 202 mehr oder weniger Vorrichtungen und/oder andere Vorrichtungen beinhalten (z. B. Ultraschallsensoren, inertiale Sensoren, GPS-Empfänger (nachstehend besprochen), Hodometriesensoren, die Daten erzeugen, die mit einer Angabe einer durch das Fahrzeug 200 gefahrenen Entfernung assoziiert sind, und/oder dergleichen). In manchen Ausführungsformen verwendet das autonome System 202 die eine oder die mehreren im autonomen System 202 enthaltenen Vorrichtungen, um Daten zu erzeugen, die mit der hierin beschriebenen Umgebung 100 assoziiert sind. Die durch die eine oder die mehreren Vorrichtungen des autonomen Systems 202 erzeugten Daten können durch ein oder mehrere hierin beschriebene Systeme verwendet werden, um die Umgebung (z. B. die Umgebung 100) zu beobachten, in der sich das Fahrzeug 200 befindet. In manchen Ausführungsformen beinhaltet das autonome System 202 eine Kommunikationsvorrichtung 202e, einen autonomen Fahrzeugcomputer 202f und ein Drive-by-Wire(DBW)-System 202h.
Die Kameras 202a beinhalten mindestens eine Vorrichtung, die dazu ausgelegt ist, sich über einen Bus (z. B. einen Bus, der der gleiche oder ähnlich ist wie der Bus 302 von 3) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem autonomen Fahrzeugcomputer 202f und/oder einer Sicherheitssteuerung 202g zu befinden. Die Kameras 202a beinhalten mindestens eine Kamera (z. B. eine Digitalkamera, die einen Lichtsensor verwendet, wie etwa eine CCD (Charge-Coupled Device), eine Wärmekamera, eine Infrarot(IR)-Kamera, eine Ereigniskamera und/oder dergleichen), um Bilder aufzunehmen, die physische Objekte (z. B. Autos, Busse, Bordsteinkanten, Menschen und/oder dergleichen) beinhalten. In manchen Ausführungsformen erzeugt die Kamera 202a Kameradaten als Ausgabe. In manchen Beispielen erzeugt die Kamera 202a Kameradaten, die Bilddaten beinhalten, die mit einem Bild assoziiert sind. In diesem Beispiel können die Bilddaten mindestens einen Parameter (z. B. Bildcharakteristiken wie etwa Belichtung, Helligkeit usw., einen Bildzeitstempel und/oder dergleichen) entsprechend dem Bild spezifizieren. In einem solchen Beispiel kann das Bild in einem Format vorliegen (z. B. RAW, JPEG, PNG und/oder dergleichen). In manchen Ausführungsformen beinhaltet die Kamera 202a mehrere unabhängige Kameras, die auf einem Fahrzeug ausgebildet (z. B. positioniert) sind, um Bilder für Stereopsis (Stereosicht) aufzunehmen. In manchen Beispielen beinhaltet die Kamera 202a mehrere Kameras, die Bilddaten erzeugen und die Bilddaten zu dem autonomen Fahrzeugcomputer 202f und/oder einem Flottenmanagementsystem (z. B. einem Flottenmanagementsystem, das das gleiche oder ähnlich ist wie das Flottenmanagementsystem 116 von 1) übertragen. In einem solchen Beispiel bestimmt der autonome Fahrzeugcomputer 202f eine Tiefe zu einem oder mehreren Objekten in einem Sichtfeld von mindestens zwei Kameras der mehreren Kameras basierend auf den Bilddaten von den mindestens zwei Kameras. In manchen Ausführungsformen sind die Kameras 202a dazu ausgelegt, Bilder von Objekten innerhalb eines Abstands von den Kameras 202a (z. B. bis zu 100 Metern, bis zu einem Kilometer und/oder dergleichen) aufzunehmen. Dementsprechend beinhalten die Kameras 202a Merkmale wie etwa Sensoren und Objektive, die zum Wahrnehmen von Objekten optimiert sind, die sich bei einem oder mehreren Abständen von den Kameras 202a befinden.
In einer Ausführungsform beinhaltet die Kamera 202a mindestens eine Kamera, die dazu ausgelegt ist, ein oder mehrere Bilder aufzunehmen, die mit einer oder mehreren Ampeln, einem oder mehreren Straßenschildern und/oder anderen physischen Objekten assoziiert sind, die visuelle Navigationsinformationen bereitstellen. In manchen Ausführungsformen erzeugt die Kamera 202a Ampeldaten, die mit einem oder mehreren Bildern assoziiert sind. In manchen Beispielen erzeugt die Kamera 202a Ampeldaten (TLD-Daten), die mit einem oder mehreren Bildern assoziiert sind, die ein Format (z. B. RAW, JPEG, PNG und/oder dergleichen) beinhalten. In manchen Ausführungsformen unterscheidet sich die Kamera 202a, die TLD-Daten erzeugt, in dem Sinne von anderen hierin beschriebenen Systemen, die Kameras beinhalten, dass die Kamera 202a eine oder mehrere Kameras mit einem weiten Sichtfeld beinhalten kann (z. B. einem Weitwinkelobjektiv, einem Fischaugenobjektiv, einem Objektiv mit einem Sichtwinkel von ungefähr 120 Grad oder mehr und/oder dergleichen), um Bilder über so viele physische Objekte wie möglich zu erzeugen.
Die Lidar-Sensoren 202b beinhalten mindestens eine Vorrichtung, die dazu ausgelegt ist, sich über einen Bus (z. B. einen Bus, der der gleiche oder ähnlich ist wie der Bus 302 von 3) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem autonomen Fahrzeugcomputer 202f und/oder einer Sicherheitssteuerung 202g zu befinden. Die Lidar-Sensoren 202b beinhalten ein System, das dazu ausgelegt ist, Licht von einem Lichtemitter (z. B. einem Laser-Sender) zu übertragen. Durch die Lidar-Sensoren 202b emittiertes Licht beinhaltet Licht (z. B. Infrarotlicht und/oder dergleichen), das sich außerhalb des sichtbaren Spektrums befindet. In manchen Ausführungsformen trifft während des Betriebs Licht, das durch die Lidar-Sensoren 202b emittiert wird, auf ein physisches Objekt (z. B. ein Fahrzeug) und wird zurück zu den Lidar-Sensoren 202b reflektiert. In manchen Ausführungsformen dringt das durch die Lidar-Sensoren 202b emittierte Licht nicht in die physischen Objekte ein, auf die das Licht trifft. Die Lidar-Sensoren 202b beinhalten auch mindestens einen Lichtdetektor, der das Licht detektiert, das vom Lichtemitter emittiert wurde, nachdem das Licht auf ein physisches Objekt traf. In manchen Ausführungsformen erzeugt mindestens ein Datenverarbeitungssystem, das mit den Lidar-Sensoren 202b assoziiert ist, ein Bild (z. B. eine Punktwolke, eine kombinierte Punktwolke und/oder dergleichen), das die in einem Sichtfeld der Lidar-Sensoren 202b enthaltenen Objekte repräsentiert. In manchen Beispielen erzeugt das mindestens eine Datenverarbeitungssystem, das mit den Lidar-Sensoren 202b assoziiert ist, ein Bild, das die Grenzen eines physischen Objekts, die Oberflächen (z. B. die Topologie der Oberflächen) des physischen Objekts und/oder dergleichen repräsentiert. In einem solchen Beispiel wird das Bild verwendet, um die Grenzen von physischen Objekten im Sichtfeld der Lidar-Sensoren 202b zu bestimmen.
Die Radar-Sensoren 202c beinhalten mindestens eine Vorrichtung, die dazu ausgelegt ist, sich über einen Bus (z. B. einen Bus, der der gleiche oder ähnlich ist wie der Bus 302 von 3) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem autonomen Fahrzeugcomputer 202f und/oder einer Sicherheitssteuerung 202g zu befinden. Die Radar-Sensoren 202c beinhalten ein System, das dazu ausgelegt ist, Funkwellen (entweder gepulst oder kontinuierlich) zu übertragen. Die durch die Radar-Sensoren 202c übertragenen Funkwellen beinhalten Funkwellen, die innerhalb eines vorbestimmten Spektrums liegen. In manchen Ausführungsformen treffen während des Betriebs Funkwellen, die durch die Radar-Sensoren 202c übertragen werden, auf ein physisches Objekt und werden zurück zu den Radar-Sensoren 202c reflektiert. In manchen Ausführungsformen werden die durch die Radar-Sensoren 202c übertragenen Funkwellen nicht durch irgendwelche Objekte reflektiert. In manchen Ausführungsformen erzeugt mindestens ein Datenverarbeitungssystem, das mit den Radar-Sensoren 202c assoziiert ist, Signale, die die in einem Sichtfeld der Radar-Sensoren 202c enthaltenen Objekte repräsentieren. Beispielsweise erzeugt das mindestens eine Datenverarbeitungssystem, das mit den Radar-Sensoren 202c assoziiert ist, ein Bild, das die Grenzen eines physischen Objekts, die Oberflächen (z. B. die Topologie der Oberflächen) des physischen Objekts und/oder dergleichen repräsentiert. In manchen Beispielen wird das Bild verwendet, um die Grenzen von physischen Objekten im Sichtfeld der Radar-Sensoren 202c zu bestimmen.
Die Mikrofone 202d beinhalten mindestens eine Vorrichtung, die dazu ausgelegt ist, sich über einen Bus (z. B. einen Bus, der der gleiche oder ähnlich ist wie der Bus 302 von 3) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem autonomen Fahrzeugcomputer 202f und/oder einer Sicherheitssteuerung 202g zu befinden. Die Mikrofone 202d beinhalten ein oder mehrere Mikrofone (z. B. Array-Mikrofone, externe Mikrofone und/oder dergleichen), die Audiosignale erfassen und Daten erzeugen, die mit den Audiosignalen assoziiert sind (z. B. repräsentieren). In manchen Beispielen beinhalten die Mikrofone 202d Wandlervorrichtungen und/oder gleichartige Vorrichtungen. In manchen Ausführungsformen können ein oder mehrere hierin beschriebene Systeme die durch die Mikrofone 202d erzeugten Daten empfangen und eine Position eines Objekts relativ zu dem Fahrzeug 200 (z. B. einen Abstand und/oder dergleichen) basierend auf den mit den Daten assoziierten Audiosignalen bestimmen.
Die Kommunikationsvorrichtung 202e beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, sich mit den Kameras 202a, den Lidar-Sensoren 202b, den Radar-Sensoren 202c, den Mikrofonen 202d, dem autonomen Fahrzeugcomputer 202f, der Sicherheitssteuerung 202g und/oder dem Drive-by-Wire(DBW)-System 202h in Kommunikation zu befinden. Beispielsweise kann die Kommunikationsvorrichtung 202e eine Vorrichtung beinhalten, die die gleiche oder ähnlich ist wie die Kommunikationsschnittstelle 314 von 3. In manchen Ausführungsformen beinhaltet die Kommunikationsvorrichtung 202e eine Fahrzeugzu-Fahrzeug(V2V)-Kommunikationsvorrichtung (z. B. eine Vorrichtung, die eine drahtlose Kommunikation von Daten zwischen Fahrzeugen ermöglicht).
Der autonome Fahrzeugcomputer 202f beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, sich mit den Kameras 202a, den Lidar-Sensoren 202b, den Radar-Sensoren 202c, den Mikrofonen 202d, der Kommunikationsvorrichtung 202e, der Sicherheitssteuerung 202g und/oder dem DBW-System 202h in Kommunikation zu befinden. In manchen Beispielen beinhaltet der autonome Fahrzeugcomputer 202f eine Vorrichtung wie etwa eine Client-Vorrichtung, eine mobile Vorrichtung (z. B. ein zellulares Telefon, ein Tablet und/oder dergleichen), einen Server (z. B. eine Rechenvorrichtung, die eine oder mehrere Zentralverarbeitungseinheiten, Grafikverarbeitungseinheiten und/oder dergleichen beinhaltet) und/oder dergleichen. In manchen Ausführungsformen ist der autonome Fahrzeugcomputer 202f der gleiche oder ähnlich wie der hierin beschriebene autonome Fahrzeugcomputer 400. Alternativ oder zusätzlich ist der autonome Fahrzeugcomputer 202f in manchen Ausführungsformen dazu ausgelegt, sich in Kommunikation mit einem autonomen Fahrzeugsystem (z. B. einem autonomen Fahrzeugsystem, das das gleiche oder ähnlich ist wie das Fern-AV-System 114 von 1), einem Flottenmanagementsystem (z. B. einem Flottenmanagementsystem, das das gleiche oder ähnlich ist wie das Flottenmanagementsystem 116 von 1), einer V21-Vorrichtung (z. B. einer V21-Vorrichtung, die die gleiche oder ähnlich ist wie die V21-Vorrichtung 110 von 1) und/oder einem V21-System (z. B. einem V2I-System, das das gleiche oder ähnlich ist wie das V21-System 118 von 1) zu befinden.
Die Sicherheitssteuerung 202g beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, sich mit den Kameras 202a, den Lidar-Sensoren 202b, den Radar-Sensoren 202c, den Mikrofonen 202d, der Kommunikationsvorrichtung 202e, dem autonomen Fahrzeugcomputer 202f und/oder dem DBW-System 202h in Kommunikation zu befinden. In manchen Beispielen beinhaltet die Sicherheitssteuerung 202g eine oder mehrere Steuerungen (elektrische Steuerungen, elektromechanische Steuerungen und/oder dergleichen), die dazu ausgelegt sind, Steuersignale zum Betreiben einer oder mehrerer Vorrichtungen des Fahrzeugs 200 (z. B. Antriebsstrangsteuersystem 204, Lenkungssteuersystem 206, Bremssystem 208 und/oder dergleichen) zu erzeugen und/oder zu übertragen. In manchen Ausführungsformen ist die Sicherheitssteuerung 202g dazu ausgelegt, Steuersignale zu erzeugen, die gegenüber Steuersignalen Vorrang haben (z. B. überschreiben), die durch den autonomen Fahrzeugcomputer 202f erzeugt und/oder übertragen werden.
Das DBW-System 202h beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, mit der Kommunikationsvorrichtung 202e und/oder dem autonomen Fahrzeugcomputer 202f in Kommunikation zu stehen. In manchen Beispielen beinhaltet das DBW-System 202h eine oder mehrere Steuerungen (z. B. elektrische Steuerungen, elektromechanische Steuerungen und/oder dergleichen), die dazu ausgelegt sind, Steuersignale zum Betreiben einer oder mehrerer Vorrichtungen des Fahrzeugs 200 (z. B. Antriebsstrangsteuersystem 204, Lenkungssteuersystem 206, Bremssystem 208 und/oder dergleichen) zu erzeugen und/oder zu übertragen. Zusätzlich oder alternativ sind die eine oder die mehreren Steuerungen des DBW-Systems 202h dazu ausgelegt, Steuersignale zum Betreiben mindestens einer anderen Vorrichtung (z. B. eines Blinkers, Scheinwerfer, Türverriegelungen, Scheibenwischer und/oder dergleichen) des Fahrzeugs 200 zu erzeugen und/oder zu übertragen.
Das Antriebsstrangsteuersystem 204 beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, sich in Kommunikation mit dem DBW-System 202h zu befinden. In manchen Beispielen beinhaltet das Antriebsstrangsteuersystem 204 mindestens eine Steuerung, einen Aktor und/oder dergleichen. In manchen Ausführungsformen empfängt das Antriebsstrangsteuersystem 204 Steuersignale vom DBW-System 202h und das Antriebsstrangsteuersystem 204 bewirkt, dass das Fahrzeug 200 anfängt, sich vorwärts zu bewegen, aufhört, sich vorwärts zu bewegen, anfängt, sich rückwärts bewegen, aufhört, sich rückwärts zu bewegen, in eine Richtung beschleunigt, in eine Richtung abbremst, nach links abbiegt, nach rechts abbiegt und/oder dergleichen. In einem Beispiel bewirkt das Antriebsstrangsteuersystem 204, dass die einem Motor des Fahrzeugs bereitgestellte Energie (z. B. Kraftstoff, Elektrizität und/oder dergleichen) zunimmt, gleich bleibt oder abnimmt, wodurch bewirkt wird, dass sich mindestens ein Rad des Fahrzeugs 200 dreht oder nicht dreht.
Das Lenkungssteuersystem 206 beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, ein oder mehrere Räder des Fahrzeugs 200 zu drehen. In manchen Beispielen beinhaltet das Lenkungssteuersystem 206 mindestens eine Steuerung, einen Aktor und/oder dergleichen. In manchen Ausführungsformen bewirkt das Lenkungssteuersystem 206, dass sich die zwei Vorderräder und/oder die zwei Hinterräder des Fahrzeugs 200 nach links oder rechts drehen, um zu bewirken, dass das Fahrzeug 200 nach links oder rechts abbiegt.
Das Bremssystem 208 beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, eine oder mehrere Bremsen zu betätigen, um zu bewirken, dass das Fahrzeug 200 die Geschwindigkeit reduziert und/oder stationär bleibt. In manchen Beispielen beinhaltet das Bremssystem 208 mindestens eine Steuerung und/oder mindestens einen Aktor, die/der dazu ausgelegt ist, zu bewirken, dass sich ein oder mehrere Bremssattel, die mit einem oder mehreren Rädern des Fahrzeugs 200 assoziiert sind, an einem entsprechenden Rotor des Fahrzeugs 200 schließen. Zusätzlich oder alternativ beinhaltet das Bremssystem 208 in manchen Beispielen ein automatisches Notfallbremssystem (AEB-System), ein regeneratives Bremssystem und/oder dergleichen.
In manchen Ausführungsformen beinhaltet das Fahrzeug 200 mindestens einen Plattformsensor (nicht ausdrücklich veranschaulicht), der Eigenschaften eines Status oder eines Zustands des Fahrzeugs 200 misst oder folgert. In manchen Beispielen beinhaltet das Fahrzeug 200 Plattformsensoren wie etwa einen Empfänger eines globalen Positionierungssystem (GPS), eine inertiale Messeinheit (IMU), einen Radgeschwindigkeitssensor, einen Radbremsdrucksensor, einen Raddrehmomentsensor, einen Motordrehmomentsensor, einen Lenkwinkelsensor und/oder dergleichen.
Jetzt mit Bezug auf 3 ist ein schematisches Diagramm einer Vorrichtung 300 veranschaulicht. Wie veranschaulicht, beinhaltet die Vorrichtung 300 einen Prozessor 304, einen Speicher 306, eine Speicherungskomponente 308, eine Eingangsschnittstelle 310, eine Ausgangsschnittstelle 312, eine Kommunikationsschnittstelle 314 und einen Bus 302. In manchen Ausführungsformen entspricht die Vorrichtung 300 mindestens einer Vorrichtung der Fahrzeuge 102 (z. B. mindestens einer Vorrichtung eines Systems der Fahrzeuge 102), mindestens einer oder mehreren Vorrichtungen des Netzwerks 112 (z. B. einer oder mehrerer Vorrichtungen eines Systems des Netzwerks 112). In manchen Ausführungsformen beinhalten eine oder mehrere Vorrichtungen der Fahrzeuge 102 (z. B. eine oder mehrere Vorrichtungen eines Systems der Fahrzeuge 102) und/oder eine oder mehrere Vorrichtungen des Netzwerks 112 (z. B. eine oder mehrere Vorrichtungen eines Systems des Netzwerks 112) mindestens eine Vorrichtung 300 und/oder mindestens eine Komponente der Vorrichtung 300. Wie in 3 gezeigt, beinhaltet die Vorrichtung 300 den Bus 302, den Prozessor 304, den Speicher 306, die Speicherungskomponente 308, die Eingangsschnittstelle 310, die Ausgangsschnittstelle 312 und die Kommunikationsschnittstelle 314.
Der Bus 302 beinhaltet eine Komponente, die eine Kommunikation zwischen den Komponenten der Vorrichtung 300 ermöglicht. In manchen Ausführungsformen wird der Prozessor 304 in Hardware, Software oder einer Kombination von Hardware und Software implementiert. In manchen Beispielen beinhaltet der Prozessor 304 einen Prozessor (z. B. eine Zentralverarbeitungseinheit (CPU), eine Grafikverarbeitungseinheit (GPU), eine beschleunigte Verarbeitungseinheit (APU) und/oder dergleichen), ein Mikrofon, einen Digitalsignalprozessor (DSP) und/oder eine beliebige Verarbeitungskomponente (z. B. ein feldprogrammierbares Gate-Array (FPGA), eine anwendungsspezifische integrierte Schaltung (ASIC) und/oder dergleichen), die dahingehend programmiert werden kann, mindestens eine Funktion durchzuführen. Der Speicher 306 beinhaltet Direktzugriffsspeicher (RAM), Nurlesespeicher (ROM) und/oder eine andere Art von dynamischer und/oder statischer Speicherungsvorrichtung (z. B. Flash-Speicher, magnetischer Speicher, optischer Speicher und/oder dergleichen), die Daten und/oder Anweisungen zur Verwendung durch den Prozessor 304 speichert.
Die Speicherungskomponente 308 speichert Daten und/oder Software bezüglich des Betriebs und der Verwendung der Vorrichtung 300. In manchen Beispielen beinhaltet die Speicherungskomponente 308 eine Festplatte (z. B. eine Magnetplatte, eine optische Platte, eine magnetooptische Platte, eine Solid-State-Platte und/oder dergleichen), eine Compact Disc (CD), eine Digital Versatile Disc (DVD), eine Diskette, eine Kassette, ein Magnetband, eine CD-ROM, RAM, ROM, EPROM, FLASH-EPROM, NV-RAM und/oder eine andere Art von computerlesbarem Medium zusammen mit einem entsprechenden Laufwerk.
Die Eingangsschnittstelle 310 beinhaltet eine Komponente, die der Vorrichtung 300 ermöglicht, Informationen zu empfangen, wie etwa über eine Benutzereingabe (z. B. eine Touchscreen-Anzeige, eine Tastatur, ein Tastenfeld, eine Maus, eine Taste, einen Schalter, ein Mikrofon, eine Kamera und/oder dergleichen). Zusätzlich oder alternativ beinhaltet die Eingangsschnittstelle 310 in manchen Ausführungsformen einen Sensor, der Informationen erfasst (z. B. einen Empfänger eines globalen Positionierungssystems (GPS), einen Beschleunigungsmesser, ein Gyroskop, einen Aktor und/oder dergleichen). Die Ausgangsschnittstelle 312 beinhaltet eine Komponente, die Ausgangsinformationen von der Vorrichtung 300 bereitstellt (z. B. eine Anzeige, einen Lautsprecher, eine oder mehrere Leuchtdioden (LEDs) und/oder dergleichen).
In manchen Ausführungsformen beinhaltet die Kommunikationsschnittstelle 314 eine sendeempfängerartige Komponente (z. B. einen Sendeempfänger, einen getrennten Empfänger und Sender und/oder dergleichen), die der Vorrichtung 300 ermöglicht, über eine drahtgebundene Verbindung, eine drahtlose Verbindung oder eine Kombination aus drahtgebundenen und drahtlosen Verbindungen mit anderen Vorrichtungen zu kommunizieren. In manchen Beispielen ermöglicht die Kommunikationsschnittstelle 314 der Vorrichtung 300, Informationen von einer anderen Vorrichtung zu empfangen und/oder einer anderen Vorrichtung Informationen bereitzustellen. In manchen Beispielen beinhaltet die Kommunikationsschnittstelle 314 eine Ethernet-Schnittstelle, eine optische Schnittstelle, eine Koaxialschnittstelle, eine Infrarotschnittstelle, eine Hochfrequenz(HF)-Schnittstelle, eine Universal-Serial-Bus(USB)-Schnittstelle, eine WiFi^®-Schnittstelle, eine Zellularnetzschnittstelle und/oder dergleichen.
In manchen Ausführungsformen führt die Vorrichtung 300 einen oder mehrere hierin beschriebene Prozesse durch. Die Vorrichtung 300 führt diese Prozesse basierend darauf durch, dass der Prozessor 304 Softwareanweisungen ausführt, die durch ein computerlesbares Medium gespeichert werden, wie etwa den Speicher 305 und/oder die Speicherungskomponente 308. Ein computerlesbares Medium (z. B. ein nichtflüchtiges computerlesbares Medium) ist hierin als eine nichtflüchtige Speichervorrichtung definiert. Eine nichtflüchtige Speichervorrichtung beinhaltet Speicherplatz, der sich innerhalb einer einzelnen physischen Speicherungsvorrichtung befindet, oder Speicherplatz, der über mehrere physische Speicherungsvorrichtungen verteilt ist.
In manchen Ausführungsformen werden Softwareanweisungen über die Kommunikationsschnittstelle 314 in den Speicher 306 und/oder die Speicherungskomponente 308 von einem anderen computerlesbaren Medium oder von einer anderen Vorrichtung gelesen. Bei ihrer Ausführung bewirken die im Speicher 306 und/oder in der Speicherungskomponente 308 gespeicherten Softwareanweisungen, dass der Prozessor 304 einen oder mehrere hierin beschriebene Prozesse durchführt. Zusätzlich oder alternativ wird eine festverdrahtete Schaltungsanordnung anstelle von oder in Kombination mit Softwareanweisungen verwendet, um einen oder mehrere hierin beschriebene Prozesse durchzuführen. Somit sind hierin beschriebene Ausführungsformen nicht auf irgendeine spezifische Kombination von Hardwareschaltungsanordnung und Software beschränkt, insofern nicht anderweitig ausführlich dargelegt.
Der Speicher 306 und/oder die Speicherungskomponente 308 beinhalten Datenspeicherung oder mindestens eine Datenstruktur (z. B. eine Datenbank und/oder dergleichen). Die Vorrichtung 300 ist in der Lage, Informationen von der Datenspeicherung oder der mindestens einen Datenstruktur im Speicher 306 oder in der Speicherungskomponente 308 zu empfangen, Informationen darin zu speichern, Informationen zu dieser zu kommunizieren oder nach darin gespeicherten Informationen zu suchen. In manchen Beispielen beinhalten die Informationen Netzwerkdaten, Eingangsdaten, Ausgangsdaten oder eine beliebige Kombination davon.
In manchen Ausführungsformen ist die Vorrichtung 300 dazu ausgelegt, Softwareanweisungen auszuführen, die entweder im Speicher 306 und/oder im Speicher einer anderen Vorrichtung (z. B. einer anderen Vorrichtung, die die gleiche oder ähnlich ist wie die Vorrichtung 300) gespeichert sind. Wie hierin verwendet, bezieht sich der Begriff „Modul“ auf mindestens eine Anweisung, die im Speicher 306 und/oder im Speicher einer anderen Vorrichtung gespeichert ist, die bei Ausführung durch den Prozessor 304 und/oder durch einen Prozessor einer anderen Vorrichtung (z. B. einer anderen Vorrichtung, die die gleiche oder ähnlich ist wie die Vorrichtung 300) bewirkt, dass die Vorrichtung 300 (z. B. mindestens eine Komponente der Vorrichtung 300) einen oder mehrere hierin beschriebene Prozesse durchführt. In manchen Ausführungsformen wird ein Modul in Software, Firmware, Hardware und/oder dergleichen implementiert.
Die Anzahl und die Anordnung der in 3 veranschaulichten Komponenten sind als ein Beispiel bereitgestellt. In manchen Ausführungsformen kann die Vorrichtung 300 zusätzliche Komponenten, weniger Komponenten, andere Komponenten oder anders angeordnete Komponenten wie die in 3 veranschaulichten beinhalten. Zusätzlich oder alternativ kann ein Satz von Komponenten (z. B. eine oder mehrere Komponenten) der Vorrichtung 300 eine oder mehrere Funktionen durchführen, die als durch eine andere Komponente oder einen anderen Satz von Komponenten der Vorrichtung 300 durchgeführt beschrieben werden.
Jetzt mit Bezug auf 4A ist ein beispielhaftes Blockdiagramm eines autonomen Fahrzeugcomputers 400 veranschaulicht (manchmal als ein „AV-Stapel“ bezeichnet). Wie veranschaulicht, beinhaltet der autonome Fahrzeugcomputer 400 ein Wahrnehmungssystem 402 (manchmal als ein Wahrnehmungsmodul bezeichnet), ein Planungssystem 404 (manchmal als ein Planungsmodul bezeichnet), ein Lokalisierungssystem 406 (manchmal als ein Lokalisierungsmodul bezeichnet), ein Steuersystem 408 (manchmal als ein Steuermodul bezeichnet) und eine Datenbank 410. In manchen Ausführungsformen sind das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in einem autonomen Navigationssystem eines Fahrzeugs (z. B. autonomen Fahrzeugcomputer 202f des Fahrzeugs 200) enthalten und/oder implementiert. Zusätzlich oder alternativ sind in manchen Ausführungsformen das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in einem oder mehreren unabhängigen Systemen (z. B. einem oder mehreren Systemen, die die gleichen oder ähnlich sind wie der autonome Fahrzeugcomputer 400 und/oder dergleichen) enthalten. In manchen Beispielen sind das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in einem oder mehreren unabhängigen Systemen enthalten, die sich in einem Fahrzeug und/oder mindestens einem Fernsystem befinden, wie hierin beschrieben. In manchen Ausführungsformen werden beliebige und/oder alle der im autonomen Fahrzeugcomputer 400 enthaltenen Systeme in Software (z. B. in Softwareanweisungen, die im Speicher gespeichert sind), Computerhardware (z. B. durch Mikroprozessoren, Mikrocontroller, anwendungsspezifische integrierte Schaltungen [ASICs], feldprogrammierbare Gate-Arrays (FPGAs) und/oder dergleichen) oder Kombinationen von Computersoftware und Computerhardware implementiert. Es versteht sich, dass in manchen Ausführungsformen der autonome Fahrzeugcomputer 400 dazu ausgelegt ist, sich in Kommunikation mit einem Fernsystem (z. B. einem autonomen Fahrzeugsystem, das das gleiche oder ähnlich ist wie das Fern-AV-System 114, einem Flottenmanagementsystem 116, das das gleiche oder ähnlich ist wie das Flottenmanagementsystem 116, ein V21-System, das das gleiche oder ähnlich ist wie das V21-System 118, und/oder dergleichen) zu befinden.
In manchen Ausführungsformen empfängt das Wahrnehmungssystem 402 Daten, die mit mindestens einem physischen Objekt in einer Umgebung assoziiert sind (z. B. Daten, die durch das Wahrnehmungssystem 402 verwendet werden, um das mindestens eine physische Objekt zu detektieren), und klassifiziert das mindestens eine physische Objekt. In manchen Beispielen empfängt das Wahrnehmungssystem 402 Bilddaten, die durch mindestens eine Kamera (z. B. Kameras 202a) aufgenommen werden, wobei das Bild mit einem oder mehreren physischen Objekten in einem Sichtfeld der mindestens einen Kamera assoziiert ist (z. B. dieses repräsentiert). In einem solchen Beispiel klassifiziert das Wahrnehmungssystem 402 mindestens ein physisches Objekt basierend auf einer oder mehreren Gruppierungen physischer Objekte (z. B. Fahrräder, Fahrzeuge, Verkehrsschilder, Fußgänger und/oder dergleichen). In manchen Ausführungsformen überträgt das Wahrnehmungssystem 402 Daten, die mit der Klassifikation der physischen Objekte assoziiert sind, zu dem Planungssystem 404 basierend darauf, dass das Wahrnehmungssystem 402 die physischen Objekte klassifiziert.
In manchen Ausführungsformen empfängt das Planungssystem 404 Daten, die mit einem Bestimmungsort assoziiert sind, und erzeugt Daten, die mit mindestens einer Route (z. B. Routen 106) assoziiert sind, entlang der ein Fahrzeug (z. B. Fahrzeuge 102) in Richtung eines Bestimmungsortes fahren kann. In manchen Ausführungsformen empfängt das Planungssystem 404 Daten periodisch oder kontinuierlich vom Wahrnehmungssystem 402 (z. B. Daten, die mit der Klassifikation physischer Objekte assoziiert sind, wie oben beschrieben) und das Planungssystem 404 aktualisiert die mindestens eine Trajektorie oder erzeugt mindestens eine andere Trajektorie basierend auf den durch das Wahrnehmungssystem 402 erzeugten Daten. In manchen Ausführungsformen empfängt das Planungssystem 404 Daten, die mit einer aktualisierten Position eines Fahrzeugs (z. B. Fahrzeuge 102) assoziiert sind, vom Lokalisierungssystem 406 und das Planungssystem 404 aktualisiert die mindestens eine Trajektorie oder erzeugt mindestens eine andere Trajektorie basierend auf den durch das Lokalisierungssystem 406 erzeugten Daten.
In manchen Ausführungsformen empfängt das Lokalisierungsmodul 406 Daten, die mit einem Standort eines Fahrzeugs (z. B. Fahrzeuge 102) in einem Bereich assoziiert sind (z. B. diese repräsentieren). In manchen Beispielen empfängt das Lokalisierungssystem 406 Lidar-Daten, die mit mindestens einer Punktwolke assoziiert sind, die durch mindestens einen Lidar-Sensor (z. B. Lidar-Sensoren 202b) erzeugt werden. In bestimmten Beispielen empfängt das Lokalisierungsmodul 406 Daten, die mit mindestens einer Punktwolke von mehreren Lidar-Sensoren assoziiert sind, und das Lokalisierungsmodul 406 erzeugt eine kombinierte Punktwolke basierend auf jeder der Punktwolken. In diesen Beispielen vergleicht das Lokalisierungsmodul 406 die mindestens eine Punktwolke oder die kombinierte Punktwolke mit einer in der Datenbank 410 gespeicherten 2D- und/oder einer 3D-Karte des Bereichs. Das Lokalisierungssystem 406 bestimmt dann die Position des Fahrzeugs in dem Bereich basierend darauf, dass das System 406 die mindestens eine Punktwolke oder die kombinierte Punktwolke mit der Karte vergleicht. In manchen Ausführungsformen beinhaltet die Karte eine kombinierte Punktwolke des Bereichs, die vor der Navigation des Fahrzeugs erzeugt wird. In manchen Ausführungsformen beinhalten Karten unter anderem Hochpräzisionskarten der geometrischen Eigenschaften der Straße, Karten, die Konnektivitätseigenschaften des Straßennetzes beschreiben, Karten, die physische Eigenschaften der Straße beschreiben (wie etwa Verkehrsgeschwindigkeit, Verkehrsvolumen, die Anzahl von Fahrzeug- und Fahrradfahrer-Verkehrsspuren, Fahrspurbreite, Fahrspurverkehrsrichtungen oder Fahrspurmarkierungsarten und -orte oder Kombinationen davon), und Karten, die die räumlichen Orte von Straßenmerkmalen wie etwa Fußgängerüberwege, Verkehrszeichen oder andere Verkehrssignale verschiedener Arten beschreiben. In manchen Ausführungsformen wird die Karte in Echtzeit basierend auf den durch das Wahrnehmungssystem empfangenen Daten erzeugt.
In einem anderen Beispiel empfängt das Lokalisierungssystem 406 Daten eines globalen Satellitennavigationssystems (GNSS), die durch einen GPS-Empfänger erzeugt werden. In manchen Beispielen empfängt das Lokalisierungssystem 406 GNSS-Daten, die mit dem Standort des Fahrzeugs in dem Bereich assoziiert sind, und das Lokalisierungssystem 406 bestimmt einen Breitengrad und Längengrad des Fahrzeugs in dem Bereich. In einem solchen Beispiel bestimmt das Lokalisierungssystem 406 die Position des Fahrzeugs in dem Bereich basierend auf dem Breitengrad und dem Längengrad des Fahrzeugs. In manchen Ausführungsformen erzeugt das Lokalisierungssystem 406 Daten, die mit der Position des Fahrzeugs assoziiert sind. In manchen Beispielen erzeugt das Lokalisierungssystem 406 Daten, die mit der Position des Fahrzeugs assoziiert sind, basierend darauf, dass das Lokalisierungssystem 406 die Position des Fahrzeugs bestimmt. In einem solchen Beispiel beinhalten die Daten, die mit der Position des Fahrzeugs assoziiert sind, Daten, die mit einer oder mehreren semantischen Eigenschaften entsprechend der Position des Fahrzeugs assoziiert sind.
In manchen Ausführungsformen empfängt das Steuersystem 408 Daten, die mit mindestens einer Trajektorie assoziiert sind, vom Planungssystem 404 und das Steuersystem 408 steuert den Betrieb des Fahrzeugs. In manchen Beispielen empfängt das Steuersystem 408 Daten, die mit mindestens einer Trajektorie assoziiert sind, vom Planungssystem 404 und das Steuersystem 408 steuert den Betrieb des Fahrzeugs durch Erzeugen und Übertragen von Steuersignalen, um zu bewirken, dass ein Antriebsstrangsteuersystem (z. B. DBW-System 202h, Antriebsstrangsteuersystem 204 und/oder dergleichen), ein Lenkungssteuersystem (z. B. Lenkungssteuersystem 206) und/oder ein Bremssystem (z. B. Bremssystem 208) arbeiten. In einem Beispiel, bei dem eine Trajektorie eine Linksabbiegung beinhaltet, überträgt das Steuersystem 408 ein Steuersignal, um zu bewirken, dass das Lenkungssteuersystem 206 einen Lenkwinkel des Fahrzeugs 200 anpasst, wodurch bewirkt wird, dass das Fahrzeug 200 nach links abbiegt. Zusätzlich oder alternativ erzeugt und überträgt das Steuersystem 408 Steuersignale, um zu bewirken, dass andere Vorrichtungen (z. B. Scheinwerfer, Blinker, Türverriegelungen, Scheibenwischer und/oder dergleichen) des Fahrzeugs 200 ihren Zustand ändern.
In manchen Ausführungsformen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 mindestens ein maschinelles Lernmodell (z. B. mindestens einen Multilayer-Perzeptron (MLP), mindestens ein faltendes neuronales Netzwerk (CNN), mindestens ein rekurrentes neuronales Netzwerk (RNN), mindestens einen Autocodierer, mindestens einen Transformator und/oder dergleichen). In manchen Beispielen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 mindestens ein maschinelles Lernmodell alleine oder in Kombination mit einem oder mehreren der oben angemerkten Systeme. In manchen Beispielen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 mindestens ein maschinelles Lernmodell als Teil einer Pipeline (z. B. einer Pipeline zum Identifizieren eines oder mehrerer Objekte, die sich in einer Umgebung befinden, und/oder dergleichen). Ein Beispiel einer Implementierung eines maschinellen Lernmodells ist nachstehend mit Bezug auf die 4B-4D enthalten.
Die Datenbank 410 speichert Daten, die zu dem Wahrnehmungssystem 402, dem Planungssystem 404, dem Lokalisierungssystem 406 und/oder dem Steuersystem 408 übertragen, von diesen empfangen und/oder durch diese aktualisiert werden. In manchen Beispielen beinhaltet die Datenbank 410 eine Speicherungskomponente (z. B. eine Speicherungskomponente, die die gleiche oder ähnlich ist wie die Speicherungskomponente 308 von 3), die Daten und/oder Software bezüglich des Betriebs speichert und mindestens ein System des autonomen Fahrzeugcomputers 400 verwendet. In manchen Ausführungsformen speichert die Datenbank 410 Daten, die mit 2D- und/oder 3D-Karten mindestens eines Bereichs assoziiert sind. In manchen Beispielen speichert die Datenbank 410 Daten, die mit 2D- und/oder 3D-Karten eines Teils einer Stadt, mehrerer Teile mehrerer Städte, mehrerer Städte, eines Landkreises, eines Staates (z. B. eines Landes) und/oder dergleichen assoziiert sind. In einem solchen Beispiel kann ein Fahrzeug (z. B. ein Fahrzeug, das das gleiche oder ähnlich ist wie die Fahrzeuge 102 und/oder das Fahrzeug 200) entlang eines oder mehrerer befahrbarer Gebiete (z. B. einspurige Straßen, mehrspurige Straßen, Landstraßen, Nebenstraßen, Feldwege und/oder dergleichen) fahren und bewirken, dass mindestens ein Lidar-Sensor (z. B. ein Lidar-Sensor, der der gleiche oder ähnlich ist wie die Lidar-Sensoren 202b) Daten erzeugt, die mit einem Bild assoziiert sind, das die Objekte repräsentiert, die in einem Sichtfeld des mindestens einen Lidar-Sensors enthalten sind.
In manchen Ausführungsformen kann die Datenbank 410 über mehrere Vorrichtungen implementiert werden. In manchen Beispielen ist die Datenbank 410 in einem Fahrzeug (z. B. einem Fahrzeug, das das gleiche oder ähnlich ist wie die Fahrzeuge 102 und/oder das Fahrzeug 200), einem autonomen Fahrzeugsystem (z. B. einem autonomen Fahrzeugsystem, das das gleiche oder ähnlich ist wie das Fern-AV-System 114), einem Flottenmanagementsystem (z. B. einem Flottenmanagementsystem, das das gleiche oder ähnlich ist wie das Flottenmanagementsystem 116 von 1), einem V21-System (z. B. einem V2I-System, das das gleiche oder ähnlich ist wie das V21-System 118 von 1) und/oder dergleichen enthalten.
Jetzt mit Bezug auf 4B ist ein Diagramm einer Implementierung eines maschinellen Lernmodells veranschaulicht. Genauer gesagt ist ein Diagramm einer Implementierung eines CNN 420 veranschaulicht. Für Veranschaulichungszwecke wird die folgende Beschreibung des CNN 420 mit Bezug auf eine Implementierung des CNN 420 durch das Wahrnehmungssystem 402 stattfinden. Es versteht sich jedoch, dass in manchen Beispielen das CNN 420 (z. B. eine oder mehrere Komponenten des CNN 420) durch andere Systeme verschieden von oder zusätzlich zu dem Wahrnehmungssystem 402 implementiert wird, wie etwa das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408. Obwohl das CNN 420 bestimmte Merkmale beinhaltet, wie hierin beschrieben, sind diese Merkmale für Veranschaulichungszwecke bereitgestellt und sollen die vorliegende Offenbarung nicht beschränken.
Das CNN 420 beinhaltet mehrere Faltungsschichten einschließlich einer ersten Faltungsschicht 422, einer zweiten Faltungsschicht 424 und einer Faltungsschicht 426. In manchen Ausführungsformen beinhaltet das CNN 420 eine Subsampling-Schicht 428 (manchmal als eine Pooling-Schicht bezeichnet). In manchen Ausführungsformen haben die Subsampling-Schicht 428 und/oder andere Subsampling-Schichten eine Dimension (d. h. eine Menge an Knoten), die kleiner ist als eine Dimension eines Upstream-Systems. Da die Subsampling-Schicht 428 eine Dimension aufweist, die kleiner ist als eine Dimension einer Upstream-Schicht, konsolidiert das CNN 420 die Datenmenge, die mit der initialen Eingabe und/oder der Ausgabe einer Upstream-Schicht assoziiert ist, um dadurch die Menge an Berechnungen zu verringern, die notwendig sind, damit das CNN 420 Downstream-Faltungsoperationen durchführt. Zusätzlich oder alternativ konsolidiert das CNN 420, da die Subsampling-Schicht 428 mit mindestens einer Subsampling-Funktion assoziiert ist (z. B. ausgelegt ist, diese durchzuführen) (wie nachstehend mit Bezug auf die 4C und 4D beschrieben), die Menge an Daten, die mit der initialen Eingabe assoziiert ist.
Das Wahrnehmungssystem 402 führt Faltungsoperationen basierend darauf durch, dass das Wahrnehmungssystem 402 jeweilige Eingaben und/oder Ausgaben bereitstellt, die mit sowohl der ersten Faltungsschicht 422, der zweiten Faltungsschicht 424 als auch der Faltungsschicht 426 assoziiert sind, um jeweilige Ausgaben zu erzeugen. In manchen Beispielen implementiert das Wahrnehmungssystem 402 das CNN 420 basierend darauf, dass das Wahrnehmungssystem 402 Daten als Eingabe in die erste Faltungsschicht 422, die zweite Faltungsschicht 424 und die Faltungsschicht 426 bereitstellt. In einem solchen Beispiel liefert das Wahrnehmungssystem 402 die Daten als Eingabe in die erste Faltungsschicht 422, die zweite Faltungsschicht 424 und die Faltungsschicht 426 basierend darauf, dass das Wahrnehmungssystem 402 Daten von einem oder mehreren verschiedenen Systemen empfängt (z. B. einem oder mehreren Systemen eines Fahrzeugs, das das gleiche oder ähnlich ist wie das Fahrzeug 102, ein Fern-AV-System, dass das gleiche oder ähnlich ist wie das Fern-AV-System 114, ein Flottenmanagementsystem, das das gleiche oder ähnlich ist wie das Flottenmanagementsystem 116, ein V21-System, das das gleiche oder ähnlich ist wie das V21-System 118, und/oder dergleichen). Eine ausführliche Beschreibung von Faltungsoperationen ist nachstehend mit Bezug auf 4C enthalten.
In manchen Ausführungsformen liefert das Wahrnehmungssystem 402 Daten, die mit einer Eingabe (als eine initiale Eingabe bezeichnet) in die erste Faltungsschicht 422 assoziiert sind, und das Wahrnehmungssystem 402 erzeugt Daten, die mit einer Ausgabe assoziiert sind, unter Verwendung der ersten Faltungsschicht 422. In manchen Ausführungsformen liefert das Wahrnehmungssystem 402 eine Ausgabe, die durch eine Faltungsschicht erzeugt wird, als Eingabe in eine andere Faltungsschicht. Beispielsweise liefert das Wahrnehmungssystem 402 die Ausgabe der ersten Faltungsschicht 422 als Eingabe in die Subsampling-Schicht 428, die zweite Faltungsschicht 424 und/oder die Faltungsschicht 426. In einem solchen Beispiel wird die erste Faltungsschicht 422 als eine Upstream-Schicht bezeichnet und die Subsampling-Schicht 428, die zweite Faltungsschicht 424 und/oder die Faltungsschicht 426 werden als Downstream-Schichten bezeichnet. Gleichermaßen liefert das Wahrnehmungssystem 402 in manchen Ausführungsformen die Ausgabe der Subsampling-Schicht 428 zu der zweiten Faltungsschicht 424 und/oder der Faltungsschicht 426, und in diesem Beispiel würde die Subsampling-Schicht 428 als eine Upstream-Schicht bezeichnet werden und die zweite Faltungsschicht 424 und/oder die Faltungsschicht 426 würden als Downstream-Schichten bezeichnet werden.
In manchen Ausführungsformen verarbeitet das Wahrnehmungssystem 402 die Daten, die mit der dem CNN 420 bereitgestellten Eingabe assoziiert sind, bevor das Wahrnehmungssystem 402 die Eingabe zu dem CNN 420 liefert. Beispielsweise verarbeitet das Wahrnehmungssystem 402 die Daten, die mit der dem CNN 420 bereitgestellten Eingabe assoziiert sind, basierend darauf, dass das Wahrnehmungssystem 402 Sensordaten (z. B. Bilddaten, Lidar-Daten, Radar-Daten und/oder dergleichen) normiert.
In manchen Ausführungsformen erzeugt das CNN 420 eine Ausgabe basierend darauf, dass das Wahrnehmungssystem 402 Faltungsoperationen durchführt, die mit jeder Faltungsschicht assoziiert sind. In manchen Beispielen erzeugt das CNN 420 eine Ausgabe basierend darauf, dass das Wahrnehmungssystem 402 Faltungsoperationen durchführt, die mit jeder Faltungsschicht und einer initialen Eingabe assoziiert sind. In manchen Ausführungsformen erzeugt das Wahrnehmungssystem 402 die Ausgabe und liefert die Ausgabe als eine vollständig verbundene Schicht 430. In manchen Beispielen liefert das Wahrnehmungssystem 402 die Ausgabe der Faltungsschicht 426 als die vollständig verbundene Schicht 430, wobei die vollständig verbundene Schicht 420 Daten beinhaltet, die mit mehreren Merkmalswerten assoziiert sind, bezeichnet als F1, F2 ... FN. In diesem Beispiel beinhaltet die Ausgabe der Faltungsschicht 426 Daten, die mit mehreren Ausgabemerkmalswerten assoziiert sind, die eine Vorhersage repräsentieren.
In manchen Ausführungsformen identifiziert das Wahrnehmungssystem 402 eine Vorhersage aus mehreren Vorhersagen basierend darauf, dass das Wahrnehmungssystem 402 einen Merkmalswert identifiziert, der mit der höchsten Wahrscheinlichkeit, die korrekte Vorhersage aus den mehreren Vorhersagen zu sein, assoziiert ist. Beispielsweise wenn die vollständig verbundene Schicht 430 Merkmalswerte F1, F2, ... FN beinhaltet und F1 der größte Merkmalswert ist, identifiziert das Wahrnehmungssystem 402 die mit F1 assoziierte Vorhersage als die korrekte Vorhersage aus den mehreren Vorhersagen. In manchen Ausführungsformen trainiert das Wahrnehmungssystem 402 das CNN 420 dahingehend, die Vorhersage zu erzeugen. In manchen Beispielen trainiert das Wahrnehmungssystem 402 das CNN 420 dahingehend, die Vorhersage zu erzeugen, basierend darauf, dass das Wahrnehmungssystem 402 dem CNN 420 Trainingsdaten, die mit der Vorhersage assoziiert sind, bereitstellt.
Jetzt mit Bezug auf die 4C und 4D ist ein Diagramm eines beispielhaften Betriebs eines CNN 440 durch das Wahrnehmungssystem 402 veranschaulicht. In manchen Ausführungsformen ist das CNN 440 (z. B. eine oder mehrere Komponenten des CNN 440) das gleiche oder ähnlich wie das CNN 420 (z. B. eine oder mehrere Komponenten des CNN 420) (siehe 4B).
Bei Schritt 450 liefert das Wahrnehmungssystem 402 Daten, die mit einem Bild assoziiert sind, als Eingabe in ein CNN 440 (Schritt 450). Beispielsweise wie veranschaulicht, liefert das Wahrnehmungssystem 402 die Daten, die mit dem Bild assoziiert sind, zu dem CNN 440, wobei das Bild ein Graustufenbild ist, das als Werte repräsentiert ist, die in einem 2D-Array gespeichert sind. In manchen Ausführungsformen können die Daten, die mit dem Bild assoziiert sind, Daten beinhalten, die mit einem Farbbild assoziiert sind, wobei das Farbbild als Werte repräsentiert ist, die in einem 3D-Array gespeichert sind. Zusätzlich oder alternativ können die Daten, die mit dem Bild assoziiert sind, Daten beinhalten, die mit einem Infrarotbild, einem Radar-Bild und/oder dergleichen assoziiert sind.
Bei Schritt 455 führt das CNN 440 eine erste Faltungsfunktion durch. Beispielsweise führt das CNN 440 die erste Faltungsfunktion basierend darauf durch, dass das CNN 440 die Werte, die das Bild repräsentieren, als Eingabe in ein oder mehrere Neuronen (nicht ausdrücklich veranschaulicht), die in der ersten Faltungsschicht 442 enthalten sind, bereitstellt. In diesem Beispiel können die Werte, die das Bild repräsentieren, Werten entsprechen, die ein Gebiet des Bildes repräsentieren (manchmal als ein rezeptives Feld bezeichnet). In manchen Ausführungsformen ist jedes Neuron mit einem Filter (nicht ausdrücklich veranschaulicht) assoziiert. Ein Filter (manchmal als ein Kernel bezeichnet) ist als ein Array von Werten repräsentierbar, das in der Größe den Werten entspricht, die als Eingabe in das Neuron bereitgestellt werden. In einem Beispiel kann ein Filter dazu ausgelegt sein, Kanten (z. B. horizontale Linien, vertikale Linien, gerade Linien und/oder dergleichen) zu identifizieren. In folgenden Faltungsschichten können die mit Neuronen assoziierten Filter dazu ausgelegt sein, sukzessive komplexere Muster (z. B. Bögen, Objekte und/oder dergleichen) zu identifizieren.
In manchen Ausführungsformen führt das CNN 440 die erste Faltungsfunktion basierend darauf durch, dass das CNN 440 die Werte, die jedem des einen oder der mehreren in der ersten Faltungsschicht 442 enthaltenen Neuronen als Eingabe bereitgestellt werden, mit den Werten des Filters, das jedem des einen oder der mehreren Neuronen entspricht, multipliziert. Beispielsweise kann das CNN 440 die Werte, die jedem des einen oder der mehreren in der ersten Faltungsschicht 442 enthaltenen Neuronen als Eingabe bereitgestellt werden, mit den Werten des Filters, das jedem des einen oder der mehreren Neuronen entspricht, multiplizieren, um einen einzelnen Wert oder ein Array von Werten als eine Ausgabe zu erzeugen. In manchen Ausführungsformen wird die kollektive Ausgabe der Neuronen der ersten Faltungsschicht 442 als eine gefaltete Ausgabe bezeichnet. In manchen Ausführungsformen, bei der jedes Neuron das gleiche Filter aufweist, wird die gefaltete Ausgabe als eine Feature Map (Merkmalskarte) bezeichnet.
In manchen Ausführungsformen liefert das CNN 440 die Ausgaben jedes Neurons der ersten Faltungsschicht 442 zu Neuronen einer Downstream-Schicht. Für Verdeutlichungszwecke kann eine Upstream-Schicht eine Schicht sein, die Daten zu einer anderen Schicht (als eine Downstream-Schicht bezeichnet) überträgt. Beispielsweise kann das CNN 440 die Ausgaben jedes Neurons der ersten Faltungsschicht 442 zu entsprechenden Neuronen einer Subsampling-Schicht liefern. In einem Beispiel liefert das CNN 440 die Ausgaben jedes Neurons der ersten Faltungsschicht 442 zu entsprechenden Neuronen der ersten Subsampling-Schicht 444. In manchen Ausführungsformen fügt das CNN 440 einen Bias-Wert zu den Aggregaten aller Werte hinzu, die zu jedem Neuron der Downstream-Schicht geliefert werden. Beispielsweise fügt das CNN 440 einen Bias-Wert zu den Aggregaten aller Werte hinzu, die zu jedem Neuron der ersten Subsampling-Schicht 444 geliefert werden. In einem solchen Beispiel bestimmt das CNN 440 einen finalen Wert, der jedem Neuron der ersten Subsampling-Schicht 444 bereitzustellen ist, basierend auf den Aggregaten aller Werte, die jedem Neuron geliefert werden, und einer Aktivierungsfunktion, die mit jedem Neuron der ersten Subsampling-Schicht 444 assoziiert ist.
Bei Schritt 460 führt das CNN 440 eine erste Subsampling-Funktion durch. Beispielsweise kann das CNN 440 eine erste Subsampling-Funktion basierend darauf durchführen, dass das CNN 440 die Werte, die durch die erste Faltungsschicht 442 ausgegeben werden, zu entsprechenden Neuronen der ersten Subsampling-Schicht 444 liefert. In manchen Ausführungsformen führt das CNN 440 die erste Subsampling-Funktion basierend auf einer Aggregationsfunktion durch. In einem Beispiel führt das CNN 440 die erste Subsampling-Funktion basierend darauf durch, dass das CNN 440 die maximale Eingabe unter den Werten bestimmt, die zu einem gegebenen Neuron geliefert werden (als eine Max-Pooling-Funktion bezeichnet). In einem Beispiel führt das CNN 440 die erste Subsampling-Funktion basierend darauf durch, dass das CNN 440 die durchschnittliche Eingabe unter den Werten bestimmt, die zu einem gegebenen Neuron geliefert werden (als eine Average-Pooling-Funktion bezeichnet). In manchen Ausführungsformen erzeugt das CNN 440 eine Ausgabe basierend darauf, dass das CNN 440 die Werte zu jedem Neuron der ersten Subsampling-Schicht 444 liefert, wobei die Ausgabe manchmal als eine gefaltete Subsampling-Ausgabe bezeichnet wird.
Bei Schritt 465 führt das CNN 440 eine zweite Faltungsfunktion durch. In manchen Ausführungsformen führt das CNN 440 die zweite Faltungsfunktion auf eine ähnliche Weise durch, wie das CNN 440 die oben beschriebene erste Faltungsfunktion durchführte. In manchen Ausführungsformen führt das CNN 440 die zweite Faltungsfunktion basierend darauf durch, dass das CNN 440 die Werte, die durch die erste Subsampling-Schicht 444 ausgegeben werden, als Eingabe in ein oder mehrere Neuronen (nicht ausdrücklich veranschaulicht), die in der zweiten Faltungsschicht 446 enthalten sind, bereitstellt. In manchen Ausführungsformen ist jedes Neuron der zweiten Faltungsschicht 446 mit einem Filter assoziiert, wie oben beschrieben. Das eine oder die mehreren mit der zweiten Faltungsschicht 446 assoziierten Filter können dazu ausgelegt sein, komplexere Muster als das Filter zu identifizieren, das mit der ersten Faltungsschicht 442 assoziiert ist, wie oben beschrieben.
In manchen Ausführungsformen führt das CNN 440 die zweite Faltungsfunktion basierend darauf durch, dass das CNN 440 die Werte, die jedem des einen oder der mehreren in der zweiten Faltungsschicht 446 enthaltenen Neuronen als Eingabe bereitgestellt werden, mit den Werten des Filters, das jedem des einen oder der mehreren Neuronen entspricht, multipliziert. Beispielsweise kann das CNN 440 die Werte, die jedem des einen oder der mehreren in der zweiten Faltungsschicht 446 enthaltenen Neuronen als Eingabe bereitgestellt werden, mit den Werten des Filters, das jedem des einen oder der mehreren Neuronen entspricht, multiplizieren, um einen einzelnen Wert oder ein Array von Werten als eine Ausgabe zu erzeugen.
In manchen Ausführungsformen liefert das CNN 440 die Ausgaben jedes Neurons der zweiten Faltungsschicht 446 zu Neuronen einer Downstream-Schicht. Beispielsweise kann das CNN 440 die Ausgaben jedes Neurons der ersten Faltungsschicht 442 zu entsprechenden Neuronen einer Subsampling-Schicht liefern. In einem Beispiel liefert das CNN 440 die Ausgaben jedes Neurons der ersten Faltungsschicht 442 zu entsprechenden Neuronen der zweiten Subsampling-Schicht 448. In manchen Ausführungsformen fügt das CNN 440 einen Bias-Wert zu den Aggregaten aller Werte hinzu, die zu jedem Neuron der Downstream-Schicht geliefert werden. Beispielsweise fügt das CNN 440 einen Bias-Wert zu den Aggregaten aller Werte hinzu, die zu jedem Neuron der zweiten Subsampling-Schicht 448 geliefert werden. In einem solchen Beispiel bestimmt das CNN 440 einen finalen Wert, der jedem Neuron der zweiten Subsampling-Schicht 448 bereitzustellen ist, basierend auf den Aggregaten aller Werte, die zu jedem Neuron geliefert werden, und einer Aktivierungsfunktion, die mit jedem Neuron der zweiten Subsampling-Schicht 448 assoziiert ist.
Bei Schritt 470 führt das CNN 440 eine zweite Subsampling-Funktion durch. Beispielsweise kann das CNN 440 eine zweite Subsampling-Funktion basierend darauf durchführen, dass das CNN 440 die Werte, die durch die zweite Faltungsschicht 446 ausgegeben werden, zu entsprechenden Neuronen der zweiten Subsampling-Schicht 448 liefert. In manchen Ausführungsformen führt das CNN 440 die zweite Subsampling-Funktion basierend darauf durch, dass das CNN 440 eine Aggregationsfunktion verwendet. In einem Beispiel führt das CNN 440 die erste Subsampling-Funktion basierend darauf durch, dass das CNN 440 die maximale Eingabe oder eine durchschnittliche Eingabe unter den Werten, die einem gegebenen Neuron bereitgestellt werden, bestimmt, wie oben beschrieben. In manchen Ausführungsformen erzeugt das CNN 440 eine Ausgabe basierend darauf, dass das CNN 440 die Werte zu jedem Neuron der zweiten Subsampling-Schicht 448 liefert.
Bei Schritt 475 liefert das CNN 440 die Ausgabe jedes Neurons der zweiten Subsampling-Schicht 448 zu vollständig verbundenen Schichten 449. Beispielsweise liefert das CNN 440 die Ausgabe jedes Neurons der zweiten Subsampling-Schicht 448 zu vollständig verbundenen Schichten 449, um zu bewirken, dass die vollständig verbundenen Schichten 449 eine Ausgabe erzeugen (z. B. die Ausgabe 480 bereitstellen). In manchen Ausführungsformen sind die vollständig verbundenen Schichten 449 dazu ausgelegt, eine Ausgabe zu erzeugen, die mit einer Vorhersage (manchmal als eine Klassifikation bezeichnet) assoziiert ist. Die Vorhersage kann eine Indikation beinhalten, dass ein Objekt, das in dem als Eingabe in das CNN 440 bereitgestellten Bild enthalten ist, ein Objekt, einen Satz von Objekten und/oder dergleichen beinhaltet. In manchen Ausführungsformen führt das Wahrnehmungssystem 402 eine oder mehrere Operationen durch und/oder liefert die Daten, die mit der Vorhersage assoziiert sind, zu einem anderen hierin beschriebenen System.
Jetzt mit Bezug auf 4E ist ein Diagramm gezeigt, das ein Beispiel für ein Generative Adversarial Network (generierendes gegnerisches Netzwerk) (GAN) 482 veranschaulicht. GANs können zum Beispiel verwendet werden, um reale Daten zu modifizieren und simulierte Daten für eine gegebene Umgebungsbedingung zu generieren. „Diskriminatorverlust“ wird verwendet, um einen realistischeren Generator zu trainieren. Ein Generator 484 (zum Beispiel ein CNN-Generator) verarbeitet Zufallsrauschen 486 und verwendet Bedingungseinbettung 488, um generierte Sensordaten 490 zu erzeugen. Ein Diskriminator 492 (z. B. ein CNN-Diskriminator) verwendet die generierten Sensordaten 490 und reale Sensordaten 494 (zum Beispiel von Lidar- und Radar-Sensoren), um einen Diskriminatorverlust 496 zu identifizieren (z. B. reale oder gefälschte Daten zu identifizieren).
Jetzt mit Bezug auf die 5A-5C sind Diagramme eines Beispiels für eine Implementierung eines Autonomes-Fahrzeug-Simulationssystems 500 eines Prozesses für eine High-Fidelity-Daten-getriebene multimodale Simulation veranschaulicht. In manchen Ausführungsformen kann das Autonomes-Fahrzeug-Simulationssystem 500 für die Generierung synthetischer Fahrszenarien verwendet werden. Die Szenarien können in einer simulierten Umgebung verwendet werden, um Simulationen zum Trainieren einer Vorrichtung 300 zu unterstützen und es zu ermöglichen, dass die Vorrichtung 300 sicher in Umgebungen arbeitet.
Mit Bezug auf 5A wird ein reales Fahrtprotokoll 502 durch einen Vorprozessor 504 verwendet, um Referenzsensordaten 506 zu erzeugen. Ein Zweck des Autonomes-Fahrzeug-Simulationssystems 500 besteht darin, Basisdaten einschließlich Referenzsensordaten 506 zu erzeugen, die für den Prozess 508 benötigt werden.
Das reale Fahrtprotokoll 502 beinhaltet zum Beispiel Lidar-Daten, Kameradaten und Stellungsdaten, wie etwa für das Fahrzeug 200, die während des Betriebs des Fahrzeugs 200 gesammelt werden. Die Lidar-Daten beinhalten detektorgesammelte Informationen von Licht, das von Objekten in der Umgebung reflektiert wird, nachdem Lidar-Sensoren 202b verwendet werden, um gepulste Lichtquellen in eine umliegende Umgebung und auf die Objekte in der Umgebung zu übertragen. Die Kameradaten beinhalten Bilddaten, die durch das Wahrnehmungssystem 402 (und das autonome System 202) von mindestens einer Kamera 202a des Fahrzeugs 200 erfasst werden. Stellungsdaten beinhalten Positions- und Orientierungsdaten für das Fahrzeug 200, einschließlich der Richtung, in die das Fahrzeug 200 zeigt (im Allgemeinen in Richtung von Objekten in der umliegenden Umgebung).
Die Referenzsensordaten 506, die durch den Vorprozessor 504 erzeugt werden, beinhalten Punktwolkendaten, Bildframes und Quellenstellungsdaten. Wie zuvor beschrieben, können die Punktwolkendaten eine kombinierte Punktwolke sein, die die Objekte repräsentiert, die in einem Sichtfeld der Lidar-Sensoren 202b enthalten sind. Die Bildframes beinhalten, für jedes Fahrzeug, eine vollständige Sequenz von Bildern, die durch die Kameras 202a des Fahrzeugs 200 erfasst werden. Die Quellenstellungsdaten beinhalten Stellungsinformationen für das Fahrzeug 200. Die Punktwolkendaten, die Bildframes und die Quellenstellungsdaten können in den Referenzsensordaten 506 korreliert werden, sodass die Informationen nach Zeit abgeglichen werden. Diese zeitbasierten Informationen können dann als die Eingabe in den Prozess 508 dienen.
Mit Bezug auf 5B ist ein Prozess 508 zum Generieren synthetischer Fahrtprotokolldaten 540 unter Verwendung der Referenzsensordaten 506 veranschaulicht. Wie zuvor beschrieben, beinhalten die Referenzsensordaten 506 Punktwolkendaten, Bildframes und Quellenstellungsdaten. In manchen Ausführungsformen verwendet der Prozess 508 mindestens drei Module, einschließlich eines Interpolators 514, eines Augmentors 516 und eines Umgebungsanpassers 518. Es wird angemerkt, dass, obwohl die Module 514, 516 und 518 in 5B als separate Module dargestellt sind, ein oder mehrere Merkmale der Module parallel oder simultan auftreten können. Beispielsweise kann eine durch den Interpolator 514 durchgeführte Interpolation auftreten, während der Umgebungsanpasser 518 die synthetischen Fahrtprotokolldaten 540 basierend auf synthetischen Umgebungsbedingungen 534 anpasst. Eine solche Verarbeitung kann durch kombinierte Module, die nicht in 5B dargestellt sind, erreicht werden.
Der Interpolator 514 verwendet als Eingabe die Referenzsensordaten 506 und Fahrzeugtrajektoriedaten 520. Der Interpolator 514 kann Informationen in den Referenzsensordaten 506 basierend auf Beziehungen zwischen den verschiedenen Typen von Daten interpolieren. Die Beziehungen können räumliche Beziehungen, wie etwa eine Beziehung zwischen der Position, Orientierung (oder Stellung) des Fahrzeugs, und zeitliche (zeitbasierte) Beziehungen beinhalten. Interpolationen können zwischen zumindest einem Teil eines ersten Pfades (z. B. eines zuvor befahrenen Pfades des Fahrzeugs) und zumindest einem Teil eines zweiten Pfades (z. B. für den der Prozess 508 die synthetischen Sensordaten, einschließlich der synthetischen Fahrtprotokolldaten, 540 generieren soll) stattfinden. In manchen Ausführungsformen beinhaltet der Interpolator 514 einen Lidar-Interpolator 522 (z. B. zum Interpolieren zwischen benachbarten Punkten in einer Lidar-Punktwolke) und einen Bildinterpolator 524 (z. B. zum Interpolieren zwischen aufeinanderfolgenden Bildframes).
Der Augmentor 516 augmentiert Lidar und Bilder unter Verwendung von Informationen aus einem 3D-Asset-Speicher 526 und neuen Objekten und Verhaltensweisen 528. Augmentation ist ein primärer Teil des Prozesses 508 aufgrund der Notwendigkeit, Fahrszenarien zu generieren, die dem Fahrzeug noch nicht bekannt (oder von diesem sicher durchführbar/navigierbar) sind. Diese zusätzlichen Arten von Umgebungsfällen sind das, was Simulatoren den Fahrzeugen 200 beibringen können, bevor die Fahrzeuge realen Situationen ausgesetzt werden, in denen diese Arten von Fällen auftreten können. In manchen Ausführungsformen beinhaltet der Augmentor 516 einen Lidar-Augmentor 530 (z. B. zum Augmentieren von Lidar-Informationen, einschließlich in Lidar-Punktwolken) und einen Bildaugmentor 532 (z. B. zum Augmentieren von Bildframes, wie etwa zum Hinzufügen neuer 3D-Objekte).
Der Umgebungsanpasser 518 passt Fahrszenarien basierend auf Umgebungsbedingungen 534 an. Umgebungsbedingungen können zum Beispiel unterschiedliche Arten von Wetterbedingungen, Straßenbedingungen, Tageszeit und so weiter beinhalten. Die Umgebungsbedingungen werden durch den Prozess 508 variiert, sodass zum Beispiel die synthetischen Fahrtprotokolldaten 540 erweitert werden können, sodass sie Arten von Bedingungen beinhalten, unter denen das Fahrzeug 200 noch nicht gefahren wurde. Ein Beispiel können Umgebungsbedingungen sein, die ein Fahren in einem Schneesturm bei Nacht repräsentieren, nachdem eine Ansammlung von Schnee Straßenbedingungen schon auf eine signifikante Weise verschlechtert hat (z. B. eine potenziell rutschige Straße, falls vor Kurzem geräumt, oder eine schneeverpackte oder schneebedeckte Straße, falls noch nicht geräumt). In solchen Situationen können reale Autos, die entlang einer Straße geparkt sind, mit Schnee bedeckt sein und Lidar-Fähigkeiten können aufgrund von durch Schnee verursachten Reflektivitätsänderungen verschlechtert sein. In manchen Ausführungsformen beinhaltet der Umgebungsanpasser 518 einen Lidar-Umgebungsanpasser 536 (z. B. zum Anpassen von Lidar-Informationen basierend auf Umgebungsänderungen) und einen Bildumgebungsanpasser 532 (z. B. zum Augmentieren von Bildern basierend auf Umgebungsänderungen, wie etwa zum Hinzufügen von Schnee zu einem Bild).
Jetzt mit Bezug auf 5C zeigt ein Prozess 550, wie die synthetischen Fahrtprotokolldaten 540 für einen simulierten autonomen Fahrzeugcomputer 552 verwendet werden können. Insbesondere können die Szenarien, die unterschiedliche Umgebungsänderungen repräsentieren, die durch den Prozess 508 erzeugt werden, durch Simulatoren verwendet werden, um neue Arten von Fahrszenarien für das Fahrzeug 200 zu simulieren. Diese neuen Szenarien können zur Vorbereitung des Fahrzeugs 200 zum sicheren Navigieren unter ähnlichen Bedingungen in der realen Welt erzeugt und simuliert werden. Ein Beispiel ist das Einweisen des Fahrzeugs in schneebezogene Bedingungen, wobei das Fahrzeug 200 möglicherweise schon weiß, wie eine ähnliche Route beim Nichtvorhandensein von Schneebedingungen sicher navigiert wird.
Jetzt mit Bezug auf 6 ist ein Flussdiagramm eines Prozesses 600 für eine High-Fidelity-Daten-getriebene multimodale Simulation veranschaulicht. In manchen Ausführungsformen werden ein oder mehrere der Schritte, die mit Bezug auf den Prozess 600 beschrieben sind, (z. B. vollständig, teilweise und/oder dergleichen) durch das Autonomes-Fahrzeug-Simulationssystem 500 durchgeführt. Zusätzlich oder alternativ werden in manchen Ausführungsformen ein oder mehrere Schritte, die mit Bezug auf den Prozess 600 beschrieben sind, (z. B. vollständig, teilweise und/oder dergleichen) durch eine andere Vorrichtung oder Gruppe von Vorrichtungen separat von oder einschließlich des Autonomes-Fahrzeug-Simulationssystems 500 durchgeführt.
Bei 602 wird auf Sensordaten zugegriffen, die mit einem Betrieb eines Fahrzeugs (z. B. des Fahrzeugs 200) in einer Umgebung assoziiert sind. Das Fahrzeug befährt einen ersten Pfad durch die Umgebung während des Betriebs des Fahrzeugs. Beispielsweise kann der Pfad ein Pfad rund um Objekte 104a-104n sein. Die Sensordaten können zum Beispiel Bilddaten und Lidar-Daten beinhalten, die durch mindestens einen Sensor des Fahrzeugs (zum Beispiel Lidar-Sensor 202b und Radar-Sensor 202c) erzeugt werden, wobei das Generieren der synthetischen Sensordaten Generieren von Bilddaten, Lidar-Daten und Radar-Daten beinhaltet, die das synthetische Fahrszenario repräsentieren. In manchen Ausführungsformen beinhaltet das Zugreifen auf die Sensordaten, die mit dem Betrieb des Fahrzeugs in der Umgebung assoziiert sind, während das Fahrzeug den ersten Pfad durch die Umgebung befährt, Zugreifen auf Lidar-Daten, die mit mindestens einer Punktwolke assoziiert sind, und/oder Bilddaten, die mit mindestens einem Bild assoziiert sind, und/oder Radar-Daten, die mit mindestens einer Radar-Punktwolke assoziiert sind, wobei die Lidar-Daten, Bilddaten oder Radar-Daten während des Betriebs des Fahrzeugs in der Umgebung erzeugt werden, während das Fahrzeug den ersten Pfad durch die Umgebung befährt. Beispielsweise kann auf Daten zugegriffen werden, die durch den Lidar-Sensor 202b und den Radar-Sensor 202c erfasst werden, wobei die Daten ein durch ein Fahrzeug 102 durch einen Bereich 108 befahrenes Szenario repräsentieren.
Bei 604 werden synthetische Sensordaten und eine simulierte Umgebung basierend auf den Sensordaten generiert, die mit dem Betrieb des Fahrzeugs (z. B. des Fahrzeugs 200) assoziiert sind. Die simulierte Umgebung basiert auf realen Daten (z. B. durch die autonomen Systeme 202 mehrerer Fahrzeuge 200 gesammelt) und ist dazu ausgelegt, synthetische Umgebungsbedingungen zu simulieren. In manchen Ausführungsformen beinhaltet das Generieren der synthetischen Sensordaten: Generieren synthetischer Sensordaten basierend auf den Sensordaten, die mit dem Betrieb des Fahrzeugs assoziiert sind (zum Beispiel Daten von den Sensoren 202b und 202c des Fahrzeugs 200). Es wird auf Daten zugegriffen, die mindestens ein Objekt (z. B. ein statisches Objekt, wie etwa einen Baum oder ein Gebäude, oder ein dynamisches Objekt, wie etwa einen Fußgänger oder ein Fahrzeug) repräsentieren, die in das synthetische Fahrszenario einzuschließen sind. Ein Objekt kann zum Beispiel ein anderes Fahrzeug (entweder geparkt oder sich bewegend) oder ein Fußgänger sein, um einige wenige Beispiele zu nennen. Sensordaten, die mit dem Betrieb des Fahrzeugs assoziiert sind, werden mit den Daten augmentiert, die mindestens ein Objekt repräsentieren, wie etwa ein neues Objekt, das nicht zuvor in dem Szenario berücksichtigt wurde, wie etwa ein Fahrrad. In manchen Ausführungsformen beinhaltet mindestens ein Objekt ein dynamisches Objekt, wie etwa ein Fahrrad und ein sich bewegendes Objekt. In manchen Ausführungsformen beinhalten die Daten, die mindestens ein Objekt repräsentieren, Bewegungsdaten für das dynamische Objekt, wobei die Bewegungsdaten Trajektoriedaten für das mindestens eine Objekt und Gliedmaßenbewegungsdaten für Fußgänger beinhalten (wie etwa, falls ein Fußgänger seine Arme schwingt oder einfach geht und seine Beine bewegt). In manchen Ausführungsformen beinhaltet das Generieren der synthetischen Sensordaten: Empfangen einer Indikation von mindestens einer Umgebungsbedingung (z. B. Wetterbedingung und/oder Straßenbedingung und/oder Tageszeit), die in das synthetische Fahrszenario einzuschließen ist. Die Sensordaten (die für das synthetische Fahrszenario zu verwenden sind) werden basierend auf mindestens einer Umgebungsbedingung modifiziert, wie etwa Modifizieren des Szenarios basierend auf dem Vorhandensein eines Fahrrads oder dem Vorhandensein von Schnee oder dem Vorhandensein einer Bedingung, die nicht zuvor vom Fahrzeug berücksichtigt wurde. In manchen Ausführungsformen unterscheidet sich die Umgebungsbedingung nicht vom eingegebenen Fahrtprotokoll, zum Beispiel Hinzufügen eines Objekts, das durch das Fahrzeug 200 berücksichtigt werden soll, ohne das Ändern von Wetterbedingungen oder der Tageszeit. Beispielsweise kann das Modifizieren der Sensordaten basierend auf mindestens einer Umgebungsbedingung Verarbeiten der Sensordaten mit mindestens einem neuronalen Netzwerk (z. B. einem Generative Adversarial Network oder einem neuronalartigen Transfer) beinhalten, das dazu ausgelegt ist, die Sensordaten basierend auf mindestens einer Umgebungsbedingung zu modifizieren.
In manchen Ausführungsformen kann das Modifizieren der Sensordaten Interpolieren der Sensordaten basierend auf einer Beziehung (z. B. einer räumlichen Beziehung, wie etwa einer Beziehung zwischen der Position, Orientierung oder „Stellung“ des Fahrzeugs oder einer räumlichen Beziehung) beinhalten. Die Beziehung besteht zwischen zumindest einem Teil des ersten Pfades und zumindest einem Teil des zweiten Pfades, um die synthetischen Sensordaten zu generieren. Als ein Beispiel können der erste und zweite Pfad in Abschnitten (z. B. überlappenden Abschnitten) der Pfade identisch sein. Sensordaten können jedoch basierend auf Differenzen in den Pfaden bestimmt werden, wie etwa, falls der zweite Pfad einen bestimmten Abstand vom ersten Pfad entfernt ist.
Bei 606 wird ein synthetisches Fahrszenario in der simulierten Umgebung unter Verwendung der synthetischen Sensordaten simuliert. Das Simulieren des synthetischen Fahrszenarios beinhaltet Simulieren von null oder mehr Umgebungsbedingungen in dem synthetischen Fahrszenario, die sich von einer oder mehreren Umgebungsbedingungen unterscheiden, die während des Betriebs des Fahrzeugs in der Umgebung vorhanden sind. Das synthetische Fahrszenario kann zum Beispiel ein Szenario repräsentieren, das das Fahrzeug im Betrieb noch nicht angetroffen hat, wie etwa eine Kombination von Objekten, die in unterschiedlichen Beleuchtungsbedingungen, unterschiedlichen Wetterbedingungen und/oder zu einer anderen Tageszeit angetroffen werden können.
Bei 608 wird der Betrieb mehrerer simulierter Agenten in der simulierten Umgebung simuliert. Ein simulierter Agent kann zum Beispiel eine Instanz des autonomen Fahrzeugs, für das die Simulation ausgeführt wird, oder ein anderes autonomes Fahrzeug sein. Die simulierte Umgebung kann bestimmen, wie das Fahrzeug in der simulierten Umgebung betrieben werden kann, einschließlich der Änderungen in der Richtung und Geschwindigkeit, die vom Fahrzeug als Reaktion auf Änderungen in der Umgebung und/oder anderen Bedingungen vorgenommen werden.
Bei 610 wird der Betrieb eines simulierten Fahrzeugs entlang eines zweiten Pfades, der sich vom ersten Pfad unterscheidet, in Simulation mit den mehreren simulierten Agenten simuliert. In manchen Ausführungsformen beinhaltet das Simulieren des Betriebs des simulierten Fahrzeugs Verwenden des gleichen Pfades mit den mehreren simulierten Agenten, wie etwa, falls es eine Möglichkeit gibt, festzustellen, ob ein Fahrzeug seine Richtung und/oder Geschwindigkeit ändern könnte, wenn es auf eine Änderung im Szenario trifft. In manchen Ausführungsformen beinhaltet das Simulieren des Betriebs des simulierten Fahrzeugs Verwenden eines anderen Pfades ohne eingefügte Agenten, wie etwa, um festzustellen, was passiert, falls das Fahrzeug einen anderen Pfad rund um ein geparktes Fahrzeug oder einen Fußgänger nimmt.
In manchen Ausführungsformen beinhaltet der Prozess 600 ferner Schritte zum Filtern von Objekten basierend auf Umgebungsbedingungen. Beispielsweise wird mindestens ein Objekt in der Umgebung basierend auf den Sensordaten detektiert. Eine Bestimmung wird vorgenommen, ob mindestens ein Objekt ein statisches Objekt oder ein dynamisches Objekt ist. Als Reaktion auf das Bestimmen, dass mindestens ein Objekt ein dynamisches Objekt ist, werden Daten, die mit dem mindestens einen Objekt assoziiert sind, aus den Sensordaten gefiltert. Das Objekt kann ein schneebedecktes, geparktes Auto oder ein bewegungsloses Fahrrad sein, das sich neben der Straße befindet (z. B. gegen einen Baum lehnt) und wahrscheinlich kein Sicherheitsproblem für das Fahrzeug unter einer gegenwärtigen Wetterbedingung oder Tageszeit verursachen wird.
In der vorstehenden Beschreibung wurden Aspekte und Ausführungsformen der vorliegenden Offenbarung mit Bezugnahme auf zahlreiche spezifische Einzelheiten beschrieben, die von Implementierung zu Implementierung variieren können. Dementsprechend sind die Beschreibung und die Zeichnungen als veranschaulichend anstatt beschränkend aufzufassen. Der alleinige und exklusive Indikator des Schutzumfangs der Erfindung, und was durch die Anmelder als der Schutzumfang der Erfindung beabsichtigt wird, ist der wörtliche und äquivalente Schutzumfang des Satzes von Ansprüchen, der sich aus dieser Anmeldung ergibt, in der spezifischen Form, in der solche Ansprüche sich ergeben, einschließlich einer jeglichen anschließenden Korrektur. Jegliche Definitionen, die hierin für in solchen Ansprüchen enthaltenen Begriffe dargelegt sind, sollen die Bedeutung solcher Begriffe, wie in den Ansprüchen verwendet, bestimmen. Zusätzlich, wenn der Begriff „ferner umfassend“ in der vorstehenden Beschreibung oder den folgenden Ansprüchen verwendet wird, kann, was diesem Ausdruck folgt, ein zusätzlicher Schritt oder eine zusätzliche Entität oder ein Teilschritt/eine Teilentität eines zuvor vorgetragenen Schritts oder einer zuvor vorgetragenen Entität sein.

Claims

Verfahren, umfassend: Zugreifen, unter Verwendung mindestens eines Prozessors, auf Sensordaten, die mit einem Betrieb eines Fahrzeugs in einer Umgebung assoziiert sind, wobei das Fahrzeug einen ersten Pfad durch die Umgebung während des Betriebs des Fahrzeugs befährt; Generieren, unter Verwendung des mindestens einen Prozessors, synthetischer Sensordaten und einer simulierten Umgebung basierend auf den Sensordaten, die mit dem Betrieb des Fahrzeugs assoziiert sind, wobei die simulierte Umgebung auf realen Daten basiert und dazu ausgelegt ist, synthetische Umgebungsbedingungen zu simulieren; und Simulieren, unter Verwendung mindestens eines Prozessors und der synthetischen Sensordaten, eines synthetischen Fahrszenarios in der simulierten Umgebung, wobei das Simulieren des synthetischen Fahrszenarios Folgendes umfasst: Simulieren des Betriebs mehrerer simulierter Agenten in der simulierten Umgebung, und Simulieren des Betriebs eines simulierten Fahrzeugs entlang eines zweiten Pfades, der sich vom ersten Pfad unterscheidet, und in Simulation mit den mehreren simulierten Agenten, wobei das Simulieren des synthetischen Fahrszenarios Simulieren von null oder mehr Umgebungsbedingungen in dem synthetischen Fahrszenario umfasst, die sich von einer oder mehreren Umgebungsbedingungen unterscheiden, die während des Betriebs des Fahrzeugs in der Umgebung vorhanden sind.
Verfahren nach Anspruch 1, wobei das Simulieren des Betriebs des simulierten Fahrzeugs Verwenden des gleichen Pfades mit den mehreren simulierten Agenten beinhaltet.
Verfahren nach einem der Ansprüche 1 bis 2, wobei das Simulieren des Betriebs des simulierten Fahrzeugs Verwenden eines anderen Pfades ohne eingefügte Agenten beinhaltet.
Verfahren nach einem der Ansprüche 1 bis 3, wobei das Zugreifen auf die Sensordaten, die mit dem Betrieb des Fahrzeugs in der Umgebung assoziiert sind, während das Fahrzeug den ersten Pfad durch die Umgebung befährt, Folgendes umfasst: Zugreifen auf LiDAR(Lichtdetektion und -entfernungsmessung)-Daten, die mit mindestens einer Punktwolke assoziiert sind, und/oder Bilddaten, die mit mindestens einem Bild assoziiert sind, und/oder RADAR(Funkdetektion und -entfernungsmessung)-Daten, die mit mindestens einer RADAR-Punktwolke assoziiert sind, wobei die LiDAR-Daten, Bilddaten oder RADAR-Daten während des Betriebs des Fahrzeugs in der Umgebung erzeugt werden, während das Fahrzeug den ersten Pfad durch die Umgebung befährt.
Verfahren nach einem der Ansprüche 1 bis 4, wobei die Sensordaten Bilddaten und LiDAR-Daten umfassen, die durch mindestens einen Sensor des Fahrzeugs erzeugt werden, und wobei das Generieren der synthetischen Sensordaten Generieren von Bilddaten, LiDAR-Daten und RADAR-Daten beinhaltet, die das synthetische Fahrszenario repräsentieren.
Verfahren nach einem der Ansprüche 1 bis 5, wobei das Generieren der synthetischen Sensordaten Folgendes beinhaltet: Generieren synthetischer Sensordaten basierend auf den Sensordaten, die mit dem Betrieb des Fahrzeugs assoziiert sind, einschließlich: Zugreifen auf Daten, die mindestens ein Objekt repräsentieren, das in das synthetische Fahrszenario einzuschließen ist; und Augmentieren der Sensordaten mit den Daten, die mindestens ein Objekt repräsentieren.
Verfahren nach einem der Ansprüche 1 bis 6, wobei das mindestens eine Objekt ein dynamisches Objekt beinhaltet, und wobei die Daten, die mindestens ein Objekt repräsentieren, Bewegungsdaten für das dynamische Objekt beinhalten, wobei die Bewegungsdaten Trajektoriedaten für das mindestens eine Objekt und Gliedmaßenbewegungsdaten für Fußgänger beinhalten.
Verfahren nach einem der Ansprüche 1 bis 7, wobei das Generieren der synthetischen Sensordaten Folgendes beinhaltet: Empfangen einer Indikation von mindestens einer Umgebungsbedingung, die in das synthetische Fahrszenario einzuschließen ist; und Modifizieren der Sensordaten basierend auf mindestens einer Umgebungsbedingung.
Verfahren nach einem der Ansprüche 1 bis 8, wobei das Modifizieren der Sensordaten basierend auf der mindestens einen Umgebungsbedingung Folgendes beinhaltet: Verarbeiten der Sensordaten mit mindestens einem neuronalen Netzwerk, das dazu ausgelegt ist, die Sensordaten basierend auf mindestens einer Umgebungsbedingung zu modifizieren.
Verfahren nach einem der Ansprüche 1 bis 9, wobei das Modifizieren der Sensordaten Folgendes beinhaltet: Interpolieren der Sensordaten basierend auf einer Beziehung zwischen zumindest einem Teil des ersten Pfades und zumindest einem Teil des zweiten Pfades, um die synthetischen Sensordaten zu generieren.
Verfahren nach einem der Ansprüche 1 bis 10, ferner umfassend: Detektieren, basierend auf den Sensordaten, von mindestens einem Objekt in der Umgebung; Bestimmen, ob mindestens ein Objekt ein statisches Objekt oder ein dynamisches Objekt ist; und als Reaktion auf das Bestimmen, dass mindestens ein Objekt ein dynamisches Objekt ist, Filtern von Daten, die mit mindestens einem Objekt assoziiert sind, aus den Sensordaten.
System, umfassend: mindestens einen Prozessor; und mindestens ein computerlesbares Medium, das Anweisungen speichert, die bei Ausführung durch den mindestens einen Prozessor bewirken, dass der mindestens eine Prozessor eines der Verfahren nach den Ansprüchen 1-11 durchführt.
Nichtflüchtiges computerlesbares Medium bzw. nichtflüchtige computerlesbare Medien, die Anweisungen speichern, die bei Ausführung durch mindestens einen Prozessor bewirken, dass der mindestens eine Prozessor eines der Verfahren nach den Ansprüchen 1-11 durchführt.