DE102021101758A1

DE102021101758A1 - Ampeldetektionssystem für ein fahrzeug

Info

Publication number: DE102021101758A1
Application number: DE102021101758.0A
Authority: DE
Inventors: Maria Antoinette Meijburg; Paul Schmitt; Philipp Robbel
Original assignee: Motional AD LLC
Current assignee: Motional AD LLC
Priority date: 2020-02-26
Filing date: 2021-01-27
Publication date: 2021-08-26
Also published as: GB2614360A; GB202210975D0; GB2592461B; GB202017795D0; US20210261152A1; CN113313936A; KR20210108867A; KR20230104836A; GB2592461A; US11854212B2; KR102551208B1; GB2614360B

Abstract

Ein Verfahren zum Betreiben eines Fahrzeugs beinhaltet Detektieren einer sich an einem ersten raumzeitlichen Ort befindlichen Ampel basierend auf einem ersten digitalen Videostrom, der durch eine erste Kamera erfasst wird, und einem zweiten digitalen Videostrom, der durch eine zweite Kamera erfasst wird. Es wird bestimmt, dass sich das Fahrzeug an einem zweiten raumzeitlichen Ort befindet, indem erste Standortdaten, die von Sensoren empfangen werden, gegen zweite Standortdaten, die durch Filtern der ersten Standortdaten erhalten werden, validiert werden. Es wird bestimmt, dass die Ampel an dem ersten raumzeitlichen Ort erwartet wird, basierend auf einer Semantikkarte, referenziert durch den zweiten raumzeitlichen Ort. Als Reaktion auf das Bestimmen, dass die Ampel an dem ersten raumzeitlichen Ort erwartet wird, wird ein Verkehrssignal der Ampel basierend auf den beiden digitalen Videoströmen detektiert. Eine Trajektorie wird gemäß dem Verkehrssignal bestimmt. Eine Steuerschaltung betreibt das Fahrzeug gemäß der Trajektorie.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Die vorliegende Anmeldung beansprucht den Vorteil der vorläufigen US-Anmeldung 62/981,597 , eingereicht am 26. Februar 2020, die hiermit unter Bezugnahme in ihrer Gesamtheit einbezogen wird.
GEBIET DER ERFINDUNG
Diese Beschreibung betrifft allgemein den Betrieb von Fahrzeugen und insbesondere ein Ampeldetektionssystem für ein Fahrzeug.
HINTERGRUND
Der Betrieb eines Fahrzeugs von einem Anfangsort zu einem finalen Bestimmungsort erfordert häufig, dass ein Benutzer oder ein Entscheidungssystem des Fahrzeugs eine Route durch ein Straßennetz vom Anfangsort zu einem finalen Bestimmungsort auswählt. Die Route kann das Erreichen von Zielstellungen beinhalten, wie etwa das Nichtüberschreiten einer maximalen Fahrzeit. Eine komplexe Route kann viele Entscheidungen erfordern, was herkömmliche Greedy-Algorithmen für das autonome Fahren unpraktisch macht.
KURZFASSUNG
Verfahren zum Betreiben eines Fahrzeugs beinhalten Verwenden eines oder mehrerer Prozessoren des Fahrzeugs zum Detektieren einer Ampel, die sich an einem ersten raumzeitlichen Ort befindet. Die Detektion basiert auf einem ersten digitalen Videostrom, der durch eine erste Kamera des Fahrzeugs erfasst wird, und einem zweiten digitalen Videostrom, der durch eine zweite Kamera des Fahrzeugs erfasst wird. Die Prozessoren bestimmen außerdem, dass sich das Fahrzeug an einem zweiten raumzeitlichen Ort befindet. Um den zweiten raumzeitlichen Ort zu bestimmen, validieren die Prozessoren zunächst erste Standortdaten, die unter Verwendung mehrerer Sensoren des Fahrzeugs erzeugt werden, gegen zweite Standortdaten. Die zweiten Standortdaten werden durch Filtern der ersten Standortdaten unter Verwendung eines Filters (z. B. eines Bayesschen Filters, eines Kalman-Filters usw.) erhalten. Die Prozessoren bestimmen, dass die Ampel an dem ersten raumzeitlichen Ort erwartet wird, basierend auf einer Semantikkarte, referenziert durch den zweiten raumzeitlichen Ort. Als Reaktion auf das Bestimmen, dass die Ampel an dem ersten raumzeitlichen Ort erwartet wird, detektieren die Prozessoren ein Verkehrssignal der Ampel basierend auf dem ersten digitalen Videostrom und dem zweiten digitalen Videostrom. Die Prozessoren bestimmen eine Trajektorie des Fahrzeugs gemäß dem Verkehrssignal. Eine Steuerschaltung des Fahrzeugs betreibt das Fahrzeug gemäß der bestimmten Trajektorie.
In einem anderen Aspekt empfangen ein oder mehrere Prozessoren eines Fahrzeugs Sensordaten von LiDARs des Fahrzeugs, RADARs des Fahrzeugs und Standortdaten von GNSS-Empfängern (GNSS: globales Satellitennavigationssystem) des Fahrzeugs. Ein erstes Filter (z. B. ein Bayessches Filter, ein Kalman-Filter usw.) wird durch die Prozessoren ausgeführt, um einen raumzeitlichen Ort des Fahrzeugs durch Filtern der Standorte zu bestimmen. Der raumzeitliche Ort ist mit einer oder mehreren Fahrbahnen assoziiert. Die Prozessoren validieren den raumzeitlichen Ort des Fahrzeugs gegen die Standortdaten basierend auf modularer Redundanz der LiDARs, der RADARs und der GNSS-Empfänger. Die Prozessoren empfangen Hodometriedaten von einem Lenkradsensor und Radsensoren des Fahrzeugs. Ein zweites Filter wird durch die Prozessoren ausgeführt, um zu bestimmen, dass das Fahrzeug in einer speziellen Fahrbahn betrieben wird, durch Filtern der Hodometriedaten. Die Prozessoren identifizieren eine Ampel entsprechend der speziellen Fahrbahn basierend auf einem digitalen Videostrom, der durch eine Kamera des Fahrzeugs erfasst wird. Eine Steuerschaltung des Fahrzeugs betreibt das Fahrzeug gemäß einem Verkehrssignal der Ampel.
In einem anderen Aspekt detektieren ein oder mehrere Prozessoren eines Fahrzeugs, dass ein Verkehrssignal einer Ampel von einem grünen Licht zu einem gelben Licht übergegangen ist, basierend auf einem digitalen Videostrom, der durch eine Kamera des Fahrzeugs erfasst wird. Die Prozessoren validieren, dass das Verkehrssignal zu dem gelben Licht übergegangen ist, basierend auf einer DSRC-Nachricht (DSRC: dedizierte Kurzstreckenkommunikation), die durch einen DSRC-Sensor des Fahrzeugs empfangen wird. Die DSRC-Nachricht wird durch einen DSRC-Sender der Ampel übertragen. Die Prozessoren bestimmen, dass das Verkehrssignal in einer speziellen Zeitmenge zu einem roten Licht übergegangen ist, basierend auf dem digitalen Videostrom. Die Prozessoren bestimmen, dass sich das Fahrzeug mit einem speziellen Abstand von einer Haltelinie der Ampel befindet, basierend auf dem digitalen Videostrom. Die Prozessoren bestimmen, dass das Fahrzeug in der Lage ist, innerhalb der speziellen Zeitmenge gemäß einem Komfortprofil an der Haltelinie anzuhalten. Die Bestimmung basiert auf der speziellen Zeitmenge und dem speziellen Abstand von der Haltelinie. Eine Steuerschaltung des Fahrzeugs hält das Fahrzeug an der Haltelinie innerhalb der speziellen Zeitmenge gemäß dem Komfortprofil an.
In einem anderen Aspekt betreibt eine Steuerschaltung eines Fahrzeugs das Fahrzeug in einer speziellen Fahrbahn gemäß einer Trajektorie des Fahrzeugs. Die Trajektorie leitet das Fahrzeug an, an einer Kreuzung nach links abzubiegen. Ein oder mehrere Prozessoren des Fahrzeugs detektieren, dass sich das Fahrzeug der Kreuzung nähert. Die Prozessoren bestimmen einen raumzeitlichen Ort des Fahrzeugs basierend auf Sensordaten, die von einem oder mehreren Sensoren des Fahrzeugs empfangen werden. Die Prozessoren bestimmen einen Abstand des Fahrzeugs von der Kreuzung basierend auf einer Semantikkarte, referenziert durch den raumzeitlichen Ort. Die Prozessoren bestimmen, dass das Fahrzeug an der Kreuzung von der speziellen Fahrbahn nach links abbiegen kann, basierend auf den Sensordaten. Die Sensordaten beinhalten einen digitalen Videostrom von Fahrbahnmarkierungen der speziellen Fahrbahn. Die Prozessoren detektieren, dass ein Verkehrssignal einer sich an der Kreuzung befindlichen Ampel entweder ein grüner Linksabbiegerpfeil oder ein grünes Licht ist. Als Reaktion auf das Detektieren, dass das Verkehrssignal ein grüner Linksabbiegerpfeil ist, betreibt die Steuerschaltung das Fahrzeug derart, dass das Fahrzeug an der Kreuzung gemäß der Trajektorie nach links abbiegt.
Unter anderem beinhalten die Vorzüge und Vorteile der hierin offenbarten Ausführungsformen das Erzeugen und Evaluieren unterschiedlicher und komplexer Bewegungssegmente durch ein autonomes Fahrzeug, um Ampeln und Verkehrssignale zu adressieren, während die Betriebskosten reduziert und Kollisionen verhindert werden. Die offenbarten Ausführungsformen erhöhen die Navigationssicherheit sowohl für das Fahrzeug als auch für Fußgänger und andere Fahrzeuge. Durch das automatische Vorhersagen von Standorten von Ampeln und Identifizieren von Übergängen von Verkehrssignalen kann ein Fahrzeug den Passagierkomfort und die Passagier- und Fußgängersicherheit erhöhen. Darüber hinaus wird außerdem reduzierter Verschleiß am Fahrzeug, reduzierte Fahrzeit, reduzierte Fahrdistanz und erhöhte Sicherheit für andere Fahrzeuge auf dem Straßennetz erreicht.
Diese und andere Aspekte, Merkmale und Implementierungen können als Verfahren, Einrichtungen, Systeme, Komponenten, Programmprodukte, Mittel oder Schritte zum Durchführen einer Funktion, oder auf andere Weisen ausgedrückt werden.
Diese und andere Aspekte, Merkmale und Implementierungen werden aus den folgenden Beschreibungen, einschließlich den Ansprüchen, ersichtlich werden.
Figurenliste

1 ist ein Blockdiagramm, das ein Beispiel eines autonomen Fahrzeugs (AV) mit autonomer Fähigkeit gemäß einer oder mehreren Ausführungsformen veranschaulicht.
2 ist ein Blockdiagramm, das eine beispielhafte „Cloud“-Rechenumgebung gemäß einer oder mehreren Ausführungsformen veranschaulicht.
3 ist ein Blockdiagramm, das ein Computersystem gemäß einer oder mehreren Ausführungsformen veranschaulicht.
4 ist ein Blockdiagramm, das eine beispielhafte Architektur für ein AV gemäß einer oder mehreren Ausführungsformen veranschaulicht.
5 ist ein Blockdiagramm, das ein Beispiel für Eingaben und Ausgaben, die durch ein Wahrnehmungsmodul verwendet werden können, gemäß einer oder mehreren Ausführungsformen veranschaulicht.
6 ist ein Blockdiagramm, das ein Beispiel eines LiDAR-Systems gemäß einer oder mehreren Ausführungsformen veranschaulicht.
7 ist ein Blockdiagramm, das das LiDAR-System im Betrieb gemäß einer oder mehreren Ausführungsformen veranschaulicht.
8 ist ein Blockdiagramm, das den Betrieb des LiDAR-Systems mit zusätzlichen Einzelheiten veranschaulicht, gemäß einer oder mehreren Ausführungsformen.
9 ist ein Blockdiagramm, das die Beziehungen zwischen Eingaben und Ausgaben eines Planungsmoduls gemäß einer oder mehreren Ausführungsformen veranschaulicht.
10 veranschaulicht einen bei der Pfadplanung verwendeten gerichteten Graphen gemäß einer oder mehreren Ausführungsformen.
11 ist ein Blockdiagramm, das die Eingaben und Ausgaben eines Steuermoduls gemäß einer oder mehreren Ausführungsformen veranschaulicht.
12 ist ein Blockdiagramm, das die Eingaben, Ausgaben und Komponenten einer Steuerung gemäß einer oder mehreren Ausführungsformen veranschaulicht.
13A ist ein Blockdiagramm, das ein Ampeldetektionssystem (TLD-System; TLD: Traffic Light Detection) für ein Fahrzeug gemäß einer oder mehreren Ausführungsformen veranschaulicht.
13B ist ein Blockdiagramm, das ein Wahrnehmungsmodul gemäß einer oder mehreren Ausführungsformen veranschaulicht.
13C ist ein Blockdiagramm, das ein Kartierungsmodul gemäß einer oder mehreren Ausführungsformen veranschaulicht.
13D ist ein Blockdiagramm, das ein Lokalisierungsmodul gemäß einer oder mehreren Ausführungsformen veranschaulicht.
14 veranschaulicht ein beispielhaftes TLD-Szenario gemäß einer oder mehreren Ausführungsformen.
15 ist ein Flussdiagramm, das einen Prozess zum Betrieb eines TLD-Systems für ein Fahrzeug gemäß einer oder mehreren Ausführungsformen veranschaulicht.
16 ist ein Flussdiagramm, das einen Prozess zum Betrieb des TLD-Systems für ein Fahrzeug gemäß einer oder mehreren Ausführungsformen veranschaulicht.
17 ist ein Flussdiagramm, das einen Prozess zum Betrieb des TLD-Systems für ein Fahrzeug gemäß einer oder mehreren Ausführungsformen veranschaulicht.
18 ist ein Flussdiagramm, das einen Prozess zum Betrieb des TLD-Systems für ein Fahrzeug gemäß einer oder mehreren Ausführungsformen veranschaulicht.

AUSFÜHRLICHE BESCHREIBUNG
In der folgenden Beschreibung sind für Erläuterungszwecke zahlreiche spezifische Einzelheiten dargelegt, um ein vollständiges Verständnis der vorliegenden Erfindung bereitzustellen. Es wird jedoch ersichtlich werden, dass die vorliegende Erfindung ohne diese spezifischen Einzelheiten umgesetzt werden kann. In anderen Fällen sind wohlbekannte Strukturen und Vorrichtungen in Blockdiagrammform gezeigt, um eine unnötige Verundeutlichung der vorliegenden Erfindung zu vermeiden.
In den Zeichnungen sind zur Vereinfachung der Beschreibung spezifische Anordnungen oder Reihenfolgen schematischer Elemente, wie etwa jener, die Vorrichtungen, Module, Anweisungsblöcke und Datenelemente repräsentieren, gezeigt. Fachleute sollten jedoch verstehen, dass die spezifische Reihenfolge oder Anordnung der schematischen Elemente in den Zeichnungen nicht andeuten soll, dass eine spezielle Verarbeitungsreihenfolge oder -sequenz oder eine Trennung von Prozessen notwendig ist. Ferner soll der Einschluss eines schematischen Elements in einer Zeichnung nicht andeuten, dass ein solches Element in allen Ausführungsformen notwendig ist oder die durch ein solches Element repräsentierten Merkmale in manchen Ausführungsformen möglicherweise nicht in anderen Elementen enthalten sind oder möglicherweise nicht mit diesen kombiniert werden.
In den Zeichnungen, in denen verbindende Elemente, wie etwa durchgezogene oder gestrichelte Linien oder Pfeile, zum Veranschaulichen einer Verbindung, einer Beziehung oder einer Assoziation zwischen oder unter zwei oder mehr anderen schematischen Elementen verwendet werden, soll das Nichtvorhandensein irgendwelcher solcher verbindender Elemente ferner nicht andeuten, dass keine Verbindung, Beziehung oder Assoziation vorhanden sein kann. Mit anderen Worten sind manche Verbindungen, Beziehungen oder Assoziationen zwischen Elementen nicht in den Zeichnungen gezeigt, sodass die Offenbarung nicht verundeutlicht wird. Zusätzlich wird zur Vereinfachung der Veranschaulichung ein einzelnes verbindendes Element verwendet, um mehrere Verbindungen, Beziehungen oder Assoziationen zwischen Elementen zu repräsentieren. Wenn ein verbindendes Element beispielsweise eine Kommunikation von Signalen, Daten oder Anweisungen repräsentiert, sollten Fachleute verstehen, dass ein solches Element einen oder mehrere Signalpfade (z. B. einen Bus), wie möglicherweise benötigt, repräsentiert, um die Kommunikation zu bewirken.
Nun wird ein ausführlicher Bezug auf Ausführungsformen genommen, deren Beispiele in den begleitenden Zeichnungen veranschaulicht sind. In der folgenden ausführlichen Beschreibung sind zahlreiche spezifische Einzelheiten dargelegt, um ein vollständiges Verständnis der verschiedenen beschriebenen Ausführungsformen bereitzustellen. Einem Durchschnittsfachmann wird jedoch ersichtlich werden, dass die verschiedenen beschriebenen Ausführungsformen ohne diese spezifischen Einzelheiten umgesetzt werden können. In anderen Fällen wurden wohlbekannte Verfahren, Prozeduren, Komponenten, Schaltungen und Netzwerke nicht ausführlich beschrieben, sodass Aspekte der Ausführungsformen nicht unnötig verundeutlicht werden.
Nachfolgend sind mehrere Merkmale beschrieben, die jeweils unabhängig voneinander oder mit einer beliebigen Kombination anderer Merkmale verwendet werden können. Ein beliebiges individuelles Merkmal spricht jedoch möglicherweise keines der oben besprochenen Probleme an oder könnte nur eines der oben besprochenen Probleme ansprechen. Manche der oben besprochenen Probleme könnten möglicherweise nicht vollständig durch irgendwelche der hierin beschriebenen Merkmale angesprochen werden. Obwohl Überschriften bereitgestellt sind, können Informationen bezüglich einer speziellen Überschrift, die aber nicht in dem Abschnitt mit dieser Überschrift aufgefunden werden, auch andernorts in dieser Beschreibung aufgefunden werden. Ausführungsformen sind hierin gemäß der folgenden Gliederung beschrieben:

1. Allgemeiner Überblick
2. Systemüberblick
3. Architektur eines autonomen Fahrzeugs
4. Eingaben in das autonome Fahrzeug
5. Planung des autonomen Fahrzeugs
6. Steuerung des autonomen Fahrzeugs
7. Architektur eines Ampeldetektionssystems
8. Prozesse zum Betrieb eines Ampeldetektionssystems

Systemüberblick
1 ist ein Blockdiagramm, das ein Beispiel eines autonomen Fahrzeugs 100 mit autonomer Fähigkeit gemäß einer oder mehreren Ausführungsformen veranschaulicht.
Wie hierin verwendet, bezieht sich der Begriff „autonome Fähigkeit“ auf eine Funktion, ein Merkmal oder eine Einrichtung, die/das ermöglicht, dass ein Fahrzeug teilweise oder vollständig ohne einen menschlichen Eingriff in Echtzeit betrieben wird, einschließlich unter anderem vollautonome Fahrzeuge, hochautonome Fahrzeuge und bedingt autonome Fahrzeuge.
Wie hierin verwendet, ist ein autonomes Fahrzeug (AV) ein Fahrzeug, das autonome Fähigkeit besitzt.
Wie hierin verwendet, beinhaltet „Fahrzeug“ Mittel für den Transport von Gütern oder Menschen. Beispielsweise Autos, Busse, Züge, Flugzeuge, Drohnen, Lastkraftwagen, Boote, Schiffe, Unterwasserfahrzeuge, Luftfahrzeuge usw. Ein fahrerloses Auto ist ein Beispiel eines Fahrzeugs.
Wie hierin verwendet, bezieht sich „Trajektorie“ auf einen Pfad oder eine Route zum Betreiben eines AV von einem ersten raumzeitlichen Ort zu einem zweiten raumzeitlichen Ort. In einer Ausführungsform wird der erste raumzeitliche Ort als Anfangs- oder Startort bezeichnet und wird der zweite raumzeitliche Ort als Bestimmungsort, endgültiger Ort, Ziel, Zielposition oder Zielort bezeichnet. In manchen Beispielen besteht eine Trajektorie aus einem oder mehreren Segmenten (z. B. Straßenabschnitten), und jedes Segment besteht aus einem oder mehreren Blöcken (z. B. Teilen einer Fahrbahn oder Kreuzung). In einer Ausführungsform entsprechen die raumzeitlichen Orte Orten der realen Welt. Beispielsweise sind die raumzeitlichen Orte Abhol- oder Abladeorte zum Abholen oder Abladen von Personen oder Gütern.
Wie hierin verwendet, beinhaltet „Sensor(en)“ eine oder mehrere Hardwarekomponenten, die Informationen über die Umgebung im Umfeld des Sensors detektieren. Manche der Hardwarekomponenten können Erfassungskomponenten (z. B. Bildsensoren, biometrische Sensoren), Übertragungs- und/oder Empfangskomponenten (z. B. Laser- oder Hochfrequenzwellen-Sender und -Empfänger), elektronische Komponenten wie etwa Analog-Digital-Wandler, eine Datenspeicherungsvorrichtung (wie etwa einen RAM und/oder eine nichtflüchtige Speicherung), Software- oder Firmwarekomponenten und Datenverarbeitungskomponenten wie etwa eine ASIC (anwendungsspezifische integrierte Schaltung), einen Mikroprozessor und/oder einen Mikrocontroller beinhalten.
Wie hierin verwendet, ist eine „Szenenbeschreibung“ eine Datenstruktur (z. B. Liste) oder ein Datenstrom, die/der ein oder mehrere klassifizierte oder gelabelte Objekte beinhaltet, die durch einen oder mehrere Sensoren am AV-Fahrzeug detektiert oder durch eine Quelle extern zu dem AV bereitgestellt werden.
Wie hierin verwendet, ist eine „Straße“ ein physischer Bereich, der von einem Fahrzeug durchfahren werden kann, und kann einer benannten Verkehrsstraße entsprechen (z. B. Stadtstraße, Autobahn usw.) oder kann einer unbenannten Verkehrsstraße entsprechen (z. B. einer Einfahrt in einem Haus oder Bürogebäude, einem Abschnitt eines Parkplatzes, einem Abschnitt eines leeren Grundstücks, einem Feldweg in einem ländlichen Gebiet usw.). Da manche Fahrzeuge (z. B. Allrad-Pickup-Trucks, Geländewagen usw.) in der Lage sind, eine Vielfalt physischer Bereiche zu durchfahren, die nicht spezifisch für den Fahrzeugverkehr konzipiert sind, kann eine „Straße“ ein physischer Bereich sein, der nicht formell durch irgendeine Gemeinde oder andere Regierungsstelle oder Behörde als eine Verkehrsstraße definiert ist.
Wie hierin verwendet, ist eine „Fahrbahn“ ein Teil einer Straße, auf der ein Fahrzeug fahren kann und kann dem Großteil oder der Gesamtheit des Raums zwischen Fahrbahnmarkierungen entsprechen, oder kann nur einem Teil (z. B. weniger als 50 %) des Raums zwischen Fahrbahnmarkierungen entsprechen. Beispielsweise könnte eine Straße mit Fahrbahnmarkierungen, die weit voneinander beabstandet sind, zwei oder mehr Fahrzeuge zwischen den Markierungen unterbringen, sodass ein Fahrzeug an dem anderen vorbeifahren kann, ohne die Fahrbahnmarkierungen zu überfahren, und könnte somit als eine Fahrbahn aufweisend, die schmaler als der Raum zwischen den Fahrbahnmarkierungen ist, oder als zwei Fahrbahnen zwischen den Fahrbahnmarkierungen aufweisend interpretiert werden. Eine Fahrbahn könnte auch bei Nichtvorhandensein von Fahrbahnmarkierungen interpretiert werden. Beispielsweise kann eine Fahrbahn basierend auf physischen Merkmalen einer Umgebung definiert werden, z. B. Gestein und Bäume entlang einer Verkehrsstraße in einem ländlichen Gebiet.
„Ein oder mehrere“ beinhaltet eine Funktion, die durch ein Element durchgeführt wird, eine Funktion, die durch mehr als ein Element durchgeführt wird, z. B. in verteilter Weise, mehrere Funktionen, die durch ein Element durchgeführt werden, mehrere Funktionen, die durch mehrere Elemente durchgeführt werden, oder eine beliebige Kombination des Obigen.
Es versteht sich außerdem, dass, obwohl die Begriffe erster, zweiter usw. in manchen Fällen hierin zum Beschreiben verschiedener Elemente verwendet werden, diese Elemente nicht durch diese Begriffe beschränkt werden sollten. Diese Begriffe werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Beispielsweise könnte ein erster Kontakt als ein zweiter Kontakt bezeichnet werden, und gleichermaßen könnte ein zweiter Kontakt als ein erster Kontakt bezeichnet werden, ohne vom Schutzumfang der verschiedenen beschriebenen Ausführungsformen abzuweichen. Der erste Kontakt und der zweite Kontakt sind beide Kontakte, aber sie sind nicht derselbe Kontakt.
Die in der Beschreibung der verschiedenen hierin beschriebenen Ausführungsformen verwendete Terminologie soll nur spezielle Ausführungsformen beschreiben und nicht beschränkend sein. Wie in der Beschreibung der verschiedenen beschriebenen Ausführungsformen und in den angehängten Ansprüchen verwendet, sollen die Singularformen „ein“, „eine“ und „der/die/das“ auch die Pluralformen einschließen, insofern der Zusammenhang deutlich nicht etwas anderes angibt. Es versteht sich auch, dass sich der Begriff „und/oder“, wie hierin verwendet, auf beliebige und alle möglichen Kombinationen eines oder mehrerer der assoziierten aufgelisteten Elemente bezieht und diese einschließt. Es versteht sich ferner, dass die Begriffe „beinhaltet“, „einschließlich“, „beinhaltet“ und/oder „einschließlich“, wenn in dieser Beschreibung verwendet, das Vorhandensein genannter Merkmale, ganzer Zahlen, Schritte, Operationen, Elemente und/oder Komponenten spezifizieren, aber nicht das Vorhandensein oder den Zusatz einer/eines oder mehrerer anderer Elemente, ganzer Zahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon ausschließt.
Wie hierin verwendet, soll der Begriff „falls“ optional so ausgelegt werden, dass er in Abhängigkeit vom Zusammenhang „wenn“ oder „bei“ oder „als Reaktion auf das Bestimmen“ oder „als Reaktion auf das Detektieren“ bedeutet. Gleichermaßen soll der Ausdruck „falls bestimmt wird“ oder „falls [eine genannte Bedingung oder ein genanntes Ereignis] detektiert wird“ optional so ausgelegt werden, dass er in Abhängigkeit vom Zusammenhang „bei der Bestimmung“ oder „als Reaktion auf das Bestimmen“ oder „bei der Detektion [der genannten Bedingung oder des genannten Ereignisses]“ oder „als Reaktion auf das Detektieren [der genannten Bedingung oder des genannten Ereignisses]“ bedeutet.
Wie hierin verwendet, bezieht sich ein AV-System auf das AV zusammen mit dem Array von Hardware, Software, gespeicherten Daten und in Echtzeit erzeugten Daten, die den Betrieb des AV unterstützen. In einer Ausführungsform ist das AV-System in dem AV integriert. In einer Ausführungsform ist das AV-System über mehrere Orte verteilt. Beispielsweise ist ein Teil der Software des AV-Systems in einer Cloud-Rechenumgebung implementiert, ähnlich der unten mit Bezug auf 3 beschriebenen Cloud-Rechenumgebung 300.
Im Allgemeinen beschreibt dieses Dokument Technologien, die bei beliebigen Fahrzeugen anwendbar sind, die eine oder mehrere autonome Fähigkeiten aufweisen, einschließlich vollautonomen Fahrzeugen, hochautonomen Fahrzeugen und bedingt autonomen Fahrzeugen, wie etwa sogenannten Stufe-5-, Stufe-4- bzw. Stufe-3-Fahrzeugen (siehe Standard von SAE International J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems, der durch Bezugnahme in seiner Gesamtheit aufgenommen wird, für weitere Einzelheiten über die Klassifikation von Autonomiestufen in Fahrzeugen). Die in diesem Dokument beschriebenen Technologien sind auch bei teilautonomen Fahrzeugen und fahrergestützten Fahrzeugen anwendbar, wie etwa sogenannten Stufe-2- und Stufe-1-Fahrzeugen (siehe Standard von SAE International J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems). In einer Ausführungsform können ein oder mehrere der Fahrzeugsysteme der Stufe 1, 2, 3, 4 und 5 gewisse Fahrzeugoperationen (z. B. Lenkung, Bremsung und Kartenverwendung) unter gewissen Betriebsbedingungen basierend auf der Verarbeitung von Sensoreingaben automatisieren. Die in diesem Dokument beschriebenen Technologien können für Fahrzeuge in beliebigen Stufen vorteilhaft sein, angefangen von vollautonomen Fahrzeugen bis zu menschlich betriebenen Fahrzeugen.
Mit Bezug auf 1 betreibt ein AV-System 120 das AV 100 entlang einer Trajektorie 198 durch eine Umgebung 190 zu einem Bestimmungsort 199 (manchmal als ein endgültiger Ort bezeichnet), während Objekte (z. B. natürliche Behinderungen 191, Fahrzeuge 193, Fußgänger 192, Fahrräder und andere Hindernisse) vermieden und Straßenregeln (z. B. Betriebsregeln oder Fahrpräferenzen) eingehalten werden.
In einer Ausführungsform beinhaltet das AV-System 120 Vorrichtungen 101, die instrumentiert sind, Betriebsbefehle von den Computerprozessoren 146 zu empfangen und darauf zu reagieren. In einer Ausführungsform ähneln die Rechenprozessoren 146 dem unten mit Bezug auf 3 beschriebenen Prozessor 304. Beispiele für die Vorrichtungen 101 beinhalten eine Lenkungssteuerung 102, Bremsen 103, Gänge, Gaspedal oder andere Beschleunigungssteuermechanismen, Scheibenwischer, Seitentürverriegelungen, Fenstersteuerungen und Blinker.
In einer Ausführungsform beinhaltet das AV-System 120 Sensoren 121 zum Messen oder Inferieren von Eigenschaften des Status oder Zustands des AV 100, wie etwa die Position des AV, Lineargeschwindigkeit und -beschleunigung, Winkelgeschwindigkeit und -beschleunigung und Kurs (z. B. eine Orientierung des führenden Endes des AV 100). Beispiele für die Sensoren 121 sind GNSS, inertiale Messeinheiten (IMU), die sowohl Fahrzeuglinearbeschleunigungen als auch Winkelraten messen, Radsensoren zum Messen oder Schätzen von Radschlupfverhältnissen, Radbremsdruck- oder Bremsmomentsensoren, Motordrehmoment- oder Raddrehmomentsensoren und Lenkwinkel- und Winkelratensensoren.
In einer Ausführungsform beinhalten die Sensoren 121 auch Sensoren zum Erfassen oder Messen von Eigenschaften der Umgebung des AV. Beispielsweise Monokular- oder Stereo-Videokameras 122 im sichtbaren Licht, Infrarotspektrum oder thermischen Spektrum (oder beiden), LiDAR 123, RADAR, Ultraschallsensoren, Laufzeit(ToF)-Tiefensensoren, Geschwindigkeitssensoren, Temperatursensoren, Luftfeuchtigkeitssensoren und Niederschlagssensoren.
In einer Ausführungsform beinhaltet das AV-System 120 eine Datenspeicherungseinheit 142 und Speicher 144 zum Speichern von Maschinenanweisungen, die mit den Computerprozessoren 146 assoziiert sind, oder von Daten, die durch die Sensoren 121 gesammelt werden. In einer Ausführungsform ähnelt die Datenspeicherungseinheit 142 dem ROM 308 oder der Speicherungsvorrichtung 310, die nachstehend in Bezug auf 3 beschrieben sind. In einer Ausführungsform ähnelt der Speicher 144 dem unten beschriebenen Hauptspeicher 306. In einer Ausführungsform speichern die Datenspeicherungseinheit 142 und der Speicher 144 historische, Echtzeit- und/oder prädiktive Informationen über die Umgebung 190. In einer Ausführungsform beinhalten die gespeicherten Informationen Karten, Fahrleistung, Verkehrsüberlastungsaktualisierungen oder Wetterbedingungen. In einer Ausführungsform werden Daten bezüglich der Umgebung 190 von einer entfernten Datenbank 134 über einen Kommunikationskanal zu dem AV 100 übertragen.
In einer Ausführungsform beinhaltet das AV-System 120 Kommunikationsvorrichtungen 140 zum Kommunizieren von gemessenen oder inferierten Eigenschaften der Status oder Zustände anderer Fahrzeuge, wie etwa Positionen, Linear- und Winkelgeschwindigkeiten, Linear- und Winkelbeschleunigungen und Linear- und Winkelkurse, zu dem AV 100. Diese Vorrichtungen beinhalten Fahrzeug-zu-Fahrzeug- (V2V) und Fahrzeug-zu-Infrastruktur(V2I)-Kommunikationsvorrichtungen und Vorrichtungen für Drahtloskommunikationen über Punkt-zu-Punkt oder Ad-Hoc-Netzwerke oder beide. In einer Ausführungsform kommunizieren die Kommunikationsvorrichtungen 140 über das elektromagnetische Spektrum (einschließlich Funkkommunikationen und optischer Kommunikationen) oder andere Medien (z. B. Luft und akustische Medien). Eine Kombination von Fahrzeug-zu-Fahrzeug- (V2V) und Fahrzeug-zu-Infrastruktur(V2I)-Kommunikation (und in manchen Ausführungsformen einer oder mehrerer anderer Kommunikationsarten) wird manchmal als eine Fahrzeug-zu-Allem(V2X)-Kommunikation bezeichnet. Eine V2X-Kommunikation entspricht typischerweise einem oder mehreren Kommunikationsstandards zur Kommunikation mit, zwischen und unter autonomen Fahrzeugen.
In einer Ausführungsform beinhalten die Kommunikationsvorrichtungen 140 Kommunikationsschnittstellen. Beispielsweise drahtgebundene, drahtlose, WiMAX-, WiFi-, Bluetooth-, Satelliten-, zellulare, optische, Nahfeld-, Infrarot- oder Funk-Schnittstellen. Die Kommunikationsschnittstellen übertragen Daten von einer entfernten Datenbank 134 zu dem AV-System 120. In einer Ausführungsform ist die entfernte Datenbank 134 in einer Cloud-Rechenumgebung 200 eingebettet, wie in 2 beschrieben. Die Kommunikationsschnittstellen 140 übertragen von den Sensoren 121 gesammelte Daten oder andere Daten bezüglich des Betriebs des AV 100 zu der entfernten Datenbank 134. In einer Ausführungsform übertragen die Kommunikationsschnittstellen 140 Informationen, die sich auf Teleoperationen beziehen, zu dem AV 100. In manchen Ausführungsformen kommuniziert das AV 100 mit anderen Fern(z. B. „Cloud“)-Servern 136.
In einer Ausführungsform speichert und überträgt die entfernte Datenbank 134 auch digitale Daten (z. B. Speichern von Daten wie etwa Landstraßen- und Stadtstraßenorten). Solche Daten werden auf dem Speicher 144 im AV 100 gespeichert oder von der entfernten Datenbank 134 über einen Kommunikationskanal zu dem AV 100 übertragen.
In einer Ausführungsform speichert und überträgt die entfernte Datenbank 134 historische Informationen über Fahreigenschaften (z. B. Geschwindigkeits- und Beschleunigungsprofile) von Fahrzeugen, die zuvor zu ähnlichen Tageszeiten entlang der Trajektorie 198 führen. In einer Implementierung können solche Daten auf dem Speicher 144 im AV 100 gespeichert oder von der entfernten Datenbank 134 über einen Kommunikationskanal zu dem AV 100 übertragen werden.
Die sich am AV 100 befindlichen Rechenvorrichtungen 146 erzeugen algorithmisch Steuerhandlungen basierend auf sowohl Echtzeit-Sensordaten als auch vorherigen Informationen, was dem AV-System 120 ermöglicht, seine autonomen Fahrfähigkeiten auszuführen.
In einer Ausführungsform beinhaltet das AV-System 120 mit den Rechenvorrichtungen 146 gekoppelte Computerperipheriegeräte 132 zum Bereitstellen von Informationen und Warnungen an einen Benutzer (z. B. einen Insassen oder einen Fernbenutzer) des AV 100 und Empfangen einer Eingabe von diesem. In einer Ausführungsform ähneln die Peripheriegeräte 132 der Anzeige 312, der Eingabevorrichtung 314 und der Cursor-Steuerung 316, die unten mit Bezug auf 3 besprochen sind. Die Kopplung ist drahtlos oder drahtgebunden. Zwei oder mehr beliebige der Schnittstellenvorrichtungen können in eine einzelne Vorrichtung integriert sein.
Beispielhafte Cloud-Rechenumgebung
2 ist ein Blockdiagramm, das eine beispielhafte „Cloud“-Rechenumgebung gemäß einer oder mehreren Ausführungsformen veranschaulicht. Cloud-Computing ist ein Dienstlieferungsmodell zum Ermöglichen eines zweckmäßigen On-Demand-Netzwerkzugangs für einen gemeinsam genutzten Pool konfigurierbarer Rechenressourcen (z. B. Netzwerke, Netzwerkbandbreite, Server, Verarbeitung, Speicher, Speicherung, Anwendungen, virtuelle Maschinen und Dienste). In typischen Cloud-Rechensystemen sind die zum Liefern der durch die Cloud bereitgestellten Dienste verwendeten Maschinen in einem oder mehreren großen Cloud-Datenzentren untergebracht. Jetzt mit Bezug auf 2 beinhaltet die Cloud-Rechenumgebung 200 Cloud-Datenzentren 204a, 204b und 204c, die über die Cloud 202 miteinander verbunden sind. Die Datenzentren 204a, 204b und 204c stellen Computersystemen 206a, 206b, 206c, 206d, 206e und 206f, die mit der Cloud 202 verbunden sind, Cloud-Rechendienste bereit.
Die Cloud-Rechenumgebung 200 beinhaltet ein oder mehrere Cloud-Datenzentren. Im Allgemeinen bezieht sich ein Cloud-Datenzentrum, zum Beispiel das in 2 gezeigte Cloud-Datenzentrum 204a, auf die physische Anordnung von Servern, die eine Cloud bilden, zum Beispiel die in 2 gezeigte Cloud 202, oder einen speziellen Teil einer Cloud. Beispielsweise sind Server in dem Cloud-Datenzentrum physisch in Räume, Gruppen, Reihen und Racks angeordnet. Ein Cloud-Datenzentrum weist eine oder mehrere Zonen auf, die einen oder mehrere Serverräume beinhalten. Jeder Raum weist eine oder mehrere Serverreihen auf, und jede Reihe beinhaltet ein oder mehrere Racks. Jedes Rack beinhaltet einen oder mehrere individuelle Serverknoten. In manchen Implementierungen sind Server in Zonen, Räume, Racks und/oder Reihen basierend auf physischen Infrastrukturanforderungen der Datenzentrumeinrichtung, einschließlich Leistungs-, Energie-, thermalen, Wärme- und/oder anderer Anforderungen, in Gruppen angeordnet. In einer Ausführungsform ähneln die Serverknoten dem in 3 beschriebenen Computersystem. Das Datenzentrum 204a weist viele Rechensysteme auf, die über viele Racks verteilt sind.
Die Cloud 202 beinhaltet Cloud-Datenzentren 204a, 204b und 204c zusammen mit dem Netzwerk und Vernetzungsressourcen (zum Beispiel Vernetzungsausrüstung, Knoten, Routern, Switches und Vernetzungskabeln), die die Cloud-Datenzentren 204a, 204b und 204c miteinander verbinden und dabei helfen, den Zugang der Rechensysteme 206a-f auf Cloud-Rechensysteme zu ermöglichen. In einer Ausführungsform repräsentiert das Netzwerk eine beliebige Kombination eines oder mehrerer Lokalnetzwerke, großflächiger Netzwerke oder Inter-Netzwerke, die unter Verwendung drahtgebundener oder drahtloser Links gekoppelt sind, die unter Verwendung terrestrischer Verbindungen oder Satellitenverbindungen eingesetzt werden. Über das Netzwerk ausgetauschte Daten werden unter Verwendung einer beliebigen Anzahl von Netzwerkschichtprotokollen transferiert, wie etwa Internetprotokoll (IP), Multiprotocol Label Switching (MPLS), Asynchronous Transfer Mode (ATM), Frame Relay usw. Ferner werden in Ausführungsformen, in denen das Netzwerk eine Kombination mehrerer Teilnetzwerke repräsentiert, unterschiedliche Netzwerkschichtprotokolle an jedem der zugrundeliegenden Teilnetzwerke verwendet. In manchen Ausführungsformen repräsentiert das Netzwerk ein oder mehrere miteinander verbundene Inter-Netzwerke, wie etwa das öffentliche Internet.
Die Rechensysteme 206a-f oder Verbraucher der Cloud-Rechensysteme sind über Netzwerklinks und Netzwerkadapter mit der Cloud 202 verbunden. In einer Ausführungsform werden die Rechensysteme 206a-f als verschiedene Rechenvorrichtungen implementiert, zum Beispiel Server, Desktops, Laptops, Tablets, Smartphones, Internet-der-Dinge(IdD)-Vorrichtungen, autonome Fahrzeuge (einschließlich Autos, Drohnen, Shuttles, Zügen, Bussen usw.) und Verbraucherelektronik. In einer Ausführungsform werden die Rechensysteme 206a-f in anderen Systemen oder als ein Teil von diesen implementiert.
Computersystem
3 ist ein Blockdiagramm, das ein Computersystem 300 gemäß einer oder mehreren Ausführungsformen veranschaulicht. In einer Implementierung ist das Computersystem 300 eine Spezialzweck-Rechenvorrichtung. Die Spezialzweck-Rechenvorrichtung ist festverdrahtet, um die Techniken durchzuführen, oder beinhaltet digitale elektronische Vorrichtungen wie etwa eine oder mehrere anwendungsspezifische integrierte Schaltungen (ASICs) oder feldprogrammierbare Gate-Arrays (FPGAs), die persistent programmiert sind, um die Techniken durchzuführen, oder können einen oder mehrere Allgemeinzweck-Hardwareprozessoren beinhalten, die programmiert sind, die Techniken gemäß Programmanweisungen in Firmware, Speicher, anderer Speicherung oder einer Kombination durchzuführen. Solche Spezialzweck-Rechenvorrichtungen können auch benutzerdefinierte festverdrahtete Logik, ASICs oder FPGAs mit benutzerdefinierter Programmierung kombinieren, um die Techniken zu verwirklichen. In verschiedenen Ausführungsformen sind die Spezialzweck-Rechenvorrichtungen Desktop-Computersysteme, tragbare Computersysteme, Handheld-Vorrichtungen, Netzwerkvorrichtungen oder eine beliebige andere Vorrichtung, die festverdrahtete Logik und/oder Programmlogik einbezieht, um die Techniken zu implementieren.
In einer Ausführungsform beinhaltet das Computersystem 300 einen Bus 302 oder einen anderen Kommunikationsmechanismus zum Kommunizieren von Informationen und einen mit dem Bus 302 gekoppelten Hardwareprozessor 304 zum Verarbeiten von Informationen. Der Hardwareprozessor 304 ist beispielsweise ein Allgemeinzweck-Mikroprozessor. Das Computersystem 300 beinhaltet außerdem einen Hauptspeicher 306, wie etwa einen Direktzugriffsspeicher (RAM) oder eine andere dynamische Speicherungsvorrichtung, der/die mit dem Bus 302 gekoppelt ist, zum Speichern von Informationen und Anweisungen, die durch den Prozessor 304 auszuführen sind. In einer Implementierung wird der Hauptspeicher 306 zum Speichern temporärer Variablen oder anderen Zwischeninformationen während der Ausführung von durch den Prozessor 304 auszuführenden Anweisungen verwendet. Derartige Anweisungen, wenn sie in für den Prozessor 304 zugreifbaren, nichttransitorischen Speicherungsmedien gespeichert sind, bilden das Computersystem 300 in einer Spezialzweck-Maschine aus, die zum Durchführen der in den Anweisungen spezifizierten Operationen angepasst ist.
In einer Ausführungsform beinhaltet das Computersystem 300 ferner einen Nur-LeseSpeicher (ROM) 308 oder eine andere statische Speicherungsvorrichtung, die mit dem Bus 302 gekoppelt ist, zum Speichern statischer Informationen und Anweisungen für den Prozessor 304. Eine Speicherungsvorrichtung 310, wie etwa eine magnetische Platte, eine optische Platte, ein Solid-State-Laufwerk oder ein dreidimensionaler Cross-Point-Speicher, ist bereitgestellt und mit dem Bus 302 gekoppelt, um Informationen und Anweisungen zu speichern.
In einer Ausführungsform ist das Computersystem 300 über den Bus 302 mit einer Anzeige 312 gekoppelt, wie etwa einer Kathodenstrahlröhre (CRT)-, einer Flüssigkristallanzeige (LCD), einer Plasmaanzeige, einer Leuchtdioden(LED)-Anzeige oder einer Organisch-Leuchtdioden(OLED)-Anzeige, um Informationen für einen Computerbenutzer anzuzeigen. Eine Eingabevorrichtung 314, die alphanumerische und andere Tasten beinhaltet, ist mit dem Bus 302 zum Kommunizieren von Informationen und Befehlsauswahlen zu dem Prozessor 304 gekoppelt. Eine andere Art von Benutzereingabevorrichtung ist eine Cursor-Steuerung 316, wie etwa eine Maus, ein Trackball, eine berührungsgestützte Anzeige oder Cursorrichtungstasten zum Kommunizieren von Richtungsinformationen und Befehlsauswahlen zu dem Prozessor 304 und zum Steuern der Cursorbewegung auf der Anzeige 312. Diese Eingabevorrichtung weist typischerweise zwei Freiheitsgrade in zwei Achsen auf, einer ersten Achse (z. B. x-Achse) und einer zweiten Achse (z. B. y-Achse), was der Vorrichtung ermöglicht, Positionen in einer Ebene zu spezifizieren.
Gemäß einer Ausführungsform werden die Techniken hierin durch das Computersystem 300 als Reaktion darauf durchgeführt, dass der Prozessor 304 eine oder mehrere Sequenzen einer oder mehrerer in dem Hauptspeicher 306 enthaltenen Anweisungen ausführt. Solche Anweisungen werden von einem anderen Speicherungsmedium, wie etwa der Speicherungsvorrichtung 310, in den Hauptspeicher 306 gelesen. Die Ausführung der im Hauptspeicher 306 enthaltenen Anweisungssequenzen veranlasst, dass der Prozessor 304 die hierin beschriebenen Prozessschritte durchführt. In alternativen Ausführungsformen wird eine festverdrahtete Schaltungsanordnung anstelle von oder in Kombination mit Softwareanweisungen verwendet.
Der Begriff „Speicherungsmedien“, wie hierin verwendet, bezieht sich auf beliebige nichttransitorische Medien, die Daten und/oder Anweisungen speichern, die veranlassen, dass eine Maschine auf eine spezifische Weise arbeitet. Solche Speicherungsmedien beinhalten nichtflüchtige Medien und/oder flüchtige Medien. Nichtflüchtige Medien beinhalten beispielsweise optische Platten, Magnetplatten, Solid-State-Laufwerke oder dreidimensionalen Cross-Point-Speicher, wie etwa die Speicherungsvorrichtung 310. Flüchtige Medien beinhalten dynamischen Speicher, wie etwa den Hauptspeicher 306. Übliche Formen von Speicherungsmedien beinhalten beispielsweise eine Diskette, eine flexible Platte, eine Festplatte, ein Solid-State-Laufwerk, Magnetband oder ein beliebiges anderes magnetisches Datenspeicherungsmedium, eine CD-ROM, ein beliebiges anderes optisches Datenspeicherungsmedium, ein beliebiges physisches Medium mit Lochmustern, einen RAM, einen PROM und EPROM, einen FLASH-EPROM, NV-RAM oder einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette.
Speicherungsmedien unterscheiden sich von Übertragungsmedien, können jedoch in Verbindung mit diesen verwendet werden. Übertragungsmedien nehmen bei dem Transfer von Informationen zwischen Speicherungsmedien teil. Beispielsweise beinhalten Übertragungsmedien Koaxialkabel, Kupferdraht und Faseroptik, einschließlich der Drähte, die den Bus 302 beinhalten. Übertragungsmedien können auch die Form akustischer Wellen oder Lichtwellen annehmen, wie etwa jene, die während Funkwellen- oder Infrarot-Datenkommunikationen erzeugt werden.
In einer Ausführungsform sind verschiedene Formen von Medien beim Führen einer oder mehrerer Sequenzen einer oder mehrerer Anweisungen zu dem Prozessor 304 für die Ausführung beteiligt. Beispielsweise werden die Anweisungen anfänglich auf einer magnetischen Platte oder einem Solid-State-Laufwerk eines Ferncomputers geführt. Der Ferncomputer lädt die Anweisungen in seinen dynamischen Speicher und sendet die Anweisungen über eine Telefonleitung unter Verwendung eines Modems. Ein Modem lokal zu dem Computersystem 300 empfängt die Daten auf der Telefonleitung und verwendet einen Infrarotsender, um die Daten in ein Infrarotsignal umzuwandeln. Ein Infrarotdetektor empfängt die in dem Infrarotsignal geführten Daten und eine geeignete Schaltungsanordnung platziert die Daten auf den Bus 302. Der Bus 302 führt die Daten zum Hauptspeicher 306, aus dem der Prozessor 304 die Anweisungen abruft und ausführt. Die durch den Hauptspeicher 306 empfangenen Anweisungen können optional in der Speicherungsvorrichtung 310 entweder vor oder nach der Ausführung durch den Prozessor 304 gespeichert werden.
Das Computersystem 300 beinhaltet auch eine Kommunikationsschnittstelle 318, die mit dem Bus 302 gekoppelt ist. Die Kommunikationsschnittstelle 318 stellt eine Zweiwege-Datenkommunikationskopplung mit einem Netzwerklink 320 bereit, der mit einem Lokalnetzwerk 322 verbunden ist. Beispielsweise ist die Kommunikationsschnittstelle 318 eine ISDN(Integrated Service Digital Network)-Karte, ein Kabelmodem, ein Satellitenmodem oder ein Modem zum Bereitstellen einer Datenkommunikationsverbindung mit einer entsprechenden Art von Telefonleitung. Als ein anderes Beispiel ist die Kommunikationsschnittstelle 318 eine Lokalnetzwerk(LAN)-Karte zum Bereitstellen einer Datenkommunikationsverbindung mit einem kompatiblen LAN. In manchen Implementierungen werden auch Drahtlos-Links implementiert. In einer beliebigen derartigen Implementierung sendet und empfängt die Kommunikationsschnittstelle 318 elektrische, elektromagnetische oder optische Signale, die digitale Datenströme führen, die verschiedene Informationsarten repräsentieren.
Der Netzwerklink 320 stellt typischerweise eine Datenkommunikation über ein oder mehrere Netzwerke zu anderen Datenvorrichtungen bereit. Beispielsweise stellt der Netzwerklink 320 eine Verbindung über das Lokalnetzwerk 322 zu einem Host-Computer 324 oder zu einem Cloud-Datenzentrum oder -Gerät bereit, der/das durch einen Internetdienstanbieter (ISP) 326 betrieben wird. Der ISP 326 stellt im Gegenzug Datenkommunikationsdienste über das weltweite Paketdatenkommunikationsnetzwerk bereit, heutzutage gewöhnlich bezeichnet als das „Internet“ 328. Sowohl das Lokalnetzwerk 322 als auch das Internet 328 verwenden elektrische, elektromagnetische oder optische Signale, die digitale Datenströme führen. Die Signale über die verschiedenen Netzwerke und die Signale auf dem Netzwerklink 320 und über die Kommunikationsschnittstelle 318, die die digitalen Daten zu und von dem Computersystem 300 führen, sind beispielhafte Formen von Übertragungsmedien. In einer Ausführungsform enthält das Netzwerk 320 die Cloud 202 oder einen Teil der oben beschriebenen Cloud 202.
Das Computersystem 300 sendet Nachrichten und empfängt Daten, einschließlich Programmcode, über das (die) Netzwerk(e), den Netzwerklink 320 und die Kommunikationsschnittstelle 318. In einer Ausführungsform empfängt das Computersystem 300 Code zur Verarbeitung. Der empfangene Code wird durch den Prozessor 304 wie empfangen ausgeführt und/oder in der Speicherungsvorrichtung 310 oder einer anderen nichtflüchtigen Speicherung zur späteren Ausführung gespeichert.
Architektur eines autonomen Fahrzeugs
4 ist ein Blockdiagramm, das eine beispielhafte Architektur 400 für ein autonomes Fahrzeug (z. B. das in 1 gezeigte AV 100) gemäß einer oder mehreren Ausführungsformen veranschaulicht. Die Architektur 400 beinhaltet ein Wahrnehmungsmodul 402 (manchmal als eine Wahrnehmungsschaltung bezeichnet), ein Planungsmodul 404 (manchmal als eine Planungsschaltung bezeichnet), ein Steuermodul 406 (manchmal als eine Steuerschaltung bezeichnet), ein Lokalisierungsmodul 408 (manchmal als eine Lokalisierungsschaltung bezeichnet) und ein Datenbankmodul 410 (manchmal als eine Datenbankschaltung bezeichnet). Jedes Modul spielt beim Betrieb des AV 100 eine Rolle. Zusammen können die Module 402, 404, 406, 408 und 410 Teil des in 1 gezeigten AV-Systems 120 sein. In manchen Ausführungsformen sind beliebige der Module 402, 404, 406, 408 und 410 eine Kombination von Computersoftware (z. B. ausführbarer Code, der auf einem computerlesbaren Medium gespeichert ist) und Computerhardware (z. B. ein/e oder mehrere Mikroprozessoren, Mikrocontroller, anwendungsspezifische integrierte Schaltungen [ASICs], Hardwarespeichervorrichtungen, andere Arten von integrierten Schaltungen, andere Arten von Computerhardware oder eine Kombination beliebiger oder aller dieser Dinge).
Im Gebrauch empfängt das Planungsmodul 404 Daten, die einen Bestimmungsort 412 repräsentieren, und bestimmt Daten, die eine Trajektorie 414 (manchmal als eine Route bezeichnet) repräsentieren, auf der das AV 100 fahren kann, um den Bestimmungsort 412 zu erreichen (z. B. dort anzukommen). Damit das Planungsmodul 404 die die Trajektorie 414 repräsentierenden Daten bestimmt, empfängt das Planungsmodul 404 Daten vom Wahrnehmungsmodul 402, vom Lokalisierungsmodul 408 und vom Datenbankmodul 410.
Das Wahrnehmungsmodul 402 identifiziert nahegelegene physische Objekte unter Verwendung eines oder mehrerer Sensoren 121, z. B. wie auch in 1 gezeigt. Die Objekte werden klassifiziert (z. B. in Typen wie etwa Fußgänger, Fahrrad, Kraftfahrzeug, Verkehrsschild usw. gruppiert) und dem Planungsmodul 404 wird eine Szenenbeschreibung einschließlich der klassifizierten Objekte 416 bereitgestellt.
Das Planungsmodul 404 empfängt auch Daten, die die AV-Position 418 repräsentieren, vom Lokalisierungsmodul 408. Das Lokalisierungsmodul 408 bestimmt die AV-Position unter Verwendung von Daten von den Sensoren 121 und Daten vom Datenbankmodul 410 (z. B. geografische Daten), um eine Position zu berechnen. Beispielsweise verwendet das Lokalisierungsmodul 408 Daten von einer GNSS(globales Satellitennavigationssystem)-Einheit und geografische Daten, um einen Längengrad und Breitengrad des AV zu berechnen. In einer Ausführungsform beinhalten die durch das Lokalisierungsmodul 408 verwendeten Daten hochpräzise Karten der geometrischen Eigenschaften der Verkehrsstraße, Karten, die Straßennetzkonnektivitätseigenschaften beschreiben, Karten, die physische Eigenschaften der Verkehrsstraße beschreiben (wie etwa Verkehrsgeschwindigkeit, Verkehrsvolumen, die Anzahl von Fahrzeug- und Fahrrad-Verkehrsfahrbahnen, Fahrbahnbreite, Fahrbahnverkehrsrichtung oder Fahrbahnmarkierungsarten und -orte oder Kombinationen davon), und Karten, die die räumlichen Orte von Straßenmerkmalen beschreiben, wie etwa Fußgängerüberwege, Verkehrsschilder oder andere Verkehrssignale verschiedener Arten.
Das Steuermodul 406 empfängt die die Trajektorie 414 repräsentierenden Daten und die die AV-Position 418 repräsentierenden Daten und betreibt die Steuerfunktionen 420a-c (z. B. Lenkung, Gasgeben, Bremsen, Zündung) des AV auf eine Weise, die bewirken wird, dass das AV 100 entlang der Trajektorie 414 zu dem Bestimmungsort 412 fährt. Falls beispielsweise die Trajektorie 414 eine Linksabbiegung beinhaltet, wird das Steuermodul 406 die Steuerfunktionen 420a-c auf eine Weise betreiben, dass der Lenkwinkel der Lenkfunktion bewirken wird, dass das AV 100 nach links abbiegt, und das Gasgeben und Bremsen bewirken werden, dass das AV 100 anhält und darauf wartet, dass Fußgänger und Fahrzeuge passieren, bevor das Abbiegen vorgenommen wird.
Eingaben in das autonome Fahrzeug
5 ist ein Blockdiagramm, das ein Beispiel für Eingaben 502a-d (z. B. die in 1 gezeigten Sensoren 121) und Ausgaben 504a-d (z. B. Sensordaten), die durch das Wahrnehmungsmodul 402 (4) verwendet werden, gemäß einer oder megreren Ausführungsformen veranschaulicht. Eine Eingabe 502a ist ein LiDAR(Lichtdetektion und -entfernungsmessung)-System (z. B. das in 1 gezeigte LiDAR 123). LiDAR ist eine Technologie, die Licht (z. B. Impulse von Licht wie etwa Infrarotlicht) verwendet, um Daten über physische Objekte in ihrer Sichtlinie zu erhalten. Ein LiDAR-System erzeugt LiDAR-Daten als die Ausgabe 504a. Beispielsweise sind LiDAR-Daten Sammlungen von 3D- oder 2D-Punkten (auch als Punktwolken bekannt), die zum Erstellen einer Repräsentation der Umgebung 190 verwendet werden.
Eine andere Eingabe 502b ist ein RADAR-System. RADAR ist eine Technologie, die Funkwellen verwendet, um Daten über nahegelegene physische Objekte zu erhalten. RADARs können Daten über Objekte erhalten, die sich nicht innerhalb der Sichtlinie eines LiDAR-Systems befinden. Ein RADAR-System 502b erzeugt RADAR-Daten als die Ausgabe 504b. Beispielsweise sind RADAR-Daten ein oder mehrere elektromagnetische Hochfrequenz-Signale, die zum Erstellen einer Repräsentation der Umgebung 190 verwendet werden.
Eine andere Eingabe 502c ist ein Kamerasystem. Ein Kamerasystem verwendet eine oder mehrere Kameras (z. B. Digitalkameras, die einen Lichtsensor wie etwa eine CCD [Charge-Coupled Device] verwenden), um Informationen über nahegelegene physische Objekte zu erhalten. Ein Kamerasystem erzeugt Kameradaten als die Ausgabe 504c. Kameradaten nehmen häufig die Form von Bilddaten an (z. B. Daten in einem Bilddatenformat wie etwa RAW, JPEG, PNG usw.). In manchen Beispielen weist das Kamerasystem mehrere unabhängige Kameras auf, z. B. für Stereopsis (Stereovision), was dem Kamerasystem ermöglicht, Tiefe wahrzunehmen. Obwohl die durch das Kamerasystem wahrgenommenen Objekte hier als „nahegelegen“ beschrieben sind, ist dies relativ zu dem AV. Im Gebrauch kann das Kamerasystem dazu ausgelegt sein, Objekte zu „sehen“, die sich entfernt, z. B. bis zu einem Kilometer oder mehr, vor dem AV befinden. Dementsprechend kann das Kamerasystem Merkmale wie etwa Sensoren und Linsen aufweisen, die zum Wahrnehmen von weit entfernten Objekten optimiert sind.
Eine andere Eingabe 502d ist ein Ampeldetektionssystem (TLD-System; TLD: Traffic Light Detection). Ein TLD-System verwendet eine oder mehrere Kameras, um Informationen über Ampeln, Verkehrsschilder und andere physische Objekte zu erhalten, die visuelle Betriebsinformationen bereitstellen. Ein TLD-System erzeugt TLD-Daten als die Ausgabe 504d. TLD-Daten nehmen häufig die Form von Bilddaten an (z. B. Daten in einem Bilddatenformat wie etwa RAW, JPEG, PNG usw.). Ein TLD-System unterscheidet sich von einem eine Kamera einbeziehenden System darin, dass ein TLD-System eine Kamera mit einem weiten Sichtfeld verwendet (z. B. unter Verwendung eines Weitwinkelobjektivs oder eines Fischaugenobjektivs), um Informationen über so viele physische Objekte, die visuelle Betriebsinformationen bereitstellen, wie möglich zu erhalten, sodass das AV 100 einen Zugang zu allen relevanten Betriebsinformationen aufweist, die durch diese Objekte bereitgestellt werden. Beispielsweise kann der Sichtwinkel des TLD-Systems etwa 120 Grad oder mehr betragen.
In manchen Ausführungsformen werden die Ausgaben 504a-d unter Verwendung einer Sensorfusionstechnik kombiniert. Somit werden entweder die individuellen Ausgaben 504a-d anderen Systemen des AV 100 bereitgestellt (z. B. einem Planungsmodul 404 bereitgestellt, wie in 4 gezeigt), oder die kombinierte Ausgabe kann den anderen Systemen bereitgestellt werden, entweder in der Form einer einzelnen kombinierten Ausgabe oder mehrerer kombinierter Ausgaben des gleichen Typs (z. B. unter Verwendung der gleichen Kombinationstechnik oder Kombinieren der gleichen Ausgaben oder beides) oder unterschiedlicher Typen (z. B. unter Verwendung verschiedener jeweiliger Kombinationstechniken oder Kombinieren verschiedener jeweiliger Ausgaben oder beides). In manchen Ausführungsformen wird eine Frühfusionstechnik verwendet. Eine Frühfusionstechnik ist gekennzeichnet durch das Kombinieren von Ausgaben, bevor ein oder mehrere Datenverarbeitungsschritte an der kombinierten Ausgabe angewendet werden. In manchen Ausführungsformen wird eine Spätfusionstechnik verwendet. Eine Spätfusionstechnik ist gekennzeichnet durch das Kombinieren von Ausgaben, nachdem ein oder mehrere Datenverarbeitungsschritte an den individuellen Ausgaben angewendet werden.
6 ist ein Blockdiagramm, das ein Beispiel eines LiDAR-Systems 602 (z. B. die in 5 gezeigte Eingabe 502a) gemäß einer oder mehreren Ausführungsformen veranschaulicht. Das LiDAR-System 602 emittiert Licht 604a-c von einem Lichtemitter 606 (z. B. einem Laser-Sender). Durch ein LiDAR-System emittiertes Licht liegt typischerweise nicht im sichtbaren Spektrum; beispielsweise wird häufig Infrarotlicht verwendet. Ein Teil des emittierten Lichts 604b trifft auf ein physisches Objekt 608 (z. B. ein Fahrzeug) und wird zurück zu dem LiDAR-System 602 reflektiert. (Von einem LiDAR-System emittiertes Licht dringt typischerweise nicht in physische Objekte, z. B. physische Objekte in fester Form, ein.) Das LiDAR-System 602 weist auch einen oder mehrere Lichtdetektoren 610 auf, die das reflektierte Licht detektieren. In einer Ausführungsform erzeugen ein oder mehrere mit dem LiDAR-System assoziierte Datenverarbeitungssysteme ein Bild 612, das das Sichtfeld 614 des LiDAR-Systems repräsentiert. Das Bild 612 beinhaltet Informationen, die die Abgrenzungen 616 eines physischen Objekts 608 repräsentieren. Auf diese Weise wird das Bild 612 zum Bestimmen der Abgrenzungen 616 eines oder mehrerer physischer Objekte in der Nähe eines AV verwendet.
7 ist ein Blockdiagramm, das das LiDAR-System 602 im Betrieb gemäß einer oder mehreren Ausführungsformen veranschaulicht. In dem in dieser Figur gezeigten Szenario empfängt das AV 100 sowohl die Kamerasystemausgabe 504c in der Form eines Bildes 702 als auch die LiDAR-Systemausgabe 504a in der Form von LiDAR-Datenpunkten 704. Im Gebrauch vergleichen die Datenverarbeitungssysteme des AV 100 das Bild 702 mit den Datenpunkten 704. Insbesondere wird ein im Bild 702 identifiziertes physisches Objekt 706 auch unter den Datenpunkten 704 identifiziert. Auf diese Weise nimmt das AV 100 die Abgrenzungen des physischen Objekts basierend auf der Kontur und der Dichte der Datenpunkte 704 wahr.
8 ist ein Blockdiagramm, das den Betrieb des LiDAR-Systems 602 mit zusätzlichen Einzelheiten veranschaulicht, gemäß einer oder mehreren Ausführungsformen. Wie oben beschrieben, detektiert das AV 100 die Abgrenzung eines physischen Objekts basierend auf Charakteristiken der durch das LiDAR-System 602 detektierten Datenpunkte. Wie in 8 gezeigt, wird ein flaches Objekt, wie etwa der Boden 802, von einem LiDAR-System 602 emittiertes Licht 804a-d konsistent reflektieren. Anders ausgedrückt, da das LiDAR-System 602 Licht unter Verwendung eines konstanten Abstands emittiert, wird der Boden 802 Licht zurück zu dem LiDAR-System 602 mit dem gleichen konsistenten Abstand reflektieren. Während das AV 100 über den Boden 802 fährt, wird das LiDAR-System 602 fortfahren, durch den nächsten gültigen Bodenpunkt 806 reflektiertes Licht zu detektieren, falls nichts die Straße versperrt. Falls jedoch ein Objekt 808 die Straße versperrt, wird durch das LiDAR-System 602 emittiertes Licht 804e-f von Punkten 810a-b inkonsistent zu der voraussichtlichen konsistenten Weise reflektiert. Aus diesen Informationen kann das AV 100 bestimmen, dass das Objekt 808 vorhanden ist.
Pfadplanung
9 ist ein Blockdiagramm 900, das die Beziehungen zwischen Eingaben und Ausgaben eines Planungsmoduls 404 (z. B. wie in 4 gezeigt) gemäß einer oder mehreren Ausführungsformen veranschaulicht. Im Allgemeinen ist die Ausgabe eines Planungsmoduls 404 eine Route 902 von einem Startpunkt 904 (z. B. Quellstandort oder Anfangsstandort) zu einem Endpunkt 906 (z. B. Bestimmungsort oder endgültigen Ort). Die Route 902 wird typischerweise durch ein oder mehrere Segmente definiert. Beispielsweise ist ein Segment eine zu fahrende Distanz über zumindest einen Abschnitt einer Straße, Landstraße, Autobahn, Einfahrt oder ein anderer physischer Bereich, der sich zur Fahrt eines Kraftfahrzeugs eignet. In manchen Beispielen, falls z. B. das AV 100 ein geländefähiges Fahrzeug ist, wie etwa ein Vierrad(4WD)- oder Allrad(AWD)-Auto, SUV, Pickup-Truck oder dergleichen, beinhaltet die Route 902 „Off-Road“-Segmente, wie etwa unbefestigte Pfade oder offene Felder.
Zusätzlich zu der Route 902 gibt ein Planungsmodul auch Routenplanungsdaten 908 auf Fahrbahnebene aus. Die Routenplanungsdaten 908 auf Fahrbahnebene werden verwendet, um Segmente der Route 902 basierend auf Zuständen des Segments zu einer speziellen Zeit zu durchfahren. Falls die Route 902 eine mehrspurige Autobahn beinhaltet, beinhalten die Routenplanungsdaten 908 auf Fahrbahnebene zum Beispiel Trajektorieplanungsdaten 910, die das AV 100 verwendet kann, um eine Fahrbahn unter den mehreren Fahrbahnen zu wählen, z. B. basierend darauf, ob sich einer Ausfahrt genähert wird, ob eine oder mehrere der Fahrbahnen andere Fahrzeuge aufweisen, oder andere Faktoren, die im Verlauf weniger Minuten oder weniger variieren. Gleichermaßen beinhalten die Routenplanungsdaten 908 auf Fahrbahnebene in manchen Implementierungen für ein Segment der Route 902 spezifische Geschwindigkeitsbeschränkungen 912. Falls das Segment beispielsweise Fußgänger oder unerwarteten Verkehr beinhaltet, können die Geschwindigkeitsbeschränkungen 912 das AV 100 auf eine Fahrgeschwindigkeit einschränken, die langsamer als eine voraussichtliche Geschwindigkeit ist, z. B. eine Geschwindigkeit basierend auf Geschwindigkeitsbegrenzungsdaten für das Segment.
In einer Ausführungsform beinhalten die Eingaben in das Planungsmodul 404 Datenbankdaten 914 (z. B. von dem in 4 gezeigten Datenbankmodul 410), aktuelle Standortdaten 916 (z. B. die in 4 gezeigte AV-Position 418), Bestimmungsortdaten 918 (z. B. für den in 4 gezeigten Bestimmungsort 412) und Objektdaten 920 (z. B. die klassifizierten Objekte 416, wie durch das in 4 gezeigte Wahrnehmungsmodul 402 wahrgenommen). In manchen Ausführungsformen beinhalten die Datenbankdaten 914 bei der Planung verwendete Regeln. Regeln werden unter Verwendung einer formellen Sprache spezifiziert, z. B. unter Verwendung von boolescher Logik. In einer beliebigen gegebenen Situation, auf die das AV 100 trifft, werden zumindest manche der Regeln für die Situation gelten. Eine Regel gilt für eine gegebene Situation, falls die Regel Bedingungen aufweist, die basierend auf dem AV 100 zur Verfügung stehenden Informationen erfüllt werden, z. B. Informationen über die umliegende Umgebung. Regeln können eine Priorität aufweisen. Beispielsweise kann eine Regel, die besagt „falls die Straße eine Schnellstraße ist, soll sich zu der am weitesten links gelegenen Spur bewegt werden“, eine niedrigere Priorität aufweisen als „falls sich der Ausfahrt innerhalb einer Meile genähert wird, soll sich zu der am weitesten rechts gelegenen Spur bewegt werden“.
10 veranschaulicht einen gerichteten Graphen 1000, der bei der Pfadplanung z. B. durch das Planungsmodul 404 (4) verwendet wird, gemäß einer oder mehreren Ausführungsformen. Im Allgemeinen wird ein gerichteter Graph 1000, wie der in 10 gezeigte, zum Bestimmen eines Pfads zwischen einem beliebigen Startpunkt 1002 und einem Endpunkt 1004 verwendet. In der realen Welt kann die den Startpunkt 1002 und den Endpunkt 1004 trennende Distanz relativ groß sein (z. B. in zwei unterschiedlichen Großstadtgebieten) oder kann relativ klein sein (z. B. zwei Kreuzungen, die an einen Häuserblock angrenzen, oder zwei Fahrbahnen einer mehrspurigen Straße).
In einer Ausführungsform weist der gerichtete Graph 1000 Knoten 1006a-d auf, die unterschiedliche Orte zwischen dem Startpunkt 1002 und dem Endpunkt 1004 repräsentieren, die durch ein AV 100. In manchen Beispielen, z. B. wenn der Startpunkt 1002 und der Endpunkt 1004 unterschiedliche Großstadtgebiete repräsentieren, repräsentieren die Knoten 1006a-d Segmente von Straßen. In manchen Beispielen, z. B. wenn der Startpunkt 1002 und der Endpunkt 1004 unterschiedliche Orte auf derselben Straße repräsentieren, repräsentieren die Knoten 1006a-d unterschiedliche Positionen auf dieser Straße. Auf diese Weise beinhaltet der gerichtete Graph 1000 Informationen bei unterschiedlichen Granularitätsstufen. In einer Ausführungsform ist ein eine hohe Granularität aufweisender gerichteter Graph auch ein Teilgraph eines anderen gerichteten Graphen mit einem größeren Maßstab. Beispielsweise weist ein gerichteter Graph, in dem der Startpunkt 1002 und der Endpunkt 1004 weit voneinander entfernt sind (z. B. mehrere Meilen getrennt), den Großteil seiner Informationen mit niedriger Granularität auf und basiert auf gespeicherten Daten, beinhaltet aber auch einige hochgranulare Informationen für den Abschnitt des Graphen, der physische Orte im Sichtfeld des AV 100 repräsentiert.
Die Knoten 1006a-d unterscheiden sich von den Objekten 1008a-b, die sich nicht mit einem Knoten überlappen können. In einer Ausführungsform, wenn die Granularität niedrig ist, repräsentieren die Objekte 1008a-b Gebiete, die das Kraftfahrzeug nicht durchfahren kann, z. B. Bereiche, die keine Straßen oder Landstraßen aufweisen. Wenn die Granularität hoch ist, repräsentieren die Objekte 1008a-b physische Objekte im Sichtfeld des AV 100, z. B. andere Kraftfahrzeuge, Fußgänger oder andere Entitäten, mit denen das AV 100 keinen physischen Raum teilen kann. In einer Ausführungsform sind manche oder alle der Objekte 1008a-b statische Objekte (z. B. ein Objekt, das seine Position nicht ändert, wie etwa eine Straßenlampe oder ein Strommast) oder dynamische Objekte (z. B. ein Objekt, das in der Lage ist, seine Position zu ändern, wie etwa ein Fußgänger oder ein anderes Auto).
Die Knoten 1006a-d sind durch Kanten 1010a-c verbunden. Falls zwei Knoten 1006ab durch eine Kante 1010a verbunden sind, ist es für ein AV 100 möglich, zwischen einem Knoten 1006a und dem anderen Knoten 1006b zu fahren, z. B. ohne zu einem Zwischenknoten fahren zu müssen, bevor es an dem anderen Knoten 1006b ankommt. (Wenn sich auf ein zwischen Knoten fahrendes AV 100 bezogen wird, bedeutet dies, dass das AV 100 zwischen den beiden physischen Positionen fährt, die durch die jeweiligen Knoten repräsentiert werden.) Die Kanten 1010a-c sind häufig bidirektional in dem Sinne, dass ein AV 100 von einem ersten Knoten zu einem zweiten Knoten oder vom zweiten Knoten zum ersten Knoten fährt. In einer Ausführungsform sind die Kanten 1010a-c unidirektional in dem Sinne, dass ein AV 100 von einem ersten Knoten zu einem zweiten Knoten fahren kann, das AV 100 jedoch nicht vom zweiten Knoten zum ersten Knoten fahren kann. Die Kanten 1010a-c sind unidirektional, wenn sie beispielsweise Einbahnstraßen, individuelle Fahrbahnen einer Straße, Landstraße oder Autobahn oder andere Merkmale, auf denen aufgrund rechtlicher oder physischer Beschränkungen nur in einer Richtung gefahren werden kann, repräsentieren.
In einer Ausführungsform verwendet das Planungsmodul 404 den gerichteten Graphen 1000, um einen Pfad 1012 zu identifizieren, der aus Knoten und Kanten zwischen dem Startpunkt 1002 und dem Endpunkt 1004 besteht.
Eine Kante 1010a-c weist assoziierte Kosten 1014a-b auf. Die Kosten 1014a-b sind ein Wert, der die Ressourcen repräsentiert, die verbraucht werden, falls das AV 100 diese Kante wählt. Eine typische Ressource ist Zeit. Falls beispielsweise eine Kante 1010a eine physische Distanz repräsentiert, die zweimal die einer anderen Kante 1010b ist, dann können die assoziierten Kosten 1014a der ersten Kante 1010a zweimal so groß sein wie die assoziierten Kosten 1014b der zweiten Kante 1010b. Andere Faktoren, die die Zeit beeinflussen, beinhalten erwarteter Verkehr, Anzahl von Kreuzungen, Geschwindigkeitsbegrenzung usw. Eine andere typische Ressource ist Kraftstoffeffizienz. Zwei Kanten 1010a-b können die gleiche physische Distanz repräsentieren, aber eine Kante 1010a kann mehr Kraftstoff erfordern als die andere Kante 1010b, z. B. infolge von Straßenbedingungen, erwartetem Wetter usw.
Wenn das Planungsmodul 404 einen Pfad 1012 zwischen dem Startpunkt 1002 und dem Endpunkt 1004 identifiziert, wählt das Planungsmodul 404 typischerweise einen für die Kosten optimierten Pfad, z. B. den Pfad, der die geringsten Gesamtkosten aufweist, wenn die individuellen Kosten der Kanten zusammenaddiert werden.
Steuerung des autonomen Fahrzeugs
11 ist ein Blockdiagramm 1100, das die Eingaben und Ausgaben eines Steuermoduls 406 (z. B. wie in 4 gezeigt) gemäß einer oder mehreren Ausführungsformen veranschaulicht. Ein Steuermodul arbeitet gemäß einer Steuerung 1102, die beispielsweise einen oder mehrere Prozessoren (z. B. einen oder mehrere Computerprozessoren wie etwa Mikroprozessoren oder Mikrocontroller oder beides) ähnlich dem Prozessor 304, Kurzzeit- und/oder Langzeit-Datenspeicherung (z. B. Speicher-Direktzugriffsspeicher oder Flash-Speicher oder beides) ähnlich dem Hauptspeicher 306, dem ROM 1308 und der Speicherungsvorrichtung 210 und im Speicher gespeicherte Anweisungen, die Operationen der Steuerung 1102 ausführen, wenn die Anweisungen (z. B. durch den einen oder die mehreren Prozessoren) ausgeführt werden, beinhaltet.
In einer Ausführungsform empfängt die Steuerung 1102 Daten, die eine gewünschte Ausgabe 1104 repräsentieren. Die gewünschte Ausgabe 1104 beinhaltet typischerweise eine Bahngeschwindigkeit, z. B. eine Geschwindigkeit und einen Kurs. Die gewünschte Ausgabe 1104 kann beispielsweise auf Daten basieren, die von einem Planungsmodul 404 (z. B. wie in 4 gezeigt) empfangen werden. Gemäß der gewünschten Ausgabe 1104 erzeugt die Steuerung 1102 Daten, die als eine Gaspedaleingabe 1106 und eine Lenkeingabe 1108 verwendbar sind. Die Gaspedaleingabe 1106 repräsentiert den Betrag, mit dem das Gaspedal (z. B. Beschleunigungssteuerung) eines AV 100 zu betätigen ist, z. B. durch Einwirken auf das Lenkpedal oder Einwirken auf eine andere Gaspedalsteuerung, um die gewünschte Ausgabe 1104 zu erreichen. In manchen Beispielen beinhaltet die Gaspedaleingabe 1106 auch Daten, die zum Betätigen der Bremse (z. B. Verlangsamungssteuerung) des AV 100 verwendbar sind. Die Lenkeingabe 1108 repräsentiert einen Lenkwinkel, z. B. den Winkel, mit dem die Lenksteuerung (z. B. Lenkrad, Lenkwinkelaktor oder eine andere Funktionalität zum Steuern des Lenkwinkels) des AV positioniert werden sollte, um die gewünschte Ausgabe 1104 zu erreichen.
In einer Ausführungsform empfängt die Steuerung 1102 eine Rückmeldung, die zum Anpassen der Eingaben verwendet wird, die dem Gaspedal und der Lenkung bereitgestellt werden. Falls das AV 100 beispielsweise auf eine Beeinträchtigung 1110 trifft, wie etwa einen Hügel, wird die gemessene Geschwindigkeit 1112 des AV 100 unter die gewünschte Ausgabegeschwindigkeit gesenkt. In einer Ausführungsform wird eine jegliche gemessene Ausgabe 1114 der Steuerung 1102 bereitgestellt, sodass die notwendigen Anpassungen durchgeführt werden, z. B. basierend auf dem Unterschied 1113 zwischen der gemessenen Geschwindigkeit und der gewünschten Ausgabe. Die gemessene Ausgabe 1114 beinhaltet eine gemessene Position 1116, eine gemessene Bahngeschwindigkeit 1118 (einschließlich Geschwindigkeit und Kurs), eine gemessene Beschleunigung 1120 und andere Ausgaben, die durch Sensoren des AV 100 messbar sind.
In einer Ausführungsform werden Informationen über die Beeinträchtigung 1110 im Voraus detektiert, z. B. durch einen Sensor wie etwa eine Kamera oder ein LiDAR-Sensor, und einem Prädiktive-Rückmeldung-Modul 1122 bereitgestellt. Das prädiktive Rückmeldemodul 1122 stellt dann der Steuerung 1102 Informationen bereit, die die Steuerung 1102 verwenden kann, um eine entsprechende Anpassung vorzunehmen. Falls die Sensoren des AV 100 beispielsweise einen Hügel detektieren („sehen“), können diese Informationen durch die Steuerung 1102 verwendet werden, um sich darauf vorzubereiten, das Gaspedal zu der geeigneten Zeit zu betätigen, um eine erhebliche Verlangsamung zu vermeiden.
12 ist ein Blockdiagramm 1200, das die Eingaben, Ausgaben und Komponenten der Steuerung 1102 gemäß einer oder mehreren Ausführungsformen veranschaulicht. Die Steuerung 1102 weist einen Geschwindigkeitsprofilersteller 1202 auf, der den Betrieb einer Gaspedal-/Bremssteuerung 1204 beeinflusst. Beispielsweise weist der Geschwindigkeitsprofilersteller 1202 die Gaspedal-/Bremssteuerung 1204 an, Beschleunigung zu bewirken oder Verlangsamung zu bewirken, unter Verwendung des Gaspedals/der Bremse 1206, in Abhängigkeit von z. B. der Rückmeldung, die durch die Steuerung 1102 empfangen und durch den Geschwindigkeitsprofilersteller 1202 verarbeitet wird.
Die Steuerung 1102 weist auch eine Lateralverfolgungssteuerung 1208 auf, die den Betrieb einer Lenksteuerung 1210 beeinflusst. Beispielsweise weist die Lateralverfolgungssteuerung 1208 die Lenksteuerung 1204 an, die Position des Lenkwinkelaktors 1212 in Abhängigkeit von z. B. einer Rückmeldung, die durch die Steuerung 1102 empfangen und durch die Lateralverfolgungssteuerung 1208 verarbeitet wird, anzupassen.
Die Steuerung 1102 empfängt mehrere Eingaben, die zum Bestimmen verwendet werden, wie das Gaspedal/die Bremse 1206 und der Lenkwinkelaktor 1212 zu steuern sind. Ein Planungsmodul 404 stellt Informationen bereit, die durch die Steuerung 1102 verwendet werden, um z. B. einen Kurs zu wählen, wenn das AV 100 den Betrieb beginnt, und um zu bestimmen, welches Straßensegment zu durchfahren ist, wenn das AV 100 eine Kreuzung erreicht. Ein Lokalisierungsmodul 408 stellt der Steuerung 1102 Informationen bereit, die den aktuellen Standort des AV 100 beschreiben, sodass die Steuerung 1102 beispielsweise basierend auf der Weise, mit der das Gaspedal/die Bremse 1206 und der Lenkwinkelaktor 1212 gesteuert wird, bestimmen kann, ob sich das AV 100 an einem erwarteten Standort befindet. In einer Ausführungsform empfängt die Steuerung 1102 Informationen von anderen Eingaben 1214, z. B. Informationen, die von Datenbanken, Computernetzwerken usw. empfangen werden.
Architektur eines Ampeldetektionssystems
13 ist ein Blockdiagramm, das ein Ampeldetektionssystem (TLD-System; TLD: Traffic Light Detection) 1300 für das AV 100 gemäß einer oder mehreren Ausführungsformen veranschaulicht. Das AV 100 ist mit Bezug auf 1 veranschaulicht und ausführlicher beschrieben. Ein beispielhaftes TLD-System wird in 5 eingeführt und beschrieben. In den hierin offenbarten Ausführungsformen bezieht sich der Begriff „Ampel“ auf die detektierte Hardware, einschließlich zugehöriger Hardware und eines Rahmens, der kreisförmige oder quadratische Lichter beinhaltet. Der Begriff „Verkehrssignal“ bezieht sich auf den Zustand einer Ampel, das heißt, ob die Ampel ein rotes Licht, ein blinkendes gelbes Licht, ein grüner Abbiegerpfeil usw. ist. Das Verkehrssignal der Ampel wird somit zum Anleiten des Verkehrs verwendet.
Das in 13 veranschaulichte beispielhafte TLD-System 1300 beinhaltet ein Wahrnehmungsmodul 1304, ein Kartierungsmodul 1340 und ein Lokalisierungsmodul 1360. Das Wahrnehmungsmodul 1304 unterscheidet sich von dem mit Bezug auf 4 veranschaulichten und beschriebenen Wahrnehmungsmodul 402. Das Wahrnehmungsmodul 1304 beinhaltet Kameras und andere Sensoren und wird unter anderem zum Detektieren eines Zustands eines Verkehrssignals 1310 verwendet. Das Wahrnehmungsmodul 1304 wird unter Verwendung der mit Bezug auf 3 veranschaulichten und beschriebenen Komponenten implementiert. Das Wahrnehmungsmodul 1304 erzeugt das Verkehrssignal 1310 einer Ampel 1404, wie mit Bezug auf 13B veranschaulicht und ausführlicher beschrieben. Die Ampel 1404 ist mit Bezug auf 14 veranschaulicht und ausführlicher beschrieben.
Das Lokalisierungsmodul 1360 unterscheidet sich von dem mit Bezug auf 4 veranschaulichten und beschriebenen Lokalisierungsmodul 408. Das Lokalisierungsmodul 1360 wird unter anderem zum Bestimmen eines Standorts des AV 100 und eines Standorts der Ampel 1404 verwendet. Das Lokalisierungsmodul 1360 wird unter Verwendung der mit Bezug auf 3 veranschaulichten und beschriebenen Komponenten implementiert. Das Kartierungsmodul 1340 speichert und führt Suchen und Berechnungen für Karten der Umgebung 190 durch, um unter anderem einen Standort der Ampel 1404 vorherzusagen. Das Kartierungsmodul 1340 wird unter Verwendung der mit Bezug auf 3 veranschaulichten und beschriebenen Komponenten implementiert.
Das TLD-System 1300 empfängt die Trajektorie 198 vom Planungsmodul 404. Die Trajektorie 198 ist mit Bezug auf 1 veranschaulicht und ausführlicher beschrieben. Das Planungsmodul 404 ist mit Bezug auf 4 veranschaulicht und ausführlicher beschrieben. Das AV 100 wird innerhalb einer Umgebung 190 betrieben, die mit Bezug auf 1 veranschaulicht und ausführlicher beschrieben ist. Die Umgebung 190 beinhaltet das AV 100, ein oder mehrere Fahrzeuge 193, einen oder mehrere Fußgänger 192, Kreuzungen und Ampeln. Das eine oder die mehreren Fahrzeuge 193 und der eine oder die mehreren Fußgänger 192 sind mit Bezug auf 1 veranschaulicht und ausführlicher beschrieben.
13B ist ein Blockdiagramm, das das Wahrnehmungsmodul 1304 gemäß einer oder mehreren Ausführungsformen veranschaulicht. 13C ist ein Blockdiagramm, das das Kartierungsmodul 1340 gemäß einer oder mehreren Ausführungsformen veranschaulicht. 13D ist ein Blockdiagramm, das das Lokalisierungsmodul 1360 gemäß einer oder mehreren Ausführungsformen veranschaulicht. In manchen Ausführungsformen sind die in den 13A, 13B, 13C veranschaulichten Komponenten wie in den 13A, 13B, 13C gezeigt verbunden. In anderen Ausführungsformen sind manche der in den 13A, 13B, 13C gezeigten Verbindungen weggelassen, oder zusätzliche Verbindungen zwischen den Komponenten sind vorhanden.
Das Wahrnehmungsmodul 1304 detektiert eine sich an einem ersten raumzeitlichen Ort befindliche Ampel basierend auf einem digitalen Videostrom 1308a, der durch eine Kamera 1306a des AV 100 erfasst wird. Beispielsweise wird die sich am Standort 1408 befindliche Ampel 1404 detektiert. Die Ampel 1404 und der Standort 1408 sind mit Bezug auf 14 veranschaulicht und ausführlicher beschrieben. Die Kamera 1306a kann eine Monokular- oder Stereo-Videokamera im sichtbaren Licht, Infrarotspektrum oder thermischen Spektrum (oder beiden) sein. Der digitale Videostrom 1308a ist eine elektronische Repräsentation sich bewegender visueller Bilder in Form codierter digitaler Daten. Die Schaltung 1324a führt Bildverarbeitungs- und Erkennungsfunktionen am digitalen Videostrom 1308a durch, um Daten 1326a zu erzeugen, die die Ampel 1404 identifizieren. Die Schaltung 1324a wird unter Verwendung der mit Bezug auf 3 veranschaulichten und beschriebenen Komponenten implementiert. In manchen Ausführungsformen beinhaltet die Schaltung 1324a eine Allzweck-CPU, die Software ausführt.
Ein zweiter digitaler Videostrom 1308b wird durch eine zweite Kamera 1306b des AV 100 für modulare Redundanz erfasst. In manchen Ausführungsformen befindet sich die Kamera 1306a an einer ersten Position am AV 100, beispielsweise auf dem Dach. Die Kamera 1306b befindet sich an einer zweiten Position am AV 100, beispielsweise an einer Seite des AV 100 oder über der vorderen Stoßstange, um eine Genauigkeit der Detektion der Ampel 1404 basierend auf Redundanz des digitalen Videostroms 1308a und des digitalen Videostroms 1308b zu erhöhen.
Die digitalen Videoströme 1308a, 1308b können durch die Schaltungen 1324a, 1324b, 1320 verglichen werden, um Unterschiede zu bestimmen und die sich am Standort 1408 befindliche Ampel 1404 mit höherer Genauigkeit zu detektieren. Die Schaltungen 1324b, 1320 werden unter Verwendung der mit Bezug auf 3 veranschaulichten und beschriebenen Komponenten implementiert. In manchen Ausführungsformen beinhalten die Schaltungen 1324b, 1320 Allzweck-CPUs, die Software ausführen. Die Schaltung 1320 wird manchmal als ein „Ampelzustandsdetektions“-Modul oder ein „Ampelzustandsvergleichs“-Modul bezeichnet. Die Schaltung 1322 verwendet Standortdaten des AV 100 (durch das Lokalisierungsmodul 1350 erzeugt), um den Standort 1408 der Ampel 1404 relativ zu dem AV 100 basierend auf den digitalen Videoströmen 1308a, 1308b zu bestimmen. Die Schaltung 1322 wird manchmal als eine „Positions-/Beziehungskenntnis“-Schaltung bezeichnet. Die Standortdaten beinhalten den bestimmten Standort 1408 der Ampel 1404. In manchen Ausführungsformen bestimmt die Schaltung 1322, dass die Ampel 1404 an dem Standort 1408 erwartet wird, basierend auf einer durch das Kartierungsmodul 1340 gespeicherten Semantikkarte 1342 der Umgebung 190. Die Schaltungen 1348a, 1322 verwenden den bestimmten raumzeitlichen Standort 1412 des AV 100 zum Referenzieren der Semantikkarte 1342. Der raumzeitliche Standort 1412 ist in 14 veranschaulicht. Die Schaltung 1322 lokalisiert somit die Ampel 1404 bezüglich des AV 100, um die Ampeldetektion zu ermöglichen. Die Schaltungen 1322, 1348a werden unter Verwendung der mit Bezug auf 3 veranschaulichten und beschriebenen Komponenten implementiert. In manchen Ausführungsformen beinhalten die Schaltungen 1322, 1348a Allzweck-CPUs, die Software ausführen.
Als Reaktion auf das Bestimmen, dass die Ampel 1404 an dem Standort 1408 erwartet wird, detektiert die Schaltung 1320 ein Verkehrssignal 1310 der Ampel 1404 basierend auf dem digitalen Videostrom 1308a und dem digitalen Videostrom 1308b. Um das Verkehrssignal 1310 zu detektieren, segmentiert die Schaltung 1324a mindestens ein Bildframe des digitalen Videostroms 1308a. Die Schaltung 1324a verwendet Kantendetektion, um einen dem Verkehrssignal 1310 entsprechenden Bereich des mindestens einen Bildframes zu detektieren. Beispielsweise enthält ein rechteckiger Rahmen der Ampel 1404 drei oder mehr kreisförmige oder quadratische Lichter. Die Schaltung 1324a segmentiert den rechteckigen Bereich innerhalb des Rahmens, um die Lichter zu isolieren. Gleichermaßen verarbeitet die Schaltung 1324b den digitalen Videostrom 1308b, um den rechteckigen Bereich innerhalb des Rahmens der Ampel 1404 zu segmentieren, um das Verkehrssignal 1310 zu detektieren. Die Schaltungen 1320, 1324b werden unter Verwendung der mit Bezug auf 3 veranschaulichten und beschriebenen Komponenten implementiert. In manchen Ausführungsformen beinhalten die Schaltungen 1320, 1324b Allzweck-CPUs, die Software ausführen.
Das Wahrnehmungsmodul 1300 verwendet N-modulare Redundanz, um das Verkehrssignal 1310 zu detektieren. In manchen Ausführungsformen beträgt N 3. In anderen Ausführungsformen kann N 4, 5, 6 usw. betragen, in Abhängigkeit von der Anzahl von Kameras. Um das Verkehrssignal 1310 zu detektieren, detektieren die Schaltungen 1324a, 1320 beispielsweise, dass das Verkehrssignal 1310 eine erste Farbe besitzt (beispielsweise Grün), basierend auf dem digitalen Videostrom 1308a von der Kamera 1306a. Die Schaltungen 1324b, 1320 detektieren, dass das Verkehrssignal 1310 eine zweite Farbe besitzt (beispielsweise Rot), basierend auf dem digitalen Videostrom 1308b von der Kamera 1306b. Die Schaltungen 1324c, 1320 detektieren, dass das Verkehrssignal 1310 eine dritte Farbe besitzt (beispielsweise Rot), basierend auf der DSRC-Nachricht 1318, die durch den DSRC-Sensor 1316 des AV 100 empfangen wird. Als Reaktion auf das Detektieren, dass die dritte Farbe (Rot) die gleiche wie die zweite Farbe ist, assoziiert die Schaltung 1320 das Verkehrssignal 1310 mit der zweiten Farbe (Rot).
Wenn die Kamera 1306a nicht funktionsfähig ist, Latenz im digitalen Videostrom 1308a vorhanden ist, oder die Verkehrssignaldetektion aus einem anderen Grund fehlschlägt, wie etwa eine Fehlanpassung zwischen den digitalen Videoströmen 1308a, 1308b, detektiert die Schaltung 1320 einen dahingehenden Fehlschlag, das Verkehrssignal 1310 der Ampel 1404 zu detektieren. Als Reaktion auf die Detektion des Fehlschlags assoziiert die Schaltung 1320 das Verkehrssignal 1310 mit einem roten Licht. Zur Sicherheit setzt somit das Wahrnehmungsmodul 1300 den Ampelzustand immer dann zu einem roten Licht als ein standardmäßiges Schlimmstfall-Szenario, wenn die Schaltung 1320 nicht in der Lage ist, das Verkehrssignal 1310 zu detektieren.
In einer Ausführungsform führt die Schaltung 1320 maschinelles Lernen durch (beispielsweise unter Verwendung mehrerer neuronaler Netzwerke), um das Verkehrssignal 1310 basierend auf den Daten 1326a, 1326b zu detektieren. Beispielsweise kann die Schaltung 1320 ein erstes neuronales Netzwerk zum Detektieren eines grünen Lichts und ein zweites neuronales Netzwerk zum Detektieren eines roten Lichts beinhalten. In manchen Ausführungsformen extrahiert die Schaltung 1324a einen ersten Merkmalsvektor aus dem digitalen Videostrom 1308a. Der erste Merkmalsvektor beinhaltet ein oder mehrere Merkmale, die kompakte nicht redundante Repräsentationen der Bildframes des digitalen Videostroms 1308a sind, beispielsweise Pixelintensitätswerte und Pixelkoordinaten. Die Schaltung 1324b extrahiert einen zweiten Merkmalsvektor aus dem digitalen Videostrom 1308b. Maschinelles Lernen kann dann verwendet werden, um eine Farbe oder eine Form des Verkehrssignals 1310 zu detektieren, beispielsweise einen roten „Kein Rechtsabbiegen“-Pfeil.
Es kann mehr als ein neuronales Netzwerk trainiert werden, beispielsweise ein neuronales Netzwerk zur Rotdetektion und eines zur Gründetektion. Die Schaltung 1320 beinhaltet ein maschinelles Lernmodell, das durch Prozessoren in der Schaltung 1320 ausgeführt wird. Das maschinelle Lernmodell wird zum Vorhersagen des Verkehrssignals 1310 basierend auf den Merkmalsvektoren verwendet. Beispielsweise wird das maschinelle Lernmodell zuvor trainiert, um eine Farbe eines Objekts basierend auf Merkmalen zu erkennen, die aus digitalen Videoströmen des Objekts extrahiert werden. Das Trainieren des maschinellen Lernmodells beinhaltet Konfigurieren der Gewichte und internen Verbindungen innerhalb des maschinellen Lernmodells, um Verkehrssignale von Ampeln basierend auf Merkmalsvektoren zu erkennen, die aus digitalen Videoströmen der Ampeln extrahiert werden. In manchen Ausführungsformen beinhaltet das maschinelle Lernmodell ein erstes künstliches neuronales Netzwerk, das zum Erkennen roter Lichter trainiert ist, und ein zweites künstliches neuronales Netzwerk (z. B. ein faltendes neuronales Netzwerk), das zum Erkennen grüner Lichter trainiert ist. Das erste künstliche neuronale Netzwerk ist vom zweiten künstlichen neuronalen Netzwerk unabhängig. In anderen Ausführungsformen verwenden die Schaltung 1320 und das maschinelle Lernmodell unterschiedliche maschinelle Lerntechniken, wie etwa Deep Learning, neuronale Netzwerke, lineare Support-Vektor-Maschine (lineare SVM), Boosting für andere Algorithmen (z. B. AdaBoost), logistische Regression, Naiv-Bayes-Algorithmen, Memory-basiertes Lernen, Random Forest, Bagging-Bäume, Entscheidungsbäume, Boosting-Bäume oder Boosting-Stümpfe.
In manchen Ausführungsformen validiert die Schaltung 1320 das detektierte Verkehrssignal 1310 basierend auf einer DSRC-Nachricht 1318 (DSRC: dedizierte Kurzstreckenkommunikation), die durch einen DSRC-Sensor 1316 des AV 100 empfangen wird, oder einer anderen Kommunikationstechnologie. DSRC ist ein Protokoll für sichere Hochgeschwindigkeits-Drahtloskommunikation zwischen Fahrzeugen und Infrastruktur, wie etwa Smart-Ampeln, Smart-Verkehrssteuerungshubs usw. Die DSRC-Nachricht 1318 wird von der Ampel 1404 empfangen. Die Schaltung 1320 vergleicht die Daten 1326a, 1326b mit den DSRC-Daten 1326c, um das detektierte Verkehrssignal 1310 zu validieren. In manchen Ausführungsformen validiert die Schaltung 1322, dass sich die Ampel 1404 tatsächlich an dem bestimmten Standort 1408 befindet, basierend auf der DSRC-Nachricht 1318, die durch den DSRC-Sensor 1316 des AV 100 von der Ampel 1404 empfangen wird. Beispielsweise erzeugt die DSRC-Schaltung 1324c die DSRC-Daten 1326c, die durch die Schaltung 1322 verwendet werden, um zu validieren, dass sich die Ampel 1404 an dem Standort 1408 befindet. Die DSRC-Daten 1326c geben einen Standort und einen Zustand (Verkehrssignal) der Ampel 1404 an.
Die Validierung des Verkehrssignals 1310, der Standortdaten 1312 für die Ampel 1404 und der Standortdaten für das AV 100 (z. B. Standortdaten 1366a) wird durchgeführt, um die Datenqualität zu verbessern, das heißt zu gewährleisten, dass die Daten korrekt und nützlich sind. In manchen Ausführungsformen verwendet die Validierung Routinen, Validierungsregeln und Validierungsbeschränkungen, die nach Richtigkeit, Bedeutsamkeit und Sicherheit der Daten prüfen. In anderen Ausführungsformen prüft die Validierung, ob die Ausgaben eines statistischen Modells hinsichtlich der Daten der realen Welt, die durch das TLD-System 1300 erzeugt werden, akzeptabel sind. In manchen Ausführungsformen empfängt der DSRC-Sensor 1316 des AV 100 eine DSRC-Nachricht 1318 von der Ampel 1404, die angibt, dass sich das Verkehrssignal 1310 zu einer speziellen Zeit T1 ändern wird. Beispielsweise kündigt die DSRC-Nachricht 1318 die Farbe des Verkehrssignals 1310 an, und dass sich das Verkehrssignal 1310 in einer spezifizierten Zeitmenge T2 von der aktuellen Zeit T3 ändern wird, wobei T1 = T2 + T3.
Das Lokalisierungsmodul 1360 bestimmt basierend auf Sensordaten, dass sich das AV 100 an dem raumzeitlichen Ort 1412 befindet. Um den raumzeitlichen Ort 1412 zu bestimmen, erzeugen ein oder mehrere RADARs 1374 RADAR-Daten 1396a. Eine RADAR-Lokalisierungseinheit 1378 erzeugt Standortdaten 1366a für das AV 100 basierend auf den RADAR-Daten 1396a. In manchen Ausführungsformen erzeugen ein oder mehrere LiDARs 1376 LiDAR-Daten 1396b. Eine LiDAR-Lokalisierungseinheit 1380 erzeugt Standortdaten 1366b für das AV 100 basierend auf den LiDAR-Daten 1396b. In manchen Ausführungsformen erzeugen ein oder mehrere GNSS-Empfänger 1370 GNSS-Daten 1396c. Eine GNSS-Lokalisierungsschaltung 1392 erzeugt ferner die Standortdaten 1394 für das AV 100 basierend auf den GNSS-Daten 1396c. Die Schaltung 1392 wird unter Verwendung der mit Bezug auf 3 veranschaulichten und beschriebenen Komponenten implementiert. In manchen Ausführungsformen beinhaltet die Schaltung 1392 eine Allzweck-CPU, die Software ausführt.
Die Lokalisierungsschaltung 1362 validiert die unter Verwendung der RADARs 1374 erzeugten Standortdaten 1366a, die unter Verwendung der LiDARs 1376 erzeugten Standortdaten 1366b und/oder die unter Verwendung der GNSS-Empfänger 1370 erzeugten Standortdaten 1394 gegen Standortdaten 1368, die durch die Lokalisierungsschaltung 1364 erzeugt werden. In manchen Ausführungsformen beinhaltet die Lokalisierungsschaltung 1362 ein erstes Filter (z. B. ein Bayessches Filter, ein Kalman-Filter usw.) für eine genauere Lokalisierung. Die Lokalisierungsschaltung 1364 beinhaltet ein zweites Filter (z. B. ein Bayessches Filter, ein Kalman-Filter, ein erweitertes Kalman-Filter, ein Unscented-Kalman-Filter, ein Partikel-Filter usw.) zum Filtern der Standortdaten 1366, um die Standortdaten 1368 zu erzeugen. Das zweite Filter verbessert die Lokalisierungsgenauigkeit, während die durch die Lokalisierungsschaltung 1362 durchgeführte Validierung im Vergleich zu anderen Lokalisierungsmodi Fehlerspannen reduziert. Falls beispielsweise die Lokalisierungsschaltung 1362 einen Fehler bei der Validierung des raumzeitlichen Ortes 1404 (durch entweder die Lokalisierungsschaltung 1362 oder die Lokalisierungsschaltung 1364 bestimmt) gegen entweder die Standortdaten 1366a, 1366b, 1394 oder die Standortdaten 1368 detektiert, kann die Steuerschaltung 406 das AV 100 gemäß einem Komfortprofil anhalten. Die Lokalisierungsschaltung 1362 validiert ferner die Standortdaten 1366a, 1366b, 1368 gegen die durch die GNSS-Lokalisierungsschaltung 1392 erzeugten GNSS-Standortdaten 1394. Die Schaltungen 1362, 1364 werden unter Verwendung der mit Bezug auf 3 veranschaulichten und beschriebenen Komponenten implementiert. In manchen Ausführungsformen beinhalten die Schaltungen 1362, 1364 Allzweck-CPUs, die Software ausführen.
Die Schaltungen 1362, 1348a validieren basierend auf der Semantikkarte 1342, dass sich das AV 100 tatsächlich an dem raumzeitlichen Ort 1412 befindet. Die Schaltungen 1348a, 1362 referenzieren die Semantikkarte 1342 unter Verwendung des Standorts 1408 der Ampel 1404. Das Lokalisierungsmodul 1360 vergleicht somit den Standort 1408 der Ampel 1404 mit einer annotierten Karte (Semantikkarte 1342), um das AV 100 zu lokalisieren. In manchen Ausführungsformen referenzieren die Schaltungen 1348b, 1362 eine RADAR-basierte Karte 1344 unter Verwendung des Standorts 1408 der Ampel 1404, um das AV 100 zu lokalisieren. In manchen Ausführungsformen referenzieren die Schaltungen 1348c, 1362 eine LiDAR-basierte Karte 1346 unter Verwendung des Standorts 1408 der Ampel 1404, um das AV 100 zu lokalisieren, und liefern eine noch größere Redundanz und Fehlertoleranz, wodurch die Lokalisierungsgenauigkeit erhöht wird.
Das erste Filter (z. B. ein Bayessches Filter, ein Kalman-Filter usw.) wird durch die Prozessoren der Lokalisierungsschaltung 1362 ausgeführt, um den raumzeitlichen Ort 1412 des AV 100 durch Filtern der Standortdaten 1366a, 1366b, 1394 zu bestimmen. Der raumzeitliche Ort 1412 ist mit einer oder mehreren Fahrbahnen assoziiert, beispielsweise den in 14 veranschaulichten Fahrbahnen 1428, 1432. Die Lokalisierungsschaltung 1362 validiert ferner den raumzeitlichen Ort 1412 des AV 100 gegen die Standortdaten 1366a, 1366b, 1394 basierend auf modularer Redundanz der LiDARs 1374, der RADARs 1376 und der GNSS-Empfänger 1370. Beispielsweise wird dreifachmodulare Redundanz verwendet. Nach dem Detektieren eines Lokalisierungsfehlers benachrichtigt die Lokalisierungsschaltung 1362 das Planungsmodul 404, was ein sicheres Anhaltemanöver gemäß einem Komfortprofil initiiert.
Ein Lenkradsensor 1384 des AV 100 erzeugt Daten, wie etwa einen Lenkradwinkel und eine Winkelgeschwindigkeit. Mehrere Radsensoren des AV 100 erzeugen Daten, wie etwa einen Winkel und eine Geschwindigkeit der Räder. Zusätzliche Einzelheiten bezüglich der Radgeschwindigkeitssensoren sind mit Bezug auf 1 dargelegt. Eine Hodometrieeinheit 1386 erzeugt Hodometriedaten 1388 basierend auf den Daten vom Lenkradsensor 1384 und den Radsensoren 1382 des AV 100. In manchen Ausführungsformen erzeugt eine inertiale Messeinheit (IMU) 1372 Daten, wie etwa Messen von Beschleunigungs- und Winkelraten (die zu Nicken, Gieren, Rollen umgewandelt werden können), oder Fahrzeugrücksetzdetektion (oder Rückwärtsrollen). In einer Ausführungsform werden die Daten von der IMU 1372 durch die Validierungsschaltung 1390 gegen die Daten 1396c validiert.
Das zweite Filter (z. B. ein Bayessches Filter, ein Kalman-Filter usw.) wird durch einen oder mehrere Prozessoren in der Lokalisierungsschaltung 1364 ausgeführt, um zu bestimmen, dass das AV 100 in einer speziellen Fahrbahn 1428 der einen oder der mehreren Fahrbahnen 1428, 1432 betrieben wird, indem die Hodometriedaten 1388 und die Daten von der IMU 1372 gefiltert werden. Um das AV 100 in der speziellen Fahrbahn 1428 zu lokalisieren, kann die Fahrbahn 1428 unter Verwendung der Semantikkarte 1342 auch mit der Ampel 1404 assoziiert werden. Um zu bestimmen, dass das AV 100 in der speziellen Fahrbahn 1428 betrieben wird, referenziert die Lokalisierungsschaltung 1364 beispielsweise die Semantikkarte 1342. Die Semantikkarte 1342 repräsentiert einen befahrbaren Bereich, der die eine oder die mehreren Fahrbahnen 1428, 1432 beinhaltet. Die Lokalisierungsschaltung 1364 verwendet die durch das zweite Filter gefilterten Hodometriedaten 1388, um die Semantikkarte 1342 zu referenzieren. In manchen Ausführungsformen validieren die Lokalisierungsschaltungen 1362, 1364 die spezielle Fahrbahn 1428 gegen die Trajektorie 198 des AV 100. Die Trajektorie 198 wird durch das Planungsmodul 404 bestimmt, bevor bestimmt wird, dass das Fahrzeug in der speziellen Fahrbahn 1428 betrieben wird. Daher können die Lokalisierungsschaltungen 1362, 1364 verifizieren, dass das AV 100 tatsächlich in einer vom Planungsmodul 404 beabsichtigten Fahrbahn betrieben wird.
Die Schaltung 1320 identifiziert die der speziellen Fahrbahn 1428 entsprechende Ampel 1404 basierend auf dem digitalen Videostrom 1308a, der durch die Kamera 1306a des AV 100 erfasst wird. In manchen Ausführungsformen validiert die Schaltung 1320 die Ampeldetektion unter Verwendung modularer Redundanz der Kameras 1306a, 1306b und des DSRC-Sensors 1316. Das AV 100 verwendet die Steuerschaltung 406, um gemäß dem Verkehrssignal 1310 der Ampel 1404 zu arbeiten.
In manchen Ausführungsformen bestimmt das Lokalisierungsmodul 1360 basierend auf den Standortdaten 1394 und den GNSS-Daten 1396c, dass sich das AV 100 in einem Stadtgebiet befindet. Vor dem Validieren des raumzeitlichen Ortes 1412 des AV 100 erzeugt die Schaltung 1362 gewichtete Standortdaten. Die gewichteten Standortdaten werden durch Gewichten der von dem einen oder den mehreren LiDARs 1376 empfangenen LiDAR-Daten 1366b und den von dem einen oder den mehreren RADARs 1374 empfangenen RADAR-Daten 1366a höher als die von dem einen oder den mehreren GNSS-Empfängern 1370 empfangenen GNSS-Daten 1396c erzeugt. Der raumzeitliche Ort 1412 wird gegen die gewichteten Standortdaten validiert. Wenn die Lokalisierung aufzeigt, dass das AV 100 in einem dichteren Stadtgebiet betrieben wird, sind die GNSS-Daten möglicherweise nicht granular genug für eine genauere Lokalisierung. Daher wird ein größeres Gewicht für die LiDAR-Daten 1366b und die RADAR-Daten 1366a verwendet. Andererseits kann das Lokalisierungsmodul 1360 basierend auf den Standortdaten 1394 und den GNSS-Daten 1396c bestimmen, dass sich das AV 100 in einem ländlichen Gebiet befindet. Wenn die Lokalisierung aufzeigt, dass das AV 100 in einem offenen ländlichen Gebiet betrieben wird, können die LiDAR- und RADAR-Daten wenig Inhalt aufweisen. Die Schaltung 1362 erzeugt die gewichteten Standortdaten durch Gewichten der von dem einen oder den mehreren GNSS-Empfängern 1370 empfangenen GNSS-Daten 1396c höher als die von dem einen oder den mehreren LiDARs 1376 empfangenen LiDAR-Daten 1366b und die von dem einen oder den mehreren RADARs 1374 empfangenen RADAR-Daten 1366a.
Das Planungsmodul 404 verwendet das detektierte Verkehrssignal 1310, die Standortdaten 1312 der Ampel 1404 und den raumzeitlichen Ort 1412 des AV 100, um eine Trajektorie 198 des AV 100 gemäß dem Verkehrssignal 1310 zu bestimmen. Das Planungsmodul 404 ist mit Bezug auf 4 veranschaulicht und ausführlicher beschrieben. Vor dem Detektieren des Verkehrssignals 1310 sagt die Schaltung 1320 vorher, dass das Verkehrssignal 1310 ein rotes Licht ist, um die Trajektorie 198 des AV 100 zu bestimmen. Das heißt, das TLD-System 1300 nimmt an, dass der Zustand der Ampel 1404 ein rotes Licht ist, wann auch immer der Zustand unbekannt ist oder noch nicht detektiert wurde.
Die Steuerschaltung 406 des AV 100 betreibt das AV 100 gemäß der bestimmten Trajektorie 198. Die Steuerschaltung 406 ist mit Bezug auf 4 veranschaulicht und ausführlicher beschrieben. Die Steuerschaltung 406 wird unter Verwendung der mit Bezug auf 3 veranschaulichten und ausführlicher beschriebenen Komponenten gebaut. In manchen Ausführungsformen verwendet das AV 100 als Reaktion auf das Detektieren der Ampel 1404 die Steuerschaltung 406 oder das Wahrnehmungsmodul 1304, um eine Orientierung mindestens einer der Kameras 1306a, 1306b anzupassen, damit die Kameras 1306a, 1306b auf die Ampel 1404 zeigen, während sich das AV 100 in Richtung der Ampel 1404 bewegt. Während sich das AV 100 bewegt, werden die Kameras 1306a, 1306b für eine bessere Bilderfassung nach oben oder zur Seite in Richtung der Ampel 1404 angewinkelt, während sich das AV 100 der Ampel 1404 nähert.
In manchen Ausführungsformen betreibt die Steuerschaltung 406 des AV 100 das AV 100 gemäß einem Komfortprofil. Das Komfortprofil kann in einer Datenspeicherungseinheit 142 oder einem Speicher 144 des AV 100 gespeichert werden. Die Datenspeicherungseinheit 142 und der Speicher 144 sind mit Bezug auf 1 veranschaulicht und ausführlicher beschrieben. Das Komfortprofil beinhaltet mehrere Datenfelder, die den Komfort eines Passagiers im AV 100 beeinflussen können und jeweils einen oder mehrere Betriebsparameter beschreiben, wie etwa eine maximale Betriebsgeschwindigkeit, eine maximale Schwankungsstärke der Beschleunigung, eine maximale longitudinale Beschleunigung, eine maximale laterale Beschleunigung, eine maximale Änderung des Lenkwinkels, eine maximale Wenderate oder eine maximale Begrenzung einer Ruckstärke für das AV 100. Die Betriebsparameter liefern eine komfortable Fahrt für Passagiere, wenn das AV 100 betrieben wird. Das Planungsmodul 404 verwendet das Komfortprofil, um die Trajektorie 198 für das AV 100 zu planen.
14 veranschaulicht ein beispielhaftes Ampeldetektionsszenario. In 14 befindet sich das AV 100 an dem raumzeitlichen Ort 1412 und nähert sich einer Kreuzung 1416. Das AV 100 ist mit Bezug auf 1 veranschaulicht und ausführlicher beschrieben. Das AV 100 detektiert unter Verwendung der Schaltung 1320, dass ein Verkehrssignal 1310 der Ampel 1404 an der Kreuzung 1416 ein grünes Licht ist. Die Schaltung 1320 und das Verkehrssignal 1310 sind mit Bezug auf 13 veranschaulicht und ausführlicher beschrieben. Das AV 100 verwendet die Kameras 1306a, 1306b, um das Nichtvorhandensein von Objekten (z. B. natürlichen Hindernissen 191, Fahrzeugen 193, Fußgängern 192, Fahrradfahrern und anderen Hindernissen) an dem Standort 1408 zu detektieren. Die Kameras 1306a, 1306b, die natürlichen Hindernisse 191, die Fahrzeuge 193 und die Fußgänger 192 sind mit Bezug auf die 1 und 13 veranschaulicht und ausführlicher beschrieben. Das Planungsmodul 404 überträgt eine Nachricht zu der Steuerschaltung 406, um das AV 100 gemäß der bestimmten Trajektorie 198 zu betreiben. Das Planungsmodul 404, die Steuerschaltung 406 und die Trajektorie 198 sind mit Bezug auf die 1 und 4 veranschaulicht und ausführlicher beschrieben.
In manchen Ausführungsformen detektiert das AV 100 unter Verwendung der Kameras 1306a, 1306b, dass ein Fußgänger 192 an dem Standort 1408 (an dem sich die Ampel 1404 befindet) läuft, basierend auf den digitalen Videoströmen 1308a, 1308b. Die digitalen Videoströme 1308a, 1308b sind mit Bezug auf 13 veranschaulicht und ausführlicher beschrieben. Obwohl das Verkehrssignal 1310 ein grünes Licht ist, passt das Planungsmodul 404 die Trajektorie 198 des AV 100 so an, dass die Steuerschaltung 406 eine Geschwindigkeit des AV 100 verringert, um eine Kollision des AV 100 mit dem Fußgänger 192 zu vermeiden. Falls daher das Verkehrssignal 1310 ein grünes Licht ist, sich aber ein Fußgänger auf dem Fußgängerüberweg (der Kreuzung 1416) befindet, wird das AV 100 sich verlangsamen oder anhalten, um eine Kollision zu vermeiden.
Wenn in der Umgebung 190 betrieben, kann das Wahrnehmungsmodul 1304 mehrere Ampeln 1404, 1420, 1436 detektieren. Die Umgebung 190 und das Wahrnehmungsmodul 1304 sind mit Bezug auf die 1 und 13 veranschaulicht und ausführlicher beschrieben. Die mehreren Ampeln 1404, 1420, 1436 werden basierend auf einem oder beiden der digitalen Videoströme 1308a, 1308b detektiert, wie mit Bezug auf 13 veranschaulicht und ausführlicher beschrieben. Die mehreren Ampeln 1404, 1420, 1436 beinhalten die Ampel 1404, die den Betrieb des AV 100 basierend auf der Fahrbahn 1428, in der das AV 100 betrieben wird, und dem raumzeitlichen Ort 1412 des AV 100 steuert. Das Wahrnehmungsmodul 1304 identifiziert die steuernde Ampel 1404 aus den mehreren Ampeln 1404, 1420, 1436. Wenn beispielsweise das AV 100 auf einer mehrspurigen Straße betrieben wird, wie in 14 veranschaulicht, bildet das Wahrnehmungsmodul 1304 jede detektierte Ampel auf eine Fahrbahn ab. Das AV 100 beachtet somit das Verkehrssignal 1310 der Ampel 1404, die die Fahrbahn 1428 steuert, in der das AV 100 betrieben wird, basierend auf dem raumzeitlichen Ort 1412, der durch das Lokalisierungsmodul 1360 bestimmt wird, das mit Bezug auf 13 veranschaulicht und ausführlicher beschrieben ist.
In manchen Ausführungsformen empfängt der DSRC-Sensor 1316 des AV 100 eine DSRC-Nachricht 1318, die angibt, dass sich das Verkehrssignal 1310 zu einer speziellen Zeit T1 ändern wird. Der DSRC-Sensor 1316 und die DSRC-Nachricht 1318 sind mit Bezug auf 13 veranschaulicht und ausführlicher beschrieben. Das Planungsmodul 404 erzeugt eine Trajektorie 198 gemäß der Nachricht. Beispielsweise kann das AV 100 DSRC-Nachrichten von der Ampel 1404 empfangen, um zu bestimmen, ob eine Transitsignalprioritätsänderung in Kürze stattfinden wird. In manchen Ausführungsformen bestimmt das AV 100, dass die Ampel 1404 aufgrund eines Stromausfalls nicht funktionsfähig ist. Beispielsweise können die Kameras 1306a, 1306b detektieren, dass mehrere Ampeln 1404, 1420 im Gebiet rot oder gelb blinken. Alternativ kann der DSRC-Sensor 1316 eine DSRC-Nachricht 1318 empfangen, die angibt, dass die Ampel 1404 nicht funktionsfähig ist. Die Steuerschaltung 406 hält das AV 100 an. Falls daher das AV 100 detektiert, dass die Ampel 1404 oder mehrere Ampeln nicht funktionieren (beispielsweise aufgrund eines Stromausfalls), wird das AV 100 vor der Kreuzung 1416 anhalten und nur dann weiterfahren, wenn andere abbiegende oder sich nähernde Fahrzeuge 1424, Fahrräder oder Fußgänger 192 angehalten haben oder nicht vorhanden sind.
In manchen Ausführungsformen empfängt das TLD-System 1300 Steuerdaten von der Steuerschaltung 406. Das TLD-System 1300 ist mit Bezug auf 13 veranschaulicht und ausführlicher beschrieben. Die Steuerdaten beinhalten eine Geschwindigkeit des AV 100 oder einen Lenkwinkel des AV 100. Das Lokalisierungsmodul 1360 setzt unter Verwendung der Trajektorie 198 vom Planungsmodul 404 und der Steuerdaten die Fahrbahn 1428 mit der Kreuzung 1416 in Beziehung. Die Schaltung 1322 assoziiert ferner die Ampel 1404 mit der Kreuzung 1416 der Umgebung 190, in der das AV 100 betrieben wird. Die Schaltung 1322 führt die Assoziation zumindest basierend auf den Steuerdaten durch.
Die Schaltung 1348a referenziert die Semantikkarte 1342 basierend auf dem raumzeitlichen Ort 1412 des AV 100, während das AV 100 betrieben wird. Die Schaltung 1348a und die Semantikkarte 1342 sind mit Bezug auf 13 veranschaulicht und ausführlicher beschrieben. Basierend auf der Semantikkarte 1342 sagen die Schaltungen 1348a, 1322 eine spezielle Zeit T1 vorher, zu der das AV 100 auf die Ampel 1420 stoßen wird. Die Schaltung 1322 ist mit Bezug auf 13 veranschaulicht und ausführlicher beschrieben. Beispielsweise korrespondiert die Schaltung 1322 die Standortdaten 1368 zu der Semantikkarte 1342, um eine Zeitmenge T2 zu bestimmen, in der das AV 100 auf die Ampel 1420 stoßen wird. In manchen Ausführungsformen verwendet die Schaltung 1342 die RADAR-basierte Karte 1344 und/oder die LiDAR-basierte Karte 1346 anstelle oder zusätzlich zu der Semantikkarte 1342. Die RADAR-basierte Karte 1344 und die LiDAR-basierte Karte 1346 sind mit Bezug auf 13 veranschaulicht und ausführlicher beschrieben. Die Steuerschaltung 406 passt eine Orientierung der Kamera 1306a vor der speziellen Zeit T1 an, sodass die Kamera 1306a zu der speziellen Zeit T1 auf die Ampel 1420 zeigt. Zu der Zeit T1, zu der das AV 100 eine Ampel erwartet, ist die Kamera 1306a somit mit einem Winkel orientiert, der sich zum Erfassen von Video der Ampel eignet.
In manchen Ausführungsformen wird das AV 100 an einem in 14 veranschaulichten Standort 1444 betrieben. Das Wahrnehmungsmodul 1304 detektiert eine Ampel 1448 basierend auf den digitalen Videoströmen 1308a, 1308b, wie mit Bezug auf 13 ausführlicher beschrieben. Die Ampel 1448 befindet sich an der Kreuzung 1416. Das AV 100 nähert sich oder befindet sich an der Kreuzung 1440. Wenn sich das AV 100 an oder nahe einer Kreuzung (z. B. Kreuzung 1440) befindet und die Kameras 1306a, 1306b das Vorhandensein einer Ampel (z. B. Ampel 1448) erfassen, wird der räumliche Standort des AV 100 verwendet, um zu bestimmen, ob sich die Ampel 1448 tatsächlich an einer anderen naheliegenden Kreuzung (z. B. Kreuzung 1416) befindet oder eine andere Fahrbahn steuert. Die Kreuzung 1440, an der sich das AV 100 tatsächlich befindet, weist möglicherweise keine Ampel auf. Die Schaltung 1320 bestimmt, dass sich die Ampel 1448 an der Kreuzung 1416 befindet, die sich von der Kreuzung 1440 unterscheidet. Die Schaltung 1320 führt die Bestimmung basierend auf den Standortdaten 1312, den Hodometriedaten 1388 und den digitalen Videoströmen 1308a, 1308b durch. Die Hodometriedaten 1388 sind mit Bezug auf 13 veranschaulicht und ausführlicher beschrieben.
In manchen Ausführungsformen liegen zwei Fahrbahnen nebeneinander und weisen die gleiche Fahrtrichtung auf, gehören aber zu unterschiedlichen Straßen. Die Schaltung 1320 erfasst das Vorhandensein einer speziellen Ampel (die eine spezielle Fahrbahn steuert, die sich von der Fahrbahn 1428 unterscheidet). Die Schaltung 1320 bestimmt außerdem, dass die spezielle Ampel der speziellen Fahrbahn entspricht, die sich von der Fahrbahn 1428 unterscheidet. Die Schaltung 1320 führt die Bestimmung basierend auf den Standortdaten 1312, den Hodometriedaten 1388 und den digitalen Videoströmen 1308a, 1308b durch.
In manchen Ausführungsformen detektiert die Schaltung 1320 basierend auf den digitalen Videoströmen 1308a, 1308b, die durch die Kameras 1306a, 1306b des AV 100 erfasst werden, dass das Verkehrssignal 1310 der Ampel 1404 von einem grünen Licht zu einem gelben Licht übergegangen ist. Vor dem Detektieren, dass das Verkehrssignal 1310 von einem grünen Licht zu einem gelben Licht übergegangen ist, assoziiert die Schaltung 1320 das Verkehrssignal 1310 mit einem roten Licht (als einen Schlimmstfall, einen Sicherheitsmechanismus). Der Übergang des Verkehrssignals 1310 wird zum Auslösen einer Lokalisierung des AV 100 relativ zu einer Haltelinie 1452 der Kreuzung 1416 verwendet. Falls die Schaltung 1320 beispielsweise einen eindeutigen Ampelzustand detektiert (beispielsweise „Rot“), wird der Abstand D1 vom AV 100 zu der Haltelinie 1452 durch das Planungsmodul 404 verwendet, um das Verhalten des AV 100 zu bestimmen (beispielsweise Verlangsamung gemäß einem Komfortprofil zu der Haltelinie 1452, eine Vollbremsung usw.).
Fortfahrend mit dem Beispiel, dass das Verkehrssignal 1310 zu einem gelben Licht übergeht, validiert die Schaltung 1320 basierend auf einer DSRC-Nachricht 1318, die durch einen DSRC-Sensor 1316 des AV 100 empfangen wird, dass das Verkehrssignal 1310 ein gelbes Licht ist. Die DSRC-Nachricht 1318 wird durch einen DSRC-Sender der Ampel 1404 übertragen und kann durch die Schaltung 1324c verarbeitet werden. Beispielsweise assoziiert die Schaltung 1320 das Verkehrssignal 1310 mit einem roten Licht, bis mit einem hohen Konfidenzgrad anderweitig bestimmt. Falls ferner die digitalen Videoströme 1308a, 1308b eindeutig sind oder Diagnosefehler auftreten, fährt das TLD-System 1300 damit fort, das Verkehrssignal 1310 mit einem roten Licht zu assoziieren.
Die Schaltung 1320 bestimmt basierend auf den digitalen Videoströmen 1308a, 1308b, dass das Verkehrssignal 1310 in einer speziellen Zeitmenge T2 zu einem roten Licht übergehen wird. Die Schaltung 1320 bestimmt eine verstrichene Zeit T4, nachdem das Verkehrssignal 1310 zu einem gelben Licht übergegangen ist. Basierend auf der verstrichenen Zeit T4 bestimmt die Schaltung 1320 die spezielle Zeitmenge T2. Beispielsweise verwendet die Schaltung die verstrichene Zeit T4, die von dem Zeitpunkt angefangen hat, zu dem sich das Verkehrssignal 1310 von einem grünen Licht zu einem gelben Licht geändert hat, um zu bestimmen, ob angehalten werden soll. Basierend auf der DSRC-Nachricht 1318 bestimmt die Schaltung 1320 den Standort 1408 der Ampel 1404. Das TLD-System 1300 validiert die spezielle Zeitmenge T2 gegen die Semantikkarte 1342. Das TLD-System 1300 referenziert die Semantikkarte 1342 durch den Standort 1408 der Ampel 1404. Beispielsweise können die semantischen Daten aus der Semantikkarte 1342 validieren, wie lange das Verkehrssignal 1310 braucht, sich zu ändern.
Die Schaltung 1320 bestimmt basierend auf den digitalen Videoströmen 1308a, 1308b und dem Standort 1412 des AV 100, dass sich das AV 100 mit einem speziellen Abstand D1 von der Haltelinie 1452 der Ampel 1404 befindet. Das Planungsmodul 404 bestimmt, dass das AV 100 in der Lage ist, innerhalb der speziellen Zeitmenge T2 gemäß einem Komfortprofil an der Haltelinie 1452 anzuhalten. Das Planungsmodul 404 nimmt die Bestimmung basierend auf der speziellen Zeitmenge T2 und dem speziellen Abstand D1 von der Haltelinie vor. In einer Ausführungsform bestimmt das Planungsmodul 404 einen Verlangsamungsbetrag, der an dem AV 100 anzuwenden ist, um das AV 100 innerhalb der speziellen Zeitmenge T2 gemäß dem Komfortprofil an der Haltelinie 1452 anzuhalten. In manchen Szenarien kann es ein anderes Fahrzeug 193 vor dem AV 100 geben. Das Planungsmodul 404 bestimmt einen Abstand D2 zwischen dem AV 100 und dem anderen Fahrzeug 193 vor dem AV 100. Das Planungsmodul 404 bestimmt einen Verlangsamungsbetrag, der an dem AV 100 anzuwenden ist, um das AV 100 anzuhalten, basierend auf dem Abstand D2 zwischen dem AV 100 und dem anderen Fahrzeug 193. In manchen Ausführungsformen bestimmt das Planungsmodul 404 den anzuwendenden Verlangsamungsbetrag basierend auf dem Abstand D1 und der Zeit T2, dem Abstand D2 vom vorausfahrenden Fahrzeug 193 oder dem Komfortprofil. Die Steuerschaltung 406 des AV 100 hält das AV 100 innerhalb der speziellen Zeitmenge T2 gemäß dem Komfortprofil an der Haltelinie 1452 an.
Basierend auf der speziellen Zeitmenge T2 und dem speziellen Abstand von der Haltelinie 1452 kann das Planungsmodul 404 bestimmen, dass das AV 100 nicht in der Lage ist, innerhalb der speziellen Zeitmenge T2 gemäß dem Komfortprofil an der Haltelinie 1452 anzuhalten (beispielsweise falls T2 zu klein ist). Der spezielle Abstand von der Haltelinie 1452 wird mit dem Komfortprofil analysiert. Das Planungsmodul 404 passt die Trajektorie 198 an, um das AV 100 mittels der Steuerschaltung 406 innerhalb der speziellen Zeitmenge T2 über die Kreuzung 1416 zu fahren. Falls das Verkehrssignal 1310 beispielsweise ein gelbes Licht ist und der spezielle Abstand von der Haltelinie 1452 zu klein ist, um komfortabel anzuhalten, wird das AV 100 durch das gelbe Licht fahren.
In manchen Ausführungsformen bestimmt das Planungsmodul 404, dass das AV 100 nicht in der Lage ist, in der Fahrbahn 1428 innerhalb der speziellen Zeitmenge T2 gemäß dem Komfortprofil anzuhalten. Beispielsweise kann es ein anderes Fahrzeug 193 in der Fahrbahn 1428 vor dem AV 100 geben, wodurch eine Vollbremsung erforderlich ist. Um das AV 100 innerhalb der speziellen Zeitmenge T2 gemäß dem Komfortprofil an der Haltelinie 1452 anzuhalten, bestimmt das Planungsmodul 404 eine Trajektorie 198 für das AV 100 von der Fahrbahn 1428 in eine andere Fahrbahn, zum Beispiel die Fahrbahn 1432. Das AV 100 kann somit die Spuren wechseln, sodass das AV 100 keine Vollbremsung durchführen muss, falls sich ein anderes Fahrzeug 193 vor dem AV 100 in der Fahrbahn 1428 befindet, es aber einen unzureichenden Abstand zu der Haltelinie 1452 in der anderen Fahrbahn 1432 gibt.
Wenn sich das AV 100 der Kreuzung 1440 nähert, detektiert die Schaltung 1320 die sich an der Kreuzung 1440 befindliche Ampel 1420 basierend auf den digitalen Videoströmen 1308a, 1308b. Die Schaltung 1320 assoziiert das Verkehrssignal 1456 der Ampel 1420 mit einem roten Licht (anfänglicher Schlimmstfall zur Sicherheit). Die Schaltung 1320 detektiert basierend auf den digitalen Videoströmen 1308a, 1308b, dass das Verkehrssignal 1456 ein grünes Licht ist. Als Reaktion auf das Detektieren, dass das Verkehrssignal 1456 ein grünes Licht ist, betreiben das Planungsmodul 404 und die Steuerschaltung 406 das AV 100 über die Kreuzung 1440. Beispielsweise in Anbetracht eines Szenarios, bei dem sich das AV 100 einer einspurigen Vierwege-Kreuzung nähert, die durch eine einzige Ampel geregelt wird. Ein Verkehrssignal der Ampel ist ein grünes Licht und bleibt ein grünes Licht, während sich das AV 100 nähert. (Vor dem Detektieren des Verkehrssignals nimmt das AV 100 an, dass das Verkehrssignal ein rotes Licht ist.) Sobald das AV 100 das grüne Licht detektiert, fährt das AV 100 über die Kreuzung.
Die Schaltung 1320 kann basierend auf einem ersten Bildframe des digitalen Videostroms 1308a detektieren, dass das Verkehrssignal 1456 ein gelbes Licht ist. Die Schaltung 1320 kann basierend auf einem zweiten Bildframe des digitalen Videostroms 1308a detektieren, dass das Verkehrssignal 1456 ein rotes Licht war, wobei das zweite Bildframe früher erfasst wurde als das erste Bildframe. Die Schaltung 1320 sagt vorher, dass sich das Verkehrssignal 1456 zu einem grünen Licht ändern wird. Basierend auf einem vorherigen Zustand (Rot oder Grün) des Verkehrssignals 1456 kann daher das Detektieren eines gelben Lichts entweder Losfahren oder Anhalten bedeuten.
In Anbetracht eines Szenarios, bei dem das AV 100 in einer Fahrbahn 1460 betrieben wird und sich der Kreuzung 1416 nähert. Das TLD-System 1300 bestimmt, dass die Trajektorie 198 das AV 100 anleitet, an der Ampel 1448 nach rechts abzubiegen. Die Ampel 1448 befindet sich an der Kreuzung 1416. Die Schaltung 1320 detektiert ein Nichtvorhandensein von Objekten (z. B. natürlichen Hindernissen 191, Fahrzeugen 193, Fußgängern 192, Fahrradfahrern und anderen Hindernissen) in der Kreuzung 1416 basierend auf den digitalen Videoströmen 1308a, 1308b. Als Reaktion auf das Detektieren des Nichtvorhandenseins von Objekten in der Kreuzung 1416 betreiben das Planungsmodul 404 und die Steuerschaltung 406 das AV 100 gemäß der Trajektorie 198. Falls das AV 100 detektiert, dass ein Verkehrssignal der Ampel 1448 ein rotes Licht ist und Anweisungen vom Planungsmodul 404 empfängt, an der Kreuzung 1416 nach rechts abzubiegen, wird das AV 100 am roten Licht nur nach rechts abbiegen, nachdem es angehalten und den Fußgängern 192 Vorfahrt gewährt hat. Die Schaltung 1320 kann ein Verkehrssignal an der Kreuzung 1416 basierend auf den digitalen Videoströmen 1308a, 1308b detektieren. Das Verkehrsschild gibt an, dass ein Fahrzeug bei einem roten Licht nicht nach rechts abbiegen sollte (Kein Abbiegen bei Rot). Die Steuerschaltung 406 hält das AV 100 an der Kreuzung 1416 an, bis das Verkehrssignal der Ampel 1448 entweder ein grünes Licht oder ein grüner Rechtspfeil ist. Falls die TLD 1300 ein rotes Licht detektiert und Anweisungen vom Planungsmodul 404 empfängt, nach rechts abzubiegen, wird die TLD 1300 nach einem aufgestellten Schild für Kein Abbiegen bei Rot scannen. Das AV 100 wird nur bei Nichtvorhandensein eines solchen Schildes bei einem roten Licht nach rechts abbiegen.
In Anbetracht eines Szenarios, bei dem das AV 100 in einer Fahrbahn 1428 betrieben wird und sich der Kreuzung 1416 nähert. Die Steuerschaltung 406 betreibt das AV 100 in der Fahrbahn 1428 gemäß der Trajektorie 198 des AV 100. Die Trajektorie 198 leitet das AV 100 an, an der Kreuzung 1416 nach links abzubiegen. Das Lokalisierungsmodul 1360 detektiert, dass sich das AV 100 der Kreuzung 1416 nähert. Die möglichen Verkehrssignalkonfigurationen des Verkehrssignals 1310 sind beispielsweise ein blinkendes rotes Licht, ein blinkendes gelbes Licht, ein grünes Licht und ein roter Linksabbiegerpfeil usw.
Um zu detektieren, dass sich das AV 100 der Kreuzung 1416 nähert, bestimmt das Lokalisierungsmodul 1362 den raumzeitlichen Ort 1412 des AV 100 basierend auf Sensordaten, die von einem oder mehreren Sensoren des AV 100 empfangen werden. In manchen Ausführungsformen führt die Lokalisierungsschaltung 1364 eine Kalman-Filterung an den GNSS-Daten 1396c, den RADAR-Daten 1396a und/oder den LIDAR-Daten 1396b durch, um die Lokalisierungsgenauigkeit zu verbessern. Das zweite Filter wird durch die Lokalisierungsschaltung 1364 ausgeführt, um gefilterte Sensordaten zu erzeugen, wobei die Sensordaten die GNSS-Daten 1396c, die RADAR-Daten 1396a und/oder die LIDAR-Daten 1396b beinhalten. In manchen Ausführungsformen validiert das Lokalisierungsmodul 1362 die gefilterten Sensordaten gegen die Sensordaten, um den raumzeitlichen Ort bereitzustellen. Die Sensordaten können auch durch die Schaltung 1322 gegen die digitalen Videoströme 1308a, 1308b validiert werden.
Die Lokalisierungsschaltung 1362 bestimmt einen Abstand D2 des AV 100 von der Kreuzung 1416 unter Verwendung der Semantikkarte 1342, referenziert durch den raumzeitlichen Ort 1412. Beispielsweise ist die Semantikkarte 1342 in dem TLD-System 1300 enthalten, um die relationale Kenntnis des Folgenden zu ermöglichen: (1) Herstellen einer Beziehung zwischen dem AV 100 mit einer Fahrbahn (z. B. Fahrbahn 1428); (2) Herstellen einer Beziehung zwischen der Fahrbahn 1428 mit einer Kreuzung (z. B. Kreuzung 1416) unter Verwendung der Trajektorie 198 vom Planungsmodul 404; (3) Herstellen einer Beziehung zwischen der Fahrbahn 1428 und der Kreuzung 1416 mit einer Ampel (z. B. Ampel 1404); und (4) Herstellen einer Beziehung zwischen dem AV 100 mit einer Haltelinie (z. B. der Haltelinie 1452).
Das Planungsmodul 404 bestimmt basierend auf Sensordaten von den Kameras 1306a, 1306b und anderen in dieser Spezifikation beschriebenen Sensoren, dass das AV 100 an der Kreuzung 1416 von der Fahrbahn 1428 nach links abbiegen kann. Beispielsweise beinhalten die Sensordaten digitale Videoströme von Fahrbahnmarkierungen 1464 der Fahrbahn 1428. Das TLD-System 1300 detektiert, dass das Verkehrssignal 1310 der sich an der Kreuzung 1416 befindlichen Ampel 1404 entweder ein grüner Linksabbiegerpfeil oder ein grünes Licht ist. Das TLD-System 1300 wird als „Fail Safe“ implementiert. Um die unterschiedlichen Verkehrssignalkonfigurationen zu unterstützen, verfolgt das TLD-System 1300 die Verkehrssignalsequenzen. Beispielsweise kann das Verkehrssignal 1310 ein grünes Licht mit einem roten Abbiegerpfeil sein, was bedeutet, dass ein Fahrzeug geradeaus durch die Kreuzung 1416 fahren, aber nicht nach links abbiegen kann. Als Reaktion darauf, dass das TLD-System 1300 detektiert, dass das Verkehrssignal 1310 ein grüner Linksabbiegerpfeil ist, betreiben das Planungsmodul 404 und die Steuerschaltung 406 das AV 100 derart, dass das AV 100 an der Kreuzung 1416 gemäß der Trajektorie 198 nach links abbiegt.
Als Reaktion auf das Detektieren, dass das Verkehrssignal ein grünes Licht ist, verwendet in einem anderen Szenario das Wahrnehmungsmodul 402 einen oder mehrere Sensoren (beispielsweise Monokular- oder Stereo-Videokameras 122 im sichtbaren Licht, im Infrarotspektrum oder thermischen Spektrum (oder beiden), das LiDAR 123, RADAR oder Ultraschallsensoren), um die Kreuzung 1416 zu scannen. Das Wahrnehmungsmodul 402 ist mit Bezug auf 4 veranschaulicht und ausführlicher beschrieben. Das Scannen wird durchgeführt, um andere Fahrzeuge (beispielsweise das Fahrzeug 1424) zu detektieren, die sich der Kreuzung 1416 in einer ersten Richtung entgegengesetzt zu einer zweiten Richtung, in der das AV 100 betrieben wird, nähern. Beispielsweise detektiert das TLD-System 1300 einen grünen Linksabbiegerpfeil, gibt aber dem Fahrzeug 1424 Vorfahrt, das in die entgegengesetzte Richtung fährt. Als Reaktion auf das Detektieren eines Nichtvorhandenseins anderer Fahrzeuge 193, die sich der Kreuzung 1416 in der ersten Richtung nähern, betreiben das Planungsmodul 404 und die Steuerschaltung 406 das AV 100 derart, dass das AV 100 an der Kreuzung 1416 gemäß der Trajektorie 198 nach links abbiegt.
Als Reaktion auf das Detektieren, dass das Verkehrssignal 1310 ein grünes Licht ist, kann das Wahrnehmungsmodul 402 detektieren, dass sich ein anderes Fahrzeug 1424 der Kreuzung 1416 in einer Richtung entgegengesetzt zu einer zweiten Richtung, in der das AV 100 betrieben wird, nähert. Das Wahrnehmungsmodul 402 und das Planungsmodul 404 bestimmen, dass das AV 100 in der Lage ist, gemäß einem Komfortprofil nach links abzubiegen, bevor das andere Fahrzeug 1424 an der Kreuzung 1416 ankommt. Beispielsweise bestimmt das AV 100 eine Geschwindigkeit des anderen Fahrzeugs 1424, das sich in der entgegengesetzten Richtung nähert, und einen Abstand D3 zwischen dem anderen Fahrzeug 1424 und der Kreuzung 1416. Das Planungsmodul 404 verwendet das Komfortprofil, um zu bestimmen, ob nach links abgebogen werden soll.
In Anbetracht eines Szenarios, bei dem das AV 100 an der Kreuzung 1416 von der Fahrbahn 1428 nach links abbiegt. Während das AV 100 nach links abbiegt, detektiert die Schaltung 1320, dass das Verkehrssignal 1310 von einem grünen Linksabbiegerpfeil zu einem roten Licht übergegangen ist. Als Reaktion auf das Detektieren, dass das Verkehrssignal 1310 von einem grünen Linksabbiegerpfeil zu einem roten Licht übergegangen ist, bestimmt das Lokalisierungsmodul 1360 einen neuen raumzeitlichen Ort 1468 des AV 100 relativ zu der Kreuzung 1416 basierend auf Steuerdaten, die von der Steuerschaltung 406 empfangen werden. Die Steuerdaten beinhalten einen Winkel des Lenkrades und eine Geschwindigkeit des AV 100. Der Winkel des Lenkrades wird von der Lenksteuerung 102 und/oder der Lenkeingabe 1108 bestimmt, die mit Bezug auf die 1 und 11 veranschaulicht und ausführlicher beschrieben sind. In manchen Ausführungsformen werden auch die Hodometriedaten 1388 verwendet. Das Planungsmodul 404 erzeugt eine neue Trajektorie für das AV 100 basierend auf dem neuen raumzeitlichen Ort 1468. Falls beispielsweise das Verkehrssignal 1310 ein grüner Linksabbiegerpfeil ist, der zu einem roten Licht übergeht, werden Daten von dem einen oder den mehreren GNSS-Empfängern 1370, der IMU 1372, dem einen oder den mehreren Radsensoren 1382 (die den Radwinkel und die Radgeschwindigkeit messen), dem Lenkradsensor 1384 oder der Hodometrieeinheit 1386 verwendet, um zu bestimmen, wie weit das AV 100 abgebogen ist, damit das nächste Verhalten des AV 100 bestimmt wird.
In manchen Ausführungsformen kann die Ampel 1404 gleichzeitig mehr als ein aktives Verkehrssignal aufweisen, beispielsweise einen roten Linksabbiegerpfeil und ein grünes Licht. Die Schaltung 1320 bestimmt eine Konfiguration der Ampel 1404 basierend auf Sensordaten (beispielsweise den digitalen Videoströmen 1308a, 1308b). Die Konfiguration beinhaltet mehrere Verkehrssignale (von mehreren Lichtern oder mehreren Lampen der Ampel 1404). Jedes Licht oder jede Lampe ist typischerweise ein Verkehrssignal (z. B. ein rotes Licht oder ein grüner Linksabbiegerpfeil). Die Konfiguration der Ampel 1404 steuert, mit welcher Fahrbahn jedes Licht oder jede Lampe assoziiert ist, basierend auf den Fahrbahnmarkierungen 1464. In manchen Ausführungsformen detektiert die Schaltung 1320 zuerst die Fahrbahnmarkierungen 1464, detektiert das eine oder die mehreren Verkehrssignale und assoziiert dann jedes Verkehrssignal mit einer Fahrbahn.
Die Schaltung 1320 assoziiert ein oder mehrere Verkehrssignale der mehreren Verkehrssignale mit der Fahrbahn 1428, in der das AV 100 betrieben wird. Die Schaltung 1320 assoziiert das eine oder die mehreren Verkehrssignale basierend auf einem digitalen Videostrom der Fahrbahnmarkierungen 1464 der Fahrbahn 1428. Der digitale Videostrom der Fahrbahnmarkierungen 1464 kann durch die Kameras 1306a, 1306b, die Monokular- oder Stereo-Videokameras 122 im sichtbaren Licht, Infrarotspektrum oder thermischen Spektrum (oder beiden) und/oder das LiDAR 123 erzeugt werden. Das eine oder die mehreren Verkehrssignale beinhalten das Verkehrssignal 1310.
In Anbetracht eines Szenarios, bei dem das AV 100 an der Kreuzung 1440 angehalten wird. Die Schaltung 1320 detektiert basierend auf den Sensordaten, dass das Verkehrssignal 1456 an der Kreuzung 1440 ein blinkendes gelbes Licht ist. Die Sensordaten beinhalten die digitalen Videoströme 1308a, 1308b. Das Planungsmodul 404 bestimmt eine Zeitmenge zum Stehenbleiben vor dem Fahren über die Kreuzung 1440 basierend auf einer Geschwindigkeit eines anderen Fahrzeugs 1472, das sich der Kreuzung 1440 nähert. Das Fahrzeug 1472 nähert sich der Kreuzung 1440 in einer dritten Richtung senkrecht zu einer zweiten Richtung, in der das AV 100 betrieben wird. Das Planungsmodul des AV 100 bestimmt eine Zeitmenge zum Stehenbleiben an der Kreuzung 1440 vor dem Weiterfahren basierend auf einem Abstand D4 zwischen dem Fahrzeug 1472 und der Kreuzung 1440 und der Geschwindigkeit des Fahrzeugs 1472, das sich der Kreuzung 1440 lateral nähert.
In Anbetracht eines Szenarios, bei dem das AV 100 an der Kreuzung 1440 angehalten wird. Das Verkehrssignal 1456 ist ein rotes Licht. Die Schaltung 1320 detektiert basierend auf den digitalen Videoströmen 1308a, 1308b, dass das Verkehrssignal 1456 von einem roten Licht zu einem grünen Licht übergegangen ist. Das Wahrnehmungsmodul 402 detektiert basierend auf Sensordaten, die durch die Monokular- oder Stereo-Videokameras 122 im sichtbaren Licht, Infrarotspektrum oder thermischen Spektrum (oder beiden) und/oder das LiDAR 123 erzeugt werden, dass ein anderes Fahrzeug 193 in der Kreuzung 1440 angehalten hat. Als Reaktion auf das Detektieren, dass das andere Fahrzeug 193 in der Kreuzung 1440 angehalten hat, veranlasst die Steuerschaltung 406, dass das AV 100 an der Kreuzung 1440 stehen bleibt.
In einer Ausführungsform bestimmt das Planungsmodul 404 basierend auf den digitalen Videoströmen 1308a, 1308b, dass das AV 100 nicht in der Lage sein wird, die Kreuzung 1440 zu überqueren, bevor das Verkehrssignal 1456 zu einem roten Licht übergeht. Als Reaktion auf das Bestimmen, dass das AV 100 nicht in der Lage sein wird, die Kreuzung 1440 zu überqueren, veranlasst die Steuerschaltung 406, dass das AV 100 an der Kreuzung 1440 stehen bleibt. Beispielsweise detektiert das AV 100, dass das Verkehrssignal 1456 ein rotes Licht ist, das zu einem grünen Licht übergeht. Das AV 100 wird nicht in die Kreuzung 1440 einfahren, selbst wenn das Verkehrssignal 1456 ein grünes Licht ist, sofern es nicht genug Platz gibt, um die Kreuzung 1440 vollständig zu überqueren, bevor das Verkehrssignal 1456 wieder zu einem roten Licht übergeht (um zu vermeiden, die Kreuzung 1440 bei Vorhandensein von schwerem Verkehr zu blockieren).
15 ist ein Flussdiagramm, das einen Prozess für den Betrieb des AV 100 veranschaulicht. Das AV 100 ist mit Bezug auf 1 veranschaulicht und ausführlicher beschrieben. In einer Ausführungsform wird der Prozess von 15 durch das TLD-System 1300 durchgeführt, das mit Bezug auf 13 veranschaulicht und ausführlicher beschrieben ist. In anderen Ausführungsformen führen andere Entitäten, beispielsweise eine oder mehrere Komponenten des AV 100, einige oder alle Schritte des Prozesses aus. Ebenso können Ausführungsformen unterschiedliche und/oder zusätzliche Schritte enthalten oder die Schritte in unterschiedlichen Reihenfolgen durchführen.
Das AV 100 detektiert 1504 eine sich an einem Standort 1408 befindliche Ampel 1404. Die Ampel 1404 und der Standort 1408 sind mit Bezug auf 14 veranschaulicht und ausführlicher beschrieben. Die Ampel 1404 wird basierend auf einem digitalen Videostrom 1308a, der durch eine Kamera 1306a des AV 100 erfasst wird, und einem digitalen Videostrom 1308b, der durch eine Kamera 1306b des AV 100 erfasst wird, detektiert. Die digitalen Videoströme 1308a, 1308b und die Kameras 1306a, 1306b sind mit Bezug auf 13 veranschaulicht und ausführlicher beschrieben.
Das AV 100 bestimmt 1508, dass sich das AV 100 an einem raumzeitlichen Ort 1412 befindet. Der raumzeitliche Ort 1412 ist mit Bezug auf 14 veranschaulicht und ausführlicher beschrieben. Um den raumzeitlichen Ort 1412 zu bestimmen, validiert das AV 100 die unter Verwendung der RADARs 1374 erzeugten Standortdaten 1366a, die unter Verwendung der LiDARs 1376 erzeugten Standortdaten 1366b und/oder die unter Verwendung der GNSS-Empfänger 1370 erzeugten Standortdaten 1394 gegen Standortdaten 1368, die durch die Lokalisierungsschaltung 1364 erzeugt werden. Die RADARs 1374, die LiDARs 1376, die GNSS-Empfänger 1370 und die Lokalisierungsschaltung 1364 sind mit Bezug auf 13 veranschaulicht und ausführlicher beschrieben. Beispielsweise werden die Standortdaten 1366a, 1366b, 1394 durch Filtern der ersten Standortdaten unter Verwendung des zweiten Filters in der Lokalisierungsschaltung 1364 erzeugt oder erhalten.
Das AV 100 bestimmt 1512, dass die Ampel 1404 an dem Standort 1408 erwartet wird, basierend auf einer Semantikkarte 1342, referenziert durch den raumzeitlichen Ort 1412. Die Semantikkarte 1342 wird durch das Kartierungsmodul 1340 gespeichert. Die Schaltungen 1348a, 1322 verwenden den bestimmten raumzeitlichen Standort 1412 des AV 100 zum Referenzieren der Semantikkarte 1342. Die Semantikkarte 1342, das Kartierungsmodul 1340 und die Schaltungen 1348a, 1322 sind in 13 veranschaulicht und beschrieben.
Als Reaktion auf das Bestimmen, dass die Ampel 1404 tatsächlich an dem Standort 1408 erwartet wird, detektiert 1516 das AV 100 ein Verkehrssignal 1310 der Ampel 1404 basierend auf den digitalen Videoströmen 1308a, 1308b. Um das Verkehrssignal 1310 zu detektieren, segmentiert die Schaltung 1324a mindestens ein Bildframe des digitalen Videostroms 1308a. Die Schaltung 1324a ist in 13 veranschaulicht und beschrieben. Die Schaltung 1324a verwendet Kantendetektion, um einen dem Verkehrssignal 1310 entsprechenden Bereich des mindestens einen Bildframes zu detektieren. Beispielsweise enthält ein rechteckiger Rahmen der Ampel 1404 drei oder mehr kreisförmige oder quadratische Lichter. Die Schaltung 1324a segmentiert den rechteckigen Bereich innerhalb des Rahmens, um die Lichter zu isolieren. Gleichermaßen verarbeitet die Schaltung 1324b den digitalen Videostrom 1308b, um den rechteckigen Bereich innerhalb des Rahmens der Ampel 1404 zu segmentieren, um das Verkehrssignal 1310 zu detektieren.
Das AV 100 bestimmt 1520 eine Trajektorie 198 des AV 100 gemäß dem Verkehrssignal 1310. Vor dem Detektieren des Verkehrssignals 1310 sagt die Schaltung 1320 vorher, dass das Verkehrssignal 1310 ein rotes Licht ist, um die Trajektorie 198 des AV 100 zu bestimmen. Das heißt, das AV 100 nimmt an, dass der Zustand der Ampel 1404 ein rotes Licht ist, wann auch immer der Zustand unbekannt ist oder noch nicht detektiert wurde.
Die Steuerschaltung 406 betreibt 1524 das AV 100 gemäß der bestimmten Trajektorie 198. In manchen Ausführungsformen verwendet das AV 100 als Reaktion auf das Detektieren der Ampel 1404 die Steuerschaltung 406 oder das Wahrnehmungsmodul 1304, um eine Orientierung mindestens einer der Kameras 1306a, 1306b anzupassen, damit die Kameras 1306a, 1306b auf die Ampel 1404 zeigen, während sich das AV 100 in Richtung der Ampel 1404 bewegt. Während sich das AV 100 bewegt, werden die Kameras 1306a, 1306b für eine bessere Bilderfassung nach oben oder zur Seite in Richtung der Ampel 1404 angewinkelt, während sich das AV 100 der Ampel 1404 nähert.
16 ist ein Flussdiagramm, das einen Prozess für den Betrieb des AV 100 für das AV 100 veranschaulicht. In einer Ausführungsform wird der Prozess von 16 durch das TLD-System 1300 durchgeführt. In anderen Ausführungsformen führen andere Entitäten, beispielsweise eine oder mehrere Komponenten des AV 100, einige oder alle Schritte des Prozesses aus. Ebenso können Ausführungsformen unterschiedliche und/oder zusätzliche Schritte enthalten oder die Schritte in unterschiedlichen Reihenfolgen durchführen.
Das AV 100 empfängt 1604 die unter Verwendung der RADARs 1374 erzeugten Standortdaten 1366a, die unter Verwendung der LiDARs 1376 erzeugten Standortdaten 1366b und/oder die unter Verwendung der GNSS-Empfänger 1370 des AV 100 erzeugten Standortdaten 1394. Die RADARs 1374, die LiDARs 1376, die GNSS-Empfänger 1370 und die Lokalisierungsschaltung 1364 sind mit Bezug auf 13 veranschaulicht und ausführlicher beschrieben. Die Lokalisierungsschaltung 1362 validiert die unter Verwendung der RADARs 1374 erzeugten Standortdaten 1366a, die unter Verwendung der LiDARs 1376 erzeugten Standortdaten 1366b und/oder die unter Verwendung der GNSS-Empfänger 1370 erzeugten Standortdaten 1394 gegen Standortdaten 1368, die durch die Lokalisierungsschaltung 1364 erzeugt werden.
Das AV 100 filtert 1608 die Standortdaten 1366a, 1366b, 1394 unter Verwendung eines ersten Filters (z. B. eines Bayesschen Filters, eines Kalman-Filters usw.), das durch die Lokalisierungsschaltung 1362 ausgeführt wird, um den raumzeitlichen Ort 1412 des AV 100 zu bestimmen. Der raumzeitliche Ort 1412 ist mit einer oder mehreren Fahrbahnen assoziiert, beispielsweise den in 14 veranschaulichten Fahrbahnen 1428, 1432.
Das AV 100 validiert 1612 den raumzeitlichen Ort 1412 des AV 100 gegen die Standortdaten 1366a, 1366b, 1394 basierend auf modularer Redundanz der LiDARs 1374, der RADARs 1376 und der GNSS-Empfänger 1370. Beispielsweise wird dreifachmodulare Redundanz verwendet. Nach dem Detektieren eines Lokalisierungsfehlers benachrichtigt die Lokalisierungsschaltung 1362 das Planungsmodul 404, was ein sicheres Anhaltemanöver gemäß einem Komfortprofil initiiert.
Das AV 100 empfängt 1616 Hodometriedaten 1388 von einem Lenkradsensor 1384 und mehreren Radsensoren 1382 des AV 100. Der Lenkradsensor 1384 erzeugt Daten, wie etwa einen Lenkradwinkel und eine Winkelgeschwindigkeit. Die mehreren Radsensoren 1382 erzeugen Daten, wie etwa einen Winkel und eine Geschwindigkeit der Räder. Zusätzliche Einzelheiten bezüglich der Radgeschwindigkeitssensoren sind mit Bezug auf 1 dargelegt. Die Hodometrieeinheit 1386 erzeugt die Hodometriedaten 1388 basierend auf den Daten vom Lenkradsensor 1384 und den Radsensoren 1382. In manchen Ausführungsformen erzeugt die IMU 1372 Daten, wie etwa Messen von Trägheit, Nicken, Gieren, Rollen oder Fahrzeugrücksetzdetektion (oder Rückwärtsrollen). Die Daten von der IMU 1372 werden durch die Validierungsschaltung 1390 gegen die Daten 1396c validiert.
Das AV 100 filtert 1620 die Hodometriedaten 1388 unter Verwendung eines zweiten Filters (z. B. eines Bayesschen Filters, eines Kalman-Filters usw.), das durch die Lokalisierungsschaltung 1364 ausgeführt wird. Die Filterung wird durchgeführt, um zu bestimmen, dass das AV 100 in der Fahrbahn 1428 der einen oder der mehreren Fahrbahnen 1428, 1432 betrieben wird. Um das AV 100 in der speziellen Fahrbahn 1428 zu lokalisieren, kann die Fahrbahn 1428 unter Verwendung der Semantikkarte 1342 auch mit der Ampel 1404 assoziiert werden. Um zu bestimmen, dass das AV 100 in der speziellen Fahrbahn 1428 betrieben wird, referenziert die Lokalisierungsschaltung 1364 beispielsweise die Semantikkarte 1342. Die Semantikkarte 1342 repräsentiert einen befahrbaren Bereich, der die eine oder die mehreren Fahrbahnen 1428, 1432 beinhaltet. Die Lokalisierungsschaltung 1364 verwendet die durch das zweite Filter gefilterten Hodometriedaten 1388, um die Semantikkarte 1342 zu referenzieren.
Das AV 100 identifiziert 1624 die Ampel 1404, die mit der Fahrbahn 1428 assoziiert ist, basierend auf den digitalen Videoströmen 1308a, 1308b, die durch die Kameras 1306a, 1306b des AV 100 erfasst werden. In manchen Ausführungsformen validiert die Schaltung 1320 die Ampeldetektion unter Verwendung modularer Redundanz der Kameras 1306a, 1306b und des DSRC-Sensors 1316.
Die Steuerschaltung 406 des AV 100 betreibt das AV 100 gemäß dem Verkehrssignal 1310 der Ampel 1404. Das Wahrnehmungsmodul 1300 verwendet N-modulare Redundanz, um das Verkehrssignal 1310 zu detektieren. In manchen Ausführungsformen beträgt N 3. In anderen Ausführungsformen kann N 4, 5, 6 usw. betragen, in Abhängigkeit von der Anzahl von Kameras. Um das Verkehrssignal 1310 zu detektieren, detektieren die Schaltungen 1324a, 1320 beispielsweise, dass das Verkehrssignal 1310 eine erste Farbe besitzt (beispielsweise Grün), basierend auf dem digitalen Videostrom 1308a von der Kamera 1306a. Die Schaltungen 1324b, 1320 detektieren, dass das Verkehrssignal 1310 eine zweite Farbe besitzt (beispielsweise Rot), basierend auf dem digitalen Videostrom 1308b von der Kamera 1306b. Die Schaltungen 1324c, 1320 detektieren, dass das Verkehrssignal 1310 eine dritte Farbe besitzt (beispielsweise Rot), basierend auf der DSRC-Nachricht 1318, die durch den DSRC-Sensor 1316 des AV 100 empfangen wird. Als Reaktion auf das Detektieren, dass die dritte Farbe (Rot) die gleiche wie die zweite Farbe ist, assoziiert die Schaltung 1320 das Verkehrssignal 1310 mit der zweiten Farbe (Rot).
17 ist ein Flussdiagramm, das einen Prozess zum Betrieb des AV 100 für das AV 100 gemäß einer oder mehreren Ausführungsformen veranschaulicht. In einer Ausführungsform wird der Prozess von 17 durch das TLD-System 1300 durchgeführt. In anderen Ausführungsformen führen andere Entitäten, beispielsweise eine oder mehrere Komponenten des AV 100, einige oder alle Schritte des Prozesses aus. Ebenso können Ausführungsformen unterschiedliche und/oder zusätzliche Schritte enthalten oder die Schritte in unterschiedlichen Reihenfolgen durchführen.
Das AV 100 detektiert 1704 basierend auf den digitalen Videoströmen 1308a, 1308b, die durch die Kameras 1306a, 1306b des AV 100 erfasst werden, dass ein Verkehrssignal 1310 einer Ampel von einem grünen Licht zu einem gelben Licht übergegangen ist. Vor dem Detektieren, dass das Verkehrssignal 1310 von einem grünen Licht zu einem gelben Licht übergegangen ist, assoziiert die Schaltung 1320 das Verkehrssignal 1310 mit einem roten Licht (als einen Schlimmstfall, einen Sicherheitsmechanismus).
Das AV 100 validiert 1708 basierend auf einer DSRC-Nachricht 1318, die durch einen DSRC-Sensor 1316 des AV 100 empfangen wird, dass das Verkehrssignal 1310 ein gelbes Licht ist. Die DSRC-Nachricht 1318 wird durch einen DSRC-Sender der Ampel 1404 übertragen und kann durch die Schaltung 1324c verarbeitet werden. Beispielsweise assoziiert die Schaltung 1320 das Verkehrssignal 1310 mit einem roten Licht, bis mit einem hohen Konfidenzgrad anderweitig bestimmt. Falls ferner die digitalen Videoströme 1308a, 1308b eindeutig sind oder Diagnosefehler auftreten, fährt das TLD-System 1300 damit fort, das Verkehrssignal 1310 mit einem roten Licht zu assoziieren.
Die aktuelle Zeit wird durch T1 bezeichnet. Das AV 100 bestimmt 1712, dass das Verkehrssignal 1310 in einer speziellen Zeitmenge T2 zu einem roten Licht übergehen wird, basierend auf den digitalen Videoströmen 1308a, 1308b. Die Schaltung 1320 bestimmt eine verstrichene Zeit T4, nachdem das Verkehrssignal 1310 zu einem gelben Licht übergegangen ist. Basierend auf der verstrichenen Zeit T4 bestimmt die Schaltung 1320 die spezielle Zeitmenge T2.
Das AV 100 bestimmt 1716 basierend auf den digitalen Videoströmen 1308a, 1308b und dem Standort 1412 des AV 100, dass sich das AV 100 mit einem speziellen Abstand Dl von der Haltelinie 1452 der Ampel 1404 befindet. Basierend auf der DSRC-Nachricht 1318 bestimmt die Schaltung 1320 den Standort 1408 der Ampel 1404. Das TLD-System 1300 validiert die spezielle Zeitmenge T2 gegen die Semantikkarte 1342. Das TLD-System 1300 referenziert die Semantikkarte 1342 durch den Standort 1408 der Ampel 1404. Beispielsweise können die semantischen Daten aus der Semantikkarte 1342 validieren, wie lange das Verkehrssignal 1310 braucht, sich zu ändern.
Das AV 100 bestimmt, dass das AV 100 in der Lage ist, innerhalb der speziellen Zeitmenge T2 gemäß einem Komfortprofil an der Haltelinie 1452 anzuhalten. Das Planungsmodul 404 nimmt die Bestimmung basierend auf der speziellen Zeitmenge T2 und dem speziellen Abstand D1 von der Haltelinie vor. Das Planungsmodul 404 bestimmt einen Verlangsamungsbetrag, der an dem AV 100 anzuwenden ist, um das AV 100 innerhalb der speziellen Zeitmenge T2 gemäß dem Komfortprofil an der Haltelinie 1452 anzuhalten.
Die Steuerschaltung 406 des AV 100 hält das AV 100 innerhalb der speziellen Zeitmenge T2 gemäß dem Komfortprofil an der Haltelinie 1452 an. In manchen Szenarien kann es ein anderes Fahrzeug 193 vor dem AV 100 geben. Das Planungsmodul 404 bestimmt einen Abstand D2 zwischen dem AV 100 und dem anderen Fahrzeug 193 vor dem AV 100. Das Planungsmodul 404 bestimmt einen Verlangsamungsbetrag, der an dem AV 100 anzuwenden ist, um das AV 100 anzuhalten, basierend auf dem Abstand D2 zwischen dem AV 100 und dem anderen Fahrzeug 193.
18 ist ein Flussdiagramm, das einen Prozess zum Betrieb des AV 100 gemäß einer oder mehreren Ausführungsformen veranschaulicht. In anderen Ausführungsformen führen andere Entitäten, beispielsweise eine oder mehrere Komponenten des TLD-Systems 1300, einen oder mehr der Schritte des Prozesses aus. Ebenso können Ausführungsformen unterschiedliche und/oder zusätzliche Schritte enthalten oder die Schritte in unterschiedlichen Reihenfolgen durchführen.
Das AV 100 betreibt 1804 das AV 100 in einer speziellen Fahrbahn 1428 gemäß einer Trajektorie 198 des AV 100. Die Trajektorie 198 leitet das AV 100 an, an einer Kreuzung 1416 nach links abzubiegen. Das AV 100, die Fahrbahn 1428 und die Kreuzung 1416 sind in 14 veranschaulicht. Das Lokalisierungsmodul 1360 detektiert, dass sich das AV 100 der Kreuzung 1416 nähert. Die möglichen Verkehrssignalkonfigurationen des Verkehrssignals 1310 der Ampel 1404 sind beispielsweise ein blinkendes rotes Licht, ein blinkendes gelbes Licht, ein grünes Licht und ein roter Linksabbiegerpfeil usw.
Das AV 100 detektiert 1808, dass sich das AV 100 der Kreuzung 1416 nähert. Um die Detektion durchzuführen, bestimmt das AV 100 den raumzeitlichen Ort 1412 des AV 100 basierend auf Sensordaten, die von einem oder mehreren Sensoren des AV 100 empfangen werden. Beispielsweise beinhalten die Sensordaten die GNSS-Daten 1396c, die RADAR-Daten 1396a und/oder die LIDAR-Daten 1396b. In manchen Ausführungsformen validiert das Lokalisierungsmodul 1362 gefilterte Sensordaten gegen die Sensordaten, um den raumzeitlichen Ort 1412 bereitzustellen. Die Sensordaten können auch durch die Schaltung 1322 gegen die digitalen Videoströme 1308a, 1308b validiert werden. Die RADARs 1374, die LiDARs 1376, die GNSS-Empfänger 1370 und die Lokalisierungsschaltung 1364 sind mit Bezug auf 13 veranschaulicht und ausführlicher beschrieben.
Das AV 100 bestimmt 1812 einen Abstand D2 des AV 100 von der Kreuzung 1416 unter Verwendung der Semantikkarte 1342, referenziert durch den raumzeitlichen Ort 1412. Beispielsweise ist die Semantikkarte 1342 in dem TLD-System 1300 enthalten, um die relationale Kenntnis des Folgenden zu ermöglichen: (1) Herstellen einer Beziehung zwischen dem AV 100 mit einer Fahrbahn (z. B. Fahrbahn 1428); (2) Herstellen einer Beziehung zwischen der Fahrbahn 1428 mit einer Kreuzung (z. B. Kreuzung 1416) unter Verwendung der Trajektorie 198 vom Planungsmodul 404; (3) Herstellen einer Beziehung zwischen der Fahrbahn 1428 und der Kreuzung 1416 mit einer Ampel (z. B. Ampel 1404); und (4) Herstellen einer Beziehung zwischen dem AV 100 mit einer Haltelinie (z. B. der Haltelinie 1452).
Das AV 100 bestimmt 1816 basierend auf Sensordaten von den Kameras 1306a, 1306b und anderen in dieser Spezifikation beschriebenen Sensoren, dass das AV 100 an der Kreuzung 1416 von der Fahrbahn 1428 nach links abbiegen kann. Beispielsweise beinhalten die Sensordaten digitale Videoströme von Fahrbahnmarkierungen 1464 der Fahrbahn 1428. Das TLD-System 1300 detektiert, dass das Verkehrssignal 1310 der sich an der Kreuzung 1416 befindlichen Ampel 1404 entweder ein grüner Linksabbiegerpfeil oder ein grünes Licht ist. Das TLD-System 1300 wird als „Fail Safe“ implementiert.
Das AV 100 bestimmt 1820, dass das Verkehrssignal 1310 der sich an der Kreuzung 1416 befindlichen Ampel 1404 entweder ein grüner Linksabbiegerpfeil oder ein grünes Licht ist. Als Reaktion auf das Detektieren, dass das Verkehrssignal 1310 ein grünes Licht ist, kann das Wahrnehmungsmodul 402 detektieren, dass sich ein anderes Fahrzeug 1424 der Kreuzung 1416 in einer Richtung entgegengesetzt einer zweiten Richtung, in der das AV 100 betrieben wird, nähert. Das Wahrnehmungsmodul 402 und das Planungsmodul 404 bestimmen, dass das AV 100 in der Lage ist, gemäß einem Komfortprofil nach links abzubiegen, bevor das andere Fahrzeug 1424 an der Kreuzung 1416 ankommt.
Als Reaktion auf das Bestimmen, dass das Verkehrssignal 1310 ein grüner Linksabbiegerpfeil ist, betreibt die Steuerschaltung 406 das AV 100 derart, dass das AV 100 an der Kreuzung 1416 gemäß der Trajektorie 198 nach links abbiegt.
Zusätzliche Arnführungiformen
In einer Ausführungsform werden die hierin offenbarten Verfahren und Implementierungen verwendet, um sich an Bahnübergängen befindliche Verkehrssignale, durch Noteinsatzfahrzeuge emittierte Lichtsignale, erleuchtete Signale auf Zugbrückenübergängen, Straßengefahren- oder -zustandsschilder mit blinkenden gelben Lichtern und Schulbusse mit blinkenden Lichtern zu detektieren und zu analysieren.
In einer Ausführungsform werden die hierin offenbarten Verfahren und Implementierungen verwendet, um Lichtsignale zu detektieren und zu analysieren, die eine scharfe Kurve, einen steilen Anstieg oder einen Straßenzustand angeben. Solche Signale können beispielsweise blinkendes Gelb zur Warnung sein.
In einer Ausführungsform werden Kartendaten verwendet, um zu bestimmen, ob ein Bahnübergang oder ein Zugbrückenübergang rot blinkt.
In einer Ausführungsform werden LiDAR-Daten verwendet, um einen Schulbus, ein Noteinsatzfahrzeug oder ein Polizeiauto kombiniert mit der Detektion deren blinkender Lichter zu detektieren.
In der vorstehenden Beschreibung wurden Ausführungsformen der Erfindung mit Bezug auf zahlreiche spezifische Einzelheiten beschrieben, die von Implementierung zu Implementierung variieren können. Die Beschreibung und Zeichnungen sind dementsprechend als veranschaulichend anstatt beschränkend anzusehen. Der alleinige und ausschließliche Indikator des Schutzumfangs der Erfindung, und was durch die Anmelder als der Schutzumfang der Erfindung beabsichtigt ist, ist der wörtliche und äquivalente Schutzumfang des Satzes von Ansprüchen, die aus dieser Anmeldung hervorgehen, in der spezifischen Form, in der derartige Ansprüche hervorgehen, einschließlich einer beliebigen anschließenden Korrektur. Jegliche hierin ausdrücklich dargelegte Definitionen für in derartigen Ansprüchen enthaltenen Begriffe sollen die Bedeutung solcher Begriffe regulieren, wie in den Ansprüchen verwendet. Zusätzlich kann, wenn der Begriff „ferner beinhaltend“ in der vorstehenden Beschreibung oder in den folgenden Ansprüchen verwendet wird, das, was diesem Ausdruck folgt, ein zusätzlicher Schritt oder eine zusätzliche Entität oder ein Teilschritt/eine Teilentität eines zuvor vorgetragenen Schritts oder einer zuvor vorgetragenen Entität sein.
Die folgenden Aspekte bilden auch Teil der Erfindung:

1. Ein Verfahren, das Folgendes umfasst:
- Detektieren, durch einen oder mehrere Prozessoren eines Fahrzeugs, einer sich an einem ersten raumzeitlichen Ort befindlichen Ampel basierend auf einem ersten digitalen Videostrom, der durch eine erste Kamera des Fahrzeugs erfasst wird, und einem zweiten digitalen Videostrom, der durch eine zweite Kamera des Fahrzeugs erfasst wird;
- Bestimmen, durch den einen oder die mehreren Prozessoren, dass sich das Fahrzeug an einem zweiten raumzeitlichen Ort befindet, wobei das Bestimmen umfasst:
  - Validieren, durch den einen oder die mehreren Prozessoren, erster Standortdaten, die von mehreren Sensoren des Fahrzeugs empfangen werden, gegen zweite Standortdaten, die durch Filtern, durch ein Filter, der ersten Standortdaten erhalten werden;
- Bestimmen, durch den einen oder die mehreren Prozessoren, dass die Ampel an dem ersten raumzeitlichen Ort erwartet wird, basierend auf einer Semantikkarte, referenziert durch den zweiten raumzeitlichen Ort;
- als Reaktion auf das Bestimmen, dass die Ampel an dem ersten raumzeitlichen Ort erwartet wird, Detektieren, durch den einen oder die mehreren Prozessoren, eines Verkehrssignals der Ampel basierend auf dem ersten digitalen Videostrom und dem zweiten digitalen Videostrom;
- Bestimmen, durch den einen oder die mehreren Prozessoren, einer Trajektorie des Fahrzeugs gemäß dem Verkehrssignal; und Betreiben, durch eine Steuerschaltung des Fahrzeugs, des Fahrzeugs gemäß der bestimmten Trajektorie.
2. Das Verfahren des Aspekts 1, wobei sich die erste Kamera an einer ersten Position am Fahrzeug befindet und sich die zweite Kamera an einer zweiten Position am Fahrzeug befindet, um eine Genauigkeit bei der Detektion der Ampel basierend auf Redundanz des ersten digitalen Videostroms und des zweiten digitalen Videostroms zu erhöhen.
3. Das Verfahren des Aspekts 1 oder 2, ferner umfassend Validieren, durch den einen oder die mehreren Prozessoren, des Verkehrssignals basierend auf einer DSRC-Nachricht (DSRC: dedizierte Kurzstreckenkommunikation), die durch einen DSRC-Sensor des Fahrzeugs von der Ampel empfangen wird.
4. Das Verfahren eines der Aspekte 1-3, ferner umfassend Validieren, durch den einen oder die mehreren Prozessoren, dass sich die Ampel an dem ersten raumzeitlichen Ort befindet, basierend auf einer DSRC-Nachricht, die durch einen DSRC-Sensor des Fahrzeugs von der Ampel empfangen wird.
5. Das Verfahren eines der Aspekte 1-4, ferner umfassend Validieren, durch den einen oder die mehreren Prozessoren, dass sich das Fahrzeug an dem zweiten raumzeitlichen Ort befindet, basierend auf der Semantikkarte, referenziert durch den ersten raumzeitlichen Ort.
6. Das Verfahren eines der Aspekte 1-5, ferner umfassend:
- vor dem Detektieren des Verkehrssignals, Vorhersagen, durch den einen oder die mehreren Sensoren, dass das Verkehrssignal ein rotes Licht ist, um die Trajektorie des Fahrzeugs zu bestimmen.
7. Das Verfahren eines der Aspekte 1-6, ferner umfassend:
- Detektieren, durch den einen oder die mehreren Prozessoren, eines Fehlschlags, ein zweites Verkehrssignal einer zweiten Ampel zu detektieren; und
- als Reaktion auf das Detektieren des Fehlschlags, Assoziieren, durch den einen oder die mehreren Prozessoren, des zweiten Verkehrssignals mit einem roten Licht.
8. Das Verfahren eines der Aspekte 1-7, wobei das Detektieren des Verkehrssignals umfasst: Segmentieren, durch den einen oder die mehreren Prozessoren, mindestens eines Bildframes des ersten digitalen Videostroms und des zweiten digitalen Videostroms, um einen Bereich des mindestens einen Bildframes zu detektieren, der dem Verkehrssignal entspricht.
9. Das Verfahren eines der Aspekte 1-8, ferner umfassend Empfangen, durch einen DSRC-Sensor des Fahrzeugs, einer DSRC-Nachricht von der Ampel, die angibt, dass sich das Verkehrssignal zu einer speziellen Zeit ändern wird.
10. Das Verfahren eines der Aspekte 1-9, ferner umfassend:
- als Reaktion auf das Detektieren der Ampel, Anpassen, durch den einen oder die mehreren Prozessoren, einer Orientierung der ersten Kamera und/oder der zweiten Kamera, sodass die erste Kamera und/oder die zweite Kamera zu der Ampel zeigt, während sich das Fahrzeug bewegt.
11. Das Verfahren eines der Aspekte 1-10, wobei die mehreren Sensoren des Fahrzeugs einen oder mehreren GNSS-Empfänger (GNSS: globales Satellitennavigationssystem), einen oder mehrere RADAR-Sensoren und ein oder mehrere LiDARs umfassen.
12. Das Verfahren eines der Aspekte 1-11, wobei das Detektieren des Verkehrssignals Folgendes umfasst:
- Bestimmen, durch den einen oder die mehreren Prozessoren, dass das Verkehrssignal eine erste Farbe besitzt, basierend auf dem ersten digitalen Videostrom;
- Bestimmen, durch den einen oder die mehreren Prozessoren, dass das Verkehrssignal eine zweite Farbe besitzt, basierend auf dem zweiten digitalen Videostrom;
- Bestimmen, durch den einen oder die mehreren Prozessoren, dass das Verkehrssignal eine dritte Farbe besitzt, basierend auf einer DSRC-Nachricht, die durch einen DSRC-Sensor des Fahrzeugs empfangen wird, wobei die dritte Farbe die gleiche ist wie die zweite Farbe; und
- als Reaktion auf das Bestimmen, dass das Verkehrssignal die dritte Farbe besitzt, Assoziieren, durch den einen oder die mehreren Prozessoren, des Verkehrssignals mit der zweiten Farbe.
13. Das Verfahren eines der Aspekte 1-12, wobei das Detektieren des Verkehrssignals Folgendes umfasst:
- Extrahieren, durch den einen oder die mehreren Prozessoren, eines Merkmalsvektors aus dem ersten digitalen Videostrom und dem zweiten digitalen Videostrom; und
- Bestimmen, durch ein maschinelles Lernmodell, das durch den einen oder die mehreren Prozessoren ausgeführt wird, des Verkehrssignals basierend auf dem
- Merkmalsvektor, wobei das maschinelle Lernmodell dahingehend trainiert ist, eine Farbe eines Objekts basierend auf aus digitalen Videoströmen extrahierten Merkmalen des Objekts zu erkennen.
14. Das Verfahren eines der Aspekte 1-13, ferner umfassend dahingehendes Trainieren, durch den einen oder die mehreren Prozessoren, des maschinellen Lernmodells, Verkehrssignale von Ampeln basierend auf Merkmalsvektoren zu erkennen, die aus digitalen Videoströmen der Ampeln extrahiert werden.
15. Das Verfahren eines der Aspekte 1-14, wobei das maschinelle Lernmodell Folgendes umfasst:
- ein erstes künstliches neuronales Netzwerk, das dahingehend trainiert ist, rote Lichter zu erkennen; und
- ein zweites künstliches neuronales Netzwerk, das dahingehend trainiert ist, grüne Lichter zu erkennen, wobei das erste künstliche neuronale Netzwerk vom zweiten künstlichen neuronalen Netzwerk unabhängig ist.
16. Das Verfahren eines der Aspekte 1-15, ferner umfassend:
- Bestimmen, durch den einen oder die mehreren Prozessoren, dass das Verkehrssignal ein grünes Licht ist;
- Bestimmen, durch den einen oder die mehreren Prozessoren, dass ein Fußgänger an dem ersten raumzeitlichen Ort läuft, basierend auf dem ersten digitalen Videostrom und dem zweiten digitalen Videostrom; und
- Verringern, durch die Steuerschaltung, einer Geschwindigkeit des Fahrzeugs, um eine Kollision des Fahrzeugs mit dem Fußgänger zu vermeiden.
17. Das Verfahren eines der Aspekte 1-16, ferner umfassend:
- Bestimmen, durch den einen oder die mehreren Prozessoren, dass die Ampel aufgrund eines Stromausfalls nicht funktionsfähig ist; und
- Anhalten, durch die Steuerschaltung, des Fahrzeugs.
18. Das Verfahren eines der Aspekte 1-17, ferner umfassend:
- Bestimmen, durch den einen oder die mehreren Prozessoren, des Nichtvorhandenseins eines Objekts am ersten raumzeitlichen Ort; und
- Übertragen, durch den einen oder die mehreren Prozessoren, einer Nachricht zu der Steuerschaltung, um das Fahrzeug gemäß der bestimmten Trajektorie zu betreiben.
19. Ein Verfahren, das Folgendes umfasst:
- Empfangen, durch einen oder mehrere Prozessoren eines Fahrzeugs, von Standortdaten von einem oder mehreren LiDARs des Fahrzeugs, einem oder mehreren RADARs des Fahrzeugs und einem oder mehreren GNSS-Empfängern (GNSS: globales Satellitennavigationssystem) des Fahrzeugs;
- Filtern, durch ein erstes Filter, das durch den einen oder die mehreren Prozessoren ausgeführt wird, der Standortdaten, um einen raumzeitlichen Ort des Fahrzeugs zu bestimmen, wobei der raumzeitliche Ort mit einer oder mehreren Fahrbahnen assoziiert ist;
- Validieren, durch den einen oder die mehreren Prozessoren, des raumzeitlichen Ortes des Fahrzeugs gegen die Standortdaten basierend auf modularer Redundanz des einen oder der mehreren LiDARs, des einen oder der mehreren RADARs und des einen oder der mehreren GNSS-Empfänger;
- Empfangen, durch den einen oder die mehreren Prozessoren, von Hodometriedaten von einem Lenkradsensor des Fahrzeugs und mehreren Radsensoren des Fahrzeugs;
- Filtern, durch ein zweites Filter, das durch den einen oder die mehreren Prozessoren ausgeführt wird, der Hodometriedaten, um zu bestimmen, dass das Fahrzeug in einer ersten Fahrbahn der einen oder der mehreren Fahrbahnen betrieben wird;
- Identifizieren, durch denen einen oder die mehreren Prozessoren, einer Ampel, die mit der ersten Fahrbahn assoziiert ist, basierend auf einem durch eine Kamera des Fahrzeugs erfassten digitalen Videostrom; und
- Betreiben, durch eine Steuerschaltung des Fahrzeugs, des Fahrzeugs gemäß einem Verkehrssignal der Ampel.
20. Das Verfahren des Aspekts 19, ferner umfassend:
- Detektieren, durch den einen oder die mehreren Prozessoren, dass das Validieren des raumzeitlichen Ortes gegen die Standortdaten fehlgeschlagen hat; und
- als Reaktion auf das Detektieren, dass das Validieren fehlgeschlagen hat, Anhalten, durch die Steuerschaltung, des Fahrzeugs gemäß einem Komfortprofil.
21. Das Verfahren des Aspekts 19 oder 20, wobei das Bestimmen, dass das Fahrzeug in der ersten Fahrbahn betrieben wird, umfasst: Referenzieren, durch den einen oder die mehreren Prozessoren, einer Semantikkarte eines befahrbaren Bereichs, der die eine oder die mehreren Fahrbahnen umfasst, wobei das Referenzieren auf den durch das zweite Filter gefilterten Hodometriedaten basiert.
22. Das Verfahren eines der Aspekte 19-21, ferner umfassend Validieren, durch den einen oder die mehreren Prozessoren, der ersten Fahrbahn gegen eine Trajektorie des Fahrzeugs, wobei die Trajektorie durch den einen oder die mehreren Prozessoren vor dem Bestimmen, dass das Fahrzeug in der ersten Fahrbahn betrieben wird, bestimmt wird.
23. Das Verfahren eines der Aspekte 19-22, ferner umfassend Referenzieren, durch den einen oder die mehreren Prozessoren, der Semantikkarte basierend auf dem raumzeitlichen Ort des Fahrzeugs.
24. Das Verfahren eines der Aspekte 19-23, ferner umfassend Vorhersagen, durch den einen oder die mehreren Prozessoren, einer speziellen Zeit, zu der das Fahrzeug auf eine zweite Ampel stoßen wird, basierend auf dem Referenzieren der Semantikkarte.
25. Das Verfahren eines der Aspekte 19-24, ferner umfassend Anpassen, durch den einen oder die mehreren Prozessoren, einer Orientierung der Kamera vor der speziellen Zeit, sodass die Kamera zu der speziellen Zeit auf die zweite Ampel zeigt.
26. Das Verfahren eines der Aspekte 19-25, ferner umfassend:
- Empfangen, durch einen DSRC-Sensor (DSRC: dedizierte Kurzstreckenkommunikation) des Fahrzeugs, einer DSRC-Nachricht, die angibt, dass sich das Verkehrssignal zu einer speziellen Zeit ändern wird; und
- Erzeugen, durch den einen oder die mehreren Prozessoren, einer Trajektorie gemäß der Nachricht.
27. Das Verfahren eines der Aspekte 19-26, ferner umfassend Detektieren, durch den einen oder die mehreren Prozessoren, mehrerer Ampeln basierend auf dem digitalen Videostrom, wobei die mehreren Ampeln die Ampel umfassen, wobei die Ampel aus den mehreren Ampeln identifiziert wird.
28. Das Verfahren eines der Aspekte 19-27, ferner umfassend Detektieren, durch den einen oder die mehreren Prozessoren, einer zweiten Ampel basierend auf dem digitalen Videostrom, wobei sich das Fahrzeug an einer ersten Kreuzung befindet.
29. Das Verfahren eines der Aspekte 19-28, ferner umfassend Bestimmen, durch den einen oder die mehreren Prozessoren, dass sich die zweite Ampel an einer zweiten Kreuzung befindet, die sich von der ersten Kreuzung unterscheidet, basierend auf den Standortdaten, den Hodometriedaten und dem digitalen Videostrom.
30. Das Verfahren eines der Aspekte 19-29, ferner umfassend:
- Detektieren, durch den einen oder die mehreren Prozessoren, einer zweiten Ampel basierend auf dem digitalen Videostrom; und
- Bestimmen, durch den einen oder die mehreren Prozessoren, dass die zweite Ampel mit einer zweiten Fahrbahn assoziiert ist, die sich von der ersten Fahrbahn unterscheidet, basierend auf den Standortdaten, den Hodometriedaten und dem digitalen Videostrom.
31. Das Verfahren eines der Aspekte 19-30, ferner umfassend Validieren, durch den einen oder die mehreren Prozessoren, des raumzeitlichen Ortes des Fahrzeugs gegen eine Semantikkarte, referenziert durch die Standortdaten.
32. Das Verfahren eines der Aspekte 19-31, ferner umfassend Empfangen, durch den einen oder die mehreren Prozessoren, von Steuerdaten von der Steuerschaltung, wobei die Steuerdaten eine Geschwindigkeit des Fahrzeugs und/oder einen Lenkwinkel des Fahrzeugs umfassen.
33. Das Verfahren eines der Aspekte 19-32, ferner umfassend Assoziieren, durch den einen oder die mehreren Prozessoren, der Ampel mit einer Kreuzung einer Umgebung, in der das Fahrzeug betrieben wird, wobei das Assoziieren zumindest basierend auf den Steuerdaten durchgeführt wird.
34. Das Verfahren eines der Aspekte 19-33, ferner umfassend Bestimmen, durch den einen oder die mehreren Prozessoren, dass sich das Fahrzeug in einem Stadtgebiet befindet, basierend auf den Standortdaten.
35. Das Verfahren eines der Aspekte 19-34, ferner umfassend:
- vor dem Validieren des raumzeitlichen Ortes des Fahrzeugs, Erzeugen, durch den einen oder die mehreren Prozessoren, gewichteter Standortdaten durch Gewichten von LiDAR-Daten, die von dem einen oder den mehreren LiDARs empfangen werden, und von RADAR-Daten, die von dem einen oder den mehreren RADARs empfangen werden, höher als GNSS-Daten, die von dem einen oder den mehreren GNSS-Empfängern empfangen werden, sodass das Validieren des raumzeitlichen Ortes gegen die gewichteten Standortdaten durchgeführt wird.
36. Das Verfahren eines der Aspekte 19-35, ferner umfassend:
- Bestimmen, durch den einen oder die mehreren Prozessoren, dass sich das Fahrzeug in einem ländlichen Gebiet befindet, basierend auf den Standortdaten; und
- vor dem Validieren des raumzeitlichen Ortes des Fahrzeugs, Erzeugen, durch den einen oder die mehreren Prozessoren, gewichteter Standortdaten durch Gewichten von GNSS-Daten, die von dem einen oder den mehreren GNSS-Empfängern empfangen werden, höher als LiDAR-Daten, die von dem einen oder den mehreren LiDARs empfangen werden, und RADAR-Daten, die von dem einen oder den mehreren RADARs empfangen werden, sodass das Validieren des raumzeitlichen Ortes gegen die gewichteten Standortdaten durchgeführt wird.
37. Ein Verfahren, das Folgendes umfasst:
- Detektieren, durch einen oder mehrere Prozessoren eines Fahrzeugs, dass ein Verkehrssignal einer Ampel von einem grünen Licht zu einem gelben Licht übergegangen ist, basierend auf einem digitalen Videostrom, der durch eine Kamera des Fahrzeugs erfasst wird;
- Validieren, durch den einen oder die mehreren Prozessoren, dass das Verkehrssignal ein gelbes Licht ist, basierend auf einer DSRC-Nachricht (DSRC: dedizierte Kurzstreckenkommunikation), die durch einen DSRC-Sensor des Fahrzeugs empfangen wird, wobei die DSRC-Nachricht durch einen DSRC-Sender der Ampel übertragen wird;
- Bestimmen, durch den einen oder die mehreren Prozessoren, dass das Verkehrssignal in einer speziellen Zeitmenge zu einem roten Licht übergegangen ist, basierend auf dem digitalen Videostrom;
- Bestimmen, durch den einen oder die mehreren Prozessoren, dass sich das Fahrzeug mit einem speziellen Abstand von einer Haltelinie der Ampel befindet, basierend auf dem digitalen Videostrom;
- Bestimmen, durch den einen oder die mehreren Prozessoren, dass das Fahrzeug in der Lage ist, innerhalb der speziellen Zeitmenge gemäß einem Komfortprofil an der Haltelinie anzuhalten, wobei das Bestimmen, dass das Fahrzeug zum Anhalten in der Lage ist, auf der speziellen Zeitmenge und dem speziellen Abstand von der Haltelinie basiert; und
- Anhalten, durch eine Steuerschaltung des Fahrzeugs, des Fahrzeugs innerhalb der speziellen Zeitmenge gemäß dem Komfortprofil an der Haltelinie.
38. Das Verfahren des Aspekts 37, ferner umfassend Bestimmen, durch den einen oder die mehreren Prozessoren, einer an dem Fahrzeug anzuwendenden Verlangsamung, um das Fahrzeug innerhalb der speziellen Zeitmenge gemäß dem Komfortprofil an der Haltelinie anzuhalten.
39. Das Verfahren des Aspekts 37 oder 38, ferner umfassend:
- Bestimmen, durch den einen oder die mehreren Prozessoren, eines raumzeitlichen Ortes der Ampel basierend auf der DSRC-Nachricht; und
- Validieren, durch den einen oder die mehreren Prozessoren, der speziellen Zeitmenge gegen eine Semantikkarte, referenziert durch den raumzeitlichen Ort der Ampel.
40. Das Verfahren eines der Aspekte 37-39, ferner umfassend Bestimmen, durch den einen oder die mehreren Prozessoren, dass das Fahrzeug nicht in der Lage ist, innerhalb der speziellen Zeitmenge gemäß dem Komfortprofil an der Haltelinie anzuhalten, wobei das Bestimmen, dass das Fahrzeug nicht zum Anhalten in der Lage ist, auf der speziellen Zeitmenge und dem speziellen Abstand von der Haltelinie basiert.
41. Das Verfahren eines der Aspekte 37-40, ferner umfassend Betreiben, durch die Steuerschaltung, des Fahrzeugs über die Kreuzung innerhalb der speziellen Zeitmenge.
42. Das Verfahren eines der Aspekte 37-41, ferner umfassend:
- Bestimmen, durch den einen oder die mehreren Prozessoren, einer verstrichenen Zeit, nachdem das Verkehrssignal zu dem gelben Licht übergegangen ist; und
- Bestimmen, durch den einen oder die mehreren Prozessoren, der speziellen Zeitmenge basierend auf der verstrichenen Zeit.
43. Das Verfahren eines der Aspekte 37-42, ferner umfassend:
- Bestimmen, durch den einen oder die mehreren Prozessoren, eines Abstands zwischen dem Fahrzeug und einem anderen Fahrzeug vor dem Fahrzeug; und
- Bestimmen, durch den einen oder die mehreren Prozessoren, einer an dem Fahrzeug anzuwendenden Verlangsamung, um das Fahrzeug basierend auf dem Abstand zwischen dem Fahrzeug und dem anderen Fahrzeug anzuhalten.
44. Das Verfahren eines der Aspekte 37-43, ferner umfassend:
- vor dem Detektieren, dass das Verkehrssignal vom grünen Licht zum gelben Licht übergegangen ist, Assoziieren, durch den einen oder die mehreren Prozessoren, des Verkehrssignals mit einem roten Licht.
45. Das Verfahren eines der Aspekte 37-44, ferner umfassend:
- Detektieren, durch den einen oder die mehreren Prozessoren, einer sich an einer
- Kreuzung befindlichen zweiten Ampel basierend auf dem digitalen Videostrom; und
- Assoziieren, durch den einen oder die mehreren Prozessoren, eines zweiten
- Verkehrssignals der zweiten Ampel mit einem roten Licht.
46. Das Verfahren eines der Aspekte 37-45, ferner umfassend:
- Detektieren, durch den einen oder die mehreren Prozessoren, dass das zweite Verkehrssignal ein grünes Licht ist, basierend auf dem digitalen Videostrom; und
- als Reaktion auf das Detektieren, dass das zweite Verkehrssignal das grüne Licht ist, Betreiben, durch die Steuerschaltung, des Fahrzeugs über die Kreuzung.
47. Das Verfahren eines der Aspekte 37-46, ferner umfassend Bestimmen, durch den einen oder die mehreren Prozessoren, dass das Fahrzeug nicht in der Lage ist, in einer ersten Fahrbahn innerhalb der speziellen Zeitmenge gemäß dem Komfortprofil anzuhalten.
48. Das Verfahren eines der Aspekte 37-47, ferner umfassend wobei das Bestimmen, dass das Fahrzeug in der Lage ist, innerhalb der speziellen Zeitmenge gemäß dem Komfortprofil an der Haltelinie anzuhalten, umfasst: Bestimmen, durch den einen oder die mehreren Prozessoren, einer Trajektorie für das Fahrzeug von der ersten Fahrspur zu einer zweiten Fahrspur.
49. Das Verfahren eines der Aspekte 37-48, ferner umfassend:
- Bestimmen, durch den einen oder die mehreren Prozessoren, dass eine Trajektorie des Fahrzeugs das Fahrzeug anleitet, an der Ampel nach rechts abzubiegen, wobei sich die Ampel an einer Kreuzung befindet; und
- Bestimmen, durch den einen oder die mehreren Prozessoren, eines Nichtvorhandenseins von Objekten in der Kreuzung basierend auf dem digitalen Videostrom.
50. Das Verfahren eines der Aspekte 37-49, ferner umfassend Betreiben, durch die Steuerschaltung, des Fahrzeugs gemäß der Trajektorie, als Reaktion auf das Detektieren des Nichtvorhandenseins von Objekten in der Kreuzung.
51. Das Verfahren eines der Aspekte 37-50, ferner umfassend:
- Bestimmen, durch den einen oder die mehreren Prozessoren, dass eine Trajektorie des Fahrzeugs das Fahrzeug anleitet, an der Ampel nach rechts abzubiegen; und
- Detektieren, durch den einen oder die mehreren Prozessoren, eines Verkehrsschildes basierend auf dem digitalen Videostrom, wobei das Verkehrsschild angibt, dass das Fahrzeug bei einem roten Licht nicht nach rechts abbiegen sollte.
52. Das Verfahren eines der Aspekte 37-51, ferner umfassend Anhalten, durch die Steuerschaltung, des Fahrzeugs an der Kreuzung, bis das Verkehrssignal ein grünes Licht und/oder ein grüner Rechtspfeil ist.
53. Das Verfahren eines der Aspekte 37-52, ferner umfassend:
- Bestimmen, durch den einen oder die mehreren Prozessoren, dass ein zweites Verkehrssignal ein gelbes Licht ist, basierend auf einem ersten Bildframe des digitalen Videostroms;
- Bestimmen, durch den einen oder die mehreren Prozessoren, dass die zweite Ampel ein rotes Licht war, basierend auf einem zweiten Bildframe des digitalen Videostroms, wobei das zweite Bildframe früher erfasst wurde als das erste Bildframe; und
- Vorhersagen, durch den einen oder die mehreren Prozessoren, dass sich das zweite Verkehrssignal zu einem grünen Licht ändern wird.
54. Ein Verfahren, das Folgendes umfasst:
- Betreiben, durch eine Steuerschaltung eines Fahrzeugs, des Fahrzeugs in einer speziellen Fahrbahn gemäß einer Trajektorie des Fahrzeugs, wobei die Trajektorie das Fahrzeug anleitet, an einer Kreuzung nach links abzubiegen;
- Detektieren, durch einen oder mehrere Prozessoren des Fahrzeugs, dass sich das Fahrzeug der Kreuzung nähert, wobei das Detektieren Folgendes umfasst:
  - Bestimmen, durch den einen oder die mehreren Prozessoren, eines raumzeitlichen Ortes des Fahrzeugs basierend auf Sensordaten, die von einem oder mehreren Sensoren des Fahrzeugs empfangen werden; und
  - Bestimmen, durch den einen oder die mehreren Prozessoren, eines Abstands des Fahrzeugs von der Kreuzung basierend auf einer Semantikkarte, referenziert durch den raumzeitlichen Ort.
- Bestimmen, durch den einen oder die mehreren Prozessoren, dass das Fahrzeug an der Kreuzung von der speziellen Fahrbahn nach links abbiegen kann, basierend auf den Sensordaten, wobei die Sensordaten einen digitalen Videostrom von Fahrbahnmarkierungen der speziellen Fahrbahn umfassen;
- Bestimmen, durch den einen oder die mehreren Prozessoren, dass ein Verkehrssignal einer sich an der Kreuzung befindlichen Ampel ein grüner Linksabbiegerpfeil oder ein grünes Licht ist;
- als Reaktion auf das Bestimmen, dass das Verkehrssignal ein grüner Linksabbiegerpfeil ist, Betreiben, durch die Steuerschaltung, des Fahrzeugs derart, dass das Fahrzeug an der Kreuzung gemäß der Trajektorie nach links abbiegt.
55. Das Verfahren des Aspekts 54, wobei das Bestimmen des raumzeitlichen Ortes des Fahrzeugs umfasst: Filtern, durch ein Filter, das durch den einen oder die mehreren Prozessoren ausgeführt wird, der Sensordaten, um gefilterte Sensordaten zu erzeugen, wobei die Sensordaten ferner GNSS-Daten, RADAR-Daten und LiDAR-Daten umfassen.
56. Das Verfahren des Aspekts 54 oder 55, ferner umfassend Validieren, durch den einen oder die mehreren Prozessoren, der gefilterten Sensordaten gegen die Sensordaten, um den raumzeitlichen Ort bereitzustellen.
57. Das Verfahren eines der Aspekte 54-56, ferner umfassend:
- als Reaktion auf das Bestimmen, dass das Verkehrssignal ein grünes Licht ist, Scannen, durch den einen oder die mehreren Sensoren, der Kreuzung nach Fahrzeugen, die sich der Kreuzung in einer ersten Richtung entgegengesetzt einer zweiten Richtung, in der das Fahrzeug betrieben wird, nähern.
58. Das Verfahren eines der Aspekte 54-57, ferner umfassend:
- als Reaktion auf das Bestimmen, durch den einen oder die mehreren Prozessoren, eines Nichtvorhandenseins der Fahrzeuge, die sich der Kreuzung in der ersten Richtung
- nähern, Betreiben, durch die Steuerschaltung, des Fahrzeugs derart, dass das Fahrzeug an der Kreuzung gemäß der Trajektorie nach links abbiegt.
59. Das Verfahren eines der Aspekte 54-58, ferner umfassend Bestimmen, durch den einen oder die mehreren Prozessoren, dass das Verkehrssignal von einem grünen Linksabbiegerpfeil zu einem roten Licht übergegangen ist, während das Fahrzeug nach links abbiegt.
60. Das Verfahren eines der Aspekte 54-59, ferner umfassend:
- als Reaktion auf das Detektieren, dass das Verkehrssignal von einem grünen Linksabbiegerpfeil zu einem roten Licht übergegangen ist, Bestimmen, durch den einen oder die mehreren Prozessoren, eines zweiten raumzeitlichen Ortes des Fahrzeugs relativ zu der Kreuzung basierend auf Steuerdaten, die von der Steuerschaltung empfangen werden, wobei die Steuerdaten einen Winkel des Lenkrades und eine Geschwindigkeit des Fahrzeugs umfassen; und
- Erzeugen, durch den einen oder die mehreren Prozessoren, einer neuen Trajektorie für das Fahrzeug basierend auf dem zweiten raumzeitlichen Ort.
61. Das Verfahren eines der Aspekte 54-60, ferner umfassend als Reaktion auf das Bestimmen, dass das Verkehrssignal ein grünes Licht ist, Bestimmen, durch den einen oder die mehreren Prozessoren, dass sich ein anderes Fahrzeug der Kreuzung in einer ersten Richtung entgegengesetzt einer zweiten Richtung, in der das Fahrzeug betrieben wird, nähert.
62. Das Verfahren eines der Aspekte 54-61, ferner umfassend Bestimmen, durch den einen oder die mehreren Prozessoren, dass das Fahrzeug in der Lage ist, gemäß einem Komfortprofil nach links abzubiegen, bevor das andere Fahrzeug die Kreuzung erreicht.
63. Das Verfahren eines der Aspekte 54-62, ferner umfassend Bestimmen, durch den einen oder die mehreren Prozessoren, einer Konfiguration der Ampel basierend auf den Sensordaten, wobei die Konfiguration mehrere Verkehrssignale umfasst.
64. Das Verfahren eines der Aspekte 54-63, ferner umfassend Assoziieren, durch den einen oder die mehreren Prozessoren, eines oder mehrerer Verkehrssignale der mehreren Verkehrssignale mit der speziellen Fahrbahn basierend auf dem digitalen Videostrom von Fahrbahnmarkierungen der speziellen Fahrbahn, wobei das eine oder die mehreren Verkehrssignale das Verkehrssignal umfassen.
65. Das Verfahren eines der Aspekte 54-64, ferner umfassend Bestimmen, durch den einen oder die mehreren Prozessoren, dass ein zweites Verkehrssignal an einer zweiten Kreuzung ein blinkendes gelbes Licht ist, basierend auf den Sensordaten, wobei das Fahrzeug an der zweiten Kreuzung angehalten hat.
66. Das Verfahren eines der Aspekte 54-65, ferner umfassend Bestimmen, durch den einen oder die mehreren Prozessoren, einer Zeitmenge zum Stehenbleiben vor dem Fahren über die zweite Kreuzung basierend auf einer Geschwindigkeit eines anderen Fahrzeugs, das sich der zweiten Kreuzung in einer ersten Richtung senkrecht zu einer zweiten Richtung, in der das Fahrzeug betrieben wird, nähert.
67. Das Verfahren eines der Aspekte 54-66, ferner umfassend Bestimmen, durch den einen oder die mehreren Prozessoren, dass ein zweites Verkehrssignal an einer zweiten Kreuzung von einem roten Licht zu einem grünen Licht übergegangen ist, basierend auf den Sensordaten, wobei das Fahrzeug an der zweiten Kreuzung angehalten hat.
68. Das Verfahren eines der Aspekte 54-67, ferner umfassend:
- Bestimmen, durch den einen oder die mehreren Prozessoren, dass ein anderes Fahrzeug in der zweiten Kreuzung angehalten hat, basierend auf den Sensordaten; und
- als Reaktion auf das Detektieren, dass das andere Fahrzeug in der zweiten Kreuzung angehalten hat, Veranlassen, durch die Steuerschaltung, dass das Fahrzeug an der zweiten Kreuzung stehen bleibt.
69. Das Verfahren eines der Aspekte 54-68, ferner umfassend Bestimmen, durch den einen oder die mehreren Prozessoren, dass ein zweites Verkehrssignal an einer zweiten Kreuzung von einem roten Licht zu einem grünen Licht übergegangen ist, basierend auf den Sensordaten, wobei das Fahrzeug an der zweiten Kreuzung angehalten hat.
70. Das Verfahren eines der Aspekte 54-69, ferner umfassend:
- Bestimmen, durch den einen oder die mehreren Prozessoren, dass das Fahrzeug nicht in der Lage sein wird, die Kreuzung zu überqueren, bevor das zweite Verkehrssignal zu einem roten Licht übergeht, basierend auf den Sensordaten; und
- als Reaktion auf das Bestimmen, dass das Fahrzeug nicht in der Lage sein wird, die Kreuzung zu überqueren, Veranlassen, durch die Steuerschaltung, dass das Fahrzeug an der zweiten Kreuzung stehen bleibt.
71. Ein autonomes Fahrzeug, das Folgendes umfasst:
- einen oder mehrere Computerprozessoren; und
- ein oder mehrere nichttransitorische Speicherungsmedien, die Anweisungen speichern, die bei Ausführung durch den einen oder die mehreren Computerprozessoren die Durchführung von in den Aspekten 1-70 dargelegten Verfahren bewirken.
72. Ein oder mehrere nichttransitorische Speicherungsmedien, die Anweisungen speichern, die bei Ausführung durch eine oder mehrere Rechenvorrichtungen die Durchführung von in den Aspekten 1-70 dargelegten Verfahren bewirken.
73. Ein Verfahren, das Durchführen einer maschinenausführbaren Operation umfasst, die Anweisungen beinhaltet, die bei Ausführung durch einen oder mehrere Rechenvorrichtungen die Durchführung von in den Aspekten 1-70 dargelegten Verfahren bewirken,
- wobei die maschinenausführbare Operation Senden der Anweisungen und/oder Empfangen der Anweisungen und/oder Speichern der Anweisungen und/oder Ausführen der Anweisungen ist.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 62/981597 [0001]

Claims

Verfahren, das Folgendes umfasst: Detektieren, durch einen oder mehrere Prozessoren eines Fahrzeugs, einer sich an einem ersten raumzeitlichen Ort befindlichen Ampel basierend auf einem ersten digitalen Videostrom, der durch eine erste Kamera des Fahrzeugs erfasst wird, und einem zweiten digitalen Videostrom, der durch eine zweite Kamera des Fahrzeugs erfasst wird; Bestimmen, durch den einen oder die mehreren Prozessoren, dass sich das Fahrzeug an einem zweiten raumzeitlichen Ort befindet, wobei das Bestimmen umfasst: Validieren, durch den einen oder die mehreren Prozessoren, erster Standortdaten, die von mehreren Sensoren des Fahrzeugs empfangen werden, gegen zweite Standortdaten, die durch Filtern, durch ein Filter, der ersten Standortdaten erhalten werden; Bestimmen, durch den einen oder die mehreren Prozessoren, dass die Ampel an dem ersten raumzeitlichen Ort erwartet wird, basierend auf einer Semantikkarte, referenziert durch den zweiten raumzeitlichen Ort; als Reaktion auf das Bestimmen, dass die Ampel an dem ersten raumzeitlichen Ort erwartet wird, Detektieren, durch den einen oder die mehreren Prozessoren, eines Verkehrssignals der Ampel basierend auf dem ersten digitalen Videostrom und dem zweiten digitalen Videostrom; Bestimmen, durch den einen oder die mehreren Prozessoren, einer Trajektorie des Fahrzeugs gemäß dem Verkehrssignal; und Betreiben, durch eine Steuerschaltung des Fahrzeugs, des Fahrzeugs gemäß der bestimmten Trajektorie.
Verfahren nach Anspruch 1, wobei sich die erste Kamera an einer ersten Position am Fahrzeug befindet und sich die zweite Kamera an einer zweiten Position am Fahrzeug befindet, um eine Genauigkeit bei der Detektion der Ampel basierend auf Redundanz des ersten digitalen Videostroms und des zweiten digitalen Videostroms zu erhöhen.
Verfahren nach Anspruch 1 oder 2, ferner umfassend Validieren, durch den einen oder die mehreren Prozessoren, des Verkehrssignals basierend auf einer DSRC-Nachricht (DSRC: dedizierte Kurzstreckenkommunikation), die durch einen DSRC-Sensor des Fahrzeugs von der Ampel empfangen wird.
Verfahren nach einem der Ansprüche 1-3, ferner umfassend Validieren, durch den einen oder die mehreren Prozessoren, dass sich die Ampel an dem ersten raumzeitlichen Ort befindet, basierend auf einer DSRC-Nachricht, die durch einen DSRC-Sensor des Fahrzeugs von der Ampel empfangen wird.
Verfahren nach einem der Ansprüche 1-4, ferner umfassend Validieren, durch den einen oder die mehreren Prozessoren, dass sich das Fahrzeug an dem zweiten raumzeitlichen Ort befindet, basierend auf der Semantikkarte, referenziert durch den ersten raumzeitlichen Ort.
Verfahren nach einem der Ansprüche 1-5, ferner umfassend: vor dem Detektieren des Verkehrssignals, Vorhersagen, durch den einen oder die mehreren Sensoren, dass das Verkehrssignal ein rotes Licht ist, um die Trajektorie des Fahrzeugs zu bestimmen.
Verfahren nach einem der Ansprüche 1-6, ferner umfassend: Detektieren, durch den einen oder die mehreren Prozessoren, eines Fehlschlags, ein zweites Verkehrssignal einer zweiten Ampel zu detektieren; und als Reaktion auf das Detektieren des Fehlschlags, Assoziieren, durch den einen oder die mehreren Prozessoren, des zweiten Verkehrssignals mit einem roten Licht.
Verfahren nach einem der Ansprüche 1-7, wobei das Detektieren des Verkehrssignals umfasst: Segmentieren, durch den einen oder die mehreren Prozessoren, mindestens eines Bildframes des ersten digitalen Videostroms und des zweiten digitalen Videostroms, um einen Bereich des mindestens einen Bildframes zu detektieren, der dem Verkehrssignal entspricht.
Verfahren nach einem der Ansprüche 1-8, ferner umfassend Empfangen, durch einen DSRC-Sensor des Fahrzeugs, einer DSRC-Nachricht von der Ampel, die angibt, dass sich das Verkehrssignal zu einer speziellen Zeit ändern wird.
Verfahren nach einem der Ansprüche 1-9, ferner umfassend: als Reaktion auf das Detektieren der Ampel, Anpassen, durch den einen oder die mehreren Prozessoren, einer Orientierung der ersten Kamera und/oder der zweiten Kamera, sodass die erste Kamera und/oder die zweite Kamera zu der Ampel zeigt, während sich das Fahrzeug bewegt.
Verfahren nach einem der Ansprüche 1-10, wobei die mehreren Sensoren des Fahrzeugs einen oder mehreren GNSS-Empfänger (GNSS: globales Satellitennavigationssystem), einen oder mehrere RADAR-Sensoren und ein oder mehrere LiDARs umfassen.
Verfahren nach einem der Ansprüche 1-11, wobei das Detektieren des Verkehrssignals Folgendes umfasst: Bestimmen, durch den einen oder die mehreren Prozessoren, dass das Verkehrssignal eine erste Farbe besitzt, basierend auf dem ersten digitalen Videostrom; Bestimmen, durch den einen oder die mehreren Prozessoren, dass das Verkehrssignal eine zweite Farbe besitzt, basierend auf dem zweiten digitalen Videostrom; Bestimmen, durch den einen oder die mehreren Prozessoren, dass das Verkehrssignal eine dritte Farbe besitzt, basierend auf einer DSRC-Nachricht, die durch einen DSRC-Sensor des Fahrzeugs empfangen wird, wobei die dritte Farbe die gleiche ist wie die zweite Farbe; und als Reaktion auf das Bestimmen, dass das Verkehrssignal die dritte Farbe besitzt, Assoziieren, durch den einen oder die mehreren Prozessoren, des Verkehrssignals mit der zweiten Farbe.
Verfahren nach einem der Ansprüche 1-12, wobei das Detektieren des Verkehrssignals Folgendes umfasst: Extrahieren, durch den einen oder die mehreren Prozessoren, eines Merkmalsvektors aus dem ersten digitalen Videostrom und dem zweiten digitalen Videostrom; und Bestimmen, durch ein maschinelles Lernmodell, das durch den einen oder die mehreren Prozessoren ausgeführt wird, des Verkehrssignals basierend auf dem Merkmalsvektor, wobei das maschinelle Lernmodell dahingehend trainiert ist, eine Farbe eines Objekts basierend auf aus digitalen Videoströmen extrahierten Merkmalen des Objekts zu erkennen.
Verfahren nach einem der Ansprüche 1-13, ferner umfassend dahingehendes Trainieren, durch den einen oder die mehreren Prozessoren, des maschinellen Lernmodells, Verkehrssignale von Ampeln basierend auf Merkmalsvektoren zu erkennen, die aus digitalen Videoströmen der Ampeln extrahiert werden.
Verfahren nach einem der Ansprüche 1-14, wobei das maschinelle Lernmodell Folgendes umfasst: ein erstes künstliches neuronales Netzwerk, das dahingehend trainiert ist, rote Lichter zu erkennen; und ein zweites künstliches neuronales Netzwerk, das dahingehend trainiert ist, grüne Lichter zu erkennen, wobei das erste künstliche neuronale Netzwerk vom zweiten künstlichen neuronalen Netzwerk unabhängig ist.
Verfahren nach einem der Ansprüche 1-15, ferner umfassend: Bestimmen, durch den einen oder die mehreren Prozessoren, dass das Verkehrssignal ein grünes Licht ist; Bestimmen, durch den einen oder die mehreren Prozessoren, dass ein Fußgänger an dem ersten raumzeitlichen Ort läuft, basierend auf dem ersten digitalen Videostrom und dem zweiten digitalen Videostrom; und Verringern, durch die Steuerschaltung, einer Geschwindigkeit des Fahrzeugs, um eine Kollision des Fahrzeugs mit dem Fußgänger zu vermeiden.
Verfahren nach einem der Ansprüche 1-16, ferner umfassend: Bestimmen, durch den einen oder die mehreren Prozessoren, dass die Ampel aufgrund eines Stromausfalls nicht funktionsfähig ist; und Anhalten, durch die Steuerschaltung, des Fahrzeugs.
Verfahren nach einem der Ansprüche 1-17, ferner umfassend: Bestimmen, durch den einen oder die mehreren Prozessoren, des Nichtvorhandenseins eines Objekts am ersten raumzeitlichen Ort; und Übertragen, durch den einen oder die mehreren Prozessoren, einer Nachricht zu der Steuerschaltung, um das Fahrzeug gemäß der bestimmten Trajektorie zu betreiben.
Fahrzeug, umfassend: einen oder mehrere Computerprozessoren; und ein oder mehrere nichtflüchtige Speicherungsmedien, die Anweisungen speichern, die bei Ausführung durch den einen oder die mehreren Computerprozessoren bewirken, dass der eine oder die mehreren Computerprozessoren Folgendes ausführen: Detektieren einer sich an einem ersten raumzeitlichen Ort befindlichen Ampel basierend auf einem ersten digitalen Videostrom, der durch eine erste Kamera des Fahrzeugs erfasst wird, und einem zweiten digitalen Videostrom, der durch eine zweite Kamera des Fahrzeugs erfasst wird; Bestimmen, dass sich das Fahrzeug an einem zweiten raumzeitlichen Ort befindet, wobei das Bestimmen umfasst: Validieren, durch den einen oder die mehreren Prozessoren, erster Standortdaten, die von mehreren Sensoren des Fahrzeugs empfangen werden, gegen zweite Standortdaten, die durch Filtern, durch ein Filter, der ersten Standortdaten erhalten werden; Bestimmen, dass die Ampel an dem ersten raumzeitlichen Ort erwartet wird, basierend auf einer Semantikkarte, referenziert durch den zweiten raumzeitlichen Ort; als Reaktion auf das Bestimmen, dass die Ampel an dem ersten raumzeitlichen Ort erwartet wird, Detektieren eines Verkehrssignals der Ampel basierend auf dem ersten digitalen Videostrom und dem zweiten digitalen Videostrom; Bestimmen einer Trajektorie des Fahrzeugs gemäß dem Verkehrssignal; und Betreiben, durch eine Steuerschaltung des Fahrzeugs, des Fahrzeugs gemäß der bestimmten Trajektorie.
Nichtflüchtiges Speicherungsmedium bzw. nichtflüchtige Speicherungsmedien, die Anweisungen speichern, die bei Ausführung durch eine oder mehrere Rechenvorrichtungen bewirken, dass die eine oder die mehreren Rechenvorrichtungen Folgendes ausführen: Detektieren einer sich an einem ersten raumzeitlichen Ort befindlichen Ampel basierend auf einem ersten digitalen Videostrom, der durch eine erste Kamera eines Fahrzeugs erfasst wird, und einem zweiten digitalen Videostrom, der durch eine zweite Kamera des Fahrzeugs erfasst wird; Bestimmen, dass sich das Fahrzeug an einem zweiten raumzeitlichen Ort befindet, wobei das Bestimmen umfasst: Validieren, durch den einen oder die mehreren Prozessoren, erster Standortdaten, die von mehreren Sensoren des Fahrzeugs empfangen werden, gegen zweite Standortdaten, die durch Filtern, durch ein Filter, der ersten Standortdaten erhalten werden; Bestimmen, dass die Ampel an dem ersten raumzeitlichen Ort erwartet wird, basierend auf einer Semantikkarte, referenziert durch den zweiten raumzeitlichen Ort; als Reaktion auf das Bestimmen, dass die Ampel an dem ersten raumzeitlichen Ort erwartet wird, Detektieren eines Verkehrssignals der Ampel basierend auf dem ersten digitalen Videostrom und dem zweiten digitalen Videostrom; Bestimmen einer Trajektorie des Fahrzeugs gemäß dem Verkehrssignal; und Betreiben des Fahrzeugs gemäß der bestimmten Trajektorie.