DE112020000556T5 - Verkehrsampelschätzung - Google Patents

Abstract

Beschrieben werden unter anderem Methoden zur Verkehrsampelschätzung unter Verwendung von Entfernungssensoren. Eine Planungsschaltung eines Fahrzeugs, das auf einer ersten befahrbaren Region fährt, die eine Kreuzung mit einer zweiten befahrbaren Region bildet, empfängt Informationen, die von einem Entfernungssensor des Fahrzeugs erfasst werden. Die Informationen stellen einen Bewegungszustand eines Objekts über die Kreuzung dar. Ein Verkehrssignal an der Kreuzung steuert die Bewegung von Objekten über die Kreuzung. Die Planungsschaltung bestimmt einen Zustand des Verkehrssignals an der Kreuzung teilweise auf Grundlage der empfangenen Informationen. Eine Steuerschaltung steuert einen Betrieb des Fahrzeugs teilweise auf Grundlage des Zustands des Verkehrssignals an der Kreuzung.

Description

• VERWEIS AUF VERWANDTE ANMELDUNG
• Diese Anmeldung beansprucht die Priorität der US-Provisional-Patentanmeldung Nr. 62/798,427 , eingereicht am 29. Januar 2019, sowie der dänischen Patentanmeldung Nr. PA201970221 , eingereicht am 8. April 2019, deren Inhalt durch Bezugnahme vollumfänglich hierin aufgenommen wird.
• GEBIET DER ERFINDUNG
• Diese Beschreibung betrifft Verkehrsampelschätzung.
• HINTERGRUND
• Die Fahrt von Fahrzeugen durch eine von zwei Fahrspuren gebildete Kreuzung wird durch lokale Verkehrsregeln geregelt und in einigen Fällen durch ein Verkehrssignal an der Kreuzung umgesetzt. Eine Methode, um auf den Zustand des Verkehrssignals (z.B. Rotlicht, Gelblicht, Grünlicht) an einer Kreuzung zu schließen, ist die visuelle Beobachtung des Zustands der Lichter des Verkehrssignals. Eine andere Methode, um auf den Zustand des Verkehrssignals zu schließen, basiert auf Bewegung anderer Objekte an der Kreuzung. Wenn sich beispielsweise ein Fahrzeug auf einer ersten Spur bewegt, die über die Kreuzung führt, während ein anderes Fahrzeug auf einer zweiten Spur steht, die die Kreuzung mit der ersten Spur bildet, kann daraus gefolgert werden, dass das Verkehrssignal Fahrzeugen auf der zweiten Spur erlaubt, über die Kreuzung zu fahren, und Fahrzeuge auf der ersten Spur auffordert, an der Kreuzung anzuhalten.
• KURZDARSTELLUNG
• Es werden Methoden zur Verkehrsampelschätzung unter Verwendung von Entfernungssensoren bereitgestellt. Bestimmte Ausführungsformen der Methoden können als computerimplementiertes Verfahren implementiert werden. Eine Planungsschaltung eines Fahrzeugs, das auf einer ersten befahrbaren Region fährt, die eine Kreuzung mit einer zweiten befahrbaren Region bildet, empfängt Informationen, die von einem Entfernungssensor des Fahrzeugs erfasst werden. Die Informationen stellen einen Bewegungszustand eines Objekts über die Kreuzung dar. Ein Verkehrssignal an der Kreuzung steuert die Bewegung von Objekten über die Kreuzung. Die Planungsschaltung bestimmt einen Zustand des Verkehrssignals an der Kreuzung teilweise auf Grundlage der empfangenen Informationen. Eine Steuerschaltung steuert einen Betrieb des Fahrzeugs teilweise auf Grundlage des Zustands des Verkehrssignals an der Kreuzung.
• Diese und andere Aspekte, Merkmale und Implementierungen können als Verfahren, Vorrichtungen, Systeme, Komponenten, Programmprodukte, Mittel oder Schritte zum Durchführen einer Funktion sowie auf andere Weise ausgedrückt werden.
• Diese und andere Aspekte, Merkmale und Implementierungen werden aus den nachfolgenden Beschreibungen einschließlich der Ansprüche ersichtlich.
• Figurenliste
• 1 zeigt ein Beispiel eines autonomen Fahrzeugs mit autonomer Fähigkeit.
• 2 veranschaulicht eine beispielhafte „Cloud“-Datenverarbeitungsumgebung.
• 3 veranschaulicht ein Computersystem.
• 4 zeigt eine beispielhafte Architektur für ein autonomes Fahrzeug.
• 5 zeigt ein Beispiel für Eingänge und Ausgänge, die von einem Wahrnehmungsmodul verwendet werden können.
• 6 zeigt ein Beispiel eines LiDAR-Systems.
• 7 zeigt das LiDAR-System im Betrieb.
• 8 zeigt weitere Einzelheiten des Betriebs des LiDAR-Systems.
• 9 zeigt ein Blockdiagramm der Beziehungen zwischen Eingängen und Ausgängen eines Planungsmoduls.
• 10 zeigt einen für Wegplanung verwendeten gerichteten Graphen.
• 11 zeigt ein Blockdiagramm der Eingänge und Ausgänge eines Steuermoduls.
• 12 zeigt ein Blockdiagramm der Eingänge, Ausgänge und Komponenten einer Steuereinheit.
• 13 zeigt eine schematische Darstellung einer Kreuzung, die durch ein Verkehrssignal gesteuert wird.
• 14 ist ein Flussdiagramm eines Beispiels für einen Prozess zum Betreiben eines Fahrzeugs auf Grundlage einer Schätzung eines Überquerungszustands einer Kreuzung.
• AUSFÜHRLICHE BESCHREIBUNG
• In der nachfolgenden Beschreibung werden zu Erläuterungszwecken zahlreiche konkrete Einzelheiten dargelegt, um ein umfassendes Verständnis der vorliegenden Erfindung zu vermitteln. Es versteht sich jedoch, dass die vorliegende Erfindung auch ohne diese konkreten Einzelheiten umgesetzt werden kann. In anderen Fällen werden allgemein bekannte Strukturen und Einrichtungen in Blockdiagrammform gezeigt, um die vorliegende Erfindung klarer darzustellen.
• In den Zeichnungen sind konkrete Anordnungen oder Ordnungen schematischer Elemente, beispielsweise solcher, die Einrichtungen, Module, Anweisungsblöcke und Datenelemente repräsentieren, aus Gründen einer vereinfachten Beschreibung gezeigt. Ein Fachmann sollte jedoch verstehen, dass die konkrete Ordnung oder Anordnung der schematischen Elemente in den Zeichnungen nicht implizieren soll, dass eine bestimmte Reihenfolge oder Abfolge der Verarbeitung oder eine Trennung von Prozessen erforderlich ist. Ferner soll die Aufnahme eines schematischen Elements in eine Zeichnung nicht bedeuten, dass dieses Element in allen Ausführungsformen erforderlich ist oder dass die durch dieses Element dargestellten Merkmale in einigen Ausführungsformen nicht in andere Elemente aufgenommen oder mit anderen Elementen kombiniert werden können.
• Wenn ferner in den Zeichnungen Verbindungselemente wie beispielsweise durchgezogene oder gestrichelte Linien oder Pfeile verwendet werden, um eine Verbindung, eine Beziehung oder einen Zusammenhang zwischen oder unter zwei oder mehr anderen schematischen Elementen zu veranschaulichen, so ist das Fehlen solcher Verbindungselemente nicht so zu verstehen, dass keine Verbindung, keine Beziehung oder kein Zusammenhang vorliegen kann. Mit anderen Worten, einige Verbindungen, Beziehungen oder Zusammenhänge zwischen Elementen sind in den Zeichnungen nicht gezeigt, um nicht von der Offenbarung abzulenken. Zudem wird aus Gründen einer vereinfachten Darstellung ein einziges Verbindungselement verwendet, um mehrere Verbindungen, Beziehungen oder Zusammenhänge zwischen Elementen zu repräsentieren. Wenn beispielsweise ein Verbindungselement eine Kommunikation von Signalen, Daten oder Anweisungen repräsentiert, sollte ein Fachmann verstehen, dass ein solches Element einen oder mehrere Signalwege (z.B. einen Bus) repräsentiert, je nachdem, was erforderlich ist, um die Kommunikation zu bewirken.
• Es wird nun im Einzelnen Bezug auf Ausführungsformen genommen, zu denen Beispiele in den begleitenden Zeichnungen veranschaulicht sind. In der nachfolgenden ausführlichen Beschreibung werden zahlreiche konkrete Einzelheiten dargelegt, um ein vollständiges Verständnis der verschiedenen beschriebenen Ausführungsformen zu gewährleisten. Ein Fachmann versteht jedoch, dass die verschiedenen beschriebenen Ausführungsformen auch ohne diese konkreten Einzelheiten umgesetzt werden können. In anderen Fällen wurden allgemein bekannte Verfahren, Prozeduren, Komponenten, Schaltungen und Netzwerke nicht im Einzelnen beschrieben, um nicht unnötig von Aspekten der Ausführungsformen abzulenken.
• Nachstehend werden verschiedene Merkmale beschrieben, die jeweils unabhängig voneinander oder mit jedweder Kombination weiterer Merkmale verwendet werden können. Ein einzelnes Merkmal löst jedoch möglicherweise noch keines der vorstehend erörterten Probleme oder löst möglicherweise nur eines der vorstehend erörterten Probleme. Einige der vorstehend erörterten Probleme werden möglicherweise von keinem der vorliegend beschriebenen Merkmale vollständig gelöst. Auch wenn Überschriften angegeben sind, können Informationen, die sich auf eine bestimmte Überschrift beziehen, aber nicht in dem Abschnitt mit dieser Überschrift zu finden sind, auch an anderer Stelle in dieser Beschreibung zu finden sein. Ausführungsformen werden vorliegend gemäß der nachstehenden Gliederung beschrieben:
1. 1. Allgemeine Übersicht
2. 2. Systemübersicht
3. 3. Architektur des autonomen Fahrzeugs
4. 4. Eingänge des autonomen Fahrzeugs
5. 5. Planung des autonomen Fahrzeugs
6. 6. Steuerung des autonomen Fahrzeugs
7. 7. Schlussfolgern eines Zustands einer Verkehrsampel unter Verwendung von Entfernungssensoren
• Allgemeine Übersicht
• Diese Offenbarung beschreibt Methoden, die von einem autonomen Fahrzeug implementiert werden, um einen Zustand eines Verkehrssignals an einer Kreuzung aus zwei oder mehr Fahrspuren unter Verwendung von Informationen zu folgern, die von Entfernungssensoren, zum Beispiel RADAR- oder LiDAR-basierten Sensoren, erfasst werden. In einigen Ausführungsformen werden die von den RADAR- oder LiDAR-basierten Sensoren erfassten Informationen verwendet, um einen Bewegungszustand eines Objekts (z.B. eines Fahrzeugs auf einer die Kreuzung bildenden Fahrspur, eines Fußgängers an einem Fußgängerüberweg der Kreuzung oder eines anderen Objekts) an der Kreuzung zu bestimmen. Das Objekt an der Kreuzung kann beispielsweise stationär sein oder sich bewegen, z.B. mit einer konstanten, zunehmenden oder abnehmenden Geschwindigkeit. Basierend auf dem Bewegungszustand des Objekts zieht das autonome Fahrzeug Rückschlüsse auf den Zustand der Verkehrsampel, z.B. wenn die Verkehrsampel einem Fahrzeug auf einer Fahrspur erlaubt, über die Kreuzung zu fahren, eine Richtung, in die das Fahrzeug auf der Fahrspur fahren darf, wenn es erlaubt ist. In einigen Ausführungsformen steuert das autonome Fahrzeug den Betrieb des Fahrzeugs allein anhand der von den Entfernungssensoren erfassten Informationen. In einigen Ausführungsformen ergänzt das autonome Fahrzeug die von den Entfernungssensoren erfassten Informationen mit Informationen, die von bildverarbeitungsbasierten Sensoren (z.B. einer oder mehreren Kameras) erfasst werden, um den Zustand der Verkehrsampel zu folgern und den Betrieb des Fahrzeugs entsprechend zu steuern. Die Vorgänge können beispielsweise Betreiben des Fahrzeugs zum Stehenbleiben, zum Fahren auf der gleichen Spur, zum Abbiegen von einer Spur auf eine kreuzende Spur, zum Links- oder Rechtsabbiegen umfassen.
• Systemübersicht
• 1 zeigt ein Beispiel eines autonomen Fahrzeugs 100 mit autonomer Fähigkeit.
• Die Bezeichnung „autonome Fähigkeit“ bezieht sich vorliegend auf eine Funktion, ein Merkmal oder eine Einrichtung, die es ermöglicht, ein Fahrzeug teilweise oder vollständig ohne menschliche Echtzeit-Intervention zu betreiben, darunter, ohne hierauf eingeschränkt zu sein, vollständig autonome Fahrzeuge, hochgradig autonome Fahrzeuge und bedingt autonome Fahrzeuge.
• Ein autonomes Fahrzeug (autonomous vehicle, AV) ist vorliegend ein Fahrzeug, das autonome Fähigkeit besitzt.
• Ein „Fahrzeug“ umfasst vorliegend Transportmittel für Güter oder Personen. Beispielsweise Autos, Busse, Züge, Flugzeuge, Drohnen, Lastwagen, Boote, Schiffe, Tauchfahrzeuge, Luftschiffe usw. Ein fahrerloses Auto ist ein Beispiel für ein Fahrzeug.
• „Trajektorie“ bezieht sich vorliegend auf einen Weg oder eine Route zum Navigieren eines AV von einem ersten räumlich-zeitlichen Ort zu einem zweiten räumlich-zeitlichen Ort. In einer Ausführungsform wird der erste räumlich-zeitliche Ort als Anfangs- oder Startort und der zweite räumlich-zeitliche Ort als Bestimmungsort, Endort, Ziel, Zielposition oder Zielort bezeichnet. In einigen Beispielen besteht eine Trajektorie aus einem oder mehreren Teilstücken (z.B. Straßenabschnitten) und besteht jedes Teilstück aus einem oder mehreren Blöcken (z.B. Abschnitten einer Fahrspur oder Kreuzung). In einer Ausführungsform entsprechen die räumlich-zeitlichen Orte realen Orten. Beispielsweise handelt es sich bei den räumlich-zeitlichen Orten um Abhol- oder Absetzpunkte zum Abholen oder Absetzen von Personen oder Gütern.
• „Sensor(en)” umfassen vorliegend eine oder mehrere Hardwarekomponenten, die Informationen über die Umgebung des Sensors erfassen. Einige der Hardwarekomponenten können Sensorkomponenten (z.B. Bildsensoren, biometrische Sensoren), Sende- und/oder Empfangskomponenten (z.B. Laser- oder Hochfrequenzwellensender und -empfänger), elektronische Komponenten wie beispielsweise Analog-Digital-Wandler, eine Datenspeichereinrichtung (wie beispielsweise einen RAM und/oder einen nichtflüchtigen Speicher), Software- oder Firmwarekomponenten und Datenverarbeitungskomponenten wie beispielsweise eine ASIC (anwendungsspezifische integrierte Schaltung), einen Mikroprozessor und/oder einen Mikrocontroller umfassen.
• Bei einer „Szenenbeschreibung“ handelt es sich vorliegend um eine Datenstruktur (z.B. Liste) oder einen Datenstrom, die ein oder mehrere klassifizierte oder gekennzeichnete Objekte umfassen, die durch einen oder mehrere Sensoren am AV-Fahrzeug erfasst oder durch eine außerhalb des AV befindliche Quelle bereitgestellt werden.
• Eine „Straße“, ist vorliegend ein physischer Bereich, der von einem Fahrzeug befahren werden kann und einer benannten Durchgangsstraße (z.B. Stadtstraße, Autobahn usw.) oder einer unbenannten Durchgangsstraße (z.B. eine Einfahrt in einem Haus oder Bürogebäude, ein Abschnitt eines Parkplatzes, ein Abschnitt eines leeren Grundstücks, ein Feldweg in einem ländlichen Gebiet usw.) entsprechen kann. Da einige Fahrzeuge (z.B. Allrad-Pickup-Fahrzeuge, Sport Utility Vehicles usw.) in der Lage sind, eine Vielzahl von physischen Bereichen zu befahren, die nicht speziell für Fahrzeuge geeignet sind, kann eine „Straße“ ein physischer Bereich sein, der von keiner Gemeinde oder anderen Regierungs- oder Verwaltungsbehörde formal als Durchgangsstraße definiert ist.
• Bei einer „Fahrspur“ handelt es sich vorliegend um einen Abschnitt einer Straße, der von einem Fahrzeug befahren werden kann. Eine Fahrspur wird manchmal auf Grundlage von Fahrspurmarkierungen identifiziert. Beispielsweise kann eine Fahrspur größtenteils oder vollständig dem Raum zwischen Fahrspurmarkierungen entsprechen oder kann nur einem Teil (z.B. weniger als 50 %) des Raums zwischen Fahrspurmarkierungen entsprechen. Beispielsweise könnte eine Straße mit weit auseinander liegenden Fahrspurmarkierungen zwei oder mehr Fahrzeuge zwischen den Markierungen aufnehmen, so dass ein Fahrzeug das andere überholen kann, ohne die Fahrspurmarkierungen zu überqueren, und könnte daher so interpretiert werden, dass die Fahrspur schmaler ist als der Raum zwischen den Fahrspurmarkierungen, oder dass zwischen den Fahrspurmarkierungen zwei Fahrspuren liegen. Eine Fahrspur könnte auch ohne vorhandene Fahrspurmarkierungen interpretiert werden. Beispielsweise kann eine Fahrspur auf Grundlage physischer Merkmale einer Umgebung definiert werden, z.B. Felsen und Bäume entlang einer Durchgangsstraße in einem ländlichen Gebiet oder z.B. natürliche Hindernisse, die in einem unbebauten Gebiet umgangen werden sollen. Eine Fahrspur könnte auch unabhängig von Fahrspurmarkierungen oder physischen Merkmalen interpretiert werden. Beispielsweise könnte eine Fahrspur auf Grundlage eines willkürlichen, hindernisfreien Weges in einem Gebiet interpretiert werden, in dem ansonsten Merkmale fehlen, die als Fahrspurbegrenzungen interpretiert werden würden. In einem Beispielszenario könnte ein AV eine Fahrspur durch einen hindernisfreien Teil eines Feldes oder einer leeren Parzelle interpretieren. In einem weiteren Beispielszenario könnte ein AV eine Fahrspur durch eine breite (z.B. breit genug für zwei oder mehr Fahrspuren) Straße interpretieren, die keine Fahrspurmarkierungen besitzt. In diesem Szenario könnte das AV Informationen über die Fahrspur an andere AVs kommunizieren, damit die anderen AVs dieselben Fahrspurinformationen verwenden können, um die Wegplanung untereinander zu koordinieren.
• Die Bezeichnung „Over-the-Air- (OTA-, über den freien Raum, per Funk) Client“ umfasst jedes AV oder jede elektronische Einrichtung (z.B. Computer, Steuereinheit, IoT-Einrichtung, elektronische Steuereinheit (ECU)), die in ein AV eingebettet ist, mit diesem gekoppelt ist oder mit diesem in Kommunikation steht.
• Der Begriff „Over-the-Air- (OTA-) Aktualisierung“ bezeichnet jede Aktualisierung, Änderung, Löschung oder Hinzufügung von Software, Firmware, Daten oder Konfigurationseinstellungen oder jede Kombination aus diesen, die einem OTA-Client unter Verwendung proprietärer und/oder standardisierter drahtloser Kommunikationstechnologie geliefert wird, darunter, ohne jedoch hierauf eingeschränkt zu sein: zellulare Mobilfunkkommunikation (z.B. 2G, 3G, 4G, 5G), drahtlose Funknetze (z.B. WiFi) und/oder Satelliten-Internet.
• Die Bezeichnung „Edge-Knoten“ (Randknoten) bezeichnet eine oder mehrere mit einem Netzwerk gekoppelte Edge-Einrichtungen, die ein Portal für die Kommunikation mit AVs bieten und mit anderen Edge-Knoten und einer Cloud-basierten Datenverarbeitungsplattform kommunizieren können, um OTA-Updates zu planen und an OTA-Clients zu liefern.
• Die Bezeichnung „Edge-Einrichtung“ meint eine Einrichtung, die einen Edge-Knoten implementiert und einen physischen drahtlosen Zugangspunkt (AP) in Kernnetze von Unternehmen oder Dienstanbietern (z.B. VERIZON, AT&T) bereitstellt. Zu Beispielen für Edge-Knoten zählen, ohne jedoch hierauf eingeschränkt zu sein: Computer, Steuereinheiten, Sender, Router, Routing-Switches, integrierte Zugangseinrichtungen (IADs, integrated access devices), Multiplexer, Zugangseinrichtungen für Stadtnetze (MAN, metropolitan area network) und Weitverkehrsnetze (WAN, wide area network).
• „Ein(e) oder mehrere“ umfasst eine von einem Element ausgeführte Funktion, eine von mehr als einem Element ausgeführte Funktion, z.B. verteilt, mehrere Funktionen, die von einem Element ausgeführt werden, mehrere Funktionen, die von mehreren Elementen ausgeführt werden, oder eine beliebige Kombination aus diesen.
• Zudem versteht es sich, dass zwar in einigen Fällen die Bezeichnungen erste(r/s), zweite(r/s) usw. verwendet werden, um verschiedene Elemente zu beschreiben, diese Elemente jedoch durch diese Bezeichnungen nicht eingeschränkt werden sollen. Diese Bezeichnungen werden lediglich verwendet, um ein Element von einem anderen zu unterscheiden. Beispielsweise könnte ein erster Kontakt als zweiter Kontakt bezeichnet werden und entsprechend ein zweiter Kontakt als erster Kontakt, ohne vom Umfang der verschiedenen beschriebenen Ausführungsformen abzuweichen. Sowohl beim ersten Kontakt als auch beim zweiten Kontakt handelt es sich um Kontakte, jedoch nicht um denselben Kontakt.
• Die vorliegend verwendete Terminologie der verschiedenen vorliegend beschriebenen Ausführungsformen dient lediglich dem Zweck der Beschreibung bestimmter Ausführungsformen und soll nicht einschränkend sein. Die Singularformen „ein/eine“ und „der/die/das“ wie in der Beschreibung der verschiedenen beschriebenen Ausführungsformen und den Ansprüchen verwendet sollen ebenso die Pluralformen einschließen, sofern nicht durch den Kontext offensichtlich anders angegeben. Zudem versteht es sich, dass sich die Angabe „und/oder“ wie vorliegend verwendet auf sämtliche mögliche Kombinationen aus einem oder mehreren der zugehörigen aufgeführten Elemente bezieht und diese umfasst. Ferner ist zu beachten, dass die Ausdrücke „umfasst“ und/oder „umfassend,“ soweit in dieser Spezifikation verwendet, das Vorliegen genannter Merkmale, Zahlen, Schritte, Operationen, Elemente und/oder Komponenten angibt, jedoch nicht das Vorliegen oder Hinzufügen eines oder mehrerer weiterer Merkmale, Zahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon ausschließt.
• Die Bezeichnung „falls“ ist je nach Kontext wahlweise auszulegen als „wenn“, „bei/nach“ oder „in Reaktion auf Bestimmen“ oder „in Reaktion auf Erfassen“. Entsprechend ist die Formulierung „falls bestimmt wird“ oder „falls [eine genannte Bedingung oder ein genanntes Ereignis] erfasst wird“ je nach Kontext wahlweise auszulegen als „bei/nach Bestimmen“ oder „in Reaktion auf Bestimmen“ oder „bei/nach Erfassen [der genannten Bedingung oder des genannten Ereignisses]“ oder „in Reaktion auf Erfassen [der genannten Bedingung oder des genannten Ereignisses]“.
• Ein AV-System bezeichnet vorliegend das AV zusammen mit der Gruppierung aus Hardware, Software, gespeicherten Daten und in Echtzeit generierten Daten, die den Betrieb des AV unterstützen. In einer Ausführungsform ist das AV-System in das AV integriert. In einer Ausführungsform ist das AV-System auf mehrere Orte verteilt. Beispielsweise wird ein Teil der Software des AV-Systems in einer Cloud-Computing-Umgebung ähnlich der nachstehend in Bezug auf 3 beschriebenen Cloud-Computing-Umgebung implementiert.
• Im Allgemeinen beschreibt dieses Dokument Technologien, die auf alle Fahrzeuge anwendbar sind, die über eine oder mehrere autonome Fähigkeiten verfügen, darunter vollständig autonome Fahrzeuge, hochautonome Fahrzeuge und bedingt autonome Fahrzeuge, wie beispielsweise so genannte Level-5-, Level-4- bzw. Level-3-Fahrzeuge (für weitere Einzelheiten zur Klassifizierung von Autonomiestufen in Fahrzeugen vgl. Norm J3016 von SAE International: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems (Taxonomie und Definitionen für Begriffe im Zusammenhang mit automatisierten On-Road-Kraftfahrzeug-Fahrsystemen), die durch Bezugnahme vollumfänglich hierin aufgenommen wird). Die in diesem Dokument beschriebenen Technologien sind auch auf teilautonome Fahrzeuge und fahrerunterstützte Fahrzeuge anwendbar, wie z.B. sogenannte Level-2- und Level-1-Fahrzeuge (vgl. Norm J3016 von SAE International: Taxonomy and Definitions für Terms Related to On-Road Motor Vehicle Automated Driving Systems). In einer Ausführungsform können eines oder mehrere der Level-1-, 2-, 3-, 4- und 5-Fahrzeugsysteme bestimmte Fahrzeugoperationen unter bestimmten Betriebsbedingungen auf Grundlage der Verarbeitung von Sensoreingaben automatisieren (z.B. Lenkung, Bremsen und Verwenden von Karten). Die in diesem Dokument beschriebenen Technologien können Fahrzeugen aller Stufen zugute kommen, von vollständig autonomen Fahrzeugen bis hin zu von Menschen betriebenen Fahrzeugen.
• Autonome Fahrzeuge weisen Vorteile gegenüber Fahrzeugen auf, die einen menschlichen Fahrer erfordern. Ein Vorteil besteht in der Sicherheit. Im Jahr 2016 zum Beispiel gab es in den Vereinigten Staaten 6 Millionen Autounfälle, 2,4 Millionen Verletzte, 40.000 Tote und 13 Millionen verunglückte Fahrzeuge, deren gesellschaftliche Kosten auf über 910 Milliarden Dollar geschätzt werden. Die Zahl der Verkehrstoten pro 100 Millionen gefahrener Meilen ist in den USA von 1965 bis 2015 von etwa sechs auf etwa einen zurückgegangen, was zum Teil auf zusätzliche Sicherheitsmaßnahmen in den Fahrzeugen zurückzuführen ist. Beispielsweise wird davon ausgegangen, dass eine zusätzliche halbe Sekunde Vorwarnzeit, dass eine Kollision bevorsteht, 60 % der Auffahrunfälle abmildert. Allerdings haben passive Sicherheitsmerkmale (z.B. Sicherheitsgurte, Airbags) bei der Verbesserung dieser Zahl wahrscheinlich ihre Grenze erreicht. Somit stellen aktive Sicherheitsmaßnahmen wie beispielsweise automatisierte Steuerung eines Fahrzeugs den naheliegenden nächsten Schritt bei der Verbesserung dieser Statistiken dar. Da davon ausgegangen wird, dass bei 95 % der Unfälle menschliche Fahrer für ein entscheidendes Ereignis vor dem Unfall verantwortlich sind, werden automatisierte Fahrsysteme wahrscheinlich bessere Sicherheitsergebnisse erzielen, z.B. indem sie kritische Situationen zuverlässiger als Menschen erkennen und vermeiden, bessere Entscheidungen treffen, Verkehrsgesetze befolgen und zukünftige Ereignisse besser vorhersagen als Menschen und ein Fahrzeug zuverlässiger als Menschen steuern.
• Unter Bezugnahme auf 1 betreibt ein AV-System 120 das AV 100 entlang einer Trajektorie 198 durch eine Umgebung 190 bis zu einem Zielort 199 (manchmal auch als Endpunkt bezeichnet) unter Umgehung von Objekten (z.B. natürliche Hindernisse 191, Fahrzeuge 193, Fußgänger 192, Radfahrer und andere Hindernisse) und unter Einhaltung von Verkehrsregeln (z.B. Betriebsregeln oder Fahrpräferenzen).
• In einer Ausführungsform umfasst das AV-System 120 Einrichtungen 101, die so instrumentiert sind, dass sie Betriebsbefehle von den Computerprozessoren 146 empfangen und auf diese reagieren. In einer Ausführungsform ähneln die Datenverarbeitungsprozessoren 146 dem nachstehend in Bezug auf 3 beschriebenen Prozessor 304. Zu Beispielen für die Einrichtungen 101 zählen eine Lenksteuerung 102, Bremsen 103, Schaltung, Gaspedal oder andere Beschleunigungssteuerungsmechanismen, Scheibenwischer, Seitentürenschlösser, Fenstersteuerungen und Blinker.
• In einer Ausführungsform umfasst das AV-System 120 Sensoren 121 zum Messen oder Ableiten von Zustandseigenschaften des AV 100, beispielsweise der Position des AV, Linear- und Winkelgeschwindigkeit und Beschleunigung sowie Fahrtrichtung (z.B. eine Ausrichtung des vorderen Endes des AV 100). Zu Beispielen für Sensoren 121 zählen GPS, Trägheitsmesseinheiten (IMU, inertial measurement unit), die sowohl lineare Fahrzeugbeschleunigungen als auch Winkelgeschwindigkeiten messen, Raddrehzahlsensoren zur Messung oder Schätzung von Radschlupfverhältnissen, Radbremsdruck- oder Bremsmomentsensoren, Motordrehmoment- oder Raddrehmomentsensoren sowie Lenkwinkel- und Winkelgeschwindigkeitssensoren.
• In einer Ausführungsform umfassen die Sensoren 121 zudem Sensoren zum Erfassen oder Messen von Eigenschaften der Umgebung des AV. Zum Beispiel Monokular- oder Stereo-Videokameras 122 im sichtbaren Licht-, Infrarot- oder Wärmespektrum (oder beidem), LiDAR 123, RADAR, Ultraschallsensoren, Flugzeit- (ToF, Time of Flight) Tiefensensoren, Drehzahlsensoren, Temperatursensoren, Feuchtigkeitssensoren und Niederschlagssensoren.
• In einer Ausführungsform umfasst das AV-System 120 eine Datenspeichereinheit 142 und einen Speicher 144 zum Speichern von Maschinenanweisungen im Zusammenhang mit den Computerprozessoren 146 oder mit durch die Sensoren 121 gesammelten Daten. In einer Ausführungsform ähnelt die Datenspeichereinheit 142 dem ROM 308 oder der Speichereinheit 310, die nachstehend in Bezug auf 3 beschrieben sind. In einer Ausführungsform ähnelt der Speicher 144 dem nachstehend beschriebenen Hauptspeicher 306. In einer Ausführungsform speichern die Datenspeichereinheit 142 und der Speicher 144 historische, Echtzeit- und/oder Vorhersageinformationen über die Umgebung 190. In einer Ausführungsform zählen zu den gespeicherten Informationen Karten, Fahrverhalten, Aktualisierungen zum Verkehrsaufkommen oder Wetterbedingungen. In einer Ausführungsform werden die Umgebung 190 betreffende Daten von einer entfernt gelegenen Datenbank 134 über einen Kommunikationskanal an das AV 100 übertragen.
• In einer Ausführungsform umfasst das AV-System 120 Kommunikationseinrichtungen 140 zum Kommunizieren gemessener oder abgeleiteter Eigenschaften der Zustände und Bedingungen anderer Fahrzeuge, beispielsweise Positionen, Linear- und Winkelgeschwindigkeiten, Linear- und Winkelbeschleunigungen sowie Linear- und Winkelausrichtungen, an das AV 100. Zu diesen Einrichtungen zählen Fahrzeug-zu-Fahrzeug-(V2V, vehicle to vehicle) und Fahrzeug-zu-Infrastruktur- (V2I, vehicle to infrastructure) Kommunikationseinrichtungen und Einrichtungen für drahtlose Kommunikation über Punkt-zu-Punkt- oder Ad-hoc-Netzwerke oder beides. In einer Ausführungsform kommunizieren die Kommunikationseinrichtungen 140 über das elektromagnetische Spektrum (darunter Funk- und optische Kommunikation) oder andere Medien (z.B. Luft und akustische Medien). Eine Kombination aus Fahrzeug-zu-Fahrzeug- (V2V-) und Fahrzeug-zu-Infrastruktur- (V2I-) Kommunikation (und in einigen Ausführungsformen einer oder mehreren weiteren Arten von Kommunikation) wird manchmal als Fahrzeug-zu-Alles- (V2X-) Kommunikation bezeichnet. V2X-Kommunikation entspricht üblicherweise einem oder mehreren Kommunikationsstandards zur Kommunikation mit, zwischen und unter autonomen Fahrzeugen.
• In einer Ausführungsform umfassen die Kommunikationseinrichtungen 140 Kommunikationsschnittstellen. Beispiele hierfür sind drahtgebundene, drahtlose, WiMAX-,--, Bluetooth-, Satelliten-, Mobilfunk-, optische, Nahfeld-, Infrarot- oder Funkschnittstellen. Die Kommunikationsschnittstellen übertragen Daten von einer entfernt gelegenen Datenbank 134 an das AV-System 120. In einer Ausführungsform ist die entfernt gelegene Datenbank 134 in eine Cloud-Computing-Umgebung 200 eingebettet, wie in 2 beschrieben. Die Kommunikationsschnittstellen 140 übertragen von den Sensoren 121 gesammelte Daten oder andere den Betrieb des AV 100 betreffende Daten an die entfernt gelegene Datenbank 134. In einer Ausführungsform übertragen die Kommunikationsschnittstellen 140 Informationen, die Teleoperationen betreffen, an das AV 100. In einigen Ausführungsformen kommuniziert das AV 100 mit weiteren entfernten (z.B. „Cloud“-) Servern 136.
• In einer Ausführungsform speichert und überträgt die entfernt gelegene Datenbank 134 zudem digitale Daten (z.B. speichert Daten wie Verkehrswege- und Straßenstandorte). Solche Daten werden im Speicher 144 im AV 100 gespeichert oder von der entfernt gelegenen Datenbank 134 über einen Kommunikationskanal an das AV 100 übertragen.
• In einer Ausführungsform speichert und überträgt die entfernt gelegene Datenbank 134 historische Informationen über Fahreigenschaften (z.B. Geschwindigkeits- und Beschleunigungsprofile) von Fahrzeugen, die zuvor zu ähnlichen Tageszeiten die Trajektorie 198 befahren haben. In einer Implementierung können solche Daten im Speicher 144 im AV 100 gespeichert oder von der entfernt gelegenen Datenbank 134 über einen Kommunikationskanal an das AV 100 übertragen werden.
• Im AV 100 befindliche Datenverarbeitungseinrichtungen 146 generieren algorithmisch Steueraktionen auf Grundlage von Echtzeit-Sensordaten und früheren Informationen und ermöglichen so dem AV-System 120, seine autonomen Fahrfähigkeiten auszuüben.
• In einer Ausführungsform umfasst das AV-System 120 Computerperipheriegeräte 132, die mit Datenverarbeitungseinrichtungen 146 gekoppelt sind, um Informationen und Warnungen an einen Nutzer (z.B. einen Insassen oder einen entfernten Nutzer) des AV 100 zu liefern und Eingaben von diesem zu empfangen. In einer Ausführungsform ähneln die Peripheriegeräte 132 der Anzeige 312, der Eingabeeinrichtung 314 und der Cursor-Steuereinheit 316, die nachstehend in Bezug auf 3 behandelt werden. Die Kopplung ist drahtlos oder drahtgebunden. In eine einzige Einrichtung können beliebige zwei oder mehr der Schnittstelleneinrichtungen integriert sein.
• 2 veranschaulicht eine beispielhafte „Cloud“-Datenverarbeitungsumgebung. Cloud-Computing ist ein Dienstbereitstellungsmodell zum Ermöglichen eines problemlosen bedarfsgesteuerten Netzwerkzugriffs auf einen gemeinsam genutzten Pool von konfigurierbaren Datenverarbeitungsressourcen (z.B. Netzwerken, Netzwerkbandbreite, Server, Verarbeitung, Hauptspeicher, Speicher, Anwendungen, virtuellen Maschinen und Diensten). In typischen Cloud-Computing-Systemen sind die zum Liefern der durch die Cloud bereitgestellten Dienste verwendeten Maschinen in einem oder mehreren großen Cloud-Datenzentren untergebracht. Gemäß 2 umfasst die Cloud-Computing-Umgebung 200 Cloud-Datenzentren 204a, 204b und 204c, die durch die Cloud 202 untereinander verbunden sind. Die Datenzentren 204a, 204b und 204c stellen mit der Cloud 202 verbundenen Computersystemen 206a, 206b, 206c, 206d, 206e und 206f Cloud-Computing-Dienste bereit.
• Die Cloud-Computing-Umgebung 200 umfasst ein oder mehrere Cloud-Datenzentren. Grundsätzlich bezeichnet ein Cloud-Datenzentrum, beispielsweise das in 2 gezeigte Cloud-Datenzentrum 204a, die physische Anordnung aus Servern, die eine Cloud, beispielsweise die in 2 gezeigte Cloud 202, oder einen bestimmten Abschnitt einer Cloud bilden. Beispielsweise sind Server in dem Cloud-Datenzentrum physisch in Räumen, Gruppen, Reihen und Racks angeordnet. Ein Cloud-Datenzentrum verfügt über eine oder mehrere Zonen, die einen oder mehrere Serverräume umfassen. Jeder Raum verfügt über eine oder mehrere Reihen von Servern, und jede Reihe umfasst ein oder mehrere Racks. Jedes Rack umfasst einen oder mehrere einzelne Serverknoten. In einigen Implementierungen werden Server basierend auf den physischen Infrastrukturanforderungen der Rechenzentreneinrichtung, die Strom-, Energie-, Wärme- und/oder andere Anforderungen umfassen, in Zonen, Räumen, Racks und/oder Reihen in Gruppen angeordnet. In einer Ausführungsform ähneln die Serverknoten dem in 3 beschriebenen Computersystem. Das Datenzentrum 204a verfügt über viele Datenverarbeitungssysteme, die auf viele Racks verteilt sind.
• Die Cloud 202 umfasst die Cloud-Datenzentren 204a, 204b und 204c sowie die Netzwerk- und Netzwerkbetriebsressourcen (beispielsweise Netzwerkbetriebsausrüstung, Knoten, Router, Switches und Netzwerkkabel), die die Cloud-Datenzentren 204a, 204b und 204c untereinander verbinden und dabei helfen, den Zugriff der Computersysteme 206a bis f auf Cloud-Computing-Dienste zu ermöglichen. In einer Ausführungsform repräsentiert das Netzwerk eine beliebige Kombination aus einem oder mehreren lokalen Netzwerken, Weitverkehrsnetzen oder Verbundnetzwerken, die mittels drahtgebundener oder drahtloser Verbindungen gekoppelt sind, die mittels terrestrischer oder Satellitenverbindungen realisiert sind. Daten, die über das Netzwerk ausgetauscht werden, werden unter Verwendung einer beliebigen Anzahl von Protokollen der Netzwerkschicht übertragen, wie z.B. Internet Protocol (IP), Multiprotocol Label Switching (MPLS), Asynchronous Transfer Mode (ATM), Frame Relay, etc. Darüber hinaus werden in Ausführungsformen, in denen das Netzwerk eine Kombination aus mehreren Teilnetzen darstellt, in jedem der zugrunde liegenden Teilnetze unterschiedliche Netzwerkschichtprotokolle verwendet. In einigen Ausführungsformen repräsentiert das Netzwerk ein oder mehrere untereinander verbundene Verbundnetze, beispielsweise das öffentliche Internet.
• Die Datenverarbeitungssysteme 206a-f oder Cloud-Computing-Dienst-Konsumenten sind mit der Cloud 202 durch Netzwerkverbindungen und Netzwerkadapter verbunden. In einer Ausführungsform sind die Datenverarbeitungssysteme 206a-f als verschiedene Datenverarbeitungseinrichtungen implementiert, beispielsweise Server, Desktops, Laptops, Tablet, Smartphones, Internet-der-Dinge- (IoT-, Internet of Things) Einrichtungen, autonome Fahrzeuge (darunter Autos, Drohnen, Shuttles, Züge, Busse usw.) und Unterhaltungselektronik. In einer Ausführungsform sind die Datenverarbeitungssysteme 206a-f in oder als Teil anderer Systeme implementiert.
• 3 veranschaulicht ein Computersystem 300. In einer Implementierung handelt es sich bei dem Computersystem 300 um eine Spezial-Datenverarbeitungseinrichtung. Die Spezial-Datenverarbeitungseinrichtung ist für die Durchführung der Methoden fest verdrahtet oder umfasst digitale elektronische Einrichtungen wie eine oder mehrere anwendungsspezifische integrierte Schaltungen (ASICs) oder feldprogrammierbare Gate-Arrays (FPGAs), die dauerhaft für die Durchführung der Methoden programmiert sind, oder kann einen oder mehrere Universal-Hardwareprozessoren umfassen, die für die Durchführung der Methoden gemäß Programmbefehlen in Firmware, Speicher, anderen Speichern oder einer Kombination programmiert sind. Solche Spezial-Datenverarbeitungseinrichtungen können auch kundenspezifisch festverdrahtete Logik, ASICs oder FPGAs mit kundenspezifischer Programmierung kombinieren, um die Methoden umzusetzen. In verschiedenen Ausführungsformen handelt es sich bei den Spezial-Datenverarbeitungseinrichtungen um Desktop-Computersysteme, tragbare Computersysteme, Handgeräte, Netzwerkeinrichtungen oder eine beliebige andere Einrichtung, die festverdrahtete und/oder Programmlogik enthält, um die Methoden umzusetzen.
• In einer Ausführungsform umfasst das Computersystem 300 einen Bus 302 oder einen anderen Kommunikationsmechanismus zum Kommunizieren von Informationen und einen mit einem Bus 302 gekoppelten Hardwareprozessor 304 zum Verarbeiten von Informationen. Bei dem Hardwareprozessor 304 handelt es sich beispielsweise um einen Universal-Mikroprozessor. Das Computersystem 300 umfasst zudem einen Hauptspeicher 306, beispielsweise einen Direktzugriffsspeicher (RAM) oder eine andere dynamische Speichereinrichtung, der mit dem Bus 302 gekoppelt ist, um Informationen und Anweisungen zur Ausführung durch den Prozessor 304 zu speichern. In einer Implementierung wird der Hauptspeicher 306 zum Speichern temporärer Variablen und anderer Zwischeninformationen während der Ausführung von durch den Prozessor 304 auszuführenden Anweisungen verwendet. Solche Anweisungen, wenn sie in durch den Prozessor 304 abrufbaren nicht transienten Speichermedien gespeichert sind, machen das Computersystem 300 zu einer Spezialmaschine, die darauf spezialisiert ist, die in den Anweisungen vorgegebenen Operationen durchzuführen.
• In einer Ausführungsform umfasst das Computersystem 300 ferner einen mit dem Bus 302 gekoppelten Nur-Lese-Speicher (ROM) 308 oder eine andere statische Speichereinrichtung zum Speichern statischer Informationen und Anweisungen für den Prozessor 304. Eine Speichereinrichtung 310, beispielsweise eine Magnetplatte, eine optische Platte, ein Solid-State-Speicher oder ein dreidimensionaler Kreuzpunktspeicher, ist vorhanden und mit dem Bus 302 zum Speichern von Informationen und Anweisungen gekoppelt.
• In einer Ausführungsform ist das Computersystem 300 über den Bus 302 an eine Anzeige 312 gekoppelt, beispielsweise eine Kathodenstrahlröhre (CRT), eine Flüssigkristallanzeige (LCD), eine Plasmaanzeige, eine Leuchtdioden- (LED) Anzeige oder eine organische Leuchtdiodenanzeige (OLED), um Informationen für einen Computernutzer anzuzeigen. Eine Eingabeeinrichtung 314, die alphanumerische und andere Tasten umfasst, ist mit dem Bus 302 gekoppelt, um Informationen und Befehlsauswahlen an den Prozessor 304 zu kommunizieren. Eine andere Art von Nutzereingabeneinrichtung ist eine Cursor-Steuereinheit 316, beispielsweise eine Maus, ein Trackball, eine Anzeige mit Berührungsfunktion, oder Cursor-Richtungstasten zum Kommunizieren von Richtungsinformationen und Befehlsauswahlen an den Prozessor 304 und zum Steuern von Cursor-Bewegungen auf der Anzeige 312. Diese Eingabeeinrichtung verfügt typischerweise über zwei Freiheitsgrade in zwei Achsen, einer ersten Achse (z.B. x-Achse) und einer zweiten Achse (z.B. y-Achse), mit denen die Einrichtung Positionen in einer Ebene festlegen kann.
• Gemäß einer Ausführungsform werden die vorliegenden Methoden durch ein Computersystem 300 in Reaktion darauf durchgeführt, dass der Prozessor 304 eine oder mehrere Abfolgen aus einer oder mehreren im Hauptspeicher 306 enthaltenen Anweisungen ausführt. Solche Anweisungen werden von einem anderen Speichermedium, beispielsweise der Speichereinrichtung 310, in den Hauptspeicher 306 gelesen. Die Ausführung der im Hauptspeicher 306 enthaltenen Abfolgen von Anweisungen bewirkt, dass der Prozessor 304 die vorliegend beschriebenen Prozessschritte durchführt. In alternativen Ausführungsformen wird anstelle von oder in Kombination mit Softwareanweisungen festverdrahtete Schalttechnik verwendet.
• Die Bezeichnung „Speichermedien“ bezeichnet vorliegend alle nicht transienten Medien, die Daten und/oder Anweisungen speichern, die eine Maschine veranlassen, auf eine bestimmte Weise zu arbeiten. Zu solchen Speichermedien zählen nichtflüchtige Medien und/oder flüchtige Medien. Zu nichtflüchtigen Medien zählen beispielsweise optische Platten, Magnetplatten, Solid-State-Speicher oder dreidimensionaler Kreuzpunktspeicher, beispielsweise die Speichereinrichtung 310. Zu flüchtigen Medien zählt dynamischer Speicher, beispielsweise der Hauptspeicher 306. Zu gängigen Formen von Speichermedien zählen beispielsweise eine Diskette, eine flexible Platte, eine Festplatte, ein Solid-State-Speicher, ein Magnetband oder jedes andere magnetische Datenspeichermedium, eine CD-ROM, jedes andere optische Datenspeichermedium, jedes physikalische Medium mit Lochmustern, ein RAM, ein PROM und EPROM, ein FLASH-EPROM, NV-RAM oder jeder andere Speicherchip oder jede andere Speicherkassette.
• Speichermedien unterscheiden sich von Übertragungsmedien, können jedoch mit diesen zusammen verwendet werden. Übertragungsmedien sind an der Übertragung von Informationen zwischen Speichermedien beteiligt. Beispielsweise umfassen Übertragungsmedien Koaxialkabel, Kupferdraht und Glasfaser, darunter auch die Drähte, die im Bus 302 umfasst sind. Die Übertragungsmedien können auch die Form von Schall- oder Lichtwellen haben, wie sie z.B. bei der Funkwellen- und Infrarot-Datenkommunikation entstehen.
• In einer Ausführungsform sind verschiedene Formen von Medien am Transport einer oder mehrerer Abfolgen aus einer oder mehreren Anweisungen an den Prozessor 304 zur Ausführung beteiligt. Beispielsweise sind die Anweisungen zunächst auf einem Magnetplattenlaufwerk oder Solid-State-Speicher eines entfernten Computers enthalten. Der entfernte Computer lädt die Anweisungen in seinen dynamischen Speicher und sendet die Anweisungen über eine Telefonleitung mittels eines Modems. Ein am Ort des Computersystems 300 befindliches Modem empfängt die Daten über die Telefonleitung und verwendet einen Infrarotsender, um die Daten in ein Infrarotsignal umzuwandeln. Ein Infrarotdetektor empfängt die in dem Infrarotsignal enthaltenen Daten, und geeignete Schalttechnik legt die Daten auf den Bus 302. Der Bus 302 transportiert die Daten zum Hauptspeicher 306, aus dem der Prozessor 304 die Anweisungen abruft, um diese auszuführen. Die durch den Hauptspeicher 306 empfangenen Anweisungen können wahlweise entweder vor oder nach der Ausführung durch den Prozessor 304 in der Speichereinrichtung 310 gespeichert werden.
• Das Computersystem 300 umfasst zudem eine mit dem Bus 302 gekoppelte Kommunikationsschnittstelle 318. Die Kommunikationsschnittstelle 318 stellt eine Zwei-Wege-Datenkommunikationskopplung mit einer Netzwerkverbindung 320 bereit, die mit einem lokalen Netzwerk 322 verbunden ist. Bei der Kommunikationsschnittstelle 318 handelt es sich beispielsweise um eine ISDN-Karte (Integrated Service Digital Network), ein Kabelmodem, ein Satellitenmodem oder ein Modem zur Bereitstellung einer Datenkommunikationsverbindung mit einer entsprechenden Art von Telefonleitung. Als weiteres Beispiel handelt es sich bei der Kommunikationsschnittstelle 318 um eine LAN-Karte (Local Area Network) zum Bereitstellen einer Datenkommunikationsverbindung mit einem kompatiblen LAN. In einigen Implementierungen werden zudem drahtlose Verbindungen umgesetzt. In jeder dieser Implementierungen sendet und empfängt die Kommunikationsschnittstelle 318 elektrische, elektromagnetische oder optische Signale, die digitale Datenströme enthalten, die verschiedene Arten von Informationen repräsentieren.
• Die Netzwerkverbindung 320 stellt üblicherweise Datenkommunikation durch ein oder mehrere Netzwerke an andere Dateneinrichtungen bereit. Beispielsweise bietet die Netzwerkverbindung 320 eine Verbindung über das lokale Netzwerk 322 zu einem Host-Computer 324 oder zu einem Cloud-Datenzentrum oder zu Geräten, die von einem Internet-Dienstanbieter (ISP, Internet Service Provider) 326 betrieben werden. Der ISP 326 stellt seinerseits Datenkommunikationsdienste durch das weltweite Paketdaten-Kommunikationsnetzwerk bereit, das heute gemeinhin als das „Internet“ 328 bezeichnet wird. Sowohl das lokale Netzwerk 322 als auch das Internet 328 nutzen elektrische, elektromagnetische oder optische Signale, die digitale Datenströme enthalten. Bei den Signalen durch die verschiedenen Netzwerke und den Signalen über die Netzwerkverbindung 320 und durch die Kommunikationsschnittstelle 318, welche die digitalen Daten an das und von dem Computersystem 300 enthalten, handelt es sich um beispielhafte Formen von Übertragungsmedien. In einer Ausführungsform enthält das Netzwerk 320 die Cloud 202 oder einen Teil der Cloud 202 wie vorstehend beschrieben.
• Das Computersystem 300 sendet Nachrichten und empfängt Daten, darunter Programmcode, durch das oder die Netzwerke, die Netzwerkverbindung 320 und die Kommunikationsschnittstelle 318. In einer Ausführungsform empfängt das Computersystem 300 Code zur Verarbeitung. Der empfangene Code wird bei Empfang durch den Prozessor 304 ausgeführt und/oder in der Speichereinrichtung 310 oder einem anderen nichtflüchtigen Speicher zur späteren Ausführung gespeichert.
• Architektur des autonomen Fahrzeugs
• 4 zeigt eine beispielhafte Architektur 400 für ein autonomes Fahrzeug (z.B. das in 1 gezeigte AV 100). Die Architektur 400 umfasst ein Wahrnehmungsmodul 402 (manchmal bezeichnet als Wahrnehmungsschaltung), ein Planungsmodul 404 (manchmal bezeichnet als Planungsschaltung), ein Steuermodul 406 (manchmal bezeichnet als Steuerschaltung), ein Lokalisierungsmodul 408 (manchmal bezeichnet als Lokalisierungsschaltung) und ein Datenbankmodul 410 (manchmal bezeichnet als Datenbankschaltung). Jedes Modul spielt eine Rolle im Betrieb des AV 100. Zusammen können die Module 402, 404, 406, 408 und 410 Teil des in 1 gezeigten AV-Systems 120 sein. In einigen Ausführungsformen handelt es sich bei jedem der Module 402, 404, 406, 408 und 410 um eine Kombination aus Computersoftware (z.B. auf einem computerlesbaren Medium gespeichertem ausführbarem Code) und Computerhardware (z.B. einem oder mehreren Mikroprozessoren, Mikrocontrollern, anwendungsspezifischen integrierten Schaltungen [ASICs], Hardware-Speichereinrichtungen, anderen Arten integrierter Schaltungen, anderen Arten von Computerhardware oder einer Kombination beliebiger oder aller dieser Dinge). Jedes der Module 402, 404, 406, 408 und 410 wird manchmal als Verarbeitungsschaltung (z.B. Computerhardware, Computersoftware oder eine Kombination der beiden) bezeichnet. Eine Kombination aus beliebigen oder allen diesen Modulen 402, 404, 406, 408 und 410 ist ebenfalls ein Beispiel für eine Verarbeitungsschaltung.
• Im Betrieb empfängt das Planungsmodul 404 Daten, die einen Zielort 412 repräsentieren, und bestimmt Daten, die eine Trajektorie 414 (manchmal als Route bezeichnet) repräsentieren, die von dem AV 100 befahren werden kann, um den Zielort 412 zu erreichen (z.B. dort anzukommen). Damit das Planungsmodul 404 die die Trajektorie 414 repräsentierenden Daten bestimmen kann, empfängt das Planungsmodul 404 Daten vom Wahrnehmungsmodul 402, dem Lokalisierungsmodul 408 und dem Datenbankmodul 410.
• Das Wahrnehmungsmodul 402 identifiziert in der Nähe befindliche physische Objekte mittels eines oder mehrerer Sensoren 121, wie z.B. auch in 1 gezeigt. Die Objekte werden klassifiziert (z.B. in Typen wie beispielsweise Fußgänger, Fahrrad, Automobil, Verkehrszeichen usw. gruppiert), und eine die klassifizierten Objekte 416 umfassende Szenenbeschreibung wird dem Planungsmodul 404 bereitgestellt.
• Das Planungsmodul 404 empfängt zudem die Position 418 des AV repräsentierende Daten vom Lokalisierungsmodul 408. Das Lokalisierungsmodul 408 bestimmt die AV-Position, indem es Daten von den Sensoren 121 und Daten aus dem Datenbankmodul 410 (z.B. geografische Daten) verwendet, um eine Position zu berechnen. Beispielsweise verwendet das Lokalisierungsmodul 408 Daten von einem GNSS- (Global Navigation Satellite System) Sensor und geografische Daten, um einen Längen- und einen Breitengrad des AV zu berechnen. In einer Ausführungsform umfassen die vom Lokalisierungsmodul 408 verwendeten Daten hochpräzise Karten der geometrischen Eigenschaften der Fahrbahn, Karten, die die Verbindungseigenschaften des Straßennetzes beschreiben, Karten, die die physikalischen Eigenschaften der Fahrbahn beschreiben (z. B. Verkehrsgeschwindigkeit, Verkehrsaufkommen, Anzahl der Fahrspuren für den Auto- und Radverkehr, Fahrspurbreite, Fahrspurrichtungen oder Fahrspurmarkierungstypen und -orte oder Kombinationen davon), sowie Karten, die die räumliche Lage von Straßenmerkmalen wie Fußgängerüberwegen, Verkehrsschildern oder anderen Verkehrssignalen verschiedener Arten beschreiben. In einer Ausführungsform werden die hochpräzisen Karten durch Hinzufügen von Daten durch automatische oder manuelle Annotation zu Karten mit niedriger Präzision erstellt.
• Das Steuermodul 406 empfängt die die Trajektorie 414 repräsentierenden Daten und die die AV-Position 418 repräsentierenden Daten und betreibt die Steuerfunktionen 420a-c (z.B. Lenkung, Drosselung, Bremsen, Zündung) des AV so, dass das AV 100 die Trajektorie 414 bis zum Zielort 412 abfährt. Wenn z.B. die Trajektorie 414 eine Linkskurve umfasst, steuert das Steuermodul 406 die Steuerfunktionen 420a-c so, dass der Lenkwinkel der Lenkfunktion das AV 100 zum Linksabbiegen veranlasst und die Drosselung und Bremsung das AV 100 veranlasst, anzuhalten und auf vorbeifahrende Fußgänger oder Fahrzeuge zu warten, bevor die Kurve genommen wird.
• Eingaben an das autonome Fahrzeug
• 5 zeigt ein Beispiel für Eingänge 502a-d (z.B. die in 1 gezeigten Sensoren) und Ausgänge 504a-d (z.B. Sensordaten), die vom Wahrnehmungsmodul 402 verwendet werden (4). Bei einem Eingang 502a handelt es sich um ein LiDAR- (Light Detection and Ranging) System (z.B. das in 1 gezeigte LiDAR 123). LiDAR ist eine Technologie, die Licht (z.B. Lichtblitze wie beispielsweise Infrarotlicht) verwendet, um Daten über physische Objekte in ihrer Sichtlinie zu erhalten. Ein LiDAR-System produziert LiDAR-Daten als Ausgang 504a. LiDAR-Daten sind beispielsweise Sammlungen von 3D- oder 2D-Punkten (auch als Punktwolken bekannt), die zur Konstruktion einer Darstellung der Umgebung 190 verwendet werden.
• Bei einem weiteren Eingang 502b handelt es sich um ein RADAR-System. RADAR ist eine Technologie, die Radiowellen verwendet, um Daten über in der Nähe befindliche physische Objekte zu erhalten. RADAR kann Daten über Objekte gewinnen, die sich nicht in der Sichtlinie eines LiDAR-Systems befinden. Ein RADAR-System 502b produziert RADAR-Daten als Ausgang 504b. RADAR-Daten sind beispielsweise ein oder mehrere elektromagnetische Hochfrequenzsignale, die verwendet weden, um eine Darstellung der Umgebung 190 zu konstruieren.
• Bei einem weiteren Eingang 502c handelt es sich um ein Kamerasystem. Ein Kamerasystem verwendet eine oder mehrere Kameras (z.B. Digitalkameras, die einen Lichtsensor wie beispielsweise eine ladungsgekoppelte Einrichtung [CCD, charge-coupled device] verwenden), um Informationen über in der Nähe befindliche physische Objekte zu erhalten. Ein Kamerasystem produziert Kameradaten als Ausgang 504c. Kameradaten haben häufig die Form von Bilddaten (z.B. Daten in einem Bilddatenformat wie beispielsweise RAW, JPEG, PNG usw.). In einigen Beispielen verfügt das Kamerasystem über mehrere unabhängige Kameras, z.B. für Stereopsis (räumliches Sehen), welche dem Kamerasystem Tiefenwahrnehmung ermöglicht. Auch wenn die durch das Kamerasystem wahrgenommenen Objekte hier als „nahe“ beschrieben werden, ist dies für das AV relativ. Im Betrieb kann das Kamerasystem so ausgelegt sein, dass es Objekte „sieht“, die weit weg sind und z.B. bis zu einem Kilometer oder mehr vor dem AV liegen. Entsprechend kann das Kamerasystem über Merkmale wie beispielsweise Sensoren und Linsen verfügen, die für die Wahrnehmung weit entfernter Objekte optimiert sind.
• Bei einem weiteren Eingang 502d handelt es sich um ein System für Verkehrsampelerkennung (TLD, traffic light detection). Ein TLD-System verwendet eine oder mehrere Kameras, um Informationen über Verkehrsampeln, Straßenschilder und andere physische Objekte zu erhalten, die optische Navigationsinformationen liefern. Ein TLD-System produziert TLD-Daten als Ausgang 504d. TLD-Daten haben häufig die Form von Bilddaten (z.B. Daten in einem Bilddatenformat wie beispielsweise RAW, JPEG, PNG usw.). Ein TLD-System unterscheidet sich von einem System mit einer Kamera dadurch, dass bei einem TLD-System eine Kamera mit weitem Sichtfeld (z.B. mit einem Weitwinkelobjektiv oder einem Fischaugenobjektiv) verwendet wird, um Informationen über möglichst viele physische Objekte zu erhalten, die optische Navigationsinformationen liefern, so dass das AV 100 Zugriff auf alle relevanten Navigationsinformationen hat, die von diesen Objekten geliefert werden. Beispielsweise kann der Sichtwinkel des TLD-Systems etwa 120 Grad oder mehr betragen.
• In einigen Ausführungsformen werden die Ausgänge 504a-d mit Hilfe einer Sensorfusionstechnik kombiniert. Somit werden entweder die einzelnen Ausgänge 504a-d anderen Systemen des AV 100 zur Verfügung gestellt (z.B. einem Planungsmodul 404 wie in 4 gezeigt), oder der kombinierte Ausgang kann den anderen Systemen zur Verfügung gestellt werden, entweder in Form eines einzigen kombinierten Ausgangs oder mehrerer kombinierter Ausgänge desselben Typs (z.B. mittels derselben Kombinationstechnik oder durch Kombination derselben Ausgänge oder beides) oder unterschiedlicher Typen (z.B. mittels jeweils unterschiedlicher Kombinationstechniken oder durch Kombination jeweils unterschiedlicher Ausgänge oder beides). In einigen Ausführungsformen wird eine Frühfusionstechnik verwendet. Eine Frühfusionstechnik ist gekennzeichnet durch das Kombinieren von Ausgängen, bevor ein oder mehrere Datenverarbeitungsschritte auf den kombinierten Ausgang angewendet werden. In einigen Ausführungsformen wird eine Spätfusionstechnik verwendet. Eine Spätfusionstechnik ist gekennzeichnet durch das Kombinieren von Ausgängen, nachdem ein oder mehrere Datenverarbeitungsschritte auf den kombinierten Ausgang angewendet wurden.
• 6 zeigt ein Beispiel eines LiDAR-Systems 602 (z.B. den in 5 gezeigten Eingang 502a). Das LiDAR-System 602 emittiert Licht 604a-c aus einem Lichtstrahler 606 (z.B. einem Lasersender). Von einem LiDAR-System emittiertes Licht liegt üblicherweise nicht im sichtbaren Spektrum, beispielsweise wird häufig Infrarotlicht verwendet. Ein Teil des emittierten Lichts 604b trifft auf ein physisches Objekt 608 (z.B. ein Fahrzeug) und reflektiert zurück zum LiDAR-System 602. (Von einem LiDAR-System emittiertes Licht durchdringt üblicherweise keine physischen Objekte, z.B. physische Objekte in fester Form). Das LiDAR-System 602 verfügt zudem über einen oder mehrere Lichtdetektoren 610, die das reflektierte Licht erfassen. In einer Ausführungsform erzeugen ein oder mehrere dem LiDAR-System zugehörige Datenverarbeitungssysteme ein Bild 612, welches das Sichtfeld 614 des LiDAR-Systems darstellt. Das Bild 612 umfasst Informationen, die die Begrenzungen 616 eines physischen Objekts 608 darstellen. Auf diese Weise wird das Bild 612 verwendet, um die Begrenzungen 616 eines oder mehrerer physischer Objekte in der Nähe eines AV zu bestimmen.
• 7 zeigt das LiDAR-System 602 im Betrieb. In dem in dieser Figur gezeigten Szenario empfängt das AV 100 sowohl den Kamerasystemausgang 504c in Form eines Bilds 702 als auch den LiDAR-Systemausgang 504a in Form von LiDAR-Datenpunkten 704. Im Betrieb vergleichen die Datenverarbeitungssysteme des AV 100 das Bild 702 mit den Datenpunkten 704. Insbesondere wird ein im Bild 702 identifiziertes physisches Objekt 706 auch unter den Datenpunkten 704 identifiziert. Auf diese Weise nimmt das AV 100 die Begrenzungen des physischen Objekts auf Grundlage der Kontur und Dichte der Datenpunkte 704 wahr.
• 8 zeigt weitere Einzelheiten des Betriebs des LiDAR-Systems 602. Wie vorstehend beschrieben, erfasst das AV 100 die Begrenzung eines physischen Objekts auf Grundlage von Eigenschaften der durch das LiDAR-System 602 erfassten Datenpunkte. Wie in 8 gezeigt, reflektiert ein flaches Objekt wie beispielsweise der Boden 802 von einem LiDAR-System 602 emittiertes Licht 804a-d in konsistenter Weise. Anders ausgedrückt, da das LiDAR-System 602 Licht unter Verwendung konsistenter Abstände emittiert, reflektiert der Boden 802 Licht mit den gleichen konsistenten Abständen zurück zum LiDAR-System 602. Während sich das AV 100 über den Boden 802 bewegt, erfasst das LiDAR-System 602 weiter Licht, das vom nächsten gültigen Bodenpunkt 806 reflektiert wird, sofern nichts die Straße behindert. Wenn jedoch ein Objekt 808 die Straße behindert, wird das vom LiDAR-System 602 emittierte Licht 804e-f von den Punkten 810a-b in einer Weise reflektiert, die nicht mit der erwarteten konsistenten Weise übereinstimmt. Aus diesen Informationen kann das AV 100 bestimmen, dass das Objekt 808 vorhanden ist.
• Wegplanung
• 9 zeigt ein Blockdiagramm 900 der Beziehungen zwischen Eingängen und Ausgängen eines Planungsmoduls 404 (z.B. wie in 4 gezeigt). Grundsätzlich handelt es sich beim Ausgang eines Planungsmoduls 404 um eine Route 902 von einem Startpunkt 904 (z.B. einem Ausgangspunkt oder Anfangspunkt) bis zu einem Endpunkt 906 (z.B. Zielort oder Endort). Die Route 902 wird üblicherweise durch ein oder mehrere Teilstücke definiert. Ein Teilstück ist beispielsweise eine Strecke, die über zumindest einen Abschnitt einer Straße, Fahrbahn, Autobahn, Durchfahrt oder eines anderen für den Autoverkehr geeigneten physischen Bereichs zurückgelegt werden muss. In einigen Beispielen, z.B. wenn das AV 100 ein geländegängiges Fahrzeug wie ein allradgetriebener (4WD-) oder allradgetriebener (AWD-) PKW, SUV, Pick-up oder dergleichen ist, umfasst die Route 902 „Gelände“-Abschnitte wie unbefestigte Wege oder offene Felder.
• Zusätzlich zur Route 902 gibt ein Planungsmodul zudem Routenplanungsdaten 908 auf Fahrspurebene aus. Die Routenplanungsdaten 908 auf Fahrspurebene werden verwendet, um Teilstücke der Route 902 auf Grundlage von Bedingungen des Teilstücks zu einer bestimmten Zeit zu durchlaufen. Falls beispielsweise die Route 902 eine mehrspurige Autobahn umfasst, umfassen die Routenplanungsdaten 908 auf Fahrspurebene Trajektorieplanungsdaten 910, die das AV 100 verwenden kann, um unter den mehreren Fahrspuren eine Fahrspur auszuwählen, z.B. danach, ob sich eine Ausfahrt nähert, ob eine oder mehrere der Spuren von anderen Fahrzeugen befahren werden, oder anderen Faktoren, die sich im Verlauf weniger Minuten oder weniger ändern. Ebenso umfassen in einigen Implementierungen die Routenplanungsdaten 908 auf Fahrspurebene Geschwindigkeitseinschränkungen 912, die für ein Teilstück der Route 902 spezifisch sind. Falls beispielsweise das Teilstück Fußgänger oder unerwarteten Verkehr aufweist, können die Geschwindigkeitseinschränkungen 912 das AV 100 auf eine Reisegeschwindigkeit einschränken, die langsamer ist als eine erwartete Geschwindigkeit, z.B. eine auf Geschwindigkeitsbegrenzungsdaten für das Teilstück basierende Geschwindigkeit.
• In einer Ausführungsform umfassen die Eingänge in das Planungsmodul 404 Datenbankdaten 914 (z.B. von dem in 4 gezeigten Datenbankmodul 410), aktuelle Standortdaten 916 (z.B. die in 4 gezeigte AV-Position 418), Zielortdaten 918 (z.B. für den in 4 gezeigten Zielort 412) und Objektdaten 920 (z.B. die durch das Wahrnehmungsmodul 402 wahrgenommenen klassifizierten Objekte 416 wie in 4 gezeigt). In einigen Ausführungsformen umfassen die Datenbankdaten 914 bei der Planung verwendete Regeln. Die Regeln sind mittels einer formalen Sprache festgelegt, z.B. mittels Boolescher Logik. In jeder Situation, in der sich das AV 100 befindet, sind zumindest einige der Regeln auf die Situation anwendbar. Eine Regel ist auf eine gegebene Situation anwendbar, falls die Regel Bedingungen aufweist, die auf Grundlage für das AV 100 verfügbarer Informationen, z.B. Informationen über die Umgebung, erfüllt sind. Regeln können Priorität haben. Beispielsweise kann eine Regel, die besagt „falls es sich bei der Straße um eine Autobahn handelt, auf die ganz linke Fahrspur wechseln“, eine niedrigere Priorität besitzen als „falls die Ausfahrt noch weniger als eine Meile entfernt ist, auf die ganz rechte Fahrspur wechseln“.
• 10 zeigt einen gerichteten Graphen 1000, der für Wegplanung verwendet wird, z.B. vom Planungsmodul 404 (4). Grundsätzlich wird ein gerichteter Graph 1000 wie der in 10 gezeigte verwendet, um einen Weg zwischen einem Startpunkt 1002 und einem Endpunkt 1004 zu bestimmen. In der Praxis kann die Entfernung zwischen dem Startpunkt 1002 und dem Endpunkt 1004 relativ groß (z.B. in zwei verschiedenen Ballungsgebieten) oder relativ klein sein (z.B. zwei Kreuzungen, die an einen Stadtblock angrenzen oder zwei Fahrspuren einer mehrspurigen Straße).
• In einer Ausführungsform weist ein gerichteter Graph 1000 Knoten 1006a-d auf, die verschiedene Standorte zwischen dem Startpunkt 1002 und dem Endpunkt 1004 repräsentieren, die ein AV 100 einnehmen könnte. In einigen Beispielen, z.B. wenn der Startpunkt 1002 und der Endpunkt 1004 verschiedene Ballungsgebiete repräsentieren, repräsentieren die Knoten 1006a-d Teilstücke von Straßen. In einigen Beispielen, z.B. wenn der Startpunkt 1002 und der Endpunkt 1004 verschiedene Standorte auf der gleichen Straße repräsentieren, repräsentieren die Knoten 1006a-d verschiedene Positionen auf dieser Straße. Auf diese Weise umfasst der gerichtete Graph 1000 Informationen unterschiedlicher Granularität. In einer Ausführungsform ist ein gerichteter Graph mit hoher Granularität gleichzeitig ein Teilgraph eines anderen gerichteten Graphen mit größerem Maßstab. Zum Beispiel hat ein gerichteter Graph, bei dem der Startpunkt 1002 und der Endpunkt 1004 weit entfernt sind (z.B. viele Meilen voneinander entfernt), die meisten seiner Informationen in einer niedrigen Granularität und basiert auf gespeicherten Daten, enthält aber auch einige Informationen mit hoher Granularität für den Teil des Graphen, der physische Orte im Sichtfeld des AV 100 darstellt.
• Die Knoten 1006a-d unterscheiden sich von Objekten 1008a-b, die sich nicht mit einem Knoten überlappen können. In einer Ausführungsform repräsentieren bei niedriger Granularität die Objekte 1008a-b Regionen, die nicht mit einem Auto befahrbar sind, z.B. Bereiche, die keine Straßen oder Verkehrswege aufweisen. Bei hoher Granularität repräsentieren die Objekte 1008a-b physische Objekte im Sichtfeld des AV 100, z.B. andere Autos, Fußgänger oder andere Objekte, mit denen sich das AV 100 nicht den gleichen physischen Raum teilen kann. In einer Ausführungsform sind einige oder alle der Objekte 1008a-b statische Objekte (z.B. ein Objekt, das seine Position nicht ändert, wie eine Straßenlaterne oder ein Strommast) oder dynamische Objekte (z.B. ein Objekt, das seine Position ändern kann, wie ein Fußgänger oder ein anderes Auto).
• Die Knoten 1006a-d sind durch Kanten 1010a-c verbunden. Wenn zwei Knoten 1006a-b durch eine Kante 1010a verbunden sind, ist es möglich, dass ein AV 100 zwischen dem einen Knoten 1006a und dem anderen Knoten 1006b hin- und herfahren kann, z.B. ohne zu einem Zwischenknoten fahren zu müssen, bevor er am anderen Knoten 1006b ankommt. (Wenn gesagt wird, dass sich ein AV 100 zwischen Knoten bewegt, ist damit gemeint, dass sich das AV 100 zwischen den beiden physischen Positionen bewegt, die durch die jeweiligen Knoten repräsentiert werden.) Die Kanten 1010a-c sind häufig insofern bidirektional, als sich ein AV 100 von einem ersten Knoten zu einem zweiten Knoten oder von dem zweiten Knoten zum ersten Knoten bewegt. In einer Ausführungsform sind die Kanten 1010a-c insofern unidirektional, als sich ein AV 100 von einem ersten Knoten zu einem zweiten Knoten, jedoch nicht von dem zweiten Knoten zum ersten Knoten bewegen kann. Kanten 1010a-c sind unidirektional, wenn sie beispielsweise Einbahnstraßen, einzelne Fahrspuren einer Straße, Fahrbahn oder Autobahn oder andere Merkmale repräsentieren, die aufgrund gesetzlicher oder physischer Einschränkungen nur in einer Richtung befahren werden können.
• In einer Ausführungsform verwendet das Planungsmodul 404 den gerichteten Graphen 1000, um einen aus Knoten und Kanten gebildeten Weg 1012 zwischen dem Startpunkt 1002 und Endpunkt 1004 zu identifizieren.
• Eine Kante 1010a-c weist zugehörige Kosten 1014a-b auf. Bei den Kosten 1014a-b handelt es sich um einen Wert, der die Ressourcen repräsentiert, die aufgewendet werden, wenn das AV 100 diese Kante wählt. Eine typische Ressource ist Zeit. Wenn beispielsweise eine Kante 1010a eine physische Entfernung repräsentiert, die das Zweifache einer anderen Kante 1010b beträgt, dann können die zugehörigen Kosten 1014a der ersten Kante 1010a das Zweifache der zugehörigen Kotsen 1014b der zweiten Kante 1010b betragen. Zu anderen Faktoren, die die Zeit beeinflussen, zählen der erwartete Verkehr, die Anzahl an Kreuzungen, Geschwindigkeitsbegrenzung usw. Eine weitere typische Ressource ist Kraftstoffökonomie. Zwei Kanten 1010a-b können die gleiche physische Entfernung repräsentieren, jedoch kann eine Kante 1010a mehr Kraftstoff erfordern als eine andere Kante 1010b, z.B. aufgrund von Straßenbedingungen, erwarteter Wetterlage usw.
• Wenn das Planungsmodul 404 einen Weg 1012 zwischen dem Startpunkt 1002 und dem Endpunkt 1004 identifiziert, wählt das Planungsmodul 404 üblicherweise einen kostenoptimierten Weg, z.B. den Weg mit den geringsten Gesamtkosten, wenn die einzelnen Kosten der Kanten zusammenaddiert werden.
• Steuerung des autonomen Fahrzeugs
• 11 zeigt ein Blockdiagramm 1100 der Eingänge und Ausgänge eines Steuermoduls 406 (z.B. wie in 4 gezeigt). Ein Steuermodul arbeitet in Übereinstimmung mit einer Steuereinheit 1102, die beispielsweise einen oder mehrere Prozessoren (z.B. einen oder mehrere Computerprozessoren wie Mikroprozessoren oder Mikrocontroller oder beides) ähnlich dem Prozessor 304, Kurzzeit- und/oder Langzeit-Datenspeicherung (z.B. Direktzugriffsspeicher oder Flashspeicher oder beides) ähnlich dem Hauptspeicher 306, ROM 1308 und eine Speichereinrichtung 210 und im Speicher gespeicherte Anweisungen umfasst, die Arbeitsschritte der Steuereinheit 1102 ausführen, wenn die Anweisungen ausgeführt werden (z.B. durch den einen oder die mehreren Prozessoren).
• In einer Ausführungsform empfängt die Steuereinheit 1102 Daten, die einen gewünschten Ausgang 1104 repräsentieren. Der gewünschte Ausgang 1104 umfasst üblicherweise eine Geschwindigkeit, z.B. eine Fortbewegungsgeschwindigkeit und eine Fahrtrichtung. Der gewünschte Ausgang 1104 kann beispielsweise auf von einem Planungsmodul 404 (z.B. wie in 4 gezeigt) empfangenen Daten basieren. Gemäß dem gewünschten Ausgang 1104 produziert die Steuereinheit 1102 Daten, die als Drosseleingang 1106 und Lenkeingang 1108 verwendbar sind. Der Drosseleingang 1106 stellt das Ausmaß dar, in dem die Drossel (z.B. Beschleunigungsregelung) eines AV 100 zu betätigen ist, z.B. durch Betätigen des Lenkpedals oder durch Betätigen einer anderen Drosselsteuerung, um den gewünschten Ausgang 1104 zu erhalten. In einigen Beispielen umfasst der Drosseleingang 1106 zudem Daten, die zum Betätigen der Bremse (z.B. Bremsregelung) des AV 100 verwendbar sind. Der Lenkeingang 1108 repräsentiert einen Lenkwinkel, z.B. den Winkel, in dem die Lenksteuerung (z.B. Lenkrad, Lenkwinkelstellglied oder eine andere Funktion zur Steuerung des Lenkwinkels) des AV positioniert werden sollte, um den gewünschten Ausgang 1104 zu erhalten.
• In einer Ausführungsform empfängt die Steuereinheit 1102 Rückmeldungen, die beim Anpassen der an die Drossel und die Lenkung bereitgestellten Eingänge verwendet wird. Wenn das AV 100 z.B. auf eine Störung 1110 stößt, wie z.B. einen Hügel, wird die gemessene Geschwindigkeit 1112 des AV 100 unter die gewünschte Ausgangsgeschwindigkeit abgesenkt. In einer Ausführungsform wird jeder gemessene Ausgang 1114 der Steuereinheit 1102 bereitgestellt, damit die nötigen Anpassungen vorgenommen werden, z.B. auf Grundlage der Differenz 1113 zwischen der gemessenen Geschwindigkeit und dem gewünschten Ausgang. Der gemessene Ausgang 1114 umfasst gemessene Position 1116, gemessene Geschwindigkeit 1118 (umfassend Fortbewegungsgeschwindigkeit und Fahrtrichtung), gemessene Beschleunigung 1120 und andere durch die Sensoren des AV 100 messbare Ausgänge.
• In einer Ausführungsform werden Informationen über die Störung 1110 vorab erfasst, z.B. durch einen Sensor wie eine Kamera oder einen LiDAR-Sensor, und einem prädiktiven Rückmeldungsmodul 1122 bereitgestellt. Das prädiktive Rückmeldungsmodul 1122 stellt der Steuereinheit 1102 dann Informationen bereit, die die Steuereinheit 1102 verwenden kann, um entsprechende Anpassungen vorzunehmen. Falls beispielsweise die Sensoren des AV 100 einen Hügel erfassen („sehen“), kann diese Information von der Steuereinheit 1102 verwendet werden, um den Einsatz der Drossel zum geeigneten Zeitpunkt vorzubereiten, um ein deutliches Abbremsen zu vermeiden.
• 12 zeigt ein Blockdiagramm 1200 der Eingänge, Ausgänge und Komponenten der Steuereinheit 1102. Die Steuereinheit 1102 verfügt über eine Geschwindigkeitsprofileinheit 1202, die den Betrieb einer Drossel-/Bremssteuereinheit 1204 beeinflusst. Beispielsweise instruiert die Geschwindigkeitsprofileinheit 1202 die Drossel-/Bremssteuereinheit 1204 abhängig von z.B. Rückmeldungen, die durch die Steuereinheit 1102 empfangen und durch die Geschwindigkeitsprofileinheit 1202 verarbeitet werden, Beschleunigung oder Abbremsen mittels der Drossel/Bremse 1206 durchzuführen.
• Die Steuereinheit 1102 verfügt zudem über eine seitliche Spurfiihrungssteuereinheit 1208, die den Betrieb einer Lenksteuereinheit 1210 beeinflusst. Beispielsweise instruiert die seitliche Spurführungssteuereinheit 1208 die Lenksteuereinheit 1210 abhängig von z.B. Rückmeldungen, die durch die Steuereinheit 1102 empfangen und durch die seitliche Spurführungssteuereinheit 1208 verarbeitet werden, die Position des Lenkwinkelstellglieds 1212 anzupassen.
• Die Steuereinheit 1102 empfängt verschiedene Eingänge, die verwendet werden, um zu bestimmen, wie die Drossel/Bremse 1206 und das Lenkwinkelstellglied 1212 gesteuert werden sollen. Ein Planungsmodul 404 stellt Informationen bereit, die beispielsweise von der Steuereinheit 1102 verwendet werden, um eine Fahrtrichtung zu wählen, wenn das AV 100 den Betrieb aufnimmt, und um zu bestimmen, welches Straßenteilstück zu befahren ist, wenn das AV 100 eine Kreuzung erreicht. Ein Lokalisierungsmodul 408 stellt der Steuereinheit 1102 Informationen bereit, die den aktuellen Standort des AV 100 beschreiben, damit beispielsweise die Steuereinheit 1102 bestimmen kann, ob sich das AV 100 auf Grundlage der Art und Weise, in der die Drossel/Bremse 1206 und das Lenkwinkelstellglied 1212 gesteuert werden, an einem erwarteten Standort befindet. In einer Ausführungsform empfängt die Steuereinheit 1102 Informationen aus anderen Eingängen 1214, z.B. Informationen, die von Datenbanken, Computernetzwerken usw. empfangen werden.
• Schlussfolgern eines Zustands einer Verkehrsampel unter Verwendung von Entfernungssensoren
• 13 zeigt eine schematische Darstellung einer Kreuzung 1300, die durch ein Verkehrssignal 1318 gesteuert wird. Die Kreuzung 1300 wird durch mehrere befahrbare Regionen gebildet. Eine erste befahrbare Region umfasst Straßenblöcke 1302 und 1316 südlich des Verkehrssignals 1318. Eine zweite befahrbare Region umfasst Straßenblöcke 1304 und 1306 östlich des Verkehrssignals 1318. Eine dritte befahrbare Region umfasst Straßenblöcke 1308 und 1310 nördlich des Verkehrssignals 1318. Eine vierte befahrbare Region umfasst Straßenblöcke 1312 und 1314 westlich des Verkehrssignals 1318. In der Beispielkreuzung 1300 umfasst jeder Straßenblock zwei Fahrspuren (getrennt durch eine gestrichelte Linie), auf denen ein Fahrzeug fahren kann. Benachbarte Straßenblöcke auf der gleichen Seite des Verkehrssignals 1318 sind durch einen Fahrbahnteiler (als durchgezogene Linie dargestellt) getrennt und stellen zwei Abschnitte jeweiliger Fahrspuren dar. Ein Fahrzeug in einem Straßenblock kann auf jeder Spur in diesem Straßenblock fahren. Dem Fahrzeug in einem Straßenblock ist es jedoch rechtlich nicht erlaubt, einen Fahrbahnteiler zu überqueren, um auf einem angrenzenden Straßenblock zu fahren.
• Das Verkehrssignal 1318 steuert den Verkehrsfluss über die Kreuzung 1300 und umfasst mehrere Verkehrsampeln (z.B. die Verkehrsampeln 1320a, 1320b, 1320c, 1320d), von denen jede visuell entweder die Erlaubnis zum Durchfahren oder eine Aufforderung zum Anhalten an der Kreuzung 1300 kommuniziert. Das Verkehrssignal arbeitet nach lokalen Verkehrsregeln. In der Beispielkreuzung 1300 verlangen die lokalen Verkehrsregeln, dass Fahrzeuge auf der rechten Seite der befahrbaren Region fahren, an der Kreuzung 1300 anhalten, bei der Annäherung abbremsen bzw. über die Kreuzung 1300 fahren, wenn das Verkehrssignal für einen Straßenblock rot, gelb bzw. grün ist. Verkehrsregeln können an verschiedenen Standorten und an verschiedenen Kreuzungen unterschiedlich sein. Die in dieser Offenbarung beschriebenen Methoden können auf Grundlage der lokalen Verkehrsregeln implementiert werden.
• In der Beispielkreuzung 1300 ist das AV 100 auf dem Straßenblock 1302 gezeigt und hat an der Kreuzung 1300 angehalten. Die lokalen Verkehrsregeln schreiben vor, dass das AV 100 bei erlaubter Fahrt vom Straßenblock 1302 nach rechts in den Straßenblock 1304 abbiegen oder geradeaus von Straßenblock 1302 nach 1308 fahren oder vom Straßenblock 1302 nach links in 1312 abbiegen muss. Die lokalen Verkehrsregeln erlauben dem AV 100 zudem die Fahrt über die Kreuzung 1300 zum Straßenblock 1308 oder Straßenblock 1312 nur, wenn die dem Straßenblock 1302 zugewandte Verkehrsampel 1320a grün ist. An manchen Kreuzungen erlauben die lokalen Verkehrsregeln, dass das AV 100 vom Straßenblock 1302 zum Straßenblock 1304 fährt, auch wenn die Verkehrsampel 1320a rot ist, solange kein anderes Objekt auf den Straßenblock 1304 zufährt. Das Planungsmodul 404 speichert diese und andere lokale Verkehrsregeln und ist so ausgelegt, dass es das Fahrzeug gemäß den gespeicherten Regeln betreibt.
• Das Planungsmodul 404 speichert Verkehrsampel-Vorabkartendaten, die für jede Kreuzung in einem geografischen Gebiet kommentierte Verkehrsampelinformationen umfassen. Für jede Verkehrsampel umfassen die gespeicherten Informationen eine Zuordnung zu einem „von“-Straßenblock, bei dem es sich um einen Straßenblock handelt, auf dem das AV 100 auf das Verkehrssignal zufahren kann, und einen „nach“-Straßenblock, bei dem es sich um einen Straßenblock handelt, auf dem das AV 100 vom Verkehrssignal wegfahren kann. Durch Bestimmen des Zustands des Verkehrssignals kann das Planungsmodul 404 das AV 100 so steuern, dass es über die Kreuzung 1300 navigiert, indem es die lokalen Verkehrsregeln befolgt.
• In einigen Ausführungsformen kann das Planungsmodul 404 den Zustand des Verkehrssignals 1318 durch Schätzen des Überquerungszustands der Kreuzung 1300 bestimmen. Der Überquerungszustand der Kreuzung 1300 repräsentiert einen Bewegungszustand von Objekten (beispielsweise Fahrzeug 1322, das auf dem Straßenblock 1310 fährt, Fahrzeug 1324, das auf dem Straßenblock 1314 fährt, Fußgänger 1326, der versucht, die Straßenblöcke 1302 und 1316 zu überqueren), die sich an der Kreuzung 1300 befinden oder sich dieser nähern. Der Bewegungszustand umfasst einen stationären Zustand, in dem ein Objekt stationär ist, sich also nicht auf einem Straßenblock oder über die Kreuzung bewegt. Der Bewegungszustand umfasst einen mobilen Zustand, in dem ein Fahrzeug entweder auf das Verkehrssignal 1318 zu- oder von ihm wegfährt. Der mobile Zustand kann zusätzlich eine Fahrt in einem Zustand mit gleichbleibender Geschwindigkeit, in dem eine Geschwindigkeit des Fahrzeugs im Wesentlichen konstant ist, oder einen Beschleunigungszustand, in dem eine Geschwindigkeit des Fahrzeugs im Zeitverlauf zunimmt, oder einen Abbremszustand umfassen, in dem eine Geschwindigkeit des Fahrzeugs im Zeitverlauf abnimmt. Durch Bestimmen des Zustands des Verkehrssignals 1318, d.h. des Bewegungszustands von Objekten in der Umgebung des AV 100, bestimmt das Planungsmodul 404 in einigen Ausführungsformen den Zustand des Verkehrssignals 1318 ohne Bilddaten, die aus der Ausgabe der bildverarbeitungsbasierten Sensoren wie dem Kamerasystem 502c oder dem TLD-System 102d oder beiden erzeugt werden. In einigen Ausführungsformen verwendet das Planungsmodul 404 die Ausgabe der Entfernungssensoren, beispielsweise des LiDAR-Systems 502a, des RADAR-Systems 502b, auditiver Sensoren wie Array-Mikrofone oder Kombinationen aus diesen, um den Zustand der Kreuzung 1300 zu schätzen.
• In einer Ausführungsform wird der Zustand des Verkehrssignals 1318 durch Verwendung trainierter Modelle für die Kreuzung 1300 bestimmt. Die trainierten Modelle werden durch Anwenden von Methoden des maschinellen Lernens auf historische Daten zum Überquerungszustand der Kreuzung 1300 oder anderer ähnlicher Kreuzungen erzeugt. Das trainierte Modell berücksichtigt unter anderem die Tageszeit, Verkehrsbedingungen, Fußgängerdichte auf Grundlage audiovisueller oder anderer Daten, sowie das Wetter. Zum Beispiel werden historische Überquerungsdaten für die Kreuzung 1300 gesammelt und gespeichert. Die hier beschriebenen Methoden zur Bestimmung des Zustands des Verkehrssignals an der Kreuzung 1300 können auf die historischen Überquerungsdaten angewendet werden. In einigen Ausführungsformen wird der Zustand des Verkehrssignals auf mehreren Ebenen zeitlicher Granularität bestimmt. Das heißt, es kann der Zustand des Verkehrssignals zu jeder Sekunde, jeder Minute, jeder Stunde, jedem Tag bestimmt werden. Methoden des maschinellen Lernens können implementiert werden, um das Planungsmodul 404 zu trainieren, unter Verwendung der Zustände des Verkehrssignals, die aus den historischen Überquerungsdaten auf den verschiedenen Ebenen zeitlicher Granularität bestimmt wurden, den Zustand des Verkehrssignals an der Kreuzung 1300 zu einem bestimmten Zeitpunkt zu folgern oder zu schätzen. Die durch maschinelles Lernen gewonnenen Schlussfolgerungen können mit den Schlussfolgerungen verbessert werden, die unter Verwendung von Informationen der Entfernungssensoren gemacht werden. Zudem können die historischen Überquerungsdaten aktualisiert werden, um die Methoden des maschinellen Lernens zu verbessern.
• 14 ist ein Flussdiagramm eines Beispiels für einen Prozess 1400 zum Betreiben eines Fahrzeugs auf Grundlage einer Schätzung eines Überquerungszustands einer Kreuzung. Bestimmte Aspekte des Prozesses 1400 werden durch das Planungsmodul 404 implementiert. Bestimmte Aspekte des Prozesses 140 können von der Steuereinheit 1102 implementiert werden. Der Prozess 1400 kann implementiert werden, um den Betrieb des Fahrzeugs, zum Beispiel des AV 100, über eine Kreuzung, zum Beispiel die Kreuzung 1300, zu steuern. Bei 1402 wird der Bewegungszustand eines Objekts an einer Kreuzung unter Verwendung von Entfernungssensoren, beispielsweise LiDAR oder RADAR oder beidem, bestimmt. Zum Beispiel betreibt das Planungsmodul 402 die Entfernungssensoren (das LiDAR-System 502c, das RADAR-System 502d oder beide). Auf Grundlage der von den Entfernungssensoren erfassten Informationen kann das Planungsmodul 402 einen Typ des Objekts bestimmen, z.B. ob es sich bei dem Objekt um ein Fahrzeug in einer befahrbaren Region oder einen Fußgänger an einem Fußgängerüberweg handelt. Für jedes Objekt bestimmt das Planungsmodul 402 einen Bewegungszustand zu einem bestimmten Zeitpunkt. Zum Beispiel kann das Planungsmodul 404 für ein Fahrzeug einen Straßenblock bestimmen, auf dem das Fahrzeug fährt, ob das Fahrzeug stationär oder mobil ist, eine Fahrtrichtung, eine Geschwindigkeit, ob das Fahrzeug beschleunigt oder abbremst. Für einen Fußgänger kann das Planungsmodul 404 feststellen, ob sich der Fußgänger auf einem Straßenblock oder neben einem Straßenblock befindet, ob der Fußgänger sich bewegt oder steht.
• Bei 1404 wird ein Zustand des Verkehrssignals an der Kreuzung auf Grundlage des Bewegungszustands bestimmt. Bei 1406 wird der Betrieb des Fahrzeugs auf Grundlage des Zustands des Verkehrssignals gesteuert. Der Betrieb des Fahrzeugs basiert zudem auf einer Trajektorie, auf der das Fahrzeug fahren muss. Beispielhafte Methoden, die durch das Planungsmodul 402 implementiert werden, um den Zustand des Verkehrssignals auf Grundlage des Bewegungszustands von Objekten zu bestimmen und den Betrieb des Fahrzeugs auf Grundlage des Zustands des Verkehrssignals zu steuern, werden mit Bezug auf die Kreuzung 1300 beschrieben. Bestimmte Beispiele, die im Folgenden beschrieben werden, gehen davon aus, dass sich das AV 100 und ein weiteres Objekt an der Kreuzung 1300 befinden, wenn das Planungsmodul 400 den Prozess 1400 implementiert. In Fällen, in denen das AV 100 und mehr als ein Objekt an der Kreuzung 1300 sind, kann das Planungsmodul 402 Methoden kombinieren, die im Folgenden mit Bezug auf jedes Objekt beschrieben werden.
• In einem Beispiel fährt das AV 100 auf dem Straßenblock 1302, und seine Trajektorie setzt sich über die Kreuzung 1300 zum Straßenblock 1308 fort. Basierend auf den von den Entfernungssensoren erfassten Informationen bestimmt das Planungsmodul 402, dass sich das auf dem Straßenblock 1306 fahrende Fahrzeug 1328 in einem stationären Zustand befindet. In diesem Beispiel zeigen die vom Entfernungssensor erfassten Informationen an, dass sich kein anderes Objekt in der Nähe des AV 100 an der Kreuzung 1300 befindet, d.h. das Fahrzeug 1328 ist das einzige Objekt an der Kreuzung 1300 außer dem AV 100. Da das Fahrzeug 1328 in einem stationären Zustand an der Kreuzung 1300 verbleibt, bestimmt das Planungsmodul 402, d.h. es folgert oder schätzt, dass die Verkehrsampel 1320a grün und die Verkehrsampel 1320b rot ist, was dem AV 100 die Durchfahrt erlaubt und erfordert, dass das Fahrzeug 1328 an der Kreuzung 1300 anhält. Auf Grundlage dieser Bestimmung des Zustands des Verkehrssignals 1318 betreibt das Planungsmodul 402 das AV 100 so, dass dieses über die Kreuzung 1300 zum Straßenblock 1308 fährt.
• In einem weiteren Beispiel befindet sich das AV 100 auf dem Straßenblock 1302 in einem stationären Zustand an der Kreuzung 1300, und seine Trajektorie setzt sich über die Kreuzung 1300 zum Straßenblock 1308 fort. Auf Grundlage der von den Entfernungssensoren erfassten Informationen bestimmt das Planungsmodul 402, dass sich das auf dem Straßenblock 1306 fahrende Fahrzeug 1328 in einem abbremsenden Zustand befindet, während sich das Fahrzeug 1328 der Kreuzung 1300 nähert. In diesem Beispiel zeigen die vom Entfernungssensor erfassten Informationen an, dass sich kein anderes Objekt in der Nähe des AV 100 an der Kreuzung 1300 befindet, d.h. das Fahrzeug 1328 ist das einzige Objekt an der Kreuzung 1300 außer dem AV 100. Da sich das Fahrzeug 1328 in einem abbremsenden Zustand befindet, bestimmt das Planungsmodul 402, d.h. es folgert oder schätzt, dass die Verkehrsampel 1320b entweder rot ist oder in Kürze rot wird und die Verkehrsampel 1320a grün ist oder in Kürze grün wird, so dass das AV 100 die Kreuzung 1300 passieren kann. Auf Grundlage dieser Bestimmung des Zustands des Verkehrssignals 1318 betreibt das Planungsmodul 402 das AV 100 so, dass dieses seine Fahrt über die Kreuzung 1300 zum Straßenblock 1308 einleitet.
• In einem weiteren Beispiel fährt das AV 100 auf dem Straßenblock 1302, und seine Trajektorie biegt an der Kreuzung 1300 nach rechts in den Straßenblock 1304 ab. Auf Grundlage der von den Entfernungssensoren erfassten Informationen bestimmt das Planungsmodul 402, dass sich an der Kreuzung 1300 ein Fußgänger 1326 befindet. Das Planungsmodul 402 bestimmt zudem, dass die lokalen Verkehrsregeln es dem AV 100 erlauben, vom Straßenblock 1302 rechts in den Straßenblock 1304 abzubiegen, auch wenn die Ampel 1320a rot ist, außer wenn ein Fußgänger vom Straßenblock 1302 zum Straßenblock 1316 oder vom Straßenblock 1304 zum Straßenblock 1306 überqueren will. Auf Grundlage von den Entfernungssensoren erfasster Informationen bestimmt das Planungsmodul 402, dass der Fußgänger 1326 steht. In diesem Beispiel zeigen die vom Entfernungssensor erfassten Informationen an, dass sich kein anderes Objekt in der Nähe des AV 100 an der Kreuzung 1300 befindet, d.h. der Fußgänger 1328 ist das einzige Objekt an der Kreuzung 1300 außer dem AV 100. Da der Fußgänger 1326 an der Kreuzung 1300 stehen bleibt und die lokalen Verkehrsregeln ein Rechtsabbiegen vom Straßenblock 1302 in den Straßenblock 1304 erlauben, bestimmt das Planungsmodul 402, d.h. es folgert oder schätzt, dass das Verkehrssignal 1318 das Rechtsabbiegen des AV 100 in den Straßenblock 1304 erlaubt. Auf Grundlage dieser Bestimmung des Zustands des Verkehrssignals 1318 betreibt das Planungsmodul 402 das AV 100 so, dass dieses rechts in den Straßenblock 1304 abbiegt.
• In einigen Ausführungsformen umfasst der Bewegungszustand des Objekts eine Bewegungsrichtung des Objekts. In einem weiteren Beispiel befindet sich das AV 100 auf dem Straßenblock 1302 in einem stationären Zustand an der Kreuzung 1300, und seine Trajektorie biegt an der Kreuzung 1300 nach links in den Straßenblock 1312 ab. Auf Grundlage von den Entfernungssensoren erfasster Informationen bestimmt das Planungsmodul 402, dass sich das Fahrzeug 1322 entweder in einem stationären Zustand oder in einem abbremsenden Zustand auf dem Straßenblock 1310 befindet und dass das auf dem Straßenblock 1306 fahrende Fahrzeug 1324 an der Kreuzung 1300 nach rechts in den Straßenblock 1316 abbiegt. In diesem Beispiel zeigen die vom Entfernungssensor erfassten Informationen an, dass sich kein anderes Objekt in der Nähe des AV 100 an der Kreuzung 1300 befindet, d.h. die Fahrzeuge 1322 und 1326 sind die einzigen Objekte an der Kreuzung 1300 außer dem AV 100. Da sich das Fahrzeug 1322 im stationären Zustand oder im abbremsenden Zustand befindet und das Fahrzeug 1326 nach rechts abbiegt, bestimmt das Planungsmodul 402, d.h. es folgert oder schätzt, dass die Verkehrsampel 1320a grün ist und ein Linksabbiegen vom Straßenblock 1302 in den Straßenblock 1312 erlaubt, und dass die Verkehrsampel 1320c rot ist. Das Planungsmodul 402 kann zudem bestimmen, dass der vom Fahrzeug 1324 ausgeführte Rechtsabbiegevorgang den vom AV 100 auszuführenden Linksabbiegevorgang nicht beeinflusst. Auf Grundlage dieser Bestimmung des Zustands des Verkehrssignals 1318 und des Bewegungszustands des Fahrzeugs 1324 steuert das Planungsmodul 402 das AV 100, um den Linksabbiegevorgang vom Straßenblock 1302 in den Straßenblock 1312 über die Kreuzung 1300 einzuleiten.
• In einigen Ausführungsformen bestimmt das Planungsmodul 404 den Zustand des Verkehrssignals 1318 unter Verwendung bildverarbeitungsbasierter Sensoren, z.B. des Kamerasystems 502c oder des TLD-Systems 502d oder beider. Unter Verwendung der Bilddaten, die aus der Ausgabe der bildverarbeitungsbasierten Sensoren erzeugt werden, bestimmt das Planungsmodul 404 den Zustand des Verkehrssignals 1318. Durch die Kombination von Rückschlüssen auf den Zustand des Verkehrssignals 1318, die unter Verwendung der bildverarbeitungsbasierten Sensoren bestimmt wurden, mit denen, die unter Verwendung der Entfernungssensoren bestimmt wurden, passt das Planungsmodul 402 einen Rückschluss auf den Zustand des Verkehrssignals 1318 an. Auf diese Weise werden die von den Entfernungssensoren erfassten Informationen verwendet, um die von den bildverarbeitungsbasierten Sensoren erfassten Informationen beim Bestimmen eines Zustands des Verkehrssignals 1318 zu ergänzen. In Fällen, in denen die Informationen der bildverarbeitungsbasierten Sensoren den Informationen der Entfernungssensoren widersprechen, wählt das Planungsmodul 402 die Informationen der bildverarbeitungsbasierten Sensoren aus. Wenn beispielsweise die bildverarbeitungsbasierten Sensoren erfassen, dass ein Verkehrssignal rot ist, während die Informationen der Entfernungssensoren die Schlussfolgerung ergeben, dass das Verkehrssignal grün ist, bestimmt das Planungsmodul 402, dass das Verkehrssignal rot ist und übergeht damit die Informationen der Entfernungssensoren.
• Zum Beispiel ist das Verkehrssignal 1320d rot und das Verkehrssignal 1320a grün. Das Planungsmodul 402 schließt daraus, dass der Zustand des Verkehrssignals 1318 das auf dem Straßenblock 1314 fahrende Fahrzeug 1324 zum Anhalten an der Kreuzung 1300 auffordert und dem AV 100 die Fahrt über die Kreuzung 1300 erlaubt. In einigen Ausführungsformen kann das Planungsmodul 402 den Zustand des Verkehrssignals 1318 auf Grundlage der Bewegungszustände anderer Fahrzeuge (nicht gezeigt) entweder auf dem Straßenblock 1302 oder dem Straßenblock 1314 oder beiden folgern. In einigen Ausführungsformen folgert das Planungsmodul 402 den Zustand des Verkehrssignals 1318 auf Grundlage einer Ausgabe der bildverarbeitungsbasierten Sensoren. Während das Planungsmodul 402 die Fahrt des AV 100 über die Kreuzung 1300 einleitet oder fortsetzt, bestimmt das Planungsmodul 402 auf Grundlage der von den Entfernungssensoren erfassten Informationen, dass das Fahrzeug 1324 wahrscheinlich nicht an der Kreuzung 1300 anhalten wird. Zum Beispiel bestimmt das Planungsmodul 402 einen Sicherheitsschwellenwert, der eine Wahrscheinlichkeit darstellt, mit der das Fahrzeug 1324 an der Kreuzung 1300 anhält. Der Sicherheitsschwellenwert kann auf Faktoren basieren, zu denen eine Geschwindigkeit des Fahrzeugs 1324, eine Fahrtrichtung des Fahrzeugs 1324, eine Entfernung zwischen dem Fahrzeug 1324 und der Kreuzung 1300, eine Entfernung zwischen dem AV 100 und der Kreuzung 1300 und/oder eine Entfernung zwischen dem AV 100 und dem Fahrzeug 1324 zählen.
• Gemäß der Bestimmung, dass eine Wahrscheinlichkeit, mit der das Fahrzeug 1324 an der Kreuzung anhält, geringer ist als der Sicherheitsschwellenwert, steuert das Planungsmodul 402 den Betrieb des AV 100, um eine Kollision mit dem Fahrzeug 1324 zu vermeiden. In einigen Ausführungsformen kann das Planungsmodul 402 das Fahrzeug 1324 zusätzlich als Einsatzfahrzeug (z.B. ein Polizeifahrzeug, einen Krankenwagen, ein Feuerwehrfahrzeug) klassifizieren, das über eine rote Ampel fahren darf. In solchen Fällen steuert das Planungsmodul 402 das AV 100 zum Anhalten, um dem Fahrzeug 1324 die Vorfahrt zu gewähren. Mit anderen Worten, das Planungsmodul 402 folgerte zunächst, dass der Zustand des Verkehrssignals 1318 es erforderte, dass das Fahrzeug 1324 an der Kreuzung 1300 anhält. Zudem hat das Planungsmodul 402 bestimmt, dass das Fahrzeug 1324 wahrscheinlich nicht an der Kreuzung 1300 anhalten wird. In Reaktion hierauf kann das Planungsmodul 402 das AV 100 entweder beschleunigen, abbremsen oder anhalten, um eine Kollision mit dem Fahrzeug 1324 zu vermeiden.
• In einigen Ausführungsformen erfassen die bildverarbeitungsbasierten Sensoren die Informationen über den Zustand des Verkehrssignals über mehrere Bilder hinweg. Jedes Bild ist mit einem Zeitmoment verknüpft, und bei jedem Bild erfasst ein bildverarbeitungsbasierter Sensor eine entsprechende Schätzung des Zustands des Verkehrssignals. Das Planungsmodul 402 verschmilzt zeitlich jede jeweilige Schätzung, die in jedem Bild erfasst ist, mit den von den Entfernungssensoren erfassten Informationen, wenn es den Zustand des Verkehrssignals 1318 folgert.
• In einigen Fällen bestimmt das Planungsmodul 402, dass das AV 100 grünes Licht hat, auf Grundlage der Bewegungsmuster anderer Fahrzeuge im gleichen Straßenblock wie das AV 100. Wenn sich zum Beispiel alle Fahrzeuge im gleichen Straßenblock wie das AV 100 der Kreuzung 1300 mit im Wesentlichen demselben gleichbleibenden Geschwindigkeitszustand nähern, dann folgert das Planungsmodul 402, dass das AV 100 grünes Licht hat, um über die Kreuzung 1300 zu fahren. Wenn alle Fahrzeuge im gleichen Straßenblock entweder in einem stationären Zustand oder in einem abbremsenden Zustand sind, dann folgert das Planungsmodul 402, dass das AV 100 eine rote Ampel hat. Wenn Fahrzeuge vor und hinter dem AV 100 einen bestimmten Bewegungszustand haben, während Fahrzeuge in benachbarten Fahrspuren einen anderen Bewegungszustand haben, dann folgert das Planungsmodul 402, dass einige Fahrzeuge im Straßenblock die Kreuzung 1300 durchfahren dürfen, während andere an der Kreuzung 1300 anhalten müssen. Ein solches Szenario kann auftreten, wenn beispielsweise ein „Nur Linksabbieger“-Zeichen grün ist, während die Ampel im Übrigen rot ist, oder andersherum.
• In einigen Ausführungsformen ergänzt das Planungsmodul 402 die von den Entfernungssensoren erfassten Informationen mit Informationen, die von anderen Quellen empfangen werden. Wenn beispielsweise Informationen über die Schaltzyklen der Lichter am Verkehrssignal 1318 verfügbar sind, kann das Planungsmodul 402 den Zustand des Verkehrssignals 1318 unter Verwendung der Informationen über den Schaltzyklus folgern. Wenn z.B. Geschwindigkeitsprofile von Fahrzeugen im gleichen Straßenblock wie das AV 100 verfügbar sind, kann das Planungsmodul 402 unter Verwendung der Geschwindigkeitsprofile auf den Zustand des Verkehrssignals 1318 schließen. Zudem kann, wenn das Verkehrssignal 1318 nicht in Betrieb ist und der Verkehr über die Kreuzung 1300 von einer anderen Instanz (z.B. einem Polizisten) geregelt wird, das Planungsmodul 402 die Fahrt des AV 100 über die Kreuzung 1300 auf Grundlage der Geschwindigkeitsprofile von Fahrzeugen im gleichen oder in anderen Straßenblöcken wie das AV 100 steuern. Unter Verwendung der Informationen aus diesen anderen Quellen kann das Planungsmodul 402 in einigen Implementierungen zusätzliche Informationen über die Fahrbedingungen des AV 100 bestimmen, z.B. Verkehrsverzögerungen, alternative Trajektorien, um nur einige zu nennen.
• In einigen Implementierungen kennzeichnet das Planungsmodul automatisch Vorrangbereiche unter Verwendung des Rückschlusses auf den Zustand des Verkehrssignals 1318. Ein Vorrangbereich ist ein geografisch begrenzter Interessenbereich, der dazu dient, aus der Menge aller erfassten Fahrzeuge herauszufiltern, welche das AV 100 für mögliche Konflikte bei der Kreuzungsüberquerung berücksichtigen muss (z.B. Überprüfen der Zeit bis zur Kollision an einem oder mehreren Standorten entlang des Weges des AV 100 über die Kreuzung). Die Vorrangbereiche werden mit Haltelinien und ihren begrenzenden Fahrspuren verknüpft und gebildet, indem Fahrspurgrenzen aller sich kreuzenden Fahrspuren in der Kreuzung bis zu einem Schwellenwert für den Anhalteweg eines Fahrzeugs zurückverfolgt werden, das mit der erwarteten Höchstgeschwindigkeit für die Straße fährt, nachdem Faktoren wie Geschwindigkeitsbegrenzung, Straßenkrümmung, Vorhandensein anderer Haltelinien entlang der Strecke usw. berücksichtigt wurden.
• In der vorstehenden Beschreibung wurden Ausführungsformen der Erfindung unter Bezugnahme auf zahlreiche konkrete Einzelheiten beschrieben, die von Implementierung zu Implementierung variieren können. Entsprechend sind die Beschreibung und die Zeichnungen als veranschaulichend und nicht einschränkend anzusehen. Der einzige und ausschließliche Indikator für den Umfang der Erfindung und das, was die Anmelder als Umfang der Erfindung beabsichtigen, ist der wörtliche und äquivalente Umfang des Satzes von Ansprüchen, die aus dieser Anmeldung hervorgehen, in der spezifischen Form, in der diese Ansprüche ausgegeben werden, einschließlich jeder späteren Korrektur. Alle hierin ausdrücklich festgelegten Definitionen von Bezeichnungen, die in solchen Ansprüchen enthalten sind, gelten für die Bedeutung der in den Ansprüchen verwendeten Bezeichnungen. Wenn in der vorstehenden Beschreibung oder in den folgenden Ansprüchen die Bezeichnung „ferner umfassend“ verwendet wird, kann das, was auf diesen Satz folgt, ein zusätzlicher Schritt oder eine zusätzliche Entität oder ein Unterschritt/eine Untereinheit eines zuvor erwähnten Schritts oder einer Entität sein.
• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• US 62/798427 [0001]
• PA 201970221 [0001]
• Zitierte Nicht-Patentliteratur
• Norm J3016 [0031]

Claims (18)

1. Computerimplementiertes Verfahren, umfassend: durch eine Planungsschaltung eines Fahrzeugs, das auf einer ersten befahrbaren Region fährt, die eine Kreuzung mit einer zweiten befahrbaren Region bildet, erfolgendes Empfangen von Informationen, die von einem Entfernungssensor des Fahrzeugs erfasst werden, wobei die Informationen einen Bewegungszustand eines Objekts über die Kreuzung darstellen, wobei der Bewegungszustand des Objekts einen stationären Zustand, in dem das Objekt stationär ist, oder einen mobilen Zustand, in dem das Objekt in Bewegung ist, und eine Richtung, in die sich das Objekt bewegt, umfasst, und wobei ein Verkehrssignal an der Kreuzung die Bewegung von Objekten über die Kreuzung steuert, durch die Planungsschaltung erfolgendes Bestimmen eines Zustands des Verkehrssignals an der Kreuzung teilweise auf Grundlage der empfangenen Informationen und durch eine Steuerschaltung erfolgendes Steuern eines Betriebs des Fahrzeugs teilweise auf Grundlage des Zustands des Verkehrssignals an der Kreuzung.
2. Verfahren nach Anspruch 1, ferner umfassend: durch die Planungsschaltung erfolgendes Bestimmen des Bewegungszustands des Objekts unter Verwendung der vom Entfernungssensor erfassten Informationen.
3. Verfahren nach Anspruch 1, wobei das Fahrzeug ein erstes Fahrzeug ist, wobei das Objekt ein zweites Fahrzeug ist, das auf der zweiten befahrbaren Region fährt, wobei der mobile Zustand einen Abbremszustand umfasst, in dem das mobile zweite Fahrzeug abbremst, während sich das zweite Fahrzeug der Kreuzung nähert.
4. Verfahren nach Anspruch 1, wobei das Fahrzeug ein erstes Fahrzeug ist, wobei das Objekt ein zweites Fahrzeug ist, das auf der zweiten befahrbaren Region fährt, wobei der mobile Zustand einen Zustand gleichbleibender Geschwindigkeit umfasst, in dem eine Geschwindigkeit des mobilen zweiten Fahrzeugs im Wesentlichen konstant bleibt, während sich das zweite Fahrzeug der Kreuzung nähert.
5. Verfahren nach Anspruch 1, wobei das Fahrzeug ein erstes Fahrzeug ist, wobei das Objekt ein zweites Fahrzeug ist, das auf der zweiten befahrbaren Region fährt, wobei der mobile Zustand einen Beschleunigungszustand umfasst, in dem das mobile zweite Fahrzeug beschleunigt, während sich das zweite Fahrzeug der Kreuzung nähert, wobei bestimmt wird, dass der Zustand des Verkehrssignals das zweite Fahrzeug auffordert, an der Kreuzung anzuhalten, und dem ersten Fahrzeug erlaubt, über die Kreuzung zu fahren, wobei das erste Fahrzeug betrieben wird, um über die Kreuzung zu fahren, wobei das Verfahren ferner Folgendes umfasst: Bestimmen, dass eine Wahrscheinlichkeit eines Anhaltens des zweiten Fahrzeugs an der Kreuzung geringer ist als ein Sicherheitsschwellenwert, und gemäß einer Bestimmung, dass die Wahrscheinlichkeit geringer als der Sicherheitsschwellenwert ist, Steuern des Betriebs des ersten Fahrzeugs so, dass dieses die Kreuzung durchfährt, bevor oder nachdem das zweite Fahrzeug die Kreuzung durchfährt.
6. Verfahren nach Anspruch 5, wobei die Wahrscheinlichkeit, mit der das zweite Fahrzeug an der Kreuzung anhält, geringer ist als der Sicherheitsschwellenwert, auf Grundlage von Faktoren bestimmt wird, zu denen eine Geschwindigkeit des zweiten Fahrzeugs, eine Fahrtrichtung des zweiten Fahrzeugs, eine Entfernung zwischen dem zweiten Fahrzeug und der Kreuzung, eine Entfernung zwischen dem ersten Fahrzeug und der Kreuzung und/oder eine Entfernung zwischen dem ersten Fahrzeug und dem zweiten Fahrzeug zählen.
7. Verfahren nach Anspruch 1, wobei es sich bei dem Objekt um ein Fahrzeug handelt, das auf der zweiten befahrbaren Region fährt, wobei die Fahrtrichtung Geradeausfahrt auf der zweiten befahrbaren Region, Rechtskurve von der zweiten befahrbaren Region in die erste befahrbare Region und/oder Linkskurve von der zweiten befahrbaren Region in die erste befahrbare Region umfasst.
8. Verfahren nach einem der Ansprüche 1 bis 7, wobei das Objekt ein Fußgänger ist, wobei der Bewegungszustand der mobile Zustand ist, der eine Richtung umfasst, in die sich das Objekt bewegt, und wobei die Bewegungsrichtung über die erste befahrbare Region hinweg umfasst.
9. Verfahren nach einem der Ansprüche 1 bis 8, wobei der Entfernungssensor einen LiDAR-basierten Sensor umfasst.
10. Verfahren nach einem der Ansprüche 1 bis 9, wobei der Entfernungssensor einen RADAR-basierten Sensor umfasst.
11. Verfahren nach einem der Ansprüche 1 bis 10, ferner umfassend: durch die Planungsschaltung erfolgendes Empfangen von Informationen, die durch einen bildverarbeitungsbasierten Sensor des Fahrzeugs erfasst werden, wobei die Informationen den Bewegungszustand des Objekts über die Kreuzung darstellen, und durch die Planungsschaltung erfolgendes Bestimmen des Zustands des Verkehrssignals an der Kreuzung teilweise auf Grundlage der vom bildverarbeitungsbasierten Sensor erfassten Informationen, wobei der bildverarbeitungsbasierte Sensor so ausgelegt ist, dass er die Informationen über eine Vielzahl von Bildern hinweg erfasst, wobei jedes Bild eine jeweilige Schätzung des Zustands des Verkehrssignals erfasst, wobei das Bestimmen des Zustands des Verkehrssignals an der Kreuzung teilweise auf Grundlage der von dem bildverarbeitungsbasierten Sensor erfassten Informationen zeitliches Verschmelzen jeder jeweiligen Schätzung, die in jedem Bild der Vielzahl von Bildern erfasst wird, mit den von den Entfernungssensoren erfassten Informationen umfasst.
12. Verfahren nach einem der Ansprüche 1 bis 11, ferner umfassend auf Grundlage der empfangenen Informationen erfolgendes Bestimmen, dass das Fahrzeug, das auf der ersten befahrbaren Region fährt, in einem stationären Zustand und an der Kreuzung ist, wobei das Bestimmen des Zustands des Verkehrssignals Bestimmen umfasst, dass der Zustand des Verkehrssignals dem Fahrzeug erlaubt, über die Kreuzung zu fahren, und wobei das Steuern des Betriebs des Fahrzeugs Betreiben des Fahrzeugs umfasst, um über die Kreuzung zu fahren.
13. Verfahren nach einem der Ansprüche 1 bis 12, ferner umfassend auf Grundlage der empfangenen Informationen erfolgendes Bestimmen, dass das Fahrzeug, das auf der ersten befahrbaren Region fährt, sich in einem mobilen Zustand befindet und sich der Kreuzung nähert, wobei das Bestimmen des Zustands des Verkehrssignals Bestimmen umfasst, dass das Fahrzeug an der Kreuzung anhalten muss, wobei das Steuern des Betriebs des Fahrzeugs Betreiben des Fahrzeugs umfasst, um abzubremsen und an der Kreuzung anzuhalten.
14. Verfahren nach einem der Ansprüche 1 bis 13, wobei die Kreuzung durch mehr als zwei befahrbare Regionen gebildet wird, wobei ein Bewegungszustand eines Objekts auf jeder der mehr als zwei befahrbaren Regionen von den Entfernungssensoren empfangen wird, wobei das Bestimmen des Zustands des Verkehrssignals an der Kreuzung Bestimmen des Zustands des Verkehrssignals teilweise auf Grundlage des Bewegungszustands des Objekts auf jeder der mehr als zwei befahrbaren Regionen umfasst.
15. Verfahren nach einem der Ansprüche 1 bis 14, wobei das Bestimmen des Zustands des Verkehrssignals Bestimmen umfasst, dass das Verkehrssignal nicht in Betrieb ist, wobei das Steuern des Betriebs des Fahrzeugs Steuern des Betriebs des Fahrzeugs zum Überfahren der Kreuzung auf Grundlage des Bewegungszustands des Objekts umfasst, wobei das Fahrzeug ein erstes Fahrzeug ist, wobei das Objekt ein zweites Fahrzeug ist, das auf der ersten befahrbaren Region fährt, wobei das Steuern des Betriebs des Fahrzeugs zum Überfahren der Kreuzung auf Grundlage des Bewegungszustands des Objekts auf Grundlage von den Entfernungssensoren empfangener Informationen erfolgendes Bestimmen umfasst, dass sich das zweite Fahrzeug über die Kreuzung bewegt, wobei das Steuern des Betriebs des ersten Fahrzeugs Betreiben des ersten Fahrzeugs zum Überfahren der Kreuzung in Reaktion auf das Bestimmen umfasst, dass das zweite Fahrzeug die Kreuzung überfährt.
16. Verfahren nach einem der Ansprüche 1 bis 15, wobei das Objekt ein erstes Objekt ist, wobei die Informationen Bewegungszustände einer Vielzahl von Objekten einschließlich des ersten Objekts über die Kreuzung umfassen, wobei ein zweites Objekt der Vielzahl von Objekten auf der ersten befahrbaren Region fährt und ein drittes Objekt der Vielzahl von Objekten auf der zweiten befahrbaren Region fährt, wobei das Verfahren ferner Folgendes umfasst: durch die Planungsschaltung erfolgendes Bestimmen einer Verkehrsverzögerung über die Kreuzung auf Grundlage der Bewegungszustände der Vielzahl von Objekten, Bestimmen eines Geschwindigkeitsprofils für ein zweites Fahrzeug, das entweder auf der ersten befahrbaren Region oder der zweiten befahrbaren Region fährt, und Bestimmen der Verkehrsverzögerung auf Grundlage des Geschwindigkeitsprofils für das zweite Fahrzeug.
17. Fahrzeug, umfassend: eine Planungsschaltung, Speicher und mindestens ein im Speicher gespeichertes Programm, wobei das mindestens eine Programm Anweisungen umfasst, die durch die Planungsschaltung ausführbar sind, um das Verfahren nach einem der Ansprüche 1 bis 16 durchzuführen.
18. Computerlesbares Speichermedium, das mindestens ein Programm zur Ausführung durch eine Planungsschaltung eines Fahrzeugs umfasst, wobei das mindestens eine Programm Anweisungen umfasst, die bei Ausführung durch die Planungsschaltung das Fahrzeug veranlassen, das Verfahren nach einem der Ansprüche 1 bis 16 durchzuführen.

Images