DE102020128154A1

DE102020128154A1 - Trajektorieplanung für fahrzeuge unter verwendung von routeninformationen

Info

Publication number: DE102020128154A1
Application number: DE102020128154.4A
Authority: DE
Inventors: Daniele de Francesco; Aravindkumar Vijayalingam
Original assignee: Motional AD LLC
Current assignee: Motional AD LLC
Priority date: 2020-08-28
Filing date: 2020-10-27
Publication date: 2022-03-03
Also published as: US20220063674A1; GB202015598D0; GB202312920D0; GB2598409B; US11945472B2; GB2598409A; KR102634073B1; KR20220029267A; GB202215895D0; CN114111819A; GB2609151A; GB2609151B

Abstract

Unter anderem sind Techniken zum Verbessern der Trajektorieschätzungen für ein Objekt in einer Umgebung beschrieben. Die Technik beinhaltet Empfangen, durch mindestens einen Prozessor, von Informationen, die ein Vorhandensein eines in einer Umgebung betriebenen Objekts angeben; Bestimmen, durch den mindestens einen Prozessor, einer Trajektorie des Objekts, wobei die Trajektorie zumindest eine Position, eine Geschwindigkeit und eine Fahrtrichtung des Objekts beinhaltet; Bestimmen, durch den mindestens einen Prozessor, einer erwarteten Route des Objekts, wobei die erwartete Route vorausgeplant ist und eine erwartete zukünftige Position des Objekts zu einer zukünftigen Zeit beinhaltet; Vergleichen der Trajektorie des Objekts mit der erwarteten Route des Objekts; und gemäß dem Vergleich, dass die Trajektorie des Objekts mit der erwarteten Route des Objekts konsistent ist, Aktualisieren der Trajektorie des Objekts basierend auf der erwarteten Route des Objekts.

Description

GEBIET DER ERFINDUNG
Die folgende Beschreibung betrifft die Trajektorieplanung für Fahrzeuge unter Verwendung von Routeninformationen.
HINTERGRUND
Ein Pfad eines autonomen Fahrzeugs hängt von dem Pfad der Objekte (z. B. anderen nahen Fahrzeugen, Fahrrädern, Fußgängern) ab. Trajektorieschätzungen (z. B. die folgenden 5-10 Sekunden und/oder 50-100 Meter) der Objekte basieren auf einer geschätzten Position und Bahngeschwindigkeit des Objekts, wie durch Sensoren an Bord des autonomen Fahrzeugs bestimmt. Diese Trajektorieschätzungen berücksichtigen jedoch nicht das erwartete Verhalten der Objekte. Daher kann blindes Vertrauen auf diese Trajektorieschätzungen während der Fahrt des autonomen Fahrzeugs erzwingen, dass das autonome Fahrzeug seinen Pfad neu berechnen muss, um eine Kollision und/oder weniger als optimale Fahrbedingungen (z. B. hinter einem Fahrzeug hängen zu bleiben) zu vermeiden.
Figurenliste

1 zeigt ein Beispiel für ein autonomes Fahrzeug mit autonomer Fähigkeit.
2 veranschaulicht eine beispielhafte „Cloud“-Rechenumgebung.
3 veranschaulicht ein Computersystem.
4 zeigt eine beispielhafte Architektur für ein autonomes Fahrzeug.
5 zeigt ein Blockdiagramm der Beziehungen zwischen Eingaben und Ausgaben eines Planungsmoduls.
6 veranschaulicht das sich einer Kreuzung nähernde autonome Fahrzeug.
7A und 7B sind Entscheidungsbäume eines autonomen Fahrzeugs.
8 ist ein Flussdiagramm zum Verbessern der Trajektorieschätzungen eines Objekts in einer Umgebung.

AUSFÜHRLICHE BESCHREIBUNG
In der folgenden Beschreibung sind für Erläuterungszwecke zahlreiche spezifische Einzelheiten dargelegt, um ein vollständiges Verständnis der vorliegenden Erfindung bereitzustellen. Es wird jedoch ersichtlich werden, dass die vorliegende Erfindung ohne diese spezifischen Einzelheiten umgesetzt werden kann. In anderen Fällen sind wohlbekannte Strukturen und Vorrichtungen in Blockdiagrammform gezeigt, um eine unnötige Verundeutlichung der vorliegenden Erfindung zu vermeiden.
In den Zeichnungen sind zur Vereinfachung der Beschreibung spezifische Anordnungen oder Reihenfolgen schematischer Elemente, wie etwa jener, die Vorrichtungen, Module, Anweisungsblöcke und Datenelemente repräsentieren, gezeigt. Fachleute sollten jedoch verstehen, dass die spezifische Reihenfolge oder Anordnung der schematischen Elemente in den Zeichnungen nicht andeuten soll, dass eine spezielle Verarbeitungsreihenfolge oder -sequenz oder eine Trennung von Prozessen notwendig ist. Ferner soll der Einschluss eines schematischen Elements in einer Zeichnung nicht andeuten, dass ein solches Element in allen Ausführungsformen notwendig ist oder die durch ein solches Element repräsentierten Merkmale in manchen Ausführungsformen möglicherweise nicht in anderen Elementen enthalten sind oder möglicherweise nicht mit diesen kombiniert werden.
In den Zeichnungen, in denen verbindende Elemente, wie etwa durchgezogene oder gestrichelte Linien oder Pfeile, zum Veranschaulichen einer Verbindung, einer Beziehung oder einer Assoziation zwischen oder unter zwei oder mehr anderen schematischen Elementen verwendet werden, soll das Nichtvorhandensein irgendwelcher solcher verbindender Elemente ferner nicht andeuten, dass keine Verbindung, Beziehung oder Assoziation vorhanden sein kann. Mit anderen Worten sind manche Verbindungen, Beziehungen oder Assoziationen zwischen Elementen nicht in den Zeichnungen gezeigt, sodass die Offenbarung nicht verundeutlicht wird. Zusätzlich wird zur Vereinfachung der Veranschaulichung ein einzelnes verbindendes Element verwendet, um mehrere Verbindungen, Beziehungen oder Assoziationen zwischen Elementen zu repräsentieren. Wenn ein verbindendes Element beispielsweise eine Kommunikation von Signalen, Daten oder Anweisungen repräsentiert, sollten Fachleute verstehen, dass ein solches Element einen oder mehrere Signalpfade (z. B. einen Bus), wie möglicherweise benötigt, repräsentiert, um die Kommunikation zu bewirken.
Nun wird ein ausführlicher Bezug auf Ausführungsformen genommen, deren Beispiele in den begleitenden Zeichnungen veranschaulicht sind. In der folgenden ausführlichen Beschreibung sind zahlreiche spezifische Einzelheiten dargelegt, um ein vollständiges Verständnis der verschiedenen beschriebenen Ausführungsformen bereitzustellen. Einem Durchschnittsfachmann wird jedoch ersichtlich werden, dass die verschiedenen beschriebenen Ausführungsformen ohne diese spezifischen Einzelheiten umgesetzt werden können. In anderen Fällen wurden wohlbekannte Verfahren, Prozeduren, Komponenten, Schaltungen und Netzwerke nicht ausführlich beschrieben, sodass Aspekte der Ausführungsformen nicht unnötig verundeutlicht werden.
Nachfolgend sind mehrere Merkmale beschrieben, die jeweils unabhängig voneinander oder mit einer beliebigen Kombination anderer Merkmale verwendet werden können. Ein beliebiges individuelles Merkmal spricht jedoch möglicherweise keines der oben besprochenen Probleme an oder könnte nur eines der oben besprochenen Probleme ansprechen. Manche der oben besprochenen Probleme könnten möglicherweise nicht vollständig durch irgendwelche der hierin beschriebenen Merkmale angesprochen werden. Obwohl Überschriften bereitgestellt sind, können Informationen bezüglich einer speziellen Überschrift, die aber nicht in dem Abschnitt mit dieser Überschrift aufgefunden werden, auch andernorts in dieser Beschreibung aufgefunden werden. Ausführungsformen sind hierin gemäß der folgenden Gliederung beschrieben:

1. Allgemeiner Überblick
2. Systemüberblick
3. Architektur eines autonomen Fahrzeugs
4. Pfadplanung
5. Trajektorieschätzung von Objekten in der Umgebung

Allgemeiner Überblick
Eine Kenntnis der erwarteten Route, der ein Objekt wahrscheinlich folgen wird, hilft dem autonomen Fahrzeug bei der Bestimmung seines eigenen Pfads. Beispielsweise kann das autonome Fahrzeug darüber informiert werden, dass sich ein öffentlicher Verkehrsmittelbus (oder Wagen) auf einer festen Route mit einer speziellen Modellnummer an der linken Seite des autonomen Fahrzeugs befindet. Das autonome Fahrzeug kann dann eine Datenbank abfragen, um die erwartete Route dieses speziellen öffentlichen Verkehrsmittelbusses abzurufen. Falls es erscheint, dass der öffentliche Verkehrsmittelbus entlang dieser erwarteten Route fährt, und die erwartete Route angibt, dass eine Linksabbiegung an der bevorstehenden Kreuzung vorgenommen wird, kann das autonome Fahrzeug mit einem zweckmäßigen Sicherheitsgrad schlussfolgern, dass der öffentliche Verkehrsmittelbus in Kürze nach links abbiegen wird, und dass die Wahrscheinlichkeit, dass sich der öffentliche Verkehrsmittelbus in die aktuelle Fahrbahn des autonomen Fahrzeugs bewegt, sehr gering ist. Das autonome Fahrzeug kann dann diese Informationen zur Bestimmung verwenden, dass das Verbleiben in der aktuellen Fahrbahn sicher ist.
Als ein weiteres Beispiel wird, falls das Fahrzeug vor dem autonomen Fahrzeug als ein UPS-Lastwagen identifiziert wird, der in Kürze an einem Bestimmungsort anhalten wird, das autonome Fahrzeug darüber informiert, sodass es die Fahrbahn wechseln kann, um den UPS-Lastwagen zu vermeiden. Als ein anderes Beispiel kann, falls das Fahrzeug vor dem autonomen Fahrzeug als ein Fahrschulfahrzeug identifiziert wird, das autonome Fahrzeug eine größere Entfernung vom Fahrschulfahrzeug im Falle plötzlicher Stopps oder abrupter Bewegungen beibehalten.
Manche der Vorteile dieser Techniken beinhalten das Reduzieren der Notwendigkeit, den Pfad des autonomen Fahrzeugs neu zu berechnen. Ferner kann das autonome Fahrzeug durch das Einbeziehen von Routeninformationen der Objekte unbekannte Faktoren aus dem Pfadplanungsprozess entfernen. Dies resultiert direkt in einer sichereren Fahrt und gleichmäßigeren Fahrt für die Passagiere im autonomen Fahrzeug. Die Objekte in der Umgebung würden auch sicherer sein, da das autonome Fahrzeug versuchen würde, eine Beeinträchtigung der erwarteten Route der Objekte zu vermeiden.
Systemüberblick
1 zeigt ein Beispiel für ein autonomes Fahrzeug 100 mit autonomer Fähigkeit.
Wie hierin verwendet, bezieht sich der Begriff „autonome Fähigkeit“ auf eine Funktion, ein Merkmal oder eine Einrichtung, die/das ermöglicht, dass ein Fahrzeug teilweise oder vollständig ohne einen menschlichen Eingriff in Echtzeit betrieben wird, einschließlich unter anderem vollautonome Fahrzeuge, hochautonome Fahrzeuge und bedingt autonome Fahrzeuge.
Wie hierin verwendet, ist ein autonomes Fahrzeug (AV) ein Fahrzeug, das autonome Fähigkeit besitzt.
Wie hierin verwendet, beinhaltet „Fahrzeug“ Mittel für den Transport von Gütern oder Menschen. Beispielsweise Autos, Busse, Züge, Flugzeuge, Drohnen, Lastkraftwagen, Boote, Schiffe, Unterwasserfahrzeuge, Luftfahrzeuge usw. Ein fahrerloses Auto ist ein Beispiel eines Fahrzeugs.
Wie hierin verwendet, bezieht sich „Trajektorie“ auf einen Pfad oder eine Route zum Navigieren eines AV von einem ersten raumzeitlichen Ort zu einem zweiten raumzeitlichen Ort. In einer Ausführungsform wird der erste raumzeitliche Ort als Anfangs- oder Startort bezeichnet und wird der zweite raumzeitliche Ort als Bestimmungsort, endgültiger Ort, Ziel, Zielposition oder Zielort bezeichnet. In manchen Beispielen besteht eine Trajektorie aus einem oder mehreren Segmenten (z. B. Straßenabschnitten), und jedes Segment besteht aus einem oder mehreren Blöcken (z. B. Teilen einer Fahrbahn oder Kreuzung). In einer Ausführungsform entsprechen die raumzeitlichen Orte Orten der realen Welt. Beispielsweise sind die raumzeitlichen Orte Abhol- oder Abladeorte zum Abholen oder Abladen von Personen oder Gütern.
Wie hierin verwendet, beinhaltet „Sensor(en)“ eine oder mehrere Hardwarekomponenten, die Informationen über die Umgebung im Umfeld des Sensors detektieren. Manche der Hardwarekomponenten können Erfassungskomponenten (z. B. Bildsensoren, biometrische Sensoren), Übertragungs- und/oder Empfangskomponenten (z. B. Laser- oder Hochfrequenzwellen-Sender und -Empfänger), elektronische Komponenten wie etwa Analog-Digital-Wandler, eine Datenspeicherungsvorrichtung (wie etwa einen RAM und/oder eine nichtflüchtige Speicherung), Software- oder Firmwarekomponenten und Datenverarbeitungskomponenten wie etwa eine ASIC (anwendungsspezifische integrierte Schaltung), einen Mikroprozessor und/oder einen Mikrocontroller beinhalten.
Wie hierin verwendet, ist eine „Szenenbeschreibung“ eine Datenstruktur (z. B. Liste) oder ein Datenstrom, die/der ein oder mehrere klassifizierte oder gelabelte Objekte beinhaltet, die durch einen oder mehrere Sensoren am AV-Fahrzeug detektiert oder durch eine Quelle extern zu dem AV bereitgestellt werden.
Wie hierin verwendet, ist eine „Straße“ ein physischer Bereich, der von einem Fahrzeug durchfahren werden kann, und kann einer benannten Verkehrsstraße entsprechen (z. B. Stadtstraße, Autobahn usw.) oder kann einer unbenannten Verkehrsstraße entsprechen (z. B. einer Einfahrt in einem Haus oder Bürogebäude, einem Abschnitt eines Parkplatzes, einem Abschnitt eines leeren Grundstücks, einem Feldweg in einem ländlichen Gebiet usw.). Da manche Fahrzeuge (z. B. Allrad-Pickup-Trucks, Geländewagen usw.) in der Lage sind, eine Vielfalt physischer Bereiche zu durchfahren, die nicht spezifisch für den Fahrzeugverkehr konzipiert sind, kann eine „Straße“ ein physischer Bereich sein, der nicht formell durch irgendeine Gemeinde oder andere Regierungsstelle oder Behörde als eine Verkehrsstraße definiert ist.
Wie hierin verwendet, ist eine „Fahrbahn“ ein Teil einer Straße, auf dem ein Fahrzeug fahren kann. Eine Fahrbahn wird manchmal basierend auf Fahrbahnmarkierungen identifiziert. Beispielsweise kann eine Fahrbahn dem Großteil oder dem gesamten Raum zwischen Fahrbahnmarkierungen entsprechen, oder kann nur einem Teil (z. B. weniger als 50 %) des Raums zwischen Fahrbahnmarkierungen entsprechen. Beispielsweise könnte eine Straße mit weit voneinander beabstandeten Fahrbahnmarkierungen zwei oder mehr Fahrzeuge zwischen den Markierungen unterbringen, sodass ein Fahrzeug an dem anderen vorbeifahren kann, ohne die Fahrbahnmarkierungen zu überfahren, und könnte somit als eine Fahrbahn, die schmaler als der Raum zwischen den Fahrbahnmarkierungen ist, aufweisend oder als zwei Fahrbahnen zwischen den Fahrbahnmarkierungen aufweisend interpretiert werden. Eine Fahrbahn könnte auch bei Nichtvorhandensein von Fahrbahnmarkierungen interpretiert werden. Beispielsweise kann eine Fahrbahn basierend auf physischen Merkmalen einer Umgebung definiert werden, z. B. Gestein und Bäume entlang einer Verkehrsstraße in einem ländlichen Gebiet oder z. B. natürliche Hindernisse, die in einem unbebauten Gebiet vermieden werden sollen. Eine Fahrbahn könnte auch unabhängig von Fahrbahnmarkierungen oder physischen Merkmalen interpretiert werden. Beispielsweise könnte eine Fahrbahn basierend auf einem beliebigen hindernisfreien Pfad in einem Gebiet interpretiert werden, dem anderweitig Merkmale fehlen, die als Fahrbahnabgrenzungen interpretiert werden würden. In einem beispielhaften Szenario könnte ein AV eine Fahrbahn durch einen hindernisfreien Teil eines Feldes oder unbebauten Grundstücks interpretieren. In einem anderen beispielhaften Szenario könnte ein AV eine Fahrbahn durch eine breite (z. B. breit genug für zwei oder mehr Fahrbahnen) Straße interpretieren, die keine Fahrbahnmarkierungen aufweist. In diesem Szenario könnte das AV Informationen über die Fahrbahn zu anderen AVs kommunizieren, sodass die anderen AVs die gleichen Fahrbahninformationen verwenden können, um die Pfadplanung untereinander zu koordinieren.
Der Begriff „Over-the-Air(OTA)-Client“ beinhaltet ein beliebiges AV oder eine beliebige elektronische Vorrichtung (z. B. Computer, Steuerung, IdD-Vorrichtung, elektronische Steuereinheit (ECU)), die in ein AV eingebettet ist, mit diesem gekoppelt ist oder mit diesem in Kommunikation steht.
Der Begriff „Over-the-Air(OTA)-Aktualisierung“ bedeutet eine beliebige Aktualisierung, Änderung, Löschung oder Hinzufügung bei Software, Firmware, Daten oder Konfigurationseinstellungen, oder eine beliebige Kombination davon, die einem OTA-Client unter Verwendung proprietärer und/oder standardisierter Drahtloskommunikationstechnologie geliefert wird, einschließlich unter anderem: zellularer Mobilkommunikationen (z. B. 2G, 3G, 4G, 5G), Funk-Drahtlosnetzwerken (z. B. WiFi) und/oder Satelliten-Internet.
Der Begriff „Edge-Knoten“ bedeutet eine oder mehrere Edge-Vorrichtungen, die mit einem Netzwerk gekoppelt sind und ein Portal zur Kommunikation mit AVs bereitstellen und mit anderen Edge-Knoten und einer Cloud-basierten Rechenplattform kommunizieren können, um OTA-Aktualisierungen zu planen und zu OTA-Clients zu liefern.
Der Begriff „Edge-Vorrichtung“ bedeutet eine Vorrichtung, die einen Edge-Knoten implementiert und einen physischen drahtlosen Zugangspunkt (AP) in Unternehmens- oder Dienstanbieter(z. B. VERIZON, AT&T)-Kernnetzen bereitstellt. Beispiele für Edge-Vorrichtungen beinhalten unter anderem: Computer, Steuerungen, Sender, Router, Routing-Switches, integrierte Zugangsvorrichtungen (IADs: Integrated Access Devices), Multiplexer, Zugangsvorrichtungen für städtische Netzwerke (MAN) und großflächige Netzwerke (WAN).
„Ein oder mehr‟ beinhaltet eine Funktion, die durch ein Element durchgeführt wird, eine Funktion, die durch mehr als ein Element durchgeführt wird, z. B. auf eine verteilte Weise, mehrere Funktionen, die durch ein Element durchgeführt werden, mehrere Funktionen, die durch mehrere Elemente durchgeführt werden, oder eine beliebige Kombination des Obenstehenden.
Es versteht sich außerdem, dass obwohl hierin in manchen Fällen die Begriffe erster, zweiter usw. zum Beschreiben verschiedener Elemente verwendet werden, diese Elemente nicht durch diese Begriffe eingeschränkt werden sollten. Diese Begriffe werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Beispielsweise könnte ein erster Kontakt als ein zweiter Kontakt bezeichnet werden, und gleichermaßen könnte ein zweiter Kontakt als ein erster Kontakt bezeichnet werden, ohne vom Schutzumfang der verschiedenen beschriebenen Ausführungsformen abzuweichen. Der erste Kontakt und der zweite Kontakt sind beide Kontakte, aber sie sind nicht derselbe Kontakt.
Die in der Beschreibung der verschiedenen hierin beschriebenen Ausführungsformen verwendete Terminologie soll nur spezielle Ausführungsformen beschreiben und nicht beschränkend sein. Wie in der Beschreibung der verschiedenen beschriebenen Ausführungsformen und in den angehängten Ansprüchen verwendet, sollen die Singularformen „ein“, „eine“ und „der/die/das“ auch die Pluralformen einschließen, insofern der Zusammenhang nicht deutlich etwas anderes angibt. Es versteht sich auch, dass sich der Begriff „und/oder“, wie hierin verwendet, auf beliebige und alle möglichen Kombinationen eines oder mehrerer der assoziierten aufgelisteten Elemente bezieht und diese einschließt. Es versteht sich ferner, dass die Begriffe „beinhaltet“, „einschließlich“, „umfasst“ und/oder „umfassend“, wenn in dieser Beschreibung verwendet, das Vorhandensein genannter Merkmale, ganzer Zahlen, Schritte, Operationen, Elemente und/oder Komponenten spezifizieren, aber nicht das Vorhandensein oder den Zusatz einer/eines oder mehrerer anderer Elemente, ganzer Zahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon ausschließt.
Wie hierin verwendet, soll der Begriff „falls“ optional so ausgelegt werden, dass er in Abhängigkeit vom Zusammenhang „wenn“ oder „bei“ oder „als Reaktion auf das Bestimmen“ oder „als Reaktion auf das Detektieren“ bedeutet. Gleichermaßen soll der Ausdruck „falls bestimmt wird“ oder „falls [eine genannte Bedingung oder ein genanntes Ereignis] detektiert wird“ optional so ausgelegt werden, dass er in Abhängigkeit vom Zusammenhang „bei der Bestimmung“ oder „als Reaktion auf das Bestimmen“ oder „bei der Detektion [der genannten Bedingung oder des genannten Ereignisses]“ oder „als Reaktion auf das Detektieren [der genannten Bedingung oder des genannten Ereignisses]“ bedeutet.
Wie hierin verwendet, bezieht sich ein AV-System auf das AV zusammen mit dem Array von Hardware, Software, gespeicherten Daten und in Echtzeit erzeugten Daten, die den Betrieb des AV unterstützen. In einer Ausführungsform ist das AV-System in dem AV integriert. In einer Ausführungsform ist das AV-System über mehrere Orte verteilt. Beispielsweise ist ein Teil der Software des AV-Systems in einer Cloud-Rechenumgebung implementiert, ähnlich der unten mit Bezug auf 3 beschriebenen Cloud-Rechenumgebung 300.
Im Allgemeinen beschreibt dieses Dokument Technologien, die bei beliebigen Fahrzeugen anwendbar sind, die eine oder mehrere autonome Fähigkeiten aufweisen, einschließlich vollautonomen Fahrzeugen, hochautonomen Fahrzeugen und bedingt autonomen Fahrzeugen, wie etwa sogenannten Stufe-5-, Stufe-4- bzw. Stufe-3-Fahrzeugen (siehe Standard von SAE International J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems, der durch Bezugnahme in seiner Gesamtheit aufgenommen wird, für weitere Einzelheiten über die Klassifikation von Autonomiestufen in Fahrzeugen). Die in diesem Dokument beschriebenen Technologien sind auch bei teilautonomen Fahrzeugen und fahrergestützten Fahrzeugen anwendbar, wie etwa sogenannten Stufe-2- und Stufe-1-Fahrzeugen (siehe Standard von SAE International J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems). In einer Ausführungsform können ein oder mehrere der Fahrzeugsysteme der Stufe 1, 2, 3, 4 und 5 gewisse Fahrzeugoperationen (z. B. Lenkung, Bremsung und Kartenverwendung) unter gewissen Betriebsbedingungen basierend auf der Verarbeitung von Sensoreingaben automatisieren. Die in diesem Dokument beschriebenen Technologien können für Fahrzeuge in beliebigen Stufen vorteilhaft sein, angefangen von vollautonomen Fahrzeug bis zu menschlich betriebenen Fahrzeugen.
Autonome Fahrzeuge sind gegenüber einen menschlichen Fahrer erfordernde Fahrzeuge vorteilhaft. Bei einem Vorteil handelt es sich um Sicherheit. Beispielsweise traten in 2016 in den Vereinigten Staaten 6 Millionen Kraftfahrzeugunfälle, 2,4 Millionen Verletzungen, 40.000 Todesopfer und 13 Millionen Fahrzeuge in Autounfällen auf, mit geschätzten gesellschaftlichen Kosten von $910+ Milliarden. Verkehrstote in den USA pro 100 Millionen gefahrenen Meilen wurden von 1965 bis 2015 von etwa sechs auf etwa eins reduziert, teilweise aufgrund zusätzlicher in den Fahrzeugen eingesetzter Sicherheitsmaßnahmen. Beispielsweise wird angenommen, dass eine zusätzliche halbe Sekunde an Warnungszeit für einen in Kürze stattfindenden Unfall 60 % von Auffahrunfällen mindert. Passive Sicherheitsmaßnahmen (z. B. Sicherheitsgurte, Airbags) haben jedoch wahrscheinlich ihre Grenze für die Verbesserung dieser Anzahl erreicht. Somit sind aktive Sicherheitsmaßnahmen, wie etwa automatisierte Steuerung eines Fahrzeugs, wahrscheinlich der nächste Schritt bei der Verbesserung dieser Statistiken. Da menschliche Fahrer wahrscheinlich in 95 % der Unfälle für ein kritisches Vorunfallereignis verantwortlich sind, werden automatisierte Fahrsysteme wahrscheinlich bessere Sicherheitsauswirkungen erreichen, z. B. durch zuverlässiges Erkennen und Vermeiden kritischer Situationen besser als Menschen; bessere Entscheidungsfindung, Einhalten von Verkehrsregeln und Vorhersagen zukünftiger Ereignisse besser als Menschen; und zuverlässige Steuerung eines Fahrzeugs besser als ein Mensch.
Mit Bezug auf 1 betreibt ein AV-System 120 das AV 100 entlang einer Trajektorie 198 durch eine Umgebung 190 zu einem Bestimmungsort 199 (manchmal als ein endgültiger Ort bezeichnet), während Objekte (z. B. natürliche Behinderungen 191, Fahrzeuge 193, Fußgänger 192, Fahrradfahrer und andere Hindernisse) vermieden und Straßenregeln (z. B. Betriebsregeln oder Fahrpräferenzen) eingehalten werden.
In einer Ausführungsform beinhaltet das AV-System 120 Vorrichtungen 101, die so instrumentiert sind, dass sie Betriebsbefehle von den Computerprozessoren 146 empfangen und auf diese reagieren. Hierin wird der Ausdruck „Betriebsbefehl“ verwendet, um eine ausführbare Anweisung (oder Satz von Anweisungen) zu bezeichnen, die bewirkt, dass ein Fahrzeug eine Handlung (z. B. ein Fahrmanöver) durchführt. Betriebsbefehle können unter anderem Anweisungen einschließen, damit ein Fahrzeug anfängt, sich vorwärts zu bewegen, aufhört, sich vorwärts zu bewegen, anfängt, sich rückwärts zu bewegen, aufhört, sich rückwärts zu bewegen, beschleunigt, abbremst, nach links abbiegt und nach rechts abbiegt. In einer Ausführungsform ähneln die Rechenprozessoren 146 dem unten mit Bezug auf 3 beschriebenen Prozessor 304. Beispiele für die Vorrichtungen 101 beinhalten eine Lenkungssteuerung 102, Bremsen 103, Gänge, Gaspedal oder andere Beschleunigungssteuermechanismen, Scheibenwischer, Seitentürverriegelungen, Fenstersteuerungen und Blinker.
In einer Ausführungsform beinhaltet das AV-System 120 Sensoren 121 zum Messen oder Inferieren von Eigenschaften des Status oder Zustands des AV 100, wie etwa die Position des AV, Linear- und Winkelgeschwindigkeit und -beschleunigung und Kurs (z. B. eine Orientierung des führenden Endes des AV 100). Beispiele für die Sensoren 121 sind GPS, inertiale Messeinheiten (IMU), die sowohl Fahrzeuglinearbeschleunigungen als auch Winkelraten messen, Radgeschwindigkeitssensoren zum Messen oder Schätzen von Radschlupfverhältnissen, Radbremsdruck- oder Bremsmomentsensoren, Motordrehmoment- oder Raddrehmomentsensoren und Lenkwinkel- und Winkelratensensoren.
In einer Ausführungsform beinhalten die Sensoren 121 auch Sensoren zum Erfassen oder Messen von Eigenschaften der Umgebung des AV. Beispielsweise Monokular- oder Stereo-Videokameras 122 im sichtbaren Licht, Infrarotspektrum oder thermischen Spektrum (oder beiden), LiDAR 123, RADAR, Ultraschallsensoren, Laufzeit(ToF)-Tiefensensoren, Geschwindigkeitssensoren, Temperatursensoren, Luftfeuchtigkeitssensoren und Niederschlagssensoren.
In einer Ausführungsform beinhaltet das AV-System 120 eine Datenspeicherungseinheit 142 und einen Speicher 144 zum Speichern von Maschinenanweisungen, die mit den Computerprozessoren 146 assoziiert sind, oder von Daten, die durch die Sensoren 121 gesammelt werden. In einer Ausführungsform ähnelt die Datenspeicherungseinheit 142 dem ROM 308 oder der Speicherungsvorrichtung 310, die nachstehend in Bezug auf 3 beschrieben sind. Bei einer Ausführungsform ähnelt der Speicher 144 dem unten beschriebenen Hauptspeicher 306. In einer Ausführungsform speichern die Datenspeicherungseinheit 142 und der Speicher 144 historische, Echtzeit- und/oder prädiktive Informationen über die Umgebung 190. In einer Ausführungsform beinhalten die gespeicherten Informationen Karten, Fahrleistung, Verkehrsüberlastungsaktualisierungen oder Wetterbedingungen. In einer Ausführungsform werden Daten bezüglich der Umgebung 190 von einer entfernten Datenbank 134 über einen Kommunikationskanal zu dem AV 100 übertragen.
In einer Ausführungsform beinhaltet das AV-System 120 Kommunikationsvorrichtungen 140 zum Kommunizieren von gemessenen oder inferierten Eigenschaften der Status oder Zustände anderer Fahrzeuge, wie etwa Positionen, Linear- und Winkelgeschwindigkeiten, Linear- und Winkelbeschleunigungen und Linear- und Winkelkurse, zu dem AV 100. Diese Vorrichtungen beinhalten Fahrzeug-zu-Fahrzeug- (V2V) und Fahrzeug-zu-Infrastruktur(V2I)-Kommunikationsvorrichtungen und Vorrichtungen für Drahtloskommunikationen über Punkt-zu-Punkt oder Ad-Hoc-Netzwerke oder beide. In einer Ausführungsform kommunizieren die Kommunikationsvorrichtungen 140 über das elektromagnetische Spektrum (einschließlich Funkkommunikationen und optischer Kommunikationen) oder andere Medien (z. B. Luft und akustische Medien). Eine Kombination von Fahrzeug-zu-Fahrzeug(V2V)- und Fahrzeug-zu-Infrastruktur(V2I)-Kommunikation (und in manchen Ausführungsformen einer oder mehrerer anderer Kommunikationsarten) wird manchmal als eine Fahrzeug-zu-Allem(V2X)-Kommunikation bezeichnet. Eine V2X-Kommunikation entspricht typischerweise einem oder mehreren Kommunikationsstandards zur Kommunikation mit, zwischen und unter autonomen Fahrzeugen.
In einer Ausführungsform beinhalten die Kommunikationsvorrichtungen 140 Kommunikationsschnittstellen. Beispielsweise drahtgebundene, drahtlose, WiMAX-, WiFi-, Bluetooth-, Satelliten-, zellulare, optische, Nahfeld-, Infrarot- oder Funk-Schnittstellen. Die Kommunikationsschnittstellen übertragen Daten von einer entfernten Datenbank 134 zu dem AV-System 120. In einer Ausführungsform ist die entfernte Datenbank 134 in einer Cloud-Rechenumgebung 200 eingebettet, wie in 2 beschrieben. Die Kommunikationsschnittstellen 140 übertragen von den Sensoren 121 gesammelte Daten oder andere Daten bezüglich des Betriebs des AV 100 zu der entfernten Datenbank 134. In einer Ausführungsform übertragen die Kommunikationsschnittstellen 140 Informationen, die sich auf Teleoperationen beziehen, zu dem AV 100. In manchen Ausführungsformen kommuniziert das AV 100 mit anderen Fern(z. B. „Cloud“)-Servern 136.
In einer Ausführungsform speichert und überträgt die entfernte Datenbank 134 auch digitale Daten (z. B. Speichern von Daten wie etwa Landstraßen- und Stadtstraßenorten). Solche Daten werden auf dem Speicher 144 im AV 100 gespeichert oder von der entfernten Datenbank 134 über einen Kommunikationskanal zu dem AV 100 übertragen.
In einer Ausführungsform speichert und überträgt die entfernte Datenbank 134 historische Informationen über Fahreigenschaften (z. B. Geschwindigkeits- und Beschleunigungsprofile) von Fahrzeugen, die zuvor zu ähnlichen Tageszeiten entlang der Trajektorie 198 führen. In einer Implementierung können solche Daten auf dem Speicher 144 im AV 100 gespeichert oder von der entfernten Datenbank 134 über einen Kommunikationskanal zu dem AV 100 übertragen werden.
Die sich am AV 100 befindlichen Rechenvorrichtungen 146 erzeugen algorithmisch Steuerhandlungen basierend auf sowohl Echtzeit-Sensordaten als auch vorherigen Informationen, was dem AV-System 120 ermöglicht, seine autonomen Fahrfähigkeiten auszuführen.
In einer Ausführungsform beinhaltet das AV-System 120 mit den Rechenvorrichtungen 146 gekoppelte Computerperipheriegeräte 132 zum Bereitstellen von Informationen und Warnungen an einen Benutzer (z. B. einen Insassen oder einen Fernbenutzer) des AV 100 und Empfangen einer Eingabe von diesem. In einer Ausführungsform ähneln die Peripheriegeräte 132 der Anzeige 312, der Eingabevorrichtung 314 und der Cursor-Steuerung 316, die unten mit Bezug auf 3 besprochen sind. Die Kopplung ist drahtlos oder drahtgebunden. Zwei oder mehr beliebige der Schnittstellenvorrichtungen können in eine einzelne Vorrichtung integriert sein.
In einer Ausführungsform empfängt und erzwingt das AV-System 120 ein Datenschutzniveau eines Passagiers, das z. B. durch den Passagier spezifiziert wird oder in einem mit dem Passagier assoziierten Profil gespeichert ist. Das Datenschutzniveau des Passagiers bestimmt, wie spezielle mit dem Passagier assoziierte Informationen (z. B. Passagierkomfortdaten, biometrische Daten usw.) verwendet, in dem Passagierprofil gespeichert und/oder auf dem Cloud-Server 136 gespeichert und mit dem Passagierprofil assoziiert werden dürfen. In einer Ausführungsform spezifiziert das Datenschutzniveau spezielle mit einem Passagier assoziierte Informationen, die gelöscht werden, sobald die Fahrt beendet ist. In einer Ausführungsform spezifiziert das Datenschutzniveau spezielle mit einem Passagier assoziierte Informationen und identifiziert eine oder mehrere Entitäten, die für das Zugreifen auf die Informationen autorisiert sind. Beispiele für spezifizierte Entitäten, die für das Zugreifen auf Informationen autorisiert sind, können andere AVs, Drittpartei-AV-Systeme oder eine beliebige Entität, die potenziell auf die Informationen zugreifen könnte, beinhalten.
Ein Datenschutzniveau eines Passagiers kann mit einer oder mehreren Granularitätsstufen spezifiziert werden. In einer Ausführungsform identifiziert ein Datenschutzniveau spezifische zu speichernde oder gemeinsam zu nutzende Informationen. In einer Ausführungsform gilt das Datenschutzniveau für alle mit dem Passagier assoziierten Informationen, sodass der Passagier spezifizieren kann, dass keine seiner persönlichen Informationen gespeichert oder gemeinsam genutzt werden. Die Spezifikation der Entitäten, denen ein Zugriff auf spezielle Informationen gestattet ist, kann auch mit verschiedenen Granularitätsstufen spezifiziert werden. Verschiedene Sätze von Entitäten, denen ein Zugriff auf spezielle Informationen gestattet ist, können beispielsweise andere AVs, die Cloud-Server 136, spezifische Drittpartei-AV-Systeme usw. beinhalten.
In einer Ausführungsform bestimmt das AV-System 120 oder der Cloud-Server 136, ob das AV 100 oder eine andere Entität auf gewisse mit einem Passagier assoziierte Informationen zugreifen kann. Beispielsweise muss ein Drittpartei-AV-System, das versucht, auf eine Passagiereingabe in Bezug auf einen speziellen raumzeitlichen Ort zuzugreifen, eine Autorisierung z. B. von dem AV-System 120 oder dem Cloud-Server 136 erhalten, um auf die mit dem Passagier assoziierten Informationen zuzugreifen. Beispielsweise verwendet das AV-System 120 das spezifizierte Datenschutzniveau des Passagiers, um zu bestimmen, ob die Passagiereingabe in Bezug auf den raumzeitlichen Ort dem Drittpartei-AV-System, dem AV 100 oder einem anderen AV präsentiert werden kann. Dies ermöglicht dem Datenschutzniveau des Passagiers zu spezifizieren, welchen anderen Entitäten gestattet ist, Daten über Handlungen des Passagiers oder andere mit dem Passagier assoziierte Daten zu empfangen.
2 veranschaulicht eine beispielhafte „Cloud“-Rechenumgebung. Cloud-Computing ist ein Dienstlieferungsmodell zum Ermöglichen eines zweckmäßigen On-Demand-Netzwerkzugangs für einen gemeinsam genutzten Pool konfigurierbarer Rechenressourcen (z. B. Netzwerke, Netzwerkbandbreite, Server, Verarbeitung, Speicher, Speicherung, Anwendungen, virtuelle Maschinen und Dienste). In typischen Cloud-Rechensystemen sind die zum Liefern der durch die Cloud bereitgestellten Dienste verwendeten Maschinen in einem oder mehreren großen Cloud-Datenzentren untergebracht. Jetzt mit Bezug auf 2 beinhaltet die Cloud-Rechenumgebung 200 Cloud-Datenzentren 204a, 204b und 204c, die über die Cloud 202 miteinander verbunden sind. Die Datenzentren 204a, 204b und 204c stellen Computersystemen 206a, 206b, 206c, 206d, 206e und 206f, die mit der Cloud 202 verbunden sind, Cloud-Rechendienste bereit.
Die Cloud-Rechenumgebung 200 beinhaltet ein oder mehrere Cloud-Datenzentren. Im Allgemeinen bezieht sich ein Cloud-Datenzentrum, zum Beispiel das in 2 gezeigte Cloud-Datenzentrum 204a, auf die physische Anordnung von Servern, die eine Cloud bilden, zum Beispiel die in 2 gezeigte Cloud 202, oder einen speziellen Teil einer Cloud. Beispielsweise sind Server in dem Cloud-Datenzentrum physisch in Räume, Gruppen, Reihen und Racks angeordnet. Ein Cloud-Datenzentrum weist eine oder mehrere Zonen auf, die einen oder mehrere Serverräume beinhalten. Jeder Raum weist eine oder mehrere Serverreihen auf, und jede Reihe beinhaltet ein oder mehrere Racks. Jedes Rack beinhaltet einen oder mehrere individuelle Serverknoten. In manchen Implementierungen sind Server in Zonen, Räume, Racks und/oder Reihen basierend auf physischen Infrastrukturanforderungen der Datenzentrumeinrichtung, einschließlich Leistungs-, Energie-, thermaler, Wärme- und/oder anderer Anforderungen, in Gruppen angeordnet. In einer Ausführungsform ähneln die Serverknoten dem in 3 beschriebenen Computersystem. Das Datenzentrum 204a weist viele Rechensysteme auf, die über viele Racks verteilt sind.
Die Cloud 202 beinhaltet Cloud-Datenzentren 204a, 204b und 204c zusammen mit dem Netzwerk und Networking-Ressourcen (zum Beispiel Networking-Geräten, Knoten, Routern, Switches und Vernetzungskabeln), die die Cloud-Datenzentren 204a, 204b und 204c miteinander verbinden und dabei helfen, den Zugang der Rechensysteme 206a-f auf Cloud-Rechensysteme zu ermöglichen. In einer Ausführungsform repräsentiert das Netzwerk eine beliebige Kombination eines oder mehrerer Lokalnetzwerke, großflächiger Netzwerke oder Inter-Netzwerke, die unter Verwendung drahtgebundener oder drahtloser Links gekoppelt sind, die unter Verwendung terrestrischer Verbindungen oder Satellitenverbindungen eingesetzt werden. Über das Netzwerk ausgetauschte Daten werden unter Verwendung einer beliebigen Anzahl von Netzwerkschichtprotokollen transferiert, wie etwa Internetprotokoll (IP), Multiprotocol Label Switching (MPLS), Asynchronous Transfer Mode (ATM), Frame Relay usw. Ferner werden in Ausführungsformen, in denen das Netzwerk eine Kombination mehrerer Teilnetzwerke repräsentiert, unterschiedliche Netzwerkschichtprotokolle an jedem der zugrundeliegenden Teilnetzwerke verwendet. In manchen Ausführungsformen repräsentiert das Netzwerk ein oder mehrere miteinander verbundene Inter-Netzwerke, wie etwa das öffentliche Internet.
Die Rechensysteme 206a-f oder Verbraucher der Cloud-Rechensysteme sind über Netzwerklinks und Netzwerkadapter mit der Cloud 202 verbunden. In einer Ausführungsform werden die Rechensysteme 206a-f als verschiedene Rechenvorrichtungen implementiert, zum Beispiel Server, Desktops, Laptops, Tablets, Smartphones, Internet-der-Dinge(IdD)-Vorrichtungen, autonome Fahrzeuge (einschließlich Autos, Drohnen, Shuttles, Zügen, Bussen usw.) und Verbraucherelektronik. In einer Ausführungsform werden die Rechensysteme 206a-f in anderen Systemen oder als ein Teil von diesen implementiert.
3 veranschaulicht ein Computersystem 300. In einer Implementierung ist das Computersystem 300 eine Spezialzweck-Rechenvorrichtung. Die Spezialzweck-Rechenvorrichtung ist festverdrahtet, um die Techniken durchzuführen, oder beinhaltet digitale elektronische Vorrichtungen wie etwa eine oder mehrere anwendungsspezifische integrierte Schaltungen (ASICs) oder feldprogrammierbare Gate-Arrays (FPGAs), die persistent programmiert sind, um die Techniken durchzuführen, oder können einen oder mehrere Allgemeinzweck-Hardwareprozessoren beinhalten, die programmiert sind, die Techniken gemäß Programmanweisungen in Firmware, Speicher, anderer Speicherung oder einer Kombination durchzuführen. Solche Spezialzweck-Rechenvorrichtungen können auch benutzerdefinierte festverdrahtete Logik, ASICs oder FPGAs mit benutzerdefinierter Programmierung kombinieren, um die Techniken zu verwirklichen. In verschiedenen Ausführungsformen sind die Spezialzweck-Rechenvorrichtungen Desktop-Computersysteme, tragbare Computersysteme, Handheld-Vorrichtungen, Netzwerkvorrichtungen oder eine beliebige andere Vorrichtung, die festverdrahtete Logik und/oder Programmlogik einbezieht, um die Techniken zu implementieren.
In einer Ausführungsform beinhaltet das Computersystem 300 einen Bus 302 oder einen anderen Kommunikationsmechanismus zum Kommunizieren von Informationen und einen mit dem Bus 302 gekoppelten Hardwareprozessor 304 zum Verarbeiten von Informationen. Der Hardwareprozessor 304 ist beispielsweise ein Allgemeinzweck-Mikroprozessor. Das Computersystem 300 beinhaltet außerdem einen Hauptspeicher 306, wie etwa einen Direktzugriffsspeicher (RAM) oder eine andere dynamische Speicherungsvorrichtung, der/die mit dem Bus 302 gekoppelt ist, zum Speichern von Informationen und Anweisungen, die durch den Prozessor 304 auszuführen sind. In einer Implementierung wird der Hauptspeicher 306 zum Speichern temporärer Variablen oder anderer Zwischeninformationen während der Ausführung von durch den Prozessor 304 auszuführenden Anweisungen verwendet. Derartige Anweisungen, wenn sie in für den Prozessor 304 zugreifbaren, nichtflüchtigen Speicherungsmedien gespeichert sind, bilden das Computersystem 300 in eine Spezialzweck-Maschine aus, die zum Durchführen der in den Anweisungen spezifizierten Operationen angepasst ist.
In einer Ausführungsform beinhaltet das Computersystem 300 ferner einen Nur-LeseSpeicher (ROM) 308 oder eine andere statische Speicherungsvorrichtung, die mit dem Bus 302 gekoppelt ist, zum Speichern statischer Informationen und Anweisungen für den Prozessor 304. Eine Speicherungsvorrichtung 310, wie etwa eine magnetische Platte, eine optische Platte, ein Solid-State-Laufwerk oder ein dreidimensionaler Cross-Point-Speicher, ist bereitgestellt und mit dem Bus 302 gekoppelt, um Informationen und Anweisungen zu speichern.
In einer Ausführungsform ist das Computersystem 300 über den Bus 302 mit einer Anzeige 312 gekoppelt, wie etwa einer Kathodenstrahlröhre (CRT), einer Flüssigkristallanzeige (LCD), einer Plasmaanzeige, einer Leuchtdioden(LED)-Anzeige oder einer Organisch-Leuchtdioden(OLED)-Anzeige, um Informationen für einen Computerbenutzer anzuzeigen. Eine Eingabevorrichtung 314, die alphanumerische und andere Tasten beinhaltet, ist mit dem Bus 302 zum Kommunizieren von Informationen und Befehlsauswahlen zu dem Prozessor 304 gekoppelt. Eine andere Art von Benutzereingabevorrichtung ist eine Cursor-Steuerung 316, wie etwa eine Maus, ein Trackball, eine berührungsgestützte Anzeige oder Cursorrichtungstasten zum Kommunizieren von Richtungsinformationen und Befehlsauswahlen zu dem Prozessor 304 und zum Steuern der Cursorbewegung auf der Anzeige 312. Diese Eingabevorrichtung weist typischerweise zwei Freiheitsgrade in zwei Achsen auf, einer ersten Achse (z. B. x-Achse) und einer zweiten Achse (z. B. y-Achse), was der Vorrichtung ermöglicht, Positionen in einer Ebene zu spezifizieren.
Gemäß einer Ausführungsform werden die Techniken hierin durch das Computersystem 300 als Reaktion darauf durchgeführt, dass der Prozessor 304 eine oder mehrere Sequenzen einer oder mehrerer im Hauptspeicher 306 enthaltener Anweisungen ausführt. Solche Anweisungen werden von einem anderen Speicherungsmedium, wie etwa der Speicherungsvorrichtung 310, in den Hauptspeicher 306 gelesen. Die Ausführung der im Hauptspeicher 306 enthaltenen Anweisungssequenzen veranlasst, dass der Prozessor 304 die hierin beschriebenen Prozessschritte durchführt. In alternativen Ausführungsformen wird eine festverdrahtete Schaltungsanordnung anstelle von oder in Kombination mit Softwareanweisungen verwendet.
Der Begriff „Speicherungsmedien“, wie hierin verwendet, bezieht sich auf beliebige nicht transitorische Medien, die Daten und/oder Anweisungen speichern, die veranlassen, dass eine Maschine auf eine spezifische Weise arbeitet. Solche Speicherungsmedien beinhalten nichtflüchtige Medien und/oder flüchtige Medien. Nichtflüchtige Medien beinhalten beispielsweise optische Platten, Magnetplatten, Solid-State-Laufwerke oder dreidimensionalen Cross-Point-Speicher, wie etwa die Speicherungsvorrichtung 310. Flüchtige Medien beinhalten dynamischen Speicher, wie etwa den Hauptspeicher 306. Übliche Formen von Speicherungsmedien beinhalten beispielsweise eine Diskette, eine flexible Platte, eine Festplatte, ein Solid-State-Laufwerk, Magnetband oder ein beliebiges anderes magnetisches Datenspeicherungsmedium, eine CD-ROM, ein beliebiges anderes optisches Datenspeicherungsmedium, ein beliebiges physisches Medium mit Lochmustern, einen RAM, einen PROM und EPROM, einen FLASH-EPROM, NV-RAM oder einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette.
Speicherungsmedien unterscheiden sich von Übertragungsmedien, können jedoch in Verbindung mit diesen verwendet werden. Übertragungsmedien nehmen bei dem Transfer von Informationen zwischen Speicherungsmedien teil. Beispielsweise beinhalten Übertragungsmedien Koaxialkabel, Kupferdraht und Faseroptik, einschließlich der Drähte, die den Bus 302 umfassen. Übertragungsmedien können auch die Form akustischer Wellen oder Lichtwellen annehmen, wie etwa jene, die während Funkwellen- oder Infrarot-Datenkommunikationen erzeugt werden.
In einer Ausführungsform sind verschiedene Formen von Medien beim Führen einer oder mehrerer Sequenzen einer oder mehrerer Anweisungen zu dem Prozessor 304 zur Ausführung beteiligt. Beispielsweise werden die Anweisungen anfänglich auf einer magnetischen Platte oder einem Solid-State-Laufwerk eines Ferncomputers geführt. Der Ferncomputer lädt die Anweisungen in seinen dynamischen Speicher und sendet die Anweisungen über eine Telefonleitung unter Verwendung eines Modems. Ein Modem lokal zu dem Computersystem 300 empfängt die Daten auf der Telefonleitung und verwendet einen Infrarotsender, um die Daten in ein Infrarotsignal umzuwandeln. Ein Infrarotdetektor empfängt die in dem Infrarotsignal geführten Daten und eine geeignete Schaltungsanordnung platziert die Daten auf den Bus 302. Der Bus 302 führt die Daten zum Hauptspeicher 306, aus dem der Prozessor 304 die Anweisungen abruft und ausführt. Die durch den Hauptspeicher 306 empfangenen Anweisungen können optional in der Speicherungsvorrichtung 310 entweder vor oder nach der Ausführung durch den Prozessor 304 gespeichert werden.
Das Computersystem 300 beinhaltet auch eine Kommunikationsschnittstelle 318, die mit dem Bus 302 gekoppelt ist. Die Kommunikationsschnittstelle 318 stellt eine Zweiwege-Datenkommunikationskopplung mit einem Netzwerklink 320 bereit, der mit einem Lokalnetzwerk 322 verbunden ist. Beispielsweise ist die Kommunikationsschnittstelle 318 eine ISDN(Integrated Service Digital Network)-Karte, ein Kabelmodem, ein Satellitenmodem oder ein Modem zum Bereitstellen einer Datenkommunikationsverbindung mit einer entsprechenden Art von Telefonleitung. Als ein anderes Beispiel ist die Kommunikationsschnittstelle 318 eine Lokalnetzwerk(LAN)-Karte zum Bereitstellen einer Datenkommunikationsverbindung mit einem kompatiblen LAN. In manchen Implementierungen werden auch Drahtlos-Links implementiert. In einer beliebigen derartigen Implementierung sendet und empfängt die Kommunikationsschnittstelle 318 elektrische, elektromagnetische oder optische Signale, die digitale Datenströme führen, die verschiedene Informationsarten repräsentieren.
Der Netzwerklink 320 stellt typischerweise eine Datenkommunikation über ein oder mehrere Netzwerke zu anderen Datenvorrichtungen bereit. Beispielsweise stellt der Netzwerklink 320 eine Verbindung über das Lokalnetzwerk 322 zu einem Host-Computer 324 oder zu einem Cloud-Datenzentrum oder -Gerät bereit, der/das durch einen Internetdienstanbieter (ISP) 326 betrieben wird. Der ISP 326 stellt im Gegenzug Datenkommunikationsdienste über das weltweite Paketdatenkommunikationsnetzwerk bereit, heutzutage gewöhnlich bezeichnet als das „Internet“ 328. Sowohl das Lokalnetzwerk 322 als auch das Internet 328 verwenden elektrische, elektromagnetische oder optische Signale, die digitale Datenströme führen. Die Signale über die verschiedenen Netzwerke und die Signale auf dem Netzwerklink 320 und über die Kommunikationsschnittstelle 318, die die digitalen Daten zu und von dem Computersystem 300 führen, sind beispielhafte Formen von Übertragungsmedien. In einer Ausführungsform enthält das Netzwerk 320 die Cloud 202 oder einen Teil der oben beschriebenen Cloud 202.
Das Computersystem 300 sendet Nachrichten und empfängt Daten, einschließlich Programmcode, über das (die) Netzwerk(e), den Netzwerklink 320 und die Kommunikationsschnittstelle 318. In einer Ausführungsform empfängt das Computersystem 300 Code zur Verarbeitung. Der empfangene Code wird durch den Prozessor 304 wie empfangen ausgeführt und/oder in der Speicherungsvorrichtung 310 oder einer anderen nichtflüchtigen Speicherung zur späteren Ausführung gespeichert.
Architektur eines autonomen Fahrzeugs
4 zeigt eine beispielhafte Architektur 400 für ein autonomes Fahrzeug (z. B. das in 1 gezeigte AV 100). Die Architektur 400 beinhaltet ein Wahrnehmungsmodul 402 (manchmal als eine Wahrnehmungsschaltung bezeichnet), ein Planungsmodul 404 (manchmal als eine Planungsschaltung bezeichnet), ein Steuermodul 406 (manchmal als eine Steuerschaltung bezeichnet), ein Lokalisierungsmodul 408 (manchmal als eine Lokalisierungsschaltung bezeichnet) und ein Datenbankmodul 410 (manchmal als eine Datenbankschaltung bezeichnet). Jedes Modul spielt beim Betrieb des AV 100 eine Rolle. Zusammen können die Module 402, 404, 406, 408 und 410 Teil des in 1 gezeigten AV-Systems 120 sein. In manchen Ausführungsformen sind beliebige der Module 402, 404, 406, 408 und 410 eine Kombination von Computersoftware (z. B. ausführbarer Code, der auf einem computerlesbaren Medium gespeichert ist) und Computerhardware (z. B. ein/e oder mehrere Mikroprozessoren, Mikrocontroller, anwendungsspezifische integrierte Schaltungen [ASICs], Hardwarespeichervorrichtungen, andere Arten von integrierten Schaltungen, andere Arten von Computerhardware oder eine Kombination beliebiger oder aller dieser Dinge). Jedes der Module 402, 404, 406, 408 und 410 wird manchmal als eine Verarbeitungsschaltung (z. B. Computerhardware, Computersoftware oder eine Kombination beider) bezeichnet. Eine Kombination beliebiger oder aller der Module 402, 404, 406, 408 und 410 ist auch ein Beispiel für eine Verarbeitungsschaltung.
Im Gebrauch empfängt das Planungsmodul 404 Daten, die einen Bestimmungsort 412 repräsentieren, und bestimmt Daten, die eine Trajektorie 414 (manchmal als eine Route bezeichnet) repräsentieren, auf der das AV 100 fahren kann, um den Bestimmungsort 412 zu erreichen (z. B. dort anzukommen). Damit das Planungsmodul 404 die die Trajektorie 414 repräsentierenden Daten bestimmt, empfängt das Planungsmodul 404 Daten vom Wahrnehmungsmodul 402, vom Lokalisierungsmodul 408 und vom Datenbankmodul 410.
Das Wahrnehmungsmodul 402 identifiziert nahegelegene physische Objekte unter Verwendung eines oder mehrerer Sensoren 121, z. B. wie auch in 1 gezeigt. Die Objekte werden klassifiziert (z. B. in Typen wie etwa Fußgänger, Fahrrad, Kraftfahrzeug, Verkehrsschild usw. gruppiert) und dem Planungsmodul 404 wird eine Szenenbeschreibung einschließlich der klassifizierten Objekte 416 bereitgestellt. Beispielsweise können der eine oder die mehreren Sensoren 121 bestimmen, dass sich ein UPS-Lieferfahrzeug vor dem AV 100 befindet.
Das Planungsmodul 404 empfängt auch Daten, die die AV-Position 418 repräsentieren, vom Lokalisierungsmodul 408. Das Lokalisierungsmodul 408 bestimmt die AV-Position unter Verwendung von Daten von den Sensoren 121 und Daten vom Datenbankmodul 410 (z. B. geografische Daten), um eine Position zu berechnen. Beispielsweise verwendet das Lokalisierungsmodul 408 Daten von einem GNSS(globales Satellitennavigationssystem)-Sensor und geografische Daten, um einen Längengrad und Breitengrad des AV zu berechnen. In einer Ausführungsform beinhalten die durch das Lokalisierungsmodul 408 verwendeten Daten hochpräzise Karten der geometrischen Eigenschaften der Verkehrsstraße, Karten, die Straßennetzkonnektivitätseigenschaften beschreiben, Karten, die physische Eigenschaften der Verkehrsstraße beschreiben (wie etwa Verkehrsgeschwindigkeit, Verkehrsvolumen, die Anzahl von Fahrzeug- und Fahrrad-Verkehrsfahrbahnen, Fahrbahnbreite, Fahrbahnverkehrsrichtung oder Fahrbahnmarkierungsarten und -orte oder Kombinationen davon), und Karten, die die räumlichen Orte von Straßenmerkmalen beschreiben, wie etwa Fußgängerüberwege, Verkehrsschilder oder andere Verkehrssignale verschiedener Arten. In einer Ausführungsform werden die hochpräzisen Karten erstellt, indem zu Karten mit niedriger Präzision durch automatische oder manuelle Annotation Daten hinzugefügt werden.
Das Steuermodul 406 empfängt die die Trajektorie 414 repräsentierenden Daten und die die AV-Position 418 repräsentierenden Daten und betreibt die Steuerfunktionen 420a-c (z. B. Lenkung, Drosseln, Bremsen, Zündung) des AV auf eine Weise, die bewirken wird, dass das AV 100 entlang der Trajektorie 414 zu dem Bestimmungsort 412 fährt. Falls beispielsweise die Trajektorie 414 eine Linksabbiegung beinhaltet, wird das Steuermodul 406 die Steuerfunktionen 420a-c auf eine Weise betreiben, dass der Lenkwinkel der Lenkfunktion bewirken wird, dass das AV 100 nach links abbiegt, und das Drosseln und Bremsen bewirken werden, dass das AV 100 anhält und darauf wartet, dass Fußgänger und Fahrzeuge passieren, bevor das Abbiegen vorgenommen wird.
Pfadplanung
5 zeigt ein Blockdiagramm 500 der Beziehungen zwischen Eingaben und Ausgaben eines Planungsmoduls 404 (z. B. wie in 4 gezeigt). Im Allgemeinen ist die Ausgabe eines Planungsmoduls 404 eine Route 502 von einem Startpunkt 504 (z. B. Quellstandort oder Anfangsstandort) zu einem Endpunkt 506 (z. B. Bestimmungsort oder endgültigen Ort). Die Route 502 wird typischerweise durch ein oder mehrere Segmente definiert. Beispielsweise ist ein Segment eine zu fahrende Distanz über zumindest einen Abschnitt einer Straße, Landstraße, Autobahn, Einfahrt oder ein anderer physischer Bereich, der sich zur Fahrt eines Kraftfahrzeugs eignet. In manchen Beispielen, falls z. B. das AV 100 ein geländefähiges Fahrzeug ist, wie etwa ein Vierrad(4WD)- oder Allrad(AWD)-Auto, SUV, Pickup-Truck oder dergleichen, beinhaltet die Route 502 „Off-Road“-Segmente, wie etwa unbefestigte Pfade oder offene Felder.
Zusätzlich zu der Route 502 gibt ein Planungsmodul auch Routenplanungsdaten 508 auf Fahrbahnebene aus. Die Routenplanungsdaten 508 auf Fahrbahnebene werden verwendet, um Segmente der Route 502 basierend auf Zuständen des Segments zu einer speziellen Zeit zu durchfahren. Falls die Route 502 beispielsweise eine mehrspurige Autobahn beinhaltet, beinhalten die Routenplanungsdaten 508 auf Fahrbahnebene Trajektorieplanungsdaten 510, die das AV 100 verwendet kann, um eine Fahrbahn unter den mehreren Fahrbahnen zu wählen, z. B. basierend darauf, ob sich einer Ausfahrt genähert wird, ob eine oder mehrere der Fahrbahnen andere Fahrzeuge aufweisen, oder andere Faktoren, die im Verlauf weniger Minuten oder weniger variieren. In Anliegerstraßen kann ein Postauslieferungsfahrzeug häufig in der rechten Fahrbahn anhalten. Gleichermaßen beinhalten die Routenplanungsdaten 508 auf Fahrbahnebene in manchen Implementierungen für ein Segment der Route 502 spezifische Geschwindigkeitsbeschränkungen 512. Falls das Segment beispielsweise Fußgänger oder unerwarteten Verkehr beinhaltet, können die Geschwindigkeitsbeschränkungen 512 das AV 100 auf eine Fahrgeschwindigkeit einschränken, die langsamer als eine voraussichtliche Geschwindigkeit ist, z. B. eine Geschwindigkeit basierend auf Geschwindigkeitsbegrenzungsdaten für das Segment.
In einer Ausführungsform beinhalten die Eingaben in das Planungsmodul 404 Datenbankdaten 514 (z. B. von dem in 4 gezeigten Datenbankmodul 410), aktuelle Standortdaten 516 (z. B. die in 4 gezeigte AV-Position 418), Bestimmungsortdaten 518 (z. B. für den in 4 gezeigten Bestimmungsort 412) und Objektdaten 520 (z. B. die klassifizierten Objekte 416, wie durch das in 4 gezeigte Wahrnehmungsmodul 402 wahrgenommen). In manchen Ausführungsformen beinhalten die Datenbankdaten 514 bei der Planung verwendete Regeln. Regeln werden unter Verwendung einer formellen Sprache spezifiziert, z. B. unter Verwendung von boolescher Logik. In einer beliebigen gegebenen Situation, auf die das AV 100 trifft, werden zumindest manche der Regeln für die Situation gelten. Eine Regel gilt für eine gegebene Situation, falls die Regel Bedingungen aufweist, die basierend auf dem AV 100 zur Verfügung stehenden Informationen erfüllt werden, z. B. Informationen über die umliegende Umgebung. Regeln können eine Priorität aufweisen. Beispielsweise kann eine Regel, die besagt „falls die Straße eine Schnellstraße ist, soll sich zu der am weitesten links gelegenen Spur bewegt werden“, eine niedrigere Priorität aufweisen als „falls sich der Ausfahrt innerhalb einer Meile genähert wird, soll sich zu der am weitesten rechts gelegenen Spur bewegt werden“. Als ein weiteres Beispiel kann eine Regel, die besagt „falls das Fahrzeug vor dem AV 100 ein Postauslieferungsfahrzeug ist, ein Überholmanöver versuchen“, eine niedrigere Priorität aufweisen als „falls sich in einer Überholverbotszone befindlich, in der aktuellen Fahrbahn bleiben“.
Trajektorieschätzung von Objekten in der Umgebung
6 zeigt das AV 100, das entlang eines Straßensegments 608 in einer Umgebung 600 fährt. Verschiedene sich bewegende Objekte können die Route oder den Pfad des AV 100 während der Fahrt des AV 100 beeinträchtigen. Beispielsweise könnten ein anderes Fahrzeug, ein Fußgänger oder ein Fahrrad die Route des AV 100 beeinträchtigen. Wie in 6 gezeigt, befinden sich zwei Objekte in der Umgebung 600, sowohl Fahrzeug „A“ als auch Fahrzeug „B“, in einem Bereich 602 des AV 100. Der Bereich 602 ist ein Teilbereich einer Umgebung 600, in dem das AV 100 Objekte „sieht“, die die Route des AV 100 beeinträchtigen könnten.
Beispielsweise befindet sich Fahrzeug „B“ 5 Fuß vorgelagert (wobei die Vorderseite durch die Vorwärtsfahrtrichtung des AV 100 bezeichnet wird) und in der rechten Fahrspur und Fahrzeug „A“ befindet sich unmittelbar an der linken Seite des AV 100 und in der linken Fahrspur. In manchen Ausführungsformen repräsentiert ein Radius von 20 m rund um das AV 100 den Bereich 602. In manchen Ausführungsformen umspannt der Bereich 602 ein Gebiet, das das AV 100 in den folgenden 5-8 Sekunden durchfahren kann. In manchen Ausführungsformen befindet der Bereich 602 hauptsächlich vor dem AV 100, sodass der Schwerpunkt hauptsächlich auf den Bereich vor dem AV 100 anstelle hinter dem AV 100 gelegt wird. Auf diese Weise hängt der Bereich 602 von der Bahngeschwindigkeit (Geschwindigkeit und Kurs) des AV 100 ab.
Sensoren des AV 100 (z. B. Sensoren 121) detektieren das Vorhandensein sowohl des Fahrzeugs „A“ als auch des Fahrzeugs „B“ (z. B. „sieht“ das LiDAR 123 das Fahrzeug „A“, wie durch die Strahlverfolgung von Licht 636 bezeichnet). Diese Informationen werden durch das Wahrnehmungsmodul 402 zur Objektklassifizierung 416 verarbeitet, wie mit Bezug auf 4 beschrieben. Andere Sensoren des AV 100 können jedoch verwendet werden, um das Vorhandensein des Fahrzeugs „A“ und „B“ zu detektieren. Beispielsweise können auch RADAR, Kameras, Näherungssensoren und/oder beliebige zuvor beschriebene Sensoren verwendet werden.
Jedoch ist die ledigliche Kenntnis, dass sich das Fahrzeug „A“ an der linken Seite des AV 100 befindet, nicht ausreichend, um das Verhalten des Fahrzeugs „A“ zu bestimmen. Zusätzlich kann das Wahrnehmungsmodul 402 eine Trajektorie des Objekts bestimmen, die die nächsten wenigen Sekunden (z. B. 2-5 Sekunden) der Fahrt des Objekts repräsentiert. Die Trajektorie kann festlegen, dass ein Auto an der linken Seite des AV 100 mit 20 mph und geradeaus fährt, aber es ist nicht bekannt, ob der Fahrer ein abruptes Manöver durchführen wird, z. B. die Spur wechselt, um eine bevorstehende Abbiegung vorzunehmen.
Falls das Planungsmodul des AV 100 beispielsweise vorgibt, dass das AV 100 an der bevorstehenden Kreuzung 640 nach links abbiegen sollte, kann das AV 100 bestimmen, dass die beste Vorgehensweise darin besteht, langsamer zu werden und sich in die linke Fahrbahn hinter das Fahrzeug „A“ zu bewegen. Falls es jedoch bekannt wäre, dass das Fahrzeug „A“ ein Bus ist, der in Kürze an der Bushaltestelle 642 anhalten wird, kann das AV 100 bestimmen, dass die beste Vorgehensweise darin besteht, in der aktuellen Fahrbahn zu bleiben und sich in die linke Fahrbahn zu bewegen, nachdem das Fahrzeug „A“ an der Bushaltestelle 642 angehalten hat. Falls das AV 100 stattdessen langsamer geworden wäre und sich hinter das Fahrzeug „A“ bewegt hätte, dann müsste das AV 100 entweder hinter dem Fahrzeug „A“ an der Bushaltestelle 642 warten oder ein Überholmanöver durchführen. Nichts davon wäre von einem Zeit- und/oder Passagierkomfortstandpunkt aus ideal.
Die Kenntnis einer erwarteten Route, die das Fahrzeug „A“ wahrscheinlich nehmen wird, könnte für das Bestimmen verwendet werden, in welcher Fahrbahn sich das AV 100 zu einer jeglichen gegebenen Zeit befinden sollte. Eine erwartete Route wird als fest, vorausgeplant, planmäßig, unveränderbar oder anderweitig basierend auf einer festen, vorausgeplanten, planmäßigen oder unveränderbaren Route abgeleitet, die ein Objekt nehmen wird, definiert. Insbesondere werden diese Informationen durch das Planungsmodul 404 verwendet, um die Planungsdaten 508 auf Fahrbahnebene (zuvor mit Bezug auf 5 beschrieben) der Route 502 zu aktualisieren. Obwohl es nicht wahrscheinlich ist, dass die Gesamtroute 502 des AV 100 mit Kenntnis der erwarteten Route von Objekten in der Umgebung 600 geändert wird, sind derartige Änderungen möglich. Beispielsweise könnte eine erwartete Route des Fahrzeugs „A“ angeben, dass erwartet wird, dass es an der Bushaltestelle 642 anhält und dann an der Kreuzung 640 nach links weiterfährt. Die Kenntnis dieser erwarteten Route durch das Planungsmodul 404 würde dem Planungsmodul 404 ermöglichen, die optimale augenblickliche Fahrbahnposition für das AV 100 zu bestimmen.
Die erwartete Route kann eine einmalige oder temporäre Route (z. B. Freizeitfahrer, Lieferdienste, Baufahrzeuge) oder eine wiederkehrende Route (z. B. Postdienste, Busse) sein. Zusätzlich ermöglicht die Kenntnis von Abständen und Geschwindigkeiten entlang der erwarteten Route dem Wahrnehmungsmodul 402, eine zukünftige Zeit zu approximieren, zu der sich das Objekt wahrscheinlich an dieser Position entlang der erwarteten Route befinden wird. Beispielsweise kann die zukünftige Zeit mindestens 5 Sekunden in der Zukunft repräsentieren, aber in manchen Ausführungsformen definiert die erwartete Route die erwartete Position des Objekts im Verlauf der nächsten Minute. In manchen Ausführungsformen kann die erwartete Position gegenüber der Zeit durch das Wahrnehmungsmodul 402 mit der Kenntnis aktueller Geschwindigkeitsbeschränkungen, der aktuellen Trajektorie des Objekts und/oder der Verkehrsüberlastung geschätzt werden.
Ein wichtiger Aspekt der erwarteten Routeninformationen besteht darin, dass sie Positionsschätzungen des Objekts zu einer zukünftigen Zeit bereitstellen. Beispielsweise ist die Kenntnis der erwarteten Position des Objekts für 10 Sekunden in die Zukunft sehr hilfreich. In den meisten Ausführungsformen liefert die Kenntnis der Position des Objekts für 5-8 Sekunden in die Zukunft ausreichend Genauigkeit für das Fusionieren mit den Trajektoriedaten des Objekts, um eine verbesserte Vorhersage über die zukünftige Position des Objekts zu erzeugen. Zukünftige Zeiten von viel länger als 10 Sekunden können weniger hilfreich sein, da die Permutationen aller möglichen Bewegungen der Objekte in der Umgebung 600 groß sind und es schwierig sein kann, sie genau vorherzusagen, jedoch werden manchmal Zeiten von länger als 10 Sekunden in die Zukunft verwendet.
Die erwartete Route, die das Objekt wahrscheinlich nehmen wird, kann auf verschiedene Weisen bestimmt werden. Ein Verfahren besteht darin, direkt mit dem Objekt zu kommunizieren, um diese Informationen unter Verwendung von Fahrzeug-zu-Fahrzeug-Kommunikationen abzurufen. In manchen Ausführungsformen übermittelt das Fahrzeug „A“ beispielsweise drahtlos (z. B. über WiFi, Bluetooth oder Niederleistung-AM/FM-Frequenzen) identifizierende Informationen, die seine erwartete Route beinhalten. Dies ist für kommerzielle Fahrer von einer Sicherheitsperspektive aus vorteilhaft, da es ermöglicht, dass sich Autos in ihrer Nähe über ihre nächsten Bewegungen bewusst sind. In manchen Ausführungsformen werden die Routeninformationen von einem Sendeempfänger einer mobilen Vorrichtung im Fahrzeug „A“ kommuniziert. Wenn beispielsweise ein Fahrer oder Passagier im Fahrzeug „A“ sein Smartphone verwendet, um Richtungen zu einem Bestimmungsort bereitzustellen, werden diese Richtungsinformationen dem AV 100 drahtlos über WiFi usw. bereitgestellt. In diesem Fall übermittelt ein Sendeempfänger des Smartphones die Richtungsinformationen zum AV 100.
In manchen Ausführungsformen werden die identifizierenden Informationen jedoch nicht die erwartete Route des Objekts beinhalten. Solange die identifizierenden Informationen andere Charakteristiken bezüglich des Objekts aufzeigen, kann ein Sendeempfänger des AV 100 einen Fernserver und/oder das Internet abfragen, um die erwartete Route des Objekts unter Verwendung jeglicher bekannter Charakteristiken zu bestimmen. In manchen Ausführungsformen kommuniziert der Sendeempfänger mit externen Servern, die mit Fahrzeug „A“ und/oder Fahrzeug „B“ assoziiert sind, über das öffentliche Internet.
Falls die identifizierenden Informationen beispielsweise aufzeigen, dass das Fahrzeug „A“ ein öffentlicher Verkehrsmittelbus ist, kann der Sendeempfänger des AV 100 den öffentlichen Verkehrsmittelserver abfragen, um eine Karte aller Busse abzurufen, die einen erwarteten Pfad aufweisen, der durch die ungefähre aktuelle Position des Busses läuft. Hier wird die aktuelle Position relativ zu der bekannten aktuellen Position des AV 100 geschätzt. In manchen Ausführungsformen wird die aktuelle Position jedoch als die aktuelle Position des AV 100 selbst approximiert.
In manchen Ausführungsformen werden die Routeninformationen von einem mit dem Objekt assoziierten Server abgerufen. Beispielsweise werden Routeninformationen für UPS-Lieferfahrzeuge von UPS-Servern erhalten. Gleichermaßen werden Routeninformationen für Uber-Fahrzeuge von Uber-Servern erhalten. Dies kann unter Verwendung einer API durchgeführt werden. In manchen Ausführungsformen ist eine Vereinbarung vorhanden, die dem Sendeempfänger des AV 100 oder dem mit dem AV 100 assoziierten Server erlaubt, auf die Routeninformationen zuzugreifen. In manchen Ausführungsformen werden erwartete Routendaten vom Server heruntergeladen und lokal gespeichert. In manchen Ausführungsformen werden diese Daten zur weiteren Klassifikation des Objekts verarbeitet. In manchen Fällen werden diese Daten mit nahen autonomen Fahrzeugen geteilt.
Manchmal zeigt diese Abfrage mehr als eine eindeutige Lösung auf. Beispielsweise können zwei öffentliche Verkehrsmittelbusse entlang ihrer Pfade durch die aktuelle Position laufen. In diesen Fällen können andere Aspekte der erwarteten Routen in Betracht gezogen werden. Das Verfahren kann auch die Bahngeschwindigkeit des Objekts mit der erwarteten Bahngeschwindigkeit entlang der erwarteten Route vergleichen. Beispielsweise kann eine erwartete Route, die eine bevorstehende Bushaltestelle repräsentiert, das Fahrzeug aber nicht langsamer werden zu erscheint, angeben, dass die erwartete Route falsch ist. Eine andere Indikation ist Spurposition. Beispielsweise befindet sich ein Fahrzeug, bei dem eine Linksabbiegung erwartet wird, es sich aber in der rechten Spur befindet, möglicherweise nicht auf der erwarteten Route. Weitere Aspekte beinhalten die Tageszeiten (oder Wochentage oder Jahreszeiten), zu denen erwartet wird, dass sich das Objekt entlang der erwarteten Route befindet. Falls das Wahrnehmungsmodul 402 eine erwartete Route nicht eindeutig feststellen kann, verwendet das AV 100 diese Informationen möglicherweise nicht im Planungsmodul 404. In manchen Ausführungsformen, wenn mehrere erwartete Pfade identifiziert werden, zieht das Planermodul 404 die Möglichkeit in Betracht, dass das Objekt einem beliebigen der Pfade folgen könnte, und die Kombination aller möglichen Routen wird angenommen.
In manchen Ausführungsformen kann die erwartete Route der aktuellen Position und/oder Bahngeschwindigkeit des Objekts widersprechen. Wenn die Trajektorie des Objekts mit der erwarteten Route des Objekts verglichen wird, kann das Wahrnehmungsmodul 402 bestimmen, dass die erwarteten Routeninformationen keinen Sinn machen. Falls die erwartete Route beispielsweise angibt, dass das Fahrzeug zur aktuellen Zeit am anderen Ende der Stadt sein sollte, dann werden die erwarteten Routeninformationen als ungenau oder unzuverlässig angesehen. Falls die aktuelle Position des Objekts jedoch entlang der erwarteten Route liegt, kann das Wahrnehmungsmodul 402 schlussfolgern, dass das Objekt entlang der erwarteten Route fährt.
Ein Konfidenzniveau wird basierend auf einer Genauigkeit und/oder Zuverlässigkeit der erwarteten Route des Objekts zugewiesen. Das Konfidenzniveau wird als eine Eingabe in das Planungsmodul 404 bereitgestellt, in dem der erwarteten Route des Objekts ein Gewicht (oder eine Gewichtung) basierend auf ihrem assoziierten Konfidenzniveau gegeben wird. In manchen Ausführungsformen verwendet das Planungsmodul 404 einen Kalman-Filter-Ansatz, um dieses Konfidenzniveau in den Planungsprozess einzubeziehen. Falls die Konfidenz niedrig ist (z. B. Konfidenz unter 50 %), sollten die Informationen nicht verwendet werden. Falls die erwarteten Routendaten jedoch zuverlässig erscheinen (z. B. ein Konfidenzniveau von größer als 70 %), werden die Trajektorieinformationen des Objekts mit den erwarteten Routeninformationen fusioniert, um die erwartete Position des Objekts über die nächsten 5-8 Sekunden zu verbessern.
In manchen Ausführungsformen bestimmt das Wahrnehmungsmodul 402, wie zuverlässig die erwarteten Routeninformationen sind. Beispielsweise kann einer erwarteten Route, die zuletzt vor 10 Sekunden aktualisiert wurde, ein höheres Gewicht vergeben werden als einer Route, die zuletzt vor einem Jahr aktualisiert wurde. In manchen Ausführungsformen wird auch die Reputation der Datenquelle in Betracht gezogen. Beispielsweise kann einer Quelle von einem sicheren Ort ein höheres Gewicht vergeben werden als einer Quelle von einem unsicheren Ort. Eine Quelle, die vor Kurzem kompromittiert wurde (z. B. aufgrund eines Hacking-Ereignisses), wird möglicherweise nicht berücksichtigt oder es wird gar nicht auf diese zugegriffen.
In manchen Ausführungsformen reichen die Informationen, die vom Fahrzeug oder einer mit dem Objekt assoziierten mobilen Vorrichtung erhalten werden, aus, um das Objekt eindeutig zu identifizieren. Beispielsweise reichen Informationen von einem Auto, das seinen Standort und seine Route übermittelt, aus, um die erwartete Route zu bestimmen. In anderen Ausführungsformen kann das Klassifikationsmodul bestimmen, dass sich ein Auto an der linken Seite des AV 100 befindet (z. B. kann LiDAR verwendet werden, um das Objekt als ein Auto zu identifizieren), aber anderweitig ist wenig über das Auto bekannt. In solchen Ausführungsformen kann das AV 100 die fahrzeuginternen Sensoren anweisen, das Auto näher zu betrachten, um zu bestimmen, ob ein Firmenlogo oder eine andere Fahrzeugidentifikation vorhanden ist. Beispielsweise repräsentiert eine Kenntnis eines Firmenlogos, einer Fahrzeugidentifikation, einer Farbe, einer Detektion von Passagieren, eines Geräuschs des Fahrzeugs, offener/geschlossener Türen, eingeschalteter Blinker usw. einen Zustand des Autos und kann zum Filtern des Satzes aller möglicher Übereinstimmungen verwendet werden.
Beispielsweise kann das Klassifikationsmodul des AV 100 bestimmen, dass das Fahrzeug „B“ in 6 ein Lastwagen ist. Das AV 100 kann dann das Klassifikationsmodul anweisen, eine zweite Klassifikation durchzuführen, um festzustellen, ob irgendwelche identifizierenden Informationen (oder zusätzliche Informationen) erhaltbar sind. Die zweite Klassifikation kann aufzeigen, dass der Lastwagen braun ist und Buchstaben „UPS“ an der Seite aufweist. Diese Informationen können zum Bestimmen verwendet werden, dass es wahrscheinlich ein UPS-Lieferlastwagen ist. Wenn zusätzliche Informationen des Objekts empfangen werden, kann es ferner nützlich sein, diese Informationen zur späteren Verwendung zu speichern (z. B. in einer Datenbank zu speichern). In manchen Ausführungsformen können diese Informationen zu einem maschinellen Lernmodul in der Systempipeline zur verbesserten Objektklassifikation übertragen werden. Diese zusätzlichen Informationen können zum Trainieren von Objekten mit ähnlichen Signaturen oder Merkmalen verwendet werden.
Nach dem Feststellen, dass das Fahrzeug „B“ ein UPS-Lastwagen ist, kann das AV 100 dann den UPS-Server abfragen, um die geplanten Lieferrouten für die UPS-Lastwagen im Gebiet zu bestimmen. Dies kann zu zwei oder mehr möglichen Übereinstimmungen führen, wie oben beschrieben. Unter Verwendung zusätzlicher Informationen, wie etwa der aktuellen Trajektorie des UPS-Lastwagens, können diese Wahlmöglichkeiten jedoch zu einer eindeutigen Route gefiltert werden. Dies wird die erwartete Route des Fahrzeugs „B“.
Falls die erwartete Route des Fahrzeugs „B“ angibt, dass das Fahrzeug „B“ in Kürze geradeaus über die Kreuzung 640 fahren wird, dann wird das AV 100 gewarnt, dass das Fahrzeug „B“ entweder in die Fahrspur des AV 100 fahren oder ein unzulässiges Manöver durchführen kann, indem es geradeaus über die Kreuzung 640 fährt, obwohl es sich in der Rechtsabbiegerspur befindet. Da sich das AV 100 im Warnzustand befindet, wird ihm angeraten, einen sicheren Abstand vom Fahrzeug „B“ zu halten. Beispielsweise könnte das Steuermodul 406 das Fahrzeug als Reaktion auf die Warnung abbremsen (z. B. weniger Gas 420b und/oder Anwenden der Bremsen 420c).
In manchen Ausführungsformen bestimmt das Wahrnehmungsmodul 420 die Unsicherheit der aktualisierten Trajektorie des Fahrzeugs oder Objekts basierend auf dem Fusionieren der Trajektorieinformationen mit den erwarteten Routeninformationen. Falls es beispielsweise erscheint, dass sich das Fahrzeug schnell bewegt, aber die erwartete Route eine sich nähernde Abbiegung angibt, kann eine höhere Unsicherheitsbewertung zugewiesen werden, um anzugeben, dass die Trajektorie des Fahrzeugs möglicherweise nicht genau ist. Falls das Fahrzeug andererseits in der rechten Fahrspur langsamer wird und die Route eine sich nähernde Rechtsabbiegung angibt, kann der aktualisierten Trajektorie eine höhere Konfidenzbewertung (niedrigere Unsicherheitsbewertung) zugewiesen werden, die angibt, dass die Trajektorie genau ist. Solche Informationen können verwendet werden, um den Pfad zu beeinflussen, den das AV 100 nimmt, wie durch das Planungsmodul 404 definiert.
In den meisten Ausführungsformen überträgt das Wahrnehmungsmodul 402 die aktualisierte Trajektorie des Objekts zu dem Planungsmodul 404, um die Route und/oder augenblickliche Spurposition des AV 100 zu aktualisieren. Manchmal wird die Berechnung für die aktualisierte Trajektorie in der Cloud oder auf einem Fernserver durchgeführt und zu einer Steuerung an Bord des AV 100 zur Verarbeitung übertragen.
Erneut unter Bezug auf 6 tritt, während sich das AV 100 der Kreuzung 640 nähert, ein Fahrrad 644 in den Bereich 602 ein. Das Klassifikationsmodul kann bestimmen, dass das Fahrrad 644 mit „Uber Eats“ assoziiert ist. Durch das Abfragen des „Uber Eats“-Servers bestimmt das Wahrnehmungsmodul 402, dass das Fahrrad 644 geradeaus über die Kreuzung 640 fahren wird. Auf diese Weise wird das AV 100 gewarnt, dass das Fahrrad wahrscheinlich den Pfad des AV 100 kreuzen wird. Das Steuermodul 406 steuert das AV 100, sich zu verlangsamen und/oder dem Fahrrad 644 Vorfahrt zu gewähren.
Wenn das Fahrzeug „C“ in den Bereich 602 kommt, erfährt das AV 100 mittels der Klassifikationspipeline gleichermaßen, dass das Fahrzeug „C“ ein Feuerwehrfahrzeug mit eingeschalteten Sirenen ist. Beispielsweise können die fahrzeuginternen Mikrofone zum Bestimmen verwendet werden, dass die Sirene mit dem Fahrzeug „C“ assoziiert ist. Der Sendeempfänger des AV 100 fragt Online-Daten nach nahen aktiven Feueralarmen ab und bestimmt, dass das Feuerwehrfahrzeug an der Kreuzung 640 wahrscheinlich nach links abbiegen wird. In diesem Fall steuert das Steuermodul 406 des AV 100 das AV 100, sich zu verlangsamen und dem Fahrzeug „C“ ungeachtet der Verkehrssignale Vorfahrt zu gewähren. Ferner erwartet das AV 100, dass das Fahrzeug „C“ in die Fahrspur des AV 100 einfährt, und ist für ein solches Manöver durch das Fahrzeug „C“ bereit.
Die 7A und 7B sind Entscheidungsbäume für einen Prozess 700 des AV 100. Der Prozess empfängt eine Anfrage zum Bestimmen einer Trajektorie von Objekten (z. B. nahen Fahrzeugen) von entweder einem Wahrnehmungsmodul 402 oder einem Planungsmodul 404 des AV 100 (702). Das Klassifikationsmodul fragt Daten bezüglich der Objekte ab (704). Dies kann Anfragen und/oder Empfangen einer Indikation, dass ein Objekt vorhanden ist, von mindestens einem Sensor des Fahrzeugs (z. B. Kamera, LiDAR, RADAR) beinhalten (706). Dies kann auch Anfragen und/oder Empfangen einer Indikation, dass ein Objekt vorhanden ist, von einem Sendeempfänger eines Objekts oder von einer mobilen Vorrichtung im Objekt beinhalten (708). Der Prozess 700 bestimmt, ob ein Objekt vorhanden ist (710). Falls kein Objekt vorhanden ist, werden Informationen übertragen, dass keine Objekte vorhanden sind (712).
Falls jedoch ein Objekt vorhanden ist, werden zwei parallele Berechnungen durchgeführt. Eine Berechnung besteht darin, dass eine Trajektorie des Objekts (z. B. aktuelle Position, Geschwindigkeit und Fahrtrichtung) bestimmt wird (714) und eine Konfidenz der Trajektorie bestimmt wird (716). Die zweite Berechnung besteht darin, zu bestimmen, ob die empfangenen Daten ausreichen, um die erwartete Route des Objekts zu bestimmen (718). Falls dem nicht so ist, werden zusätzliche Informationen über mindestens einen Zustand des Objekts (z. B. Firmeninformationen, Fahrzeug-ID, RADAR-Signaturen, Kamera-Farbe, Motorengeräusch) (z. B. durch einen zweiten Klassifikationsprozess) empfangen (720). Unter Verwendung dieser Informationen wird eine erwartete Route des Objekts bestimmt (722). Dies wird zumindest teilweise durch Übertragen und/oder Empfangen von Informationen von einem Server, einem Sendeempfänger des Objekts und/oder von einer mobilen Vorrichtung im Objekt bestimmt (724).
Die Trajektorie des Objekts wird mit der erwarteten Route verglichen (z. B. Befindet sich das Objekt dort, wo es sein sollte? Ist die Geschwindigkeit des Objekts mit der erwarteten Geschwindigkeit entlang der erwarteten Route konsistent?) (726). Falls ja, wird eine Zuverlässigkeit der erwarteten Routeninformationen (z. B. Alter der Daten, Reputation der Datenquelle) bestimmt (728). Falls die erwarteten Routeninformationen zuverlässig sind, werden Objektinformationen einschließlich der erwarteten Route und zusätzliche Informationen des mindestens einen Zustands des Objekts zu einem maschinellen Lernmodul des autonomen Fahrzeugs übertragen (730). Da die erwarteten Routeninformationen zuverlässig sind, wird eine mit der erwarteten Route assoziierte Gewichtung erhöht, sodass die erwarteten Routeninformationen eine wichtige Rolle bei der Bestimmung der aktualisierten Trajektorie spielen (732). Falls die erwarteten Routendaten andererseits inkonsistent oder unzuverlässig sind, verringert der Prozess die Gewichtung für die Verwendung von Routeninformationen, um die Trajektorie des Objekts zu aktualisieren (734).
Die Trajektorie des Objekts wird basierend auf der erwarteten Route des Objekts unter Verwendung der speziellen in den Schritten 732 oder 734 definierten Gewichtung aktualisiert. Eine Unsicherheit der aktualisierten Trajektorie wird bestimmt (738). Die aktualisierte Trajektorie des Objekts wird zu dem Planungsmodul des autonomen Fahrzeugs, z. B. des AV 100, übertragen (740).
8 ist ein Flussdiagramm eines Verfahrens 800 zum Verbessern der Trajektorieschätzungen eines Objekts in einer Umgebung. Das Verfahren beinhaltet Empfangen, durch mindestens einen Prozessor, von Informationen, die ein Vorhandensein eines in einer Umgebung betriebenen Objekts angeben (802). Der mindestens eine Prozessor bestimmt eine Trajektorie des Objekts, wobei die Trajektorie zumindest eine Position, eine Geschwindigkeit und eine Fahrtrichtung des Objekts beinhaltet (804). Eine erwartete Route des Objekts wird bestimmt, wobei die erwartete Route vorausgeplant ist und eine erwartete zukünftige Position des Objekts zu einer zukünftigen Zeit beinhaltet (806). Die Trajektorie des Objekts wird mit der erwarteten Route des Objekts verglichen (808). Und gemäß dem Vergleich, dass die Trajektorie des Objekts mit der erwarteten Route des Objekts konsistent ist, wird die Trajektorie des Objekts basierend auf der erwarteten Route des Objekts aktualisiert (810).
In der vorstehenden Beschreibung wurden Ausführungsformen der Erfindung mit Bezug auf zahlreiche spezifische Einzelheiten beschrieben, die von Implementierung zu Implementierung variieren können. Die Beschreibung und Zeichnungen sind dementsprechend als veranschaulichend anstatt beschränkend anzusehen. Der alleinige und ausschließliche Indikator des Schutzumfangs der Erfindung, und was durch die Anmelder als der Schutzumfang der Erfindung beabsichtigt ist, ist der wörtliche und äquivalente Schutzumfang des Satzes von Ansprüchen, die aus dieser Anmeldung hervorgehen, in der spezifischen Form, in der derartige Ansprüche hervorgehen, einschließlich einer beliebigen anschließenden Korrektur. Jegliche hierin ausdrücklich dargelegte Definitionen für in derartigen Ansprüchen enthaltenen Begriffe sollen die Bedeutung solcher Begriffe regulieren, wie in den Ansprüchen verwendet. Zusätzlich kann, wenn der Begriff „ferner umfassend“ in der vorstehenden Beschreibung oder in den folgenden Ansprüchen verwendet wird, das, was diesem Ausdruck folgt, ein zusätzlicher Schritt oder eine zusätzliche Entität oder ein Teilschritt/eine Teilentität eines zuvor vorgetragenen Schritts oder einer zuvor vorgetragenen Entität sein.

Claims

Verfahren, das Folgendes umfasst: Empfangen, durch mindestens einen Prozessor, von Informationen, die ein Vorhandensein eines in einer Umgebung betriebenen Objekts angeben; Bestimmen, durch den mindestens einen Prozessor, einer Trajektorie des Objekts, wobei die Trajektorie zumindest eine Position, eine Geschwindigkeit und eine Fahrtrichtung des Objekts beinhaltet; Bestimmen, durch den mindestens einen Prozessor, einer erwarteten Route des Objekts, wobei die erwartete Route vorausgeplant ist und eine erwartete zukünftige Position des Objekts zu einer zukünftigen Zeit beinhaltet; Vergleichen der Trajektorie des Objekts mit der erwarteten Route des Objekts; und gemäß dem Vergleich, dass die Trajektorie des Objekts mit der erwarteten Route des Objekts konsistent ist, Aktualisieren der Trajektorie des Objekts basierend auf der erwarteten Route des Objekts.
Verfahren nach Anspruch 1, wobei das Bestimmen der erwarteten Route des Objekts Empfangen von Routeninformationen von einem Server beinhaltet.
Verfahren nach einem der vorangegangenen Ansprüche, wobei die Bestimmung der erwarteten Route auf empfangenen Routeninformationen von einem Sendeempfänger oder einer mit dem Objekt assoziierten mobilen Vorrichtung basiert.
Verfahren nach einem der vorangegangenen Ansprüche, wobei die zukünftige Zeit mindestens 5 Sekunden in der Zukunft liegt.
Verfahren nach einem der vorangegangenen Ansprüche, wobei das Vergleichen der Trajektorie des Objekts mit der erwarteten Route des Objekts Bestimmen beinhaltet, dass die Position des Objekts eine erwartete Position entlang der erwarteten Route ist.
Verfahren nach einem der vorangegangenen Ansprüche, wobei das Vergleichen der Trajektorie des Objekts mit der erwarteten Route des Objekts Bestimmen beinhaltet, dass eine Bahngeschwindigkeit des Objekts eine erwartete Bahngeschwindigkeit entlang der erwarteten Route ist.
Verfahren nach einem der vorangegangenen Ansprüche, wobei die empfangenen Informationen von mindestens einem Sensor eines Host-Fahrzeugs stammen.
Verfahren nach einem der vorangegangenen Ansprüche, wobei der mindestens eine Prozessor Teil eines Fernservers ist.
Verfahren nach einem der vorangegangenen Ansprüche, wobei die empfangenen Informationen von einem Sendeempfänger oder einer mit dem Objekt assoziierten mobilen Vorrichtung stammen.
Verfahren nach einem der vorangegangenen Ansprüche, das ferner Folgendes umfasst: Bestimmen, ob die empfangenen Informationen ausreichen, um eine erwartete Route des Objekts zu bestimmen; und gemäß der Bestimmung, dass die empfangenen Daten nicht ausreichen, um die erwartete Route des Objekts zu bestimmen, Empfangen zusätzlicher Informationen mindestens eines Zustands des Objekts.
Verfahren nach Anspruch 10, wobei die empfangenen zusätzlichen Informationen von mindestens einem Sensor eines Host-Fahrzeugs stammen.
Verfahren nach Anspruch 10 oder Anspruch 11, ferner umfassend, gemäß der Bestimmung, dass die empfangenen Daten nicht ausreichen, um die erwartete Route des Objekts zu bestimmen, Übertragen der empfangenen zusätzlichen Informationen zu einem maschinellen Lernmodul zur Objektklassifikation.
Verfahren nach einem der vorangegangenen Ansprüche, ferner umfassend, gemäß dem Vergleich, dass die Trajektorie des Objekts mit der erwarteten Route des Objekts konsistent ist, Bestimmen einer Unsicherheit der aktualisierten Trajektorie.
Verfahren nach einem der vorangegangenen Ansprüche, ferner umfassend Bestimmen einer Zuverlässigkeit der erwarteten Route.
Verfahren nach einem der vorangegangenen Ansprüche, ferner umfassend Übertragen der aktualisierten Trajektorieinformationen des Objekts.
Nichtflüchtiges computerlesbares Speicherungsmedium, das mindestens ein Programm zur Ausführung durch mindestens einen Prozessor einer ersten Vorrichtung umfasst, wobei das mindestens eine Programm Anweisungen beinhaltet, die bei ihrer Ausführung durch den mindestens einen Prozessor bewirken, dass die erste Vorrichtung das Verfahren nach einem der vorangegangenen Ansprüche durchführt.
Fahrzeug, umfassend: mindestens einen Sensor, der zum Erfassen von Informationen eines Objekts ausgelegt ist; mindestens einen Sendeempfänger, der zum Übertragen und Empfangen von Routeninformationen des Objekts ausgelegt ist; und mindestens einen Prozessor, der kommunikativ mit dem mindestens einen Sensor und dem mindestens einen Sendeempfänger gekoppelt ist und ausgelegt ist zum Ausführen von computerausführbaren Anweisungen, wobei die Ausführung das Verfahren nach einem der Ansprüche 1-15 ausführt.