DE112020000357T5

DE112020000357T5 - Klassifizieren von wahrgenommenen objekten auf basis der aktivität

Info

Publication number: DE112020000357T5
Application number: DE112020000357.4T
Authority: DE
Inventors: Philip Christopher Du Toit; Emilio Frazzoli; Baoxing Qin; Yawei Ye
Original assignee: Motional AD LLC
Current assignee: Motional AD LLC
Priority date: 2019-01-08
Filing date: 2020-01-08
Publication date: 2021-10-14
Also published as: KR20210109615A; GB202308561D0; GB2616372A; GB202109768D0; CN114938674A; GB2594410A; DK201970146A1; GB2594410B

Abstract

Unter anderem werden Systeme und Verfahren zum Klassifizieren von wahrgenommenen Objekten auf Basis der Aktivität offenbart. Die Systeme und Verfahren können Mittel zum Empfangen von Sensorinformationen, die wenigstens einem Objekt entsprechen, und zum Bestimmen einer Aktivitätsprognose für das wenigstens eine Objekt gemäß den Sensorinformationen enthalten. Die Systeme und Verfahren können Mittel zum Klassifizieren des Objekts gemäß der Aktivitätsprognose enthalten. Eine Steuerschaltung kann Steuerfunktionen eines Fahrzeugs wenigstens zum Teil auf Basis der Klassifikation des wenigstens einen Objekts betreiben.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNG
Diese Anmeldung beansprucht den Vorteil der vorläufigen US-Anmeldung 62/789,804 , eingereicht am 8. Januar 2019, und der dänischen Anmeldung PA-2019-70146, eingereicht am 1. März 2019.
ERFINDUNGSGEBIET
Diese Offenbarung bezieht sich im Allgemeinen auf das Klassifizieren von Objekten. Insbesondere bezieht sich die Offenbarung auf das Klassifizieren von wahrgenommenen Objekten auf Basis der Aktivität.
HINTERGRUND
Autonome Fahrzeuge, z. B. Drohnen und selbstfahrende Fahrzeuge können zum autonomen Navigieren in einer Umgebung ausgelegt sein. Diese Fahrzeuge können auf Sensoren verschiedener Typen angewiesen sein, um ihre Umgebung zu detektieren. Zum Beispiel kann ein autonomes Fahrzeug LiDAR-Sensoren, Radarsensoren, Stereokameras, Infrarotkameras und so fort enthalten. Diese Sensoren können ein wichtiges Merkmal sein, das es dem Fahrzeug gestattet, umgebende Fußgänger, Strukturen und/oder das Fahrzeug selbst zu beschädigen.
KURZDARSTELLUNG
In wenigstens einem Aspekt der vorliegenden Offenbarung wird ein Fahrzeug bereitgestellt. Das Fahrzeug enthält wenigstens einen Sensor, der dazu ausgelegt ist, Sensorinformationen zu empfangen, die wenigstens einem Objekt in der Nähe des Fahrzeugs entsprechen. Das Fahrzeug enthält wenigstens eine Steuerschaltung, die dazu ausgelegt ist, Steuerfunktionen des Fahrzeugs zu betreiben. Das Fahrzeug enthält ein computerlesbares Medium, das computerausführbare Anweisungen speichert. Das Fahrzeug enthält wenigstens einen Prozessor, der kommunizierend mit dem wenigstens einen Sensor gekoppelt ist und dazu ausgelegt ist, die computerausführbaren Anweisungen auszuführen, um die Sensorinformationen von dem wenigstens einen Sensor zu empfangen, eine Aktivitätsprognose für das wenigstens eine Objekt gemäß den Sensorinformationen zu bestimmen, das wenigstens eine Objekt gemäß der Aktivitätsprognose zu klassifizieren; und zu bewirken, dass die Steuerschaltung die Steuerfunktionen des Fahrzeugs wenigstens zum Teil auf Basis der Klassifikation des wenigstens einen Objekts betreibt.
Zu dem wenigstens einen Prozessor kann ein Prozessor nach dem Bayesschen Modell zählen. Zu dem wenigstens einen Prozessor kann ein Prozessor für Deep Learning zählen. Der Prozessor für Deep Learning kann wenigstens eines von Folgenden enthalten: ein neuronales Vorwärtskopplungsnetzwerk, ein Convolutional Neural Network, ein neuronales radiales Basisfunktionsnetzwerk, ein rekurrentes neuronales Netzwerk oder ein modulares neuronales Netzwerk.
Das Klassifizieren des wenigstens einen Objekts kann beinhalten, die Wahrscheinlichkeit zu bestimmen, dass das wenigstens eine Objekt inaktiv oder aktiv ist. Das Bestimmen, dass das wenigstens eine Objekt aktiv ist, kann beinhalten, zu bestimmen, ob das wenigstens eine Objekt für eine vorbestimmte Zeitspanne in Bewegung sein wird. Das Bestimmen, dass das wenigstens eine Objekt inaktiv ist, kann beinhalten, zu bestimmen, ob das wenigstens eine Objekt für eine vorbestimmte Zeitspanne statisch bleiben wird. Das Klassifizieren des wenigstens einen Objekts kann beinhalten, einen Überholwert zuzuordnen.
Das Betreiben der Steuerfunktionen des Fahrzeugs kann beinhalten, zu bewirken, dass das Fahrzeug mit einer prognostizierten Geschwindigkeit fährt, wobei die prognostizierte Geschwindigkeit wenigstens zum Teil auf gelerntem menschenähnlichem Verhalten basiert. Das Betreiben der Steuerfunktionen des Fahrzeugs kann beinhalten, zu bewirken, dass das Fahrzeug mit einer prognostizierten Geschwindigkeit fährt. Die prognostizierte Geschwindigkeit kann wenigstens zum Teil auf Folgendem basieren: Sensordaten, Vergangenheitsgeschwindigkeitsdaten des Fahrzeugs, Positionsdaten des Fahrzeugs, aktuelle Positionsdaten des wenigstens einen Objekts, Vergangenheitspositionsdaten des wenigstens einen Objekts und Ampelanlagendaten. Das Betreiben der Steuerfunktionen des Fahrzeugs kann beinhalten, zu bewirken, dass das Fahrzeug das wenigstens eine Objekt überholt, wenn der wenigstens eine Prozessor das wenigstens eine Objekt als inaktiv klassifiziert. Zu bewirken, dass die Steuerschaltung die Steuerfunktionen des Fahrzeugs betreibt, kann wenigstens zum Teil auf wenigstens einer Verkehrsregel basieren. Das Betreiben der Steuerfunktionen des Fahrzeugs kann beinhalten, zu bewirken, dass sich das Fahrzeug dem wenigstens einen Objekt mit einer vorbestimmten Geschwindigkeit nähert. Das Betreiben der Steuerfunktionen des Fahrzeugs kann beinhalten, zu bewirken, dass das Fahrzeug eine vorbestimmte Distanz von dem wenigstens einen Objekt aufrechterhält. Wenn das Fahrzeug eine primäre Route befährt, kann das Betreiben der Steuerfunktionen des Fahrzeugs beinhalten, zu bewirken, dass das Fahrzeug eine alternative Route befährt.
Der wenigstens eine Prozessor kann dazu ausgelegt sein, eines oder mehrere Attribute des wenigstens einen Objekts auf Basis der empfangenen Sensorinformationen zu bestimmen. Zu bewirken, dass die Steuerschaltung die Steuerfunktionen des Fahrzeugs betreibt, kann wenigstens zum Teil auf dem/den bestimmten einen oder mehreren Attributen basieren. Zu dem einen oder den mehreren Attributen kann wenigstens eines von Folgenden zählen: eine Straßenfahrbahn, auf der sich das wenigstens eine Objekt befindet, eine Distanz zu einem Verkehrszeichen des wenigstens einen Objekts, eine Distanz zu einem ausgewiesenen Parkplatz des wenigstens einen Objekts oder die Geschwindigkeit des wenigstens einen Objekts.
Der wenigstens eine Prozessor kann des Weiteren Operationen ausführen, um dem/den bestimmten einen oder mehreren Attributen des wenigstens einen Objekts ein Gewicht zuzuordnen. Der wenigstens eine Prozessor kann des Weiteren dazu ausgelegt sein, zu bewirken, dass die Steuerschaltung die Steuerfunktionen des Fahrzeugs betreibt, die wenigstens zum Teil auf dem zugewiesenen Gewicht basieren. Der wenigstens eine Prozessor kann des Weiteren Operationen ausführen, um das zugewiesene Gewicht auf Basis von Rückkopplungsinformationen kontinuierlich zu aktualisieren.
Der wenigstens eine Prozessor kann des Weiteren Operationen ausführen, um einen Unsicherheitswert zu generieren, der dem Klassifizieren des wenigstens einen Objekts entspricht. Der wenigstens eine Prozessor kann des Weiteren dazu ausgelegt sein, Operationen auszuführen, um zu bewirken, dass die Steuerschaltung die Steuerfunktionen des Fahrzeugs betreibt, um zu bewirken, dass das Fahrzeug wenigstens eines von Folgendem ausführt: anzuhalten oder langsamer zu werden, wenn der Unsicherheitswert einen Unsicherheitsschwellenwert erreicht, und zu bewirken, dass der wenigstens eine Sensor zusätzliche Sensorinformationen erfasst, die dem wenigstens einen Objekt entsprechen.
In wenigstens einem anderen Aspekt der vorliegenden Offenbarung wird ein Verfahren bereitgestellt. Das Verfahren beinhaltet, durch wenigstens einen Sensor Sensorinformationen zu detektieren, die wenigstens einem Objekt in der Nähe des Fahrzeugs entsprechen. Das Verfahren beinhaltet, die Sensorinformationen von dem wenigstens einen Sensor zu empfangen. Das Verfahren beinhaltet, eine Aktivitätsprognose für das wenigstens eine Objekt gemäß den Sensorinformationen zu bestimmen. Das Verfahren beinhaltet, das wenigstens eine Objekt gemäß der Aktivitätsprognose zu klassifizieren. Das Verfahren beinhaltet, Steuerfunktionen des Fahrzeugs wenigstens zum Teil auf Basis der Klassifikation des wenigstens einen Objekts zu betreiben.
Figurenliste

Die 1 zeigt ein Beispiel für ein autonomes Fahrzeug, das autonome Fähigkeiten aufweist.
Die 2 veranschaulicht eine beispielhafte „Cloud“-Computing-Umgebung.
Die 3 veranschaulicht ein Computersystem.
Die 4 zeigt eine beispielhafte Architektur für ein autonomes Fahrzeug.
Die 5 zeigt ein Beispiel für Eingaben und Ausgaben, die von einem Wahrnehmungsmodul verwendet werden können.
Die 6 zeigt ein Beispiel für ein LiDAR-System.
Die 7 zeigt das LiDAR-System in Betrieb.
Die 8 zeigt den Betrieb des LiDAR-Systems in zusätzlichen Details.
Die 9 zeigt ein Blockdiagramm der Beziehungen zwischen Eingaben und Ausgaben eines Planungsmoduls.
Die 10 zeigt einen gerichteten Graphen, der bei der Pfadplanung verwendet wird.
Die 11 zeigt ein Blockdiagramm der Eingaben und Ausgaben eines Steuermoduls.
Die 12 zeigt ein Blockdiagramm der Eingaben, Ausgaben und Komponenten einer Steuerung.
Die 13 ist ein veranschaulichendes Beispiel, das eine Umgebung einschließlich eines Fahrzeugs zeigt, das ein System zum Klassifizieren eines oder mehrerer wahrgenommener Objekte auf Basis der Aktivität aufweist, gemäß einer oder mehreren Ausführungsformen der vorliegenden Offenbarung.
Die 14 zeigt eine Umgebung, in der ein AV ein Zielfahrzeug auf Basis der Klassifikation des Zielfahrzeugs überholt, gemäß einer oder mehreren Ausführungsformen der vorliegenden Offenbarung.
Die 15 zeigt ein Verfahren zum Klassifizieren von wahrgenommenen Objekten auf Basis der Aktivität, gemäß einer oder mehreren Ausführungsformen der vorliegenden Offenbarung.

AUSFÜHRLICHE BESCHREIBUNG
In der folgenden Beschreibung werden zur Erläuterung zahlreiche spezifische Details dargelegt, um ein tiefes Verständnis der vorliegenden Erfindung bereitzustellen. Es ist allerdings ersichtlich, dass die vorliegende Erfindung ohne diese spezifischen Details umgesetzt werden kann. In anderen Beispielen werden allgemein bekannte Strukturen und Einrichtungen in Form von Blockdiagrammen gezeigt, um zu vermeiden, dass die vorliegende Erfindung unnötigerweise unverständlich gemacht wird.
In den Zeichnungen werden spezifische Anordnungen oder Abfolgen schematischer Elemente, wie zum Beispiel solche, die Einrichtungen, Module, Anweisungsblöcke und Datenelemente darstellen, zur Vereinfachung der Beschreibung gezeigt. Allerdings sollte von Fachleuten verstanden werden, dass die spezifische Abfolge oder Anordnung der schematischen Elemente in den Zeichnungen nicht implizieren soll, dass eine spezielle Reihenfolge oder Verarbeitungsabfolge oder Trennung von Prozessen erforderlich ist. Des Weiteren soll die Einbeziehung eines schematischen Elements in einer Zeichnung nicht implizieren, dass ein solches Element in allen Ausführungsformen erforderlich ist oder dass die durch solch ein Element dargestellten Merkmale in einigen Ausführungsformen nicht enthalten oder mit anderen Elementen kombiniert sein können.
Des Weiteren soll in den Zeichnungen, in denen verbindende Elemente, wie zum Beispiel durchgezogene oder gestrichelte Linien und Pfeile, verwendet werden, um eine Verbindung, eine Beziehung oder eine Verknüpfung zwischen zwei oder mehr anderen schematischen Elementen zu veranschaulichen, das Fehlen irgendeines solchen verbindenden Elements nicht implizieren, dass keine Verbindung, Beziehung oder Verknüpfung vorhanden sein kann. Mit anderen Worten: Einige Verbindungen, Beziehungen oder Verknüpfungen zwischen Elementen werden in den Zeichnungen nicht gezeigt, um die Offenbarung nicht unverständlich zu machen. Zusätzlich wird zur Vereinfachung der Veranschaulichung ein einzelnes verbindendes Element verwendet, um mehrere Verbindungen, Beziehungen oder Verknüpfungen zwischen Elementen darzustellen. Wenn zum Beispiel ein verbindendes Element eine Kommunikation von Signalen, Daten oder Anweisungen darstellt, sollte von Fachleuten verstanden werden, dass ein solches Element einen oder mehrere Signalpfade (z. B. einen Bus) darstellt, wie sie benötigt werden, um die Kommunikation zu beeinflussen.
Jetzt wird ausführlich Bezug auf Ausführungsformen genommen, für die Beispiele in den zugehörigen Zeichnungen veranschaulicht werden. In der folgenden ausführlichen Beschreibung werden zahlreiche spezifische Details dargelegt, um ein gründliches Verständnis der verschiedenen beschriebenen Ausführungsformen bereitzustellen. Allerdings wird es sich für Durchschnittsfachleute verstehen, dass die verschiedenen beschriebenen Ausführungsformen ohne diese spezifischen Details umgesetzt werden können. In anderen Beispielen werden allgemein bekannte Verfahren, Prozeduren, Komponenten, Schaltungen und Netzwerke nicht ausführlich beschrieben, um Aspekte der Ausführungsformen nicht unnötigerweise unverständlich zu machen.
Hier werden nachstehend mehrere Merkmale beschrieben, die unabhängig voneinander oder kombiniert mit anderen Merkmalen verwendet werden können. Allerdings behandelt irgendein einzelnes Merkmal möglicherweise nicht jedes der oben erörterten Probleme oder behandelt möglicherweise nur eines der oben erörterten Probleme. Einige der oben erörterten Probleme werden möglicherweise nicht vollständig von einem der hier beschriebenen Merkmale behandelt. Obwohl Überschriften bereitgestellt werden, können Informationen, die sich auf eine bestimmte Überschrift beziehen, jedoch in dem Abschnitt mit der Überschrift nicht zu finden sind, auch irgendwo anders in dieser Beschreibung zu finden sein. Die Ausführungsformen werden hier gemäß der folgenden Gliederung beschrieben:

1. Allgemeine Übersicht
2. Systemüberblickt
3. Architektur des autonomen Fahrzeugs
4. Eingaben des autonomen Fahrzeugs
5. Pfadplanung
6. Steuerung des autonomen Fahrzeugs
7. Klassifizieren von wahrgenommenen Objekten auf Basis der Aktivität
8. Zusätzliche Ausführungsformen

Allgemeine Übersicht
Obwohl Sensoren wichtige Werkzeuge für ein AV zum Navigieren in der Umgebung sein können, verwenden konventionelle AV-Systeme diese Informationen möglicherweise nicht auf solch eine Weise, die es dem AV gestattet, typisches menschliches Fahrverhalten nachzubilden, das das Treffen von subjektiven Entscheidungen einbezieht. Während zum Beispiel ein herkömmliches AV-System Sensoren verwenden kann, um detektierte Objekte bzw. Fußgänger zu vermeiden, weisen herkömmliche AV-Systeme möglicherweise nicht die Fähigkeiten auf, die Sensorinformationen zu verwenden, um zu bestimmen, ob an einem Fahrzeug auf der Straße vorbeizufahren ist oder nicht. Es kann in Hinsicht auf Überlegungen zur Sicherheit und dem Verkehrsaufkommen wichtig sein, in der Lage zu sein, solche Bestimmungen zu treffen.
Die vorliegende Offenbarung stellt Systeme und Verfahren zum Klassifizieren von wahrgenommenen Objekten auf Basis der Aktivität bereit. Die Systeme und Verfahren können in einem AV integriert sein, um dem AV die Fähigkeit bereitzustellen, auf Basis von Informationen, die von seinen Sensoren erfasst werden, zu bestimmen, ob ein wahrgenommenes Objekt aktiv bzw. inaktiv ist. Auf Basis dieser Bestimmung kann das AV bestimmen, ob es um das wahrgenommene Objekt herum manövrieren sollte.
Systemüberblick
Die 1 zeigt ein Beispiel für ein autonomes Fahrzeug 100, das autonome Fähigkeiten aufweist.
Wie hier verwendet, bezieht sich der Ausdruck „autonome Fähigkeit“ auf eine Funktion, ein Merkmal oder eine Anlage, die es einem Fahrzeug ermöglicht, teilweise oder vollständig ohne Eingriff durch den Menschen in Echtzeit betrieben zu werden, wobei, ohne Einschränkung, vollautonome Fahrzeuge, hochautonome Fahrzeuge und bedingt autonome Fahrzeuge eingeschlossen sind.
Wie hier verwendet, ist ein autonomes Fahrzeug (Autonomous Vehicle, AV) ein Fahrzeug, das autonome Fähigkeiten besitzt.
Wie hier verwendet, beinhaltet „Fahrzeug“ Transportmittel für Waren oder Personen, zum Beispiel Autos, Busse, Züge, Flugzeuge, Drohnen, Lastwagen, Boote, Schiffe, Unterwasserfahrzeuge, Lenkluftschiffe usw. Ein fahrerloses Auto ist ein Beispiel für ein Fahrzeug.
Wie hier verwendet, bezieht sich „Trajektorie“ auf einen Pfad oder eine Route, um ein AV von einer ersten raumzeitlichen Position zu einer zweiten raumzeitlichem Position zu navigieren. In einer Ausführungsform wird die erste raumzeitliche Position als die Anfangs- oder Startposition bezeichnet, und die zweite raumzeitliche Position wird als der Bestimmungsort, die Endposition, das Ziel oder die Zielposition bezeichnet. In einigen Beispielen besteht eine Trajektorie aus einem oder mehreren Segmenten (z. B. Abschnitten einer Straße), und jedes Segment besteht aus einem oder mehreren Blöcken (z. B. Abschnitten einer Fahrbahn oder Kreuzung). In einer Ausführungsform entsprechen die raumzeitlichen Positionen realen Positionen. Zum Beispiel sind die raumzeitlichen Positionen Einlade- oder Ausladepositionen zum Einladen oder Ausladen von Personen oder Gütern.
Wie hier verwendet, beinhaltet „Sensor(en)“ eine oder mehrere Hardware-Komponenten, die Informationen über die Umgebung detektieren, die den Sensor umgibt. Einige der Hardware-Komponenten können Erfassungskomponenten (z. B. Bildsensoren, biometrische Sensoren), Sende- und/oder Empfangskomponenten (z. B. Laser- oder Funkfrequenzwellen-Sender und -Empfänger), elektronische Komponenten, wie zum Beispiel Analog-Digital-Wandler, eine Datenspeichereinrichtung (wie zum Beispiel ein RAM und/oder einen nichtflüchtigen Speicher), Software- oder Firmware-Komponenten und Datenverarbeitungskomponenten, wie zum Beispiel eine ASIC (Application Specific Integrated Circuit, anwendungsspezifische integrierte Schaltung), einen Mikroprozessor und/oder einen Mikrocontroller enthalten.
Wie hier verwendet, ist eine „Szenenbeschreibung“ eine Datenstruktur (z. B. eine Liste) oder ein Datenstrom, der eines oder mehrere klassifizierte oder gelabelte Objekte enthält, die von einem oder mehreren Sensoren am AV-Fahrzeug detektiert worden sind oder die von einer Quelle außerhalb des AV bereitgestellt werden.
Wie hier verwendet, ist eine „Straße“ ein physischer Bereich, der von einem Fahrzeug befahren werden kann, und kann einer benannten Durchfahrt entsprechen (z. B. einer städtischen Straße, einer Bundesautobahn usw.) oder kann einer unbenannten Durchfahrt entsprechen (z. B. einer Zufahrt zu einem Haus oder einem Bürogebäude, einem Abschnitt eines Parkplatzes, einem Abschnitt eines unbebauten Grundstücks, einem Feldweg in einer ländlichen Gegend usw.). Weil einige Fahrzeuge (z. B. Pickups mit 4-Radantrieb, Sport Utility Vehicles usw.) in der Lage sind, eine Vielzahl von physischen Bereichen zu befahren, die nicht speziell für den Fahrzeugverkehr angepasst sind, kann eine „Straße“ ein physischer Bereich sein, der nicht formell von einer Stadtverwaltung oder einem anderen Regierungs- oder Verwaltungsorgan als eine Durchfahrt definiert ist.
Wie hier verwendet, ist eine „Fahrbahn“ ein Abschnitt einer Straße, der von einem Fahrzeug befahren werden kann. Eine Fahrbahn wird manchmal auf Basis von Fahrbahnmarkierungen identifiziert. Zum Beispiel kann eine Fahrbahn dem meisten oder dem gesamten Raum zwischen Fahrbahnmarkierungen entsprechen, oder sie kann nur einem Teil des Raums (z. B. weniger als 50 %) zwischen Fahrbahnmarkierungen entsprechen. Zum Beispiel kann eine Straße, bei der die Fahrbahnmarkierungen weit auseinander liegen, zwei oder mehr Fahrzeuge zwischen den Markierungen aufnehmen, so dass ein Fahrzeug am anderen vorbeifahren kann, ohne die Fahrbahnmarkierungen zu befahren, und sie könnte somit so ausgelegt werden, dass sie eine Fahrbahn aufweist, die schmaler als der Raum zwischen den Fahrbahnmarkierungen ist, oder dass sie zwei Fahrbahnen zwischen den Fahrbahnmarkierungen aufweist. Eine Fahrbahn könnte auch beim Fehlen von Fahrbahnmarkierungen ausgelegt werden. Zum Beispiel kann eine Fahrbahn auf Basis von physischen Eigenschaften einer Umgebung definiert werden, z. B. Felsen und Bäume entlang einer Durchfahrt in einer ländlichen Gegend, oder z. B. natürlichen Hindernissen, die in einem unbebauten Bereich zu vermeiden sind. Eine Fahrbahn könnte auch unabhängig von Fahrbahnmarkierungen oder physischen Merkmalen interpretiert werden. Zum Beispiel könnte eine Fahrbahn auf Basis eines willkürlichen Pfads, der frei von Hindernissen ist, in einem Bereich interpretiert werden, dem ansonsten Merkmale fehlen, die als Fahrbahnränder interpretiert werden würden. In einem beispielhaften Szenario könnte ein AV eine Fahrbahn über einen hindernislosen Abschnitt eines Felds oder eines unbebauten Geländes interpretieren. In einem anderen beispielhaften Szenario könnte ein AV eine Fahrbahn über einer breiten Straße (z. B. breit genug für zwei oder mehr Fahrbahnen), die keine Fahrbahnmarkierungen aufweist, interpretieren. In diesem Szenario könnte das AV Informationen über die Fahrbahn an andere AVs kommunizieren, so dass andere AVs die gleichen Fahrbahninformationen verwenden können, um die Pfadplanung untereinander zu koordinieren.
Der Ausdruck „Over-the-Air (OTA)-Client“ beinhaltet irgendein AV oder irgendeine elektronische Einrichtung (z. B. einen Computer, eine Steuerung, eine IoT-Einrichtung, eine elektronische Steuereinheit (Electronic Control Unit, ECU)), die in einem AV eingebettet ist, mit diesem gekoppelt ist oder in Kommunikation mit ihm steht.
Der Ausdruck „Over-the-Air (OTA)-Aktualisierung“ bedeutet irgendeine Aktualisierung, Änderung, Löschung oder Hinzufügung an Software, Firmware, Daten oder Auslegungseinstellungen oder irgendeine Kombination davon, die an einen OTA-Client unter Verwendung von proprietärer und/oder standardisierter drahtloser Kommunikationstechnologie übermittelt wird, einschließlich, ohne jedoch darauf beschränkt zu sein: zellulare mobile Kommunikationen (z. B. 2G, 3G, 4G, 5G), drahtlose Funkbereichsnetzwerke (z. B. WiFi) und/oder satellitengestütztes Internet.
Der Ausdruck „Kantenknoten“ bedeutet eine oder mehrere mit einem Netzwerk gekoppelte Kanteneinrichtungen, die ein Portal zur Kommunikation mit AVs bereitstellen und mit anderen Kantenknoten und einer cloudbasierten Computerplattform zum Planen und Erbringen von OTA-Aktualisierungen an OTA-Clients kommunizieren können.
Der Ausdruck „Kanteneinrichtung“ bedeutet eine Einrichtung, die einen Kantenknoten umsetzt und einen physischen drahtlosen Zugangspunkt (Access Point, AC) in Unternehmens- oder Diensteanbieter (z. B. VERIZON, AT&T)-Kernnetzwerken bereitstellt. Zu Beispielen für Kanteneinrichtungen zählen, ohne jedoch darauf beschränkt zu sein: Computer, Steuerungen, Transmitter, Router, Routing-Switches, integrierte Zugriffseinrichtungen (Integrated Access Devices, IADs), Multiplexer, Metropolitan Area Network (MAN) und Weitverkehrsnetzwerk (Wide Area Network, WAN)-Zugriffseinrichtungen.
„Eine oder mehrere“ beinhaltet, dass eine Funktion von einem Element durchgeführt wird, dass eine Funktion von mehr als einem Element durchgeführt wird, z. B. in einer verteilten Art, dass mehrere Funktionen von einem Element durchgeführt werden, dass mehrere Funktionen von mehreren Elementen durchgeführt werden oder irgendeine Kombination des oben Genannten.
Es versteht sich auch, dass, obwohl die Ausdrücke erster, zweiter usw. hier in einigen Beispielen verwendet werden, um verschiedene Elemente zu beschreiben, diese Elemente nicht durch diese Ausdrücke beschränkt sein sollen. Diese Ausdrücke werden nur verwendet, um ein Element von einem anderen Element zu unterscheiden. Zum Beispiel könnte ein erster Kontakt als ein zweiter Kontakt bezeichnet werden, und gleichermaßen könnte ein zweiter Kontakt als ein erster Kontakt bezeichnet werden, ohne vom Schutzbereich der verschiedenen beschriebenen Ausführungsformen abzuweichen. Der erste Kontakt und der zweite Kontakt sind beides Kontakte, sie sind jedoch nicht der gleiche Kontakt.
Die in der Beschreibung der verschiedenen beschriebenen Ausführungsformen verwendete Begrifflichkeit dient nur dem Zweck, spezielle Ausführungsformen zu beschreiben, und soll nicht einschränkend sein. Wie sie in der Beschreibung der verschiedenen beschriebenen Ausführungsformen und den beigefügten Ansprüchen verwendet werden, sollen die Singularformen „ein“, „eine“ und „der“, „die“, „das“ die Pluralformen ebenso beinhalten, es sei denn, der Kontext gibt eindeutig etwas anderes an. Es versteht sich auch, dass sich der Ausdruck „und/oder“, wie er hier verwendet wird, auf jede und alle möglichen Kombinationen eines oder mehrerer der verknüpften aufgelisteten Gegenstände bezieht und diese einschließt. Es versteht sich weiterhin, dass die Ausdrücke „enthält“, „enthaltend“, „umfasst“ und/oder „umfassend“, wenn sie in dieser Beschreibung verwendet werden, das Vorhandensein angegebener Merkmale, Zahlen, Schritte, Operationen, Elemente und/oder Komponenten spezifizieren, aber nicht das Vorhandensein oder das Hinzufügen eines oder mehrerer anderer Merkmale, Zahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon ausschließen.
Wie er hier verwendet wird, wird der Ausdruck „falls“ optional so ausgelegt, dass er „wenn“ oder „bei“ oder „als Reaktion auf das Bestimmen“ oder „als Reaktion auf das Detektieren“ bedeutet, abhängig vom Kontext. Gleichermaßen wird die Formulierung „falls bestimmt wird“ oder „falls [eine angegebene Bedingung oder ein Zustand] detektiert wird“ optional so ausgelegt, dass sie „bei Bestimmung“ oder „als Reaktion auf das Bestimmen“ oder „beim Detektieren [der angegebenen Bedingung oder des Zustands]“ oder „als Reaktion auf das Detektieren [der angegebenen Bedingung oder des Zustands]“, abhängig vom Kontext bedeutet.
Wie hier verwendet, bezieht sich ein AV-System auf das AV zusammen mit der Gruppe aus Hardware, Software, gespeicherten Daten und in Echtzeit generierten Daten, die den Betrieb des AV unterstützt. In einer Ausführungsform ist das AV-System im AV integriert. In einer Ausführungsform ist das AV-System über mehrere Positionen verteilt. Zum Beispiel ist ein Teil der Software des AV-Systems in einer Cloud-Computing-Umgebung umgesetzt, ähnlich der Cloud-Computing-Umgebung 300, die nachstehend mit Bezug auf die 3 beschrieben wird.
Im Allgemeinen beschreibt dieses Dokument Technologien, die auf irgendwelche Fahrzeuge anwendbar sind, die eine oder mehrere autonome Fähigkeiten aufweisen, einschließlich vollautonome Fahrzeuge, hochautonome Fahrzeuge und bedingt autonome Fahrzeuge, wie zum Beispiel sogenannte Fahrzeuge der Stufe 5, Stufe 4 bzw. Stufe 3 (siehe internationaler SAE-Standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems, der durch Bezugnahme in seiner Gänze aufgenommen ist, für weitere Details zur Klassifikation der Autonomiestufen bei Fahrzeugen). Die in diesem Dokument beschriebenen Technologien sind auch auf teilautonome Fahrzeuge und Fahrzeuge mit Fahrerassistenz, sogenannte Fahrzeuge der Stufe 2 und Stufe 1, anwendbar, (siehe internationaler SAE-Standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems). In einer Ausführungsform kann eines oder mehrere der Fahrzeugsysteme der Stufe 1, 2, 3, 4 und 5 gewisse Fahrzeugoperationen (z. B. das Lenken, das Bremsen und das Verwenden von Karten) unter gewissen Betriebsbedingungen basierend auf Sensoreingaben automatisieren. Die in diesem Dokument beschriebenen Technologien können für Fahrzeuge auf allen Stufe von Vorteil sein, von vollautonomen Fahrzeugen bis zu menschenbedienten Fahrzeugen.
Autonome Fahrzeuge weisen Vorteile gegenüber Fahrzeugen auf, die einen menschlichen Fahrer benötigen. Ein Vorteil ist die Sicherheit. Zum Beispiel gab es 2016 in den Vereinigten Staaten 6 Millionen Autounfälle, 2,4 Millionen Verletzte, 40.000 Todesfälle und 13 Millionen Fahrzeuge bei Zusammenstößen mit geschätzten gesellschaftlichen Kosten von mehr als 910 Milliarden Dollar. Die Zahl der Verkehrstoten in den USA je 100 Millionen gefahrene Meilen sind von 1965 bis 2015 von etwa sechs auf etwa einen zurückgegangen, zum Teil aufgrund von zusätzlichen in Fahrzeugen eingesetzten Sicherheitsmaßnahmen. Zum Beispiel wird angenommen, dass eine zusätzliche Warnung von einer halben Sekunde, dass ein Zusammenstoß unmittelbar bevorsteht, 60 % der Front-Heck-Zusammenstöße abmildert. Allerdings haben passive Sicherheitsmerkmale (z. B. Sicherheitsgurte, Airbags) wahrscheinlich ihre Grenzen beim Verbessern dieser Zahl erreicht. Somit sind aktive Sicherheitsmaßnahmen, wie zum Beispiel automatisiertes Steuern eines Fahrzeugs, der wahrscheinlich nächste Schritt zur Verbesserung dieser statistischen Werte. Menschliche Fahrer werden für ein kritisches Ereignis vor dem Zusammenstoß in 95 % der Zusammenstöße verantwortlich gemacht, daher werden automatisierte Fahrsysteme wahrscheinlich bessere Sicherheitsresultate erreichen, z. B. indem sie kritische Situationen besser als Menschen zuverlässig erkennen und vermeiden; bessere Entscheidungen treffen, Verkehrsregeln befolgen und zukünftige Ereignisse besser als Menschen prognostizieren; und besser als ein Mensch ein Fahrzeug zuverlässig steuern.
Mit Bezug auf die 1: Ein AV-System 120 betreibt das AV 100 entlang einer Trajektorie 198 durch eine Umgebung 190 zu einem Bestimmungsort 199 (manchmal als eine Endposition bezeichnet), während es Objekten ausweicht (z. B. natürlichen Hindernissen 191, Fahrzeugen 193, Fußgängern 192, Radfahrern und anderen Hindernissen) und Verkehrsregeln befolgt (z. B. Betriebsregeln oder Fahrpräferenzen).
In einer Ausführungsform enthält das AV-System 120 die Einrichtungen 101, die dazu instrumentiert sind, Betriebsbefehle von dem Computerprozessor 146 zu empfangen und zu befolgen. In einer Ausführungsform sind die Computing-Prozessoren 146 ähnlich dem Prozessor 304, der nachstehend unter Bezugnahme auf die 3 beschrieben wird. Zu Beispielen für Einrichtungen 101 zählen das Lenkungssteuergerät 102, die Bremsen 103, die Gangschaltung, das Gaspedal oder andere Beschleunigungssteuermechanismen, Windschutzscheibenwischer, Seitentürschlösser, Fenstersteuergeräte und Blinkgeber.
In einer Ausführungsform enthält das AV-System 120 die Sensoren 121 zum Messen oder Ableiten von Eigenschaften des Status oder des Zustands des AV 100, wie zum Beispiel die Position des AV, Linear- und Winkelgeschwindigkeit und -beschleunigung und Fahrrichtung (z. B. eine Ausrichtung des führenden Endes des AV 100). Beispiele für die Sensoren 121 sind GPS, inertiale Messeinheiten (Inertial Measurement Units, IMU), die sowohl die Fahrzeuglinearbeschleunigungen als auch -winkelgeschwindigkeiten messen, Raddrehzahlsensoren zum Messen oder Schätzen der Radschlupfverhältnisse, Radbremsdruck- oder Bremsmomentsensoren, Motordrehmoment oder Raddrehmomentsensoren und Lenkwinkel- und Winkelgeschwindigkeitssensoren.
In einer Ausführungsform zählen zu den Sensoren 121 auch Sensoren zum Erfassen oder Messen von Eigenschaften der Umgebung des AV. Zum Beispiel monokulare oder Stereo-Videokameras 122 in den sichtbaren Licht-, Infrarot- oder thermischen Spektren (oder beide), LiDAR 123, RADAR, Ultraschallsensoren, Laufzeit- (Time of Flight, TOF)-Tiefensensoren, Geschwindigkeitssensoren, Temperatursensoren, Feuchtigkeitssensoren und Niederschlagssensoren.
In einer Ausführungsform enthält das AV-System 120 eine Datenspeichereinheit 142 und einen Speicher 144 zum Speichern von mit den Computerprozessoren 146 verknüpften Maschinenanweisungen oder von durch die Sensoren 121 gesammelten Daten. In einer Ausführungsform ist die Datenspeichereinheit 142 dem ROM 308 oder der Speichereinrichtung 310 ähnlich, die nachstehend in Beziehung auf die 3 beschrieben wird. In einer Ausführungsform ist der Speicher 144 dem nachstehend beschriebenen Hauptspeicher 306 ähnlich. In einer Ausführungsform speichern die Datenspeichereinheit 142 und der Speicher 144 Vergangenheits-, Echtzeit- und/oder prädiktive Informationen über die Umgebung 190. In einer Ausführungsform beinhalten die gespeicherten Informationen Karten, Fahrleistung, Aktualisierungen bei Verkehrsüberlastung oder Wetterbedingungen. In einer Ausführungsform werden Daten, die sich auf die Umgebung 190 beziehen, über einen Kommunikationskanal aus einer entfernt angeordneten Datenbank 134 zum AV 100 übertragen.
In einer Ausführungsform enthält das AV-System 120 die Kommunikationseinrichtungen 140 zum Kommunizieren von gemessenen oder abgeleiteten Eigenschaften der Stati und Zustände anderer Fahrzeuge an das AV 100, wie zum Beispiel Positionen, Linear- und Winkelgeschwindigkeiten, Linear- und Winkelbeschleunigungen und Linear- und Winkelfahrrichtungen. Diese Einrichtungen enthalten Fahrzeug-Fahrzeug (Vehicle-to-Vehicle, V2V) und Fahrzeug-Infrastruktur (Vehicle-to-Infrastructure, V2I)-Kommunikationseinrichtungen und Einrichtungen zur drahtlosen Kommunikation über Punkt-zu-Punkt- oder Adhoc-Netzwerke oder beides. In einer Ausführungsform kommunizieren die Kommunikationseinrichtungen 140 über das elektromagnetische Spektrum (einschließlich Funk- und optischer Kommunikation) oder andere Medien (z. B. Luft oder akustische Medien). Eine Kombination von Fahrzeug-Fahrzeug (V2V)- mit Fahrzeug-Infrastruktur (V2I)-Kommunikation (und in einigen Ausführungsformen einer oder mehrere andere Kommunikationstypen) wird manchmal als Fahrzeug-zu-X (Vehicle-to-Everything, V2X)-Kommunikation bezeichnet. V2X-Kommunikation entspricht typischerweise einem oder mehreren Kommunikationsstandards zur Kommunikation mit, zwischen und unter autonomen Fahrzeugen.
In einer Ausführungsform enthalten die Kommunikationseinrichtungen 140 Kommunikationsschnittstellen. Zum Beispiel drahtgebundene, drahtlose, WiMAX-, Wi-Fi-, Bluetooth-, Satelliten-, zellulare, optische, Nahfeld-, Infrarot- oder Funk-Schnittstellen. Die Kommunikationsschnittstellen übertragen Daten aus einer entfernt angeordneten Datenbank 134 zum AV-System 120. In einer Ausführungsform ist die entfernt angeordnete Datenbank 134 in einer Cloud-Computing-Umgebung 200 eingebettet, wie in der 2 beschrieben wird. Die Kommunikationsschnittstellen 140 übertragen Daten, die von den Sensoren 121 gesammelt worden sind, oder andere Daten, die sich auf den Betrieb des AV 100 beziehen, zu der entfernt angeordneten Datenbank 134. In einer Ausführungsform übertragen die Kommunikationsschnittstellen 140 Informationen, die sich auf Teleoperationen beziehen, zum AV 100. In einigen Ausführungsformen kommuniziert das AV 100 mit anderen entfernten (z. B. „Cloud“-) Servern 136.
In einer Ausführungsform speichert und überträgt die entfernt angeordnete Datenbank 134 auch digitale Daten (z. B. Speicherdaten, wie zum Beispiel Straßen- und Adresspositionen). Solche Daten sind im Speicher 144 des AV 100 gespeichert oder werden von der entfernt angeordneten Datenbank 134 über einen Kommunikationskanal zum AV 100 übertragen.
In einer Ausführungsform speichert und überträgt die entfernt angeordnete Datenbank 134 Vergangenheitsinformationen über Fahreigenschaften (z. B. Geschwindigkeits- und Beschleunigungsprofile) von Fahrzeugen, die zuvor zu ähnlichen Tageszeiten entlang der Trajektorie 198 gefahren sind. In einer Umsetzungsform können solche Daten im Speicher 144 des AV 100 gespeichert oder aus der entfernt angeordneten Datenbank 134 über einen Kommunikationskanal zum AV 100 übertragen werden.
Die Computing-Einrichtungen 146, die sich im AV 100 befinden, generieren algorithmisch Steuerungsaktionen sowohl auf Basis von Echtzeit-Sensordaten als auch von vorherigen Informationen, was dem AV-System 120 gestattet, seine autonomen Fahrfähigkeiten auszuführen.
In einer Ausführungsform enthält das AV-System 120 die Computerperipheriegeräte 132, die mit den Computing-Einrichtungen 146 gekoppelt sind, um Informationen und Alarmmeldungen für einen Anwender des AV 100 (z. B. einen Insassen oder einen entfernten Anwender) bereitzustellen und Eingaben vom Anwender zu empfangen. In einer Ausführungsform sind die Peripheriegeräte 132 dem Display 312, der Eingabeeinrichtung 314 und der Cursorsteuerung 316 ähnlich, die nachstehend unter Bezugnahme auf die 3 erörtert werden. Die Kopplung erfolgt drahtlos oder drahtgebunden. Irgendwelche zwei oder mehr der Schnittstelleneinrichtungen können in eine einzige Einrichtung integriert sein.
Die 2 veranschaulicht eine beispielhafte „Cloud“-Computing-Umgebung. Cloud-Computing ist ein Modell zur Dienstleistungserbringung, um bequemen On-Demand-Netzwerkzugriff auf einen gemeinsam genutzten Pool von auslegbaren Computing-Ressourcen zu ermöglichen (z. B. Netzwerke, Netzwerkbandbreiten, Server, Prozessoren, Speicher, Anwendungen, virtuelle Maschinen und Dienste). In typischen Cloud-Computing-Systemen beherbergen eines oder mehrere große Cloud-Datacenter die Maschinen, die verwendet werden, um die von der Cloud bereitgestellten Dienste zu erbringen. Jetzt mit Bezug auf die 2: Die Cloud-Computing-Umgebung 200 enthält die Cloud-Datacenter 204a, 204b und 204c, die über die Cloud 202 miteinander verbunden sind. Die Datacenter 204a, 204b und 204c stellen für die Computersysteme 206a, 206b, 206c, 206d, 206e und 206f, die mit der Cloud 202 verbunden sind, Cloud-Computing-Dienste bereit.
Die Cloud-Computing-Umgebung 200 enthält eines oder mehrere Cloud-Datacenter. Im Allgemeinen bezieht sich ein Cloud-Datacenter, zum Beispiel das in der 2 gezeigte Datacenter 204a, auf die physische Anordnung von Servern, aus denen eine Cloud, zum Beispiel die in der 2 gezeigte Cloud 202, oder ein spezieller Abschnitt einer Cloud besteht. Zum Beispiel sind Server physisch im Cloud-Datacenter in Räumen, Gruppen, Reihen und Racks angeordnet. Ein Cloud-Datacenter weist eine oder mehrere Zonen auf, die einen oder mehrere Server-Räume enthalten. Jeder Raum weist eine oder mehrere Reihen von Servern auf, und jede Reihe enthält ein oder mehrere Racks. Jedes Rack enthält eine oder mehrere einzelne Server-Knoten. In einigen Umsetzungsformen sind die Server in Zonen, Räumen, Racks und/oder Reihen auf Basis der physischen Infrastrukturanforderungen der Datacenter-Anlage, zu denen Leistungs-, Energie-, thermische, Wärme- und/oder andere Anforderungen zählen, in Gruppen angeordnet. In einer Ausführungsform sind die Server-Knoten dem in der 3 beschriebenen Computersystem ähnlich. Das Datacenter 204a weist viele Computing-Systeme auf, die über viele Racks verteilt sind.
Die Cloud 202 enthält die Cloud-Datacenter 204a, 204b und 204c zusammen mit den Netzwerk- und Vernetzungs-Ressourcen (zum Beispiel Vernetzungsgeräte, Knoten, Router, Switches und Vernetzungskabel), die die Cloud-Datacenter 204a, 204b und 204c miteinander verbinden und den Zugriff der Computing-Systeme 206a - f auf die Cloud-Computing-Dienste ermöglichen. In einer Ausführungsform stellt das Netzwerk irgendeine Kombination von einem oder mehreren lokalen Netzwerken, Weitverkehrsnetzen oder Inter-Netzwerken dar, die unter Verwendung von drahtgebundenen oder drahtlosen Links gekoppelt sind, die unter Verwendung von terrestrischen oder Satellitenverbindungen eingesetzt werden. Daten, die über das Netzwerk ausgetauscht werden, werden unter Verwendung irgendeiner Anzahl von Netzwerkschichtprotokollen übertragen, wie zum Beispiel Internet Protocol (IP), Multiprotocol Label Switching (MPLS), Asynchronous Transfer Mode (ATM), Frame Relay usw. Des Weiteren werden in Ausführungsformen, in denen das Netzwerk eine Kombination aus mehreren Sub-Netzwerken darstellt, unterschiedliche Netzwerkschichtprotokolle auf jedem der zugrunde liegenden Sub-Netzwerke verwendet. In einigen Ausführungsformen stellt das Netzwerk eines oder mehrere miteinander verbundene Inter-Netzwerke dar, wie zum Beispiel das öffentliche Internet.
Die Computing-Systeme 206a - f oder die Verbraucher der Cloud-Computing-Dienste sind mit der Cloud 202 über Netzwerk-Links und Netzwerkadapter verbunden. In einer Ausführungsform sind die Computing-Systeme 206a - f als verschiedene Computing-Einrichtungen umgesetzt, zum Beispiel als Server, Desktops, Laptops, Tablets, Smartphones, Internet of Things (IoT)-Einrichtungen, autonome Fahrzeuge (einschließlich Autos, Drohnen, Shuttles, Züge, Busse usw.) und Unterhaltungs- und Haushaltselektronik. In einer Ausführungsform sind die Computing-Systeme 206a - f in anderen Systemen oder als Teil von anderen Systemen umgesetzt.
Die 3 veranschaulicht ein Computersystem 300. In einer Umsetzungsform ist das Computersystem 300 eine Spezial-Computing-Einrichtung. Die Spezial-Computing-Einrichtung ist festverdrahtet, um die Techniken durchzuführen, oder enthält digitale elektronische Einrichtungen, wie zum Beispiel eine oder mehrere anwendungsspezifische integrierte Schaltungen (Application Specific Integrated Circuits, ASICs) oder Field Programmable Gate Arrays (FPGAs), die persistent programmiert sind, um die Techniken durchzuführen, oder kann einen oder mehrere Allzweck-Hardware-Prozessoren enthalten, die dazu programmiert sind, die Techniken entsprechend den Programmanweisungen in Firmware, Speicher, anderem Speicher oder einer Kombination durchzuführen. Solche Spezial-Computing-Einrichtungen können auch kundenspezifische festverdrahtete Logik, ASICs oder FPGAs mit kundenspezifischer Programmierung kombinieren, um die Techniken zu erfüllen. In verschiedenen Ausführungsformen sind die Spezial-Computing-Einrichtungen Desktop-Computersysteme, tragbare Computersysteme, handgeführte Einrichtungen, Netzwerkeinrichtung oder irgendeine andere Einrichtung, die festverdrahtete und/oder Programmlogik integrieren, um die Techniken umzusetzen.
In einer Ausführungsform enthält das Computersystem 300 einen Bus 302 oder einen anderen Kommunikationsmechanismus zum Kommunizieren von Informationen und einen Hardware-Prozessor 304, der zum Verarbeiten von Informationen mit einem Bus 302 gekoppelt ist. Der Hardware-Prozessor 304 ist zum Beispiel ein universeller Mikroprozessor. Das Computersystem 300 enthält auch einen Hauptspeicher 306, wie zum Beispiel einen Direktzugriffspeicher (Random Access Memory, RAM) oder eine andere dynamische Speichereinrichtung, die mit dem Bus 302 gekoppelt ist, um Informationen und Anweisungen zu speichern, die durch den Prozessor 304 ausgeführt werden sollen. In einer Umsetzungsform wird der Hauptspeicher 306 verwendet, um temporäre Variablen oder andere Zwischeninformationen während der Ausführung von Anweisungen, die durch den Prozessor 304 ausgeführt werden sollen, zu speichern. Wenn sie in nichtflüchtigen Speichermedien gespeichert sind, auf die der Prozessor 304 zugreifen kann, machen solche Anweisungen das Computersystem 300 zu einer Spezialmaschine, die dazu angepasst ist, die in den Anweisungen spezifizierten Operationen durchzuführen.
In einer Ausführungsform enthält das Computersystem 300 des Weiteren einen Nur-Lese-Speicher (Read-Only Memory, ROM) 308 oder eine andere statische Speichereinrichtung, die mit dem Bus 302 gekoppelt ist, um statische Informationen und Anweisungen für den Prozessor 304 zu speichern. Eine Speichereinrichtung 310, wie zum Beispiel eine Magnetplatte, eine optische Disk, ein Solid-State-Drive oder ein dreidimensionaler Crosspoint-Speicher, werden dem Bus 302 bereitgestellt und mit diesem gekoppelt, um Informationen und Anweisungen zu speichern.
In einer Ausführungsform ist das Computersystem 300 über den Bus 302 mit einem Display 312 gekoppelt, wie zum Beispiel einer Kathodenstrahlröhre (Cathode Ray Tube, CRT), einem Flüssigkristall-Display (Liquid Crystal Display, LCD), einem Plasma-Display, einem Leuchtdioden (Light Emitting Diode, LED)-Display oder einem organischen Leuchtdioden (Organic Light Emitting Diode, OLED)-Display, um einem Computeranwender Informationen anzuzeigen. Eine Eingabeeinrichtung 314, die alphanumerische und andere Tasten enthält, ist mit dem Bus 302 gekoppelt, um Informationen und Befehlswahlen zum Prozessor 304 zu kommunizieren. Ein anderer Typ von Anwendereingabeeinrichtung ist eine Cursorsteuerung 316, wie zum Beispiel eine Maus, ein Trackball, ein berührungsaktiviertes Display oder Cursorrichtungstasten, um Richtungsinformationen und Befehlswahlen zum Prozessor 304 zu kommunizieren und die Cursorbewegung auf dem Display 312 zu steuern. Die Eingabeeinrichtung weist typischerweise zwei Freiheitgrade in zwei Achsen auf, einer ersten Achse (z. B. die x-Achse) und einer zweiten Achse (z. B. die y-Achse), die der Einrichtung gestatten, Positionen in einer Ebene zu spezifizieren.
Gemäß einer Ausführungsform werden die Techniken hier durch das Computersystem 300 als Reaktion darauf durchgeführt, dass der Prozessor 304 eine oder mehrere Abfolgen einer oder mehrerer Anweisungen ausführt, die im Hauptspeicher 306 enthalten sind. Solche Anweisungen werden aus einem anderen Speichermedium, wie zum Beispiel der Speichereinrichtung 310, in den Hauptspeicher 306 gelesen. Die Ausführung der Abfolgen von Anweisungen, die im Hauptspeicher 306 enthalten sind, bewirkt, dass der Prozessor 304 die hier beschriebenen Prozessschritte durchführt. In alternativen Ausführungsformen wird festverdrahtete Schaltungstechnik anstelle oder in Kombination mit Software-Anweisungen verwendet.
Der Ausdruck „Speichermedien“ bezieht sich, wie er hier verwendet wird, auf irgendwelche nichtflüchtigen Medien, die Daten und/oder Anweisungen speichern, die bewirken, dass eine Maschine auf eine spezifische Weise arbeitet. Zu solchen Speichermedien zählen nichtflüchtige Medien und/oder flüchtige Medien. Zu nichtflüchtigen Medien zählen zum Beispiel optische Disks, Magnetplatten, Solid-State-Drives oder dreidimensionaler Crosspoint-Speicher, wie zum Beispiel die Speichereinrichtung 310. Zu flüchtigen Medien zählen dynamischer Speicher, wie zum Beispiel der Hauptspeicher 306. Zu üblichen Formen computerlesbarer Medien zählen zum Beispiel eine Floppy-Disk, eine Diskette, eine Festplatte, ein Solid-State-Drive, Magnetband oder irgendein anderes magnetisches Datenspeichermedium, eine CD-ROM, irgendein anderes optisches Datenspeichermedium, irgendein physisches Medium mit Lochmustern, ein RAM, ein PROM, ein EPROM, ein Flash-EPROM, ein NV-RAM oder irgendein anderer Speicher-Chip oder -Einsatz.
Speichermedien unterscheiden sich von Übertragungsmedien, können jedoch in Verbindung mit ihnen verwendet werden. Übertragungsmedien sind bei Übertragen von Informationen zwischen Speichermedien beteiligt. Zum Beispiel zählen zu Übertragungsmedien Koaxialkabel, Kupferdraht und Glasfaseroptiken, einschließlich der Drähte, die den Bus 302 bilden. Übertragungsmedien können auch die Form von akustischen oder Lichtwellen annehmen, wie zum Beispiel solche, die während Funkwellen- und Infrarot-Datenkommunikationen generiert werden.
In einer Ausführungsform sind verschiedene Formen von Medien beim Übertragen einer oder mehreren Abfolgen von einer oder mehrerer Anweisungen zur Ausführung zum Prozessor 304 einbezogen. Zum Beispiel werden die Anweisungen zuerst auf einer Magnetplatte oder einem Solid-State-Drive eines entfernten Computers gehalten. Der entfernte Computer lädt die Anweisungen in seinen dynamischen Speicher und sendet die Anweisungen über eine Telefonleitung unter Verwendung eines Modems. Ein Modem, das sich vor Ort am Computersystem 300 befindet, empfängt die Daten auf der Telefonleitung und verwendet einen Infrarot-Transmitter, um die Daten in ein Infrarotsignal umzuwandeln. Ein Infrarotdetektor empfängt die Daten, die im Infrarotsignal übertragen werden, und geeignete Schaltungstechnik platziert die Daten auf dem Bus 302. Der Bus 302 überträgt die Daten zum Hauptspeicher 306, von wo der Prozessor 304 die Anweisungen abfragt und ausführt. Die durch den Hauptspeicher 306 empfangenen Anweisungen können optional in der Speichereinrichtung 310, entweder vor oder nach der Ausführung durch den Prozessor 304, gespeichert werden.
Das Computersystem 300 enthält auch eine Kommunikationsschnittstelle 318, die mit dem Bus 302 gekoppelt ist. Die Kommunikationsschnittstelle 318 stellt eine Zweiwege-Datenkommunikationskopplung mit einem Netzwerk-Link 320 bereit, die mit einem lokalen Netzwerk 322 verbunden ist. Zum Beispiel ist die Kommunikationsschnittstelle 318 eine Integrated Service Digital Network (ISDN)-Karte, ein Kabelmodem, ein Satellitenmodem oder ein Modem, um eine Datenkommunikationsverbindung zu einem entsprechenden Telefonleitungstyp bereitzustellen. Als ein anderes Beispiel: Die Kommunikationsschnittstelle 318 ist eine Local Area Network (LAN)-Karte, um eine Datenkommunikationsverbindung zu einem kompatiblen LAN bereitzustellen. In einigen Umsetzungsformen sind auch drahtlose Links umgesetzt. In irgendeiner solchen Umsetzungsform sendet und empfängt die Kommunikationsschnittstelle 318 elektrische, elektromagnetische oder optische Signale, die digitale Datenströme übertragen, die verschiedene Typen von Informationen darstellen.
Der Netzwerk-Link 320 stellt typischerweise Datenkommunikation über eines oder mehrere Netzwerke zu anderen Dateneinrichtungen bereit. Zum Beispiel stellt der Netzwerk-Link 320 eine Verbindung über das lokale Netzwerk 322 zu einem Host-Computer 324 oder zu einem Cloud-Datacenter oder zu Geräten bereit, die von einem Internet Service Provider (ISP) 326 betrieben werden. Der ISP 326 stellt wiederum Datenkommunikationsdienste über das weltweite Paket-Datenkommunikationsnetzwerk bereit, das heute üblicherweise als das „Internet“ 328 bezeichnet wird. Das lokale Netzwerk 322 und das Internet 328 verwenden beide elektrische, elektromagnetische oder optische Signale, die digitale Datenströme übertragen. Die Signale über die verschiedenen Netzwerke und die Signale auf dem Netzwerk-Link 320 und über die Kommunikationsschnittstelle 318, die die digitalen Daten zum und vom Computersystem 300 übertragen, sind beispielhafte Formen für Übertragungsmedien. In einer Ausführungsform enthält das Netzwerk 320 die oben beschriebene Cloud 202 oder einen Teil der Cloud 202.
Das Computersystem 300 sendet Nachrichten und empfängt Daten, einschließlich Programmcode, über das bzw. die Netzwerk(e), den Netzwerk-Link 320 und die Kommunikationsschnittstelle 318. In einer Ausführungsform empfängt das Computersystem 300 Code zur Verarbeitung. Der empfangene Code wird durch den Prozessor 304 beim Empfang ausgeführt und/oder zur späteren Ausführung in der Speichereinrichtung 310 oder einem anderen nichtflüchtigen Speicher gespeichert.
Architektur des autonomen Fahrzeugs
Die 4 zeigt eine beispielhafte Architektur 400 für ein autonomes Fahrzeug (z. B. das in der 1 gezeigte AV 100). Die Architektur 400 enthält ein Wahrnehmungsmodul 402 (manchmal als eine Wahrnehmungsschaltung bezeichnet), ein Planungsmodul 404 (manchmal als eine Planungsschaltung bezeichnet), ein Steuermodul 406 (manchmal als eine Steuerschaltung bezeichnet), ein Positionsbestimmungsmodul 408 (manchmal als eine Positionsbestimmungsschaltung bezeichnet) und ein Datenbankmodul 410 (manchmal als eine Datenbankschaltung bezeichnet). Jedes Modul spielt beim Betrieb des AV 100 eine Rolle. Gemeinsam können die Module 402, 404, 406, 408 und 410 Teil des in der 1 gezeigten AV-Systems 120 sein. In einigen Ausführungsformen ist irgendeines der Module 402, 404, 406, 408 und 410 eine Kombination von Computer-Software (z. B. ausführbarem Code, der auf einem computerlesbaren Medium gespeichert ist) und Computer-Hardware (z. B. einer oder mehrere Mikroprozessoren, Mikrocontroller, anwendungsspezifische integrierte Schaltungen [ASICs]), Hardware-Speichereinrichtungen, andere Typen von integrierten Schaltungen, andere Typen von Computer-Hardware oder eine Kombination aller dieser Dinge. Jedes der Module 402, 404, 406, 408 und 410 wird manchmal als eine Verarbeitungsschaltung bezeichnet (z. B. Computer-Hardware, Computer-Software oder eine Kombination der beiden). Eine Kombination irgendwelcher oder aller der Module 402, 404, 406, 408 und 410 ist ebenfalls ein Beispiel für eine Verarbeitungsschaltung.
Im Einsatz empfängt das Planungsmodul 404 Daten, die einen Bestimmungsort 412 darstellen, und bestimmt Daten, die eine Trajektorie 414 (manchmal als Route bezeichnet) darstellen, die vom AV 100 gefahren werden kann, um den Bestimmungsort 412 zu erreichen (z. B. an ihm anzukommen). Damit das Planungsmodul 404 die Daten bestimmt, die die Trajektorie 414 darstellen, empfängt das Planungsmodul 404 Daten aus dem Wahrnehmungsmodul 402, dem Positionsbestimmungsmodul 408 und dem Datenbankmodul 410.
Das Wahrnehmungsmodul 402 identifiziert nahegelegene physische Objekte unter Verwendung eines oder mehrerer Sensoren 121, z. B. wie in der 1 gezeigt. Die Objekte werden klassifiziert (z. B. in Typen gruppiert, wie zum Beispiel Fußgänger, Fahrrad, Automobil, Verkehrszeichen usw.), und eine Szenenbeschreibung, die die klassifizierten Objekte 416 enthält, wird dem Planungsmodul 404 bereitgestellt.
Das Planungsmodul 404 empfängt auch Daten, die die AV-Position 418 darstellen, aus dem Positionsbestimmungsmodul 408. Das Positionsbestimmungsmodul 408 bestimmt die AV-Position unter Verwendung von Daten aus den Sensoren 121 und Daten aus dem Datenbankmodul 410 (z. B. geografische Daten), um eine Position zu berechnen. Zum Beispiel verwendet das Positionsbestimmungsmodul 408 Daten aus einem GNSS (Global Navigation Satellite System)-Sensor und geografische Daten, um einen Längengrad und einen Breitengrad des AV zu berechnen. In einer Ausführungsform zählen zu Daten, die vom Positionsbestimmungsmodul 408 verwendet werden, hochgenaue Karten der Fahrbahngeometrieeigenschaften, Karten, die Straßennetz-Konnektivitätseigenschaften beschreiben, Karten, die physische Fahrbahneigenschaften beschreiben (wie zum Beispiel Verkehrsgeschwindigkeit, Verkehrsaufkommen, die Anzahl von Fahrzeug- und Radfahr-Fahrbahnen, Fahrbahnbreite, Fahrbahnverkehrsrichtungen oder Fahrbahnmarkierungstypen und -positionen oder Kombinationen davon), und Karten, die die räumlichen Positionen von Straßenmerkmalen beschreiben, wie zum Beispiel Fußgängerüberwege, Verkehrszeichen oder andere Verkehrssignale verschiedener Typen. In einer Ausführungsform werden die hochgenauen Karten durch Hinzufügen von Daten über automatische oder manuelle Annotation zu Karten mit geringer Genauigkeit erstellt.
Das Steuermodul 406 empfängt die Daten, die die Trajektorie 414 darstellen, und die Daten, die die AV-Position 418 darstellen, und betreibt die Steuerfunktionen 420a - c des AV (z. B. Lenken, Drosselung, Bremsen, Zündung) auf eine Weise, die bewirkt, dass das AV 100 die Trajektorie 414 zum Bestimmungsort 412 fährt. Falls die Trajektorie 414 zum Beispiel ein Linksabbiegen enthält, wird das Steuermodul 406 die Steuerfunktionen 420a - c in einer Weise bedienen, dass der Lenkwinkel der Lenkfunktion bewirkt, dass das AV 100 nach links abbiegt, und die Drosselung und das Bremsen werden bewirken, dass das AV 100 anhält und vorbeikommende Fußgänger oder Fahrzeuge abwartet, bevor diese Abbiegung erfolgt.
Eingaben des autonomen Fahrzeugs
Die 5 zeigt ein Beispiel für die Eingaben 502a - d (z. B. der in der 1 gezeigten Sensoren 121) and Ausgaben 504a - d (z. B. Sensordaten), die vom Wahrnehmungsmodul 402 verwendet werden (4). Eine Eingabe 502a ist ein LiDAR (Light Detection And Ranging)-System (z. B. das in der 1 gezeigte LiDAR 123). LiDAR ist eine Technologie, die Licht verwendet (z. B. Lichtimpulse, wie zum Beispiel Infrarotlicht), um Daten über physische Objekte in seiner Sichtlinie zu erlangen. Ein LiDAR-System produziert LiDAR-Daten als Ausgabe 504a. Zum Beispiel sind LiDAR-Daten Sammlungen von 3D- oder 2D-Punkten (auch als Punktwolken bekannt), die verwendet werden, um eine Darstellung der Umgebung 190 zu erstellen.
Eine andere Eingabe 502b ist ein RADAR-System. RADAR ist eine Technologie, die Funkwellen verwendet, um Daten über nahegelegene physische Objekte zu erlangen. RADARe können Daten über Objekte erlangen, die sich nicht in der Sichtlinie eines LiDAR-Systems befinden. Ein RADAR-System 502b produziert RADAR-Daten als Ausgabe 504b. Zum Beispiel sind RADAR-Daten ein oder mehrere elektromagnetische Funkfrequenzsignale, die verwendet werden, um eine Darstellung der Umgebung 190 zu erstellen.
Eine andere Eingabe 502c ist ein Kamerasystem. Ein Kamerasystem verwendet eine oder mehrere Kameras (z. B. Digitalkameras, die einen Lichtsensor verwenden, wie zum Beispiel einen ladungsgekoppelten Bildwandler [Charge-Coupled Device, CCD]), um Informationen über nahegelegene physische Objekte zu erlangen. Ein Kamerasystem produziert Kameradaten als Ausgabe 504c. Kameradaten haben häufig die Form von Bilddaten (z. B. Daten in einem Bilddatenformat, wie zum Beispiel RAW, JPEG, PNG usw.). In einigen Beispielen weist das Kamerasystem mehrere unabhängige Kameras auf, z. B. für den Zweck der Stereopsis (Stereovision), was dem Kamerasystem das Wahrnehmen von Tiefe ermöglicht. Obwohl die vom Kamerasystem wahrgenommenen Objekte hier als „nahegelegen“ beschrieben werden, ist dies relativ zum AV. Im Einsatz kann das Kamerasystem dazu ausgelegt sein, Objekte zu „sehen“, die sich weit vor dem AV befinden, z. B. bis zu einem Kilometer oder mehr. Dementsprechend kann das Kamerasystem Merkmale aufweisen, wie zum Beispiel Sensoren oder Linsen, die zum Wahrnehmen von weit entfernten Objekten optimiert sind.
Eine andere Eingabe 502d ist ein Ampelanlagendetektions (Traffic Light Detection, TLD)-System. Ein TLD-System verwendet eine oder mehrere Kameras, um Informationen über Ampelanlagen, Straßenschilder und andere physische Objekte zu erlangen, die visuelle Navigationsinformationen bereitstellen. Ein TLD-System produziert TLD-Daten als Ausgabe 504d. TLD-Daten haben häufig die Form von Bilddaten (z. B. Daten in einem Bilddatenformat, wie zum Beispiel RAW, JPEG, PNG usw.). Ein TLD-System unterscheidet sich von einem System, in dem eine Kamera integriert ist, darin, dass ein TLD-System eine Kamera mit einem breiten Sichtfeld verwendet (z. B. unter Verwendung eines Weitwinkelobjektivs oder eines Fischaugenobjektivs), um Informationen über so viele physische Objekte wie möglich, die visuelle Navigationsinformationen bereitstellen, zu erlangen, so dass das AV 100 Zugriff auf alle relevanten Navigationsinformationen hat, die von diesen Objekte bereitgestellt werden. Zum Beispiel kann der Sichtwinkel des TLD-Systems etwa 120 Grad oder mehr sein.
In einigen Ausführungsformen werden die Ausgaben 504a - d unter Verwendung von Sensorfusion kombiniert. Somit werden die einzelnen Ausgaben 504a - d entweder anderen Systemen des AV 100 bereitgestellt (z. B. einem Planungsmodul 404 bereitgestellt, wie in der 4 gezeigt wird), oder die kombinierte Ausgabe kann den anderen Systemen bereitgestellt werden, entweder in der Form einer einzigen kombinierten Ausgabe oder mehrerer kombinierter Ausgaben des gleichen Typs (z. B. unter Verwendung der gleichen Kombinationstechnik oder durch Kombinieren der gleichen Ausgaben oder beides) oder unterschiedlichen Typs (z. B. unter Verwendung unterschiedlicher jeweiliger Kombinationstechniken oder durch Kombinieren unterschiedlicher jeweiliger Ausgaben oder beides). In einigen Ausführungsformen wird eine frühe Fusionstechnik verwendet. Eine frühe Fusionstechnik ist dadurch charakterisiert, dass Ausgaben kombiniert werden, bevor einer oder mehrere Datenverarbeitungsschritte auf die kombinierte Ausgabe angewendet werden. In einigen Ausführungsformen wird eine junge Fusionstechnik verwendet. Eine junge Fusionstechnik ist dadurch charakterisiert, dass Ausgaben kombiniert werden, nachdem einer oder mehrere Datenverarbeitungsschritte auf die einzelnen Ausgaben angewendet worden sind.
Die 6 zeigt ein Beispiel für ein LiDAR-System 602 (z. B. die in der 5 gezeigte Eingabe 502a). Das LiDAR-System 602 emittiert Licht 604a - c aus einem Lichtemitter 606 (z. B. ein Laser-Transmitter). Licht, das von einem LiDAR-System emittiert wird, liegt typischerweise nicht im sichtbaren Spektrum; zum Beispiel wird häufig Infrarotlicht verwendet. Ein Teil des emittierten Lichts 604b trifft auf ein physisches Objekt 608 (z. B. ein Fahrzeug) und wird zum LiDAR-System 602 zurück reflektiert (von einem LiDAR-System emittiertes Licht durchdringt typischerweise kein physisches Objekt, z. B. kein physisches Objekt in fester Form). Das LiDAR-System 602 weist auch einen oder mehrere Lichtdetektoren 610 auf, die das reflektierte Licht detektieren. In einer Ausführungsform generieren eines oder mehrere Datenverarbeitungssysteme, die mit dem LiDAR-System verknüpft sind, ein Bild 612, das das Sichtfeld 614 des LiDAR-Systems darstellt. Das Bild 612 enthält Informationen, die die Ränder 616 eines physischen Objekts 608 darstellen. Auf diese Weise wird das Bild 612 verwendet, um die Ränder 616 eines oder mehrerer physischer Objekte in der Nähe eines AV zu bestimmen.
Die 7 zeigt das LiDAR-System 602 in Betrieb. In dem in dieser Figur gezeigten Szenario empfängt das AV 100 sowohl die Kamerasystemausgabe 504c in der Form eines Bildes 702 als auch die LiDAR-Systemausgabe 504a in der Form von LiDAR-Datenpunkten 704. Im Einsatz vergleicht das Datenverarbeitungssystem des AV 100 das Bild 702 mit den Datenpunkten 704. Insbesondere wird ein physisches Objekt 706, das im Bild 702 identifiziert worden ist, auch in den Datenpunkten 704 identifiziert. Auf diese Weise nimmt das AV 100 die Ränder des physischen Objekts auf Basis der Kontur und der Dichte der Datenpunkte 704 wahr.
Die 8 zeigt den Betrieb des LiDAR-Systems 602 in zusätzlichen Details. Wie oben beschrieben wird, detektiert das AV 100 den Rand eines physischen Objekts auf Basis der Charakteristika der vom LiDAR-System 602 detektierten Datenpunkte. Wie in der 8 gezeigt wird, wird ein ebenes Objekt, wie zum Beispiel der Boden 802, das von einem LiDAR-System 602 emittierte Licht 804a - d in einer konsistenten Weise reflektieren. Anders gesagt: Weil das LiDAR-System 602 Licht unter Verwendung von konsistenten Zwischenräumen emittiert, wird der Boden 802 Licht mit den gleichen konsistenten Zwischenräumen zurück zum LiDAR-System 602 reflektieren. Wenn das AV 100 über den Boden 802 fährt, wird das LiDAR-System 602 weiter Licht detektieren, das vom nächsten validen Bodenpunkt 806 reflektiert wird, falls nichts die Straße versperrt. Falls allerdings ein Objekt 808 die Straße versperrt, wird das vom LiDAR-System 602 emittierte Licht 804e - f von den Punkten 810a - b auf eine Weise reflektiert, die gegenüber der erwarteten konsistenten Weise inkonsistent ist. Anhand dieser Informationen kann das AV 100 bestimmen, dass das Objekt 808 vorhanden ist.
Pfadplanung
Die 9 zeigt ein Blockdiagramm 900 der Beziehungen zwischen Eingaben und Ausgaben eines Planungsmoduls 404 (wie z. B. in 4 gezeigt wird). Im Allgemeinen ist die Ausgabe eines Planungsmoduls 404 eine Route 902 von einem Startpunkt 904 (z. B. von der Quellposition oder Anfangsposition) zu einem Endpunkt 906 (z. B. dem Bestimmungsort oder der Endposition). Die Route 902 ist typischerweise durch eines oder mehrere Segmente definiert. Zum Beispiel ist ein Segment eine Distanz, die über wenigstens einen Abschnitt eines Wegs, einer Straße, einer Fernstraße, einer Zufahrt oder einen anderen physischen Bereich, der für den Automobilverkehr geeignet ist, gefahren werden soll. In einigen Beispielen, z. B. falls das AV 100 ein Off-Road-fähiges Fahrzeug, wie zum Beispiel ein Vierradantrieb- (4WD) oder ein Allradantrieb (AWD)-Auto, SUV, Pickup oder dergleichen ist, enthält die Route 902 „Off-Road“-Segmente, wie zum Beispiel unbefestigte Pfade oder offenes Feld.
Zusätzlich zur Route 902 gibt ein Planungsmodul auch Routenplanungsdaten 908 auf Fahrbahnebene aus. Die Planungsdaten 908 auf Fahrbahnebene werden verwendet, um Segmente der Route 902 auf Basis von Bedingungen des Segments zu einem speziellen Zeitpunkt zu befahren. Falls zum Beispiel die Route 902 eine Fernstraße mit mehreren Fahrbahnen enthält, enthalten die Routenplanungsdaten 908 auf Fahrbahnebene Trajektorienplanungsdaten 910, die das AV 100 verwenden kann, um eine Fahrbahn unter den mehreren Fahrbahnen zu wählen, z. B. basierend darauf, ob eine Ausfahrt näherkommt, ob eine oder mehrere der Fahrbahnen andere Fahrzeuge aufweist oder anderen Faktoren, die im Laufe einiger Minuten oder weniger variieren können. Gleichermaßen enthalten die Routenplanungsdaten 908 auf Fahrbahneben in einigen Umsetzungsformen Geschwindigkeitsbeschränkungen 912, die für ein Segment der Route 902 spezifisch sind. Falls das Segment zum Beispiel Fußgänger oder unerwarteten Verkehr aufweist, können die Geschwindigkeitsbeschränkungen 912 das AV 100 einschränken, damit es langsamer als eine erwartete Geschwindigkeit fährt, z. B. mit einer auf Geschwindigkeitsbeschränkungsdaten für das Segment basierenden Geschwindigkeit.
In einer Ausführungsform enthalten die Eingaben in das Planungsmodul 404 Datenbankdaten 914 (z. B. aus dem in der 4 gezeigten Datenbankmodul 410), Daten 916 der aktuellen Position (z. B. die in der 4 gezeigte AV-Position 418), Bestimmungsortdaten 918 (z. B. für den in der 4 gezeigten Bestimmungsort 412) und Objektdaten 920 (z. B. die klassifizierten Objekte 416, wie sie durch das Wahrnehmungsmodul 402 wahrgenommen worden sind, wie in der 4 gezeigt wird). In einigen Ausführungsformen enthalten die Datenbankdaten 914 Regeln, die bei der Planung verwendet werden. Regeln werden unter Verwendung einer formalen Sprache spezifiziert, z. B. unter Verwendung von boolescher Logik. In jeder gegebenen Situation, auf die das AV 100 trifft, werden wenigstens einige der Regeln für die Situation gelten. Eine Regel gilt für eine gegebene Situation, falls die Regel Bedingungen aufweist, die erfüllt sind, basierend auf Informationen, die für das AV 100 verfügbar sind, z. B. Informationen über die Umgebung. Regeln können eine Priorität aufweisen. Zum Beispiel kann eine Regel, die besagt: „Falls die Straße eine Autobahn ist, bewege dich auf die Fahrbahn links außen“, eine geringere Priorität aufweisen als: „Falls die Ausfahrt innerhalb einer Meile näherkommt, bewege dich auf die Fahrbahn rechts außen“.
Die 10 zeigt einen gerichteten Graphen 1000, der bei der Pfadplanung verwendet wird, z. B. vom Planungsmodul 404 (4). Im Allgemeinen wird ein gerichteter Graph 1000, wie der in der 10 gezeigte, verwendet, um einen Pfad zwischen irgendeinem Startpunkt 1002 und Endpunkt 1004 zu bestimmen. In der Realität kann die Distanz, die den Startpunkt 1002 und den Endpunkt 1004 trennt, relativ groß sein (z. B. in zwei unterschiedlichen Ballungsräumen) oder kann relativ klein sein (z. B. zwei Kreuzungen, die an einen Häuserblock oder zwei Fahrbahnen einer mehrspurigen Straße angrenzen).
In einer Ausführungsform weist der gerichtete Graph 1000 die Knoten 1006a - d auf, die unterschiedliche Positionen zwischen dem Startpunkt 1002 und dem Endpunkt 1004 darstellen, die von einem AV 100 eingenommen werden könnten. In einigen Beispielen, z. B., wenn der Startpunkt 1002 und der Endpunkt 1004 unterschiedliche Ballungsräume darstellen, stellen die Knoten 1006a - d Segmente von Straßen dar. In einigen Beispielen, z. B., wenn der Startpunkt 1002 und der Endpunkt 1004 unterschiedliche Positionen auf der gleichen Straße darstellen, stellen die Knoten 1006a - d unterschiedliche Positionen auf dieser Straße dar. Auf diese Weise enthält der gerichtete Graph 1000 Informationen auf variierenden Granularitätsebenen. In einer Ausführungsform ist ein gerichteter Graph mit einer großen Granularität auch ein Sub-Graph eines anderen gerichteten Graphen mit einem größeren Maßstab. Zum Beispiel weist ein gerichteter Graph, bei dem der Startpunkt 1002 und der Endpunkt 1004 weit entfernt sind (z. B. einige Meilen auseinander liegen), die meisten seiner Informationen mit einer geringen Granularität auf und basiert auf gespeicherten Daten, enthält jedoch auch einige Informationen hoher Granularität für den Abschnitt des Graphen, der physische Positionen im Sichtfeld des AV 100 darstellt.
Die Knoten 1006a - d unterscheiden sich von den Objekten 1008a - b, die einen Knoten nicht überlappen können. Wenn die Granularität gering ist, stellen die Objekte 1008a - b in einer Ausführungsform Bereiche dar, die nicht von einem Automobil befahren werden können, z. B. Bereiche, die keine Straßen aufweisen. Wenn die Granularität groß ist, stellen die Objekte 1008a - b physische Objekte im Sichtfeld des AV 100 dar, z. B. andere Automobile, Fußgänger oder andere Instanzen, mit denen das AV 100 keinen physischen Raum teilen kann. In einer Ausführungsform sind einige oder alle der Objekte 1008a - b statische Objekte (z. B. ein Objekt, das seine Position nicht verändert, wie zum Beispiel eine Straßenlaterne oder ein Strommast) oder dynamische Objekte (z. B. ein Objekt, das in der Lage ist, seine Position zu verändern, wie zum Beispiel ein Fußgänger oder ein anderes Auto).
Die Knoten 1006a - d sind durch die Kanten 1010a - c verbunden. Falls zwei Knoten 1006a - b durch eine Kante 1010a verbunden sind, ist es für ein AV 100 möglich, zwischen einem Knoten 1006a und dem anderen Knoten 1006b zu fahren, z. B. ohne zu einem Zwischenknoten fahren zu müssen, bevor es an dem anderen Knoten 1006b ankommt. (Wenn Bezug auf das AV 100 genommen wird, das zwischen Knoten fährt, ist gemeint, dass das AV 100 zwischen den beiden physischen Positionen fährt, die durch die jeweiligen Knoten dargestellt sind.) Die Kanten 1010a - c sind häufig bidirektional in dem Sinn, dass ein AV 100 von einem ersten Knoten zu einem zweiten Knoten oder vom zweiten Knoten zum ersten Knoten fährt. In einer Ausführungsform sind die Kanten 1010a - c unidirektional in dem Sinn, dass ein AV 100 von einem ersten Knoten zu einem zweiten Knoten fahren kann, allerdings kann das AV 100 nicht vom zweiten Knoten zum ersten Knoten fahren. Die Kanten 1010a - c sind unidirektional, wenn sie zum Beispiel Einbahnstraßen, einzelne Fahrbahnen einer Straße oder einer Fernstraße oder andere Merkmale darstellen, die aufgrund von gesetzlichen oder physischen Beschränkungen nur in einer Richtung befahren werden können.
In einer Ausführungsform verwendet das Planungsmodul 404 den gerichteten Graphen 1000, um einen Pfad 1012, der aus Knoten und Kanten besteht, zwischen dem Startpunkt 1002 und dem Endpunkt 1004 zu identifizieren.
Eine Kante 1010a - c weist die verknüpften Kosten 1014a - b auf. Die Kosten 1014a - b sind ein Wert, der die Ressourcen darstellt, die verbraucht werden, wenn das AV 100 diese Kante wählt. Eine typische Ressource ist die Zeit. Falls zum Beispiel eine Kante 1010a eine physische Distanz darstellt, die doppelt so groß wie die einer anderen Kante 1010b ist, dann können die verknüpften Kosten 1014a der ersten Kante 1010a doppelt so hoch wie die verknüpften Kosten 1014b der zweiten Kante 1010b sein. Zu anderen Faktoren, die die Zeit beeinflussen, zählen der erwartete Verkehr, die Anzahl an Kreuzungen, Geschwindigkeitsbeschränkungen usw. Eine andere typische Ressource ist der Kraftstoffverbrauch. Zwei Kanten 1010a - b können die gleiche physische Distanz darstellen, jedoch ist für eine Kante 1010a möglicherweise mehr Kraftstoff als für eine andere Kante 1010b erforderlich, z. B. wegen der Straßenbedingungen, des erwarteten Wetters usw.
Wenn das Planungsmodul 404 einen Pfad 1012 zwischen dem Startpunkt 1002 und dem Endpunkt 1004 identifiziert, wählt das Planungsmodul 404 typischerweise einen Pfad, der kostenoptimiert ist, z. B. den Pfad, der die geringsten Gesamtkosten aufweist, wenn die einzelnen Kosten der Kanten addiert werden.
Steuerung des autonomen Fahrzeugs
Die 11 zeigt ein Blockdiagramm 1100 der Eingaben und Ausgaben eines Steuermoduls 406 (wie z. B. in der 4 gezeigt wird). Ein Steuermodul arbeitet gemäß einer Steuerung 1102, die zum Beispiel einen oder mehrere Prozessoren (z. B. einen oder mehrere Computerprozessoren, wie zum Beispiel Mikroprozessoren oder Mikrocontroller oder beides) ähnlich dem Prozessor 304, Kurzzeit- und/oder Langzeitdatenspeicher (z. B. Direktzugriffsspeicher oder Flash-Speicher oder beides) ähnlich dem Hauptspeicher 306, das ROM 1308 und die Speichereinrichtung 210 enthält, und im Speicher gespeicherten Anweisungen, die Operationen der Steuerung 1102 ausführen, wenn die Anweisungen ausgeführt werden (z. B. von dem einen oder den mehreren Prozessoren).
In einer Ausführungsform empfängt die Steuerung 1102 Daten, die eine gewünschte Ausgabe 1104 darstellen. Die gewünschte Ausgabe 1104 enthält typischerweise eine Geschwindigkeit, z. B. eine Geschwindigkeit und eine Fahrrichtung. Die gewünschte Ausgabe 1104 kann zum Beispiel auf Daten basieren, die aus einem Planungsmodul 404 (wie z. B. in der 4 gezeigt wird) empfangen werden. Gemäß der gewünschten Ausgabe 1104 produziert die Steuerung 1102 Daten, die als eine Drosseleingabe 1106 und eine Lenkeingabe 1108 verwendbar sind. Die Drosseleingabe 1106 stellt die Größe dar, mit der die Drossel (z. B. Beschleunigungssteuerung) eines AV 100 einzusetzen ist, z. B. durch Einsetzen des Lenkpedals oder durch Einsetzen einer anderen Drosselsteuerung, um die gewünschte Ausgabe 1104 zu erreichen. In einigen Beispielen enthält die Drosseleingabe 1106 auch Daten, die zum Einsetzen der Bremse (z. B. Verlangsamungssteuerung) des AV 100 verwendbar sind. Die Lenkeingabe 1108 stellt einen Lenkwinkel dar, z. B. den Winkel, in den die Lenkungssteuerung (z. B. Lenkrad, Lenkwinkelaktuator oder eine andere Funktionalität zum Steuern des Lenkwinkels) des AV positioniert werden sollte, um die gewünschte Ausgabe 1104 zu erreichen.
In einer Ausführungsform empfängt die Steuerung 1102 Rückkopplung, die beim Einstellen der für die Drossel und die Lenkung bereitgestellten Eingaben verwendet wird. Falls das AV 100 zum Beispiel auf ein Hindernis 1110 trifft, wie zum Beispiel einen Hügel, verringert sich die gemessene Geschwindigkeit 1112 des AV 100 unter die gewünschte Ausgabegeschwindigkeit. In einer Ausführungsform wird jede gemessene Ausgabe 1114 der Steuerung 1102 bereitgestellt, so dass die nötigen Einstellungen durchgeführt werden, z. B. auf Basis der Differenz 1113 zwischen der gemessenen Geschwindigkeit und der gewünschten Ausgabe. Die gemessene Ausgabe 1114 enthält die gemessene Position 1116, die gemessene Geschwindigkeit 1118 (einschließlich Geschwindigkeit und Fahrrichtung), die gemessene Beschleunigung 1120 und andere Ausgaben, die durch Sensoren des AV 100 messbar sind.
In einer Ausführungsform werden Informationen über die Störgröße 1110 im Voraus detektiert, z. B. durch einen Sensor, wie zum Beispiel eine Kamera oder einen LiDAR-Sensor, und einem prädiktiven Rückkopplungsmodul 1122 bereitgestellt. Das prädiktive Rückkopplungsmodul 1122 stellt dann der Steuerung 1102 Informationen bereit, die die Steuerung 1102 zum entsprechenden Einstellen verwenden kann. Falls zum Beispiel die Sensoren des AV 100 einen Hügel detektieren („sehen“), können diese Informationen von der Steuerung 1102 verwendet werden, um das Einsetzen der Drossel zum geeigneten Zeitpunkt vorzubereiten, um eine signifikante Verlangsamung zu verhindern.
Die 12 zeigt ein Blockdiagramm 1200 der Eingaben, Ausgaben und Komponenten der Steuerung 1102. Die Steuerung 1102 weist einen Geschwindigkeits-Profiler 1202 auf, der den Betrieb einer Drossel- bzw. Bremsensteuerung 1204 beeinflusst. Zum Beispiel weist der Geschwindigkeits-Profiler 1202 die Drossel- bzw. Bremsensteuerung 1204 an, Beschleunigung oder Verlangsamung unter Verwendung der Drossel bzw. Bremse 1206 einzusetzen, z. B. abhängig von der Rückkopplung, die von der Steuerung 1102 empfangen und vom Geschwindigkeits-Profiler 1202 verarbeitet worden ist.
Die Steuerung 1102 weist auch eine Lateralverfolgungssteuerung 1208 auf, die den Betrieb einer Lenkradssteuerung 1210 beeinflusst. Zum Beispiel weist die Lateralverfolgungssteuerung 1208 die Lenkradssteuerung 1210 an, die Position des Lenkwinkelaktuators 1212 einzustellen, z. B. abhängig von der Rückkopplung, die von der Steuerung 1102 empfangen und von der Lateralverfolgungssteuerung 1208 verarbeitet worden ist.
Die Steuerung 1102 empfängt mehrere Eingaben, die verwendet werden, um zu bestimmen, wie die Drossel bzw. Bremse 1206 und der Lenkwinkelaktuator 1212 zu steuern sind. Ein Planungsmodul 404 stellt Informationen bereit, die von der Steuerung 1102 verwendet werden, um zum Beispiel eine Fahrrichtung zu wählen, wenn das AV 100 den Betrieb beginnt, und zu bestimmen, welches Straßensegment zu befahren ist, wenn das AV 100 eine Kreuzung erreicht. Ein Positionsbestimmungsmodul 408 stellt der Steuerung 1102 Informationen bereit, die die aktuelle Position des AV 100 beschreiben, so dass die Steuerung 1102 zum Beispiel basierend auf der Weise, in der die Drossel bzw. Bremse 1206 und der Lenkwinkelaktuator 1212 gesteuert werden, bestimmen kann, ob sich das AV 100 an einer erwarteten Position befindet. In einer Ausführungsform empfängt die Steuerung 1102 Informationen aus anderen Eingaben 1214, z. B. Informationen, die aus Datenbanken, Computernetzwerken usw. empfangen werden.
Klassifizieren von wahrgenommenen Objekten auf Basis der Aktivität
Die 13 ist ein veranschaulichendes Beispiel, das eine Umgebung 1316 einschließlich eines Fahrzeugs 1304 zeigt, das ein System 1300 zum Klassifizieren eines oder mehrerer wahrgenommener Objekte 1320 auf Basis der Aktivität aufweist, gemäß einer oder mehreren Ausführungsformen der vorliegenden Offenbarung. Das System 1300 enthält die Sensoren 1348, den Datenspeicher 1364, eine Kommunikationseinrichtung 1332, Computerprozessoren 1328, ein Steuermodul 1336 und AV-Steuergeräte 1340 (z. B. Lenkung, Bremsen, Drossel usw.).
Die Sensoren 1348 sind dazu ausgelegt, Sensorinformationen zu empfangen, die wenigstens einem Zielobjekt 1320 (z. B. Fahrzeug, Fußgänger, Straßenausstattung, Verkehrszeichen bzw. Ampelanlagen, Verunreinigungen usw.) in der Nähe des AV 1304 entsprechen. Zu den Sensoren 1348 können ein oder mehrere Sensoren zählen. Zu den Sensoren 1348 können ein oder mehrere Typen von Erfassungseinrichtungen zählen. Zum Beispiel zählt in einer Ausführungsform zu den Sensoren 1348 einer der Sensoren 121, die zuvor unter Bezugnahme auf die 1 erörtert worden sind. In einer Ausführungsform zählen zu den Sensoren 1348 eine oder mehrere der Eingaben 502a - c, wie zuvor unter Bezugnahme auf die 5 erörtert worden ist. In einer Ausführungsform zählen zu den Sensoren 1348 ein LiDAR und/oder eine Kamera. Die Kamera kann eine monokulare oder Stereo-Videokamera sein, die dazu ausgelegt ist, Licht in den sichtbaren, infraroten und/oder thermischen Spektren zu erfassen. In einer Ausführungsform zählt zu den Sensoren 1348 wenigstens ein Ultraschallsensor. In einer Ausführungsform zählt zu den Sensoren 1348 wenigstens ein Radar. Wenigstens einer der Sensoren 1348 kann auch eine Kombination von Erfassungseinrichtungen enthalten. Zum Beispiel enthält in einer Ausführungsform wenigstens einer der Sensoren 1348 eine Kamera und ein Radar. In einer Ausführungsform enthält wenigstens einer der Sensoren 1348 auch zusätzliche Sensoren zum Erfassen oder Messen von Eigenschaften der Umgebung 1316 des AV 1304. Zum Beispiel können zu den zusätzlichen Sensoren monokulare oder Stereo-Videokameras 122 in sichtbarem Licht, Infrarot- oder thermischen Spektren (oder beide), LiDAR 123, RADAR, Ultraschall- oder andere akustische Sensoren, wie zum Beispiel Arraymikrofone, Laufzeit (TOF)-Tiefensensoren, Geschwindigkeitssensoren, Temperatursensoren, Feuchtigkeitssensoren und Niederschlagssensoren zählen.
Die Kommunikationseinrichtung 1332 kann eine Ausführungsform der in der 1 gezeigten Kommunikationseinrichtung 140 sein. In einer Ausführungsform ist die Kommunikationseinrichtung 1332 kommunizierend mit einem Server 1312 über ein Netzwerk gekoppelt. In einer Ausführungsform kommuniziert die Kommunikationseinrichtung 1332 über das Internet, ein elektromagnetisches Spektrum (einschließlich Funk- und optischer Kommunikation) oder andere Medien (z. B. Luft und akustische Medien). Abschnitte der Kommunikationseinrichtung 1332 können in Software oder Hardware umgesetzt sein. In einem Beispiel ist die Kommunikationseinrichtung 1332 oder ein Abschnitt der Kommunikationseinrichtung 1332 ein Teil eines PCs, eines Tablet-PCs, einer STB, eines Smartphones, eines Internet of Things (IoT)-Geräts oder irgendeiner Maschine, die in der Lage ist, Anweisungen auszuführen, die von dieser Maschine auszuführende Aktionen spezifizieren. Die Kommunikationseinrichtung 1332 wird oben ausführlicher unter Bezugnahme auf die Kommunikationseinrichtung 140 in der 1 beschrieben.
Die AV-Steuergeräte 1340 können eine Ausführungsform der in der 4 gezeigten Steuergeräte 420a - c sein. Das Steuermodul 1336 kann eine Ausführungsform des in der 4 gezeigten Steuermoduls 406 sein. In einigen Ausführungsformen arbeitet das Steuermodul 406 gemäß einer Steuerschaltung, die zum Beispiel einen oder mehrere Prozessoren (z. B. einen oder mehrere Computerprozessoren, wie zum Beispiel Mikroprozessoren oder Mikrocontroller oder beides) ähnlich dem Prozessor 304, Kurzzeit- und/oder Langzeitdatenspeicher (z. B. Direktzugriffsspeicher oder Flash-Speicher oder beides) ähnlich dem Hauptspeicher 306, das ROM und die Speichereinrichtung 210 enthält, und im Speicher gespeicherten Anweisungen, die Operationen der Steuerschaltung ausführen, wenn die Anweisungen ausgeführt werden (z. B. von dem einen oder den mehreren Prozessoren). Die AV-Steuergeräte 1340 empfangen Befehle aus dem Steuermodul 1336 und stellen die Lenkung, die Bremsen und die Drossel des AV 1304 gemäß den empfangenen Befehlen ein. In einer Ausführungsform sind Abschnitte der AV-Steuergeräte 1340 in Software oder Hardware umgesetzt. Zum Beispiel können die AV-Steuergeräte 1340 oder ein Abschnitt der AV-Steuergeräte 1340 Teil eines PCs, eines Tablet-PCs, einer STB, eines Smartphones, eines Internet of Things (IoT)-Geräts oder irgendeiner Maschine sein, die in der Lage ist, Anweisungen auszuführen, die von dieser Maschine auszuführende Aktionen spezifizieren. Die AV-Steuergeräte 1340 werden oben ausführlicher unter Bezugnahme auf die Module 406 und 420a - c in der 4 beschrieben.
Der Datenspeicher 1364 ist eine Ausführungsform des in der 1 gezeigten Datenspeichers 142 oder des Speichers 144 und enthält eine oder mehrere von Folgenden: Speichereinrichtungen auf Halbleiterbasis, Magnetspeichereinrichtungen und -systeme, optische Speichereinrichtungen und -systeme, Festspeicher, austauschbaren Speicher, Plattenspeicher, Flash-Speicher, dynamischen Direktzugriffsspeicher (Dynamic Random-Access Memory, DRAM), statischen Direktzugriffsspeicher (Static Random-Access Memory, SRAM), elektrisch löschbaren programmierbaren Nur-Lese-Speicher (Electrically Erasable Programmable Read-Only Memory, EEPROM) und dergleichen.
Die Computerprozessoren 1328 enthalten ein computerlesbares Medium 1329. Das computerlesbare Medium 1329 (oder der computerlesbare Speicher) kann irgendeinen Typ von Datenspeichertechnologie enthalten, der für die lokale technische Umgebung geeignet ist, einschließlich, aber nicht darauf beschränkt, Speichereinrichtungen auf Halbleiterbasis, Magnetspeichereinrichtungen und -systeme, optische Speichereinrichtungen und -systeme, Festspeicher, austauschbaren Speicher, Plattenspeicher, Flash-Speicher, dynamischen Direktzugriffsspeicher (DRAM), statischen Direktzugriffsspeicher (SRAM), elektrisch löschbaren programmierbaren Nur-Lese-Speicher (EEPROM) und dergleichen. In einer Ausführungsform speichert das computerlesbare Medium 1329 Code-Segmente mit computerausführbaren Anweisungen.
In einer Ausführungsform enthalten die Computerprozessoren 1328 ein oder mehrere trainierte Deep-Learning-Modelle. In einer Ausführungsform zählt zu den Computerprozessoren 1328 ein Prozessor für maschinelles Lernen nach dem Bayesschen Modell. Ein Prozessor für maschinelles Lernen nach dem Bayesschen Modell verwendet eine oder mehrere Bayessche Techniken, wie zum Beispiel Parameterschätzung (z. B. Näherung der A-Posteriori-Verteilung über mehrere Parameter, wenn einige beobachtete Daten gegeben sind) und/oder Modellvergleich (z. B. Vergleichen der Ausgabe eines Satzes von Näherungsalgorithmen), um Folgerungen gemäß beobachteten Daten zu ziehen. In einer Ausführungsform zählt zu den Computerprozessoren 1328 ein Prozessor für maschinelles Lernen nach dem Deep-Learning-Modell. Ein Prozessor für maschinelles Lernen nach dem Deep-Learning-Modell verwendet eine oder mehrere Deep-Learning-Techniken, wie zum Beispiel Merkmalslemen, das dem Prozessor gestattet, automatisch die zur Merkmalsdetektion nötigen Darstellungen zu entdecken, um spezifische Tasks (z. B. Klassifikation) durchzuführen. In einer Ausführungsform enthält der Prozessor für maschinelles Lernen nach dem Deep-Learning-Modell ein neuronales Vorwärtskopplungsnetzwerk, ein Convolutional Neural Network, ein neuronales radiales Basisfunktionsnetzwerk, ein rekurrentes neuronales Netzwerk und/oder ein modulares neuronales Netzwerk.
In einer Ausführungsform enthalten die Computerprozessoren 1328 einen oder mehrere Computerprozessoren (z. B. Mikroprozessoren, Mikrocontroller oder beides), ähnlich dem früher unter Bezugnahme auf die 3 erörterten Prozessor 304. Die Computerprozessoren 1328 sind dazu ausgelegt, Programmcode auszuführen, wie zum Beispiel die auf dem computerlesbaren Medium 1329 gespeicherten computerausführbaren Anweisungen. Die Computerprozessoren 1328 sind dazu ausgelegt, kommunizierend mit den Sensoren 1348, der Steuerschaltung 1336, der Kommunikationseinrichtung 1332 und/oder dem Datenspeicher 1364 gekoppelt zu sein. Wenn die Computerprozessoren 1328 die computerausführbaren Anweisungen ausführen, wird bewirkt, dass die Computerprozessoren 1330 mehrere Operationen ausführen.
In einer Ausführungsform sind die Computerprozessoren 1328 dazu ausgelegt, Sensorinformationen aus den Sensoren 1348 zu empfangen, wenn die Computerprozessoren 1328 die computerausführbaren Anweisungen ausführen. Zu den Sensorinformationen können die Objektdetektions-, Geschwindigkeits- und/oder Positionsdaten (z. B. Position von Fahrzeugen, Fußgängern, Ampelanlagen, Verkehrszeichen, Straßen- bzw. Fahrbahnmarkierungen usw.) der Zielobjekte 1320 in der Nähe des AV 1304 zählen. Wie früher angegeben worden ist, kann ein Zielobjekt 1320 zum Beispiel ein Fahrzeug (z. B. Auto, Scooter, Fahrrad usw.), ein Fußgänger, eine Straßenausstattung und so fort sein.
In einer Ausführungsform sind die Computerprozessoren 1328 dazu ausgelegt, eine Aktivitätsprognose für wenigstens ein Zielobjekt 1320 in der Nähe des AV 1304 gemäß den empfangenen Sensorinformationen zu bestimmen, wenn die Computerprozessoren 1328 die computerausführbaren Anweisungen ausführen. Zum Beispiel bestimmen die Computerprozessoren 1328 in einer Ausführungsform eine Wahrscheinlichkeit, dass ein Zielfahrzeug in der Nähe des AV 1304 für einen gewissen Zeitraum (z. B. für 10 Sekunden, 30 Sekunden, 1 Minute usw.) stationär sein wird. Wie später erklärt wird, kann diese Bestimmung verwendet werden, um eines oder mehrere Zielobjekte 1320 in der Nähe des Fahrzeugs zu klassifizieren. In einer Ausführungsform beinhaltet das Bestimmen einer Aktivitätsprognose, ein oder mehrere Attribute zu bestimmen, die mit einem Zielobjekt 1320 in der Nähe des AV 1304 verknüpft sind. Zum Beispiel bestimmen die Computerprozessoren 1328 auf Basis der empfangenen Sensorinformationen die Straßenfahrbahn, auf der sich das Zielfahrzeug befindet, eine Distanz des Zielfahrzeugs zu einer Ampel bzw. einem Stoppzeichen, eine Distanz des Zielfahrzeugs zu einem ausgewiesenen Parkhaus, die Größe des freien Raums vor dem Zielobjekt, die Geschwindigkeitsbeschränkung des Bereichs, in dem ein Zielfahrzeug betrieben wird, ob sich ein Insasse in einem Zielfahrzeug befindet, ob die Warnblinker eines Zielfahrzeugs blinken, ob die Heckleuchten eines Zielfahrzeugs aktiviert sind, ob das Abgas und/oder der Motor eines Zielfahrzeugs warmgelaufen ist, ob sich ein Zielfahrzeug innerhalb eines vorherigen Zeitraums bewegt hat, ob es andere Zielfahrzeuge unmittelbar vor einem Zielfahrzeug gibt und so fort.
In einer Ausführungsform sind die Computerprozessoren 1328 dazu ausgelegt, eines oder mehrere Gewichte zu den bestimmten Attributen der detektierten Zielobjekte 1320 zuzuordnen. Die Attribute werden auf Basis der aus den Sensoren 1348 empfangenen Daten bestimmt. Zum Beispiel sind die Computerprozessoren 1328 dazu ausgelegt, einen Prozessor für maschinelles Lernen nach dem Bayesschen Modell zu verwenden, der Gewichte zu gewissen Merkmalen zuordnet, die von einer Kamera oder einem LiDAR detektiert worden sind, wie zum Beispiel die Fahrbahn, auf der ein Zielfahrzeug betrieben wird, ob die Türen eines Zielfahrzeugs geöffnet bzw. geschlossen sind oder nicht, ob ein Motor eines Zielfahrzeugs läuft oder nicht auf Basis von audiovisuellen Hinweisen, wie zum Beispiel dem Motorgeräusch, und so fort. Die zugeordneten Gewichte können auf dem Lernen, welche speziellen Faktoren im Vergleich zu anderen Faktoren eine Bestimmung des Zustands des Zielfahrzeugs beeinflussen, und auf dem Prognostizieren, ob ein Zielobjekt 1320 wahrscheinlich für einen gewissen Zeitraum stationär ist (oder sich weiterbewegt) oder nicht, basieren. Zum Beispiel lernen die Computerprozessoren 1328 in einer Ausführungsform durch eine oder mehrere zuvor erörterte Techniken des maschinellen Lernens, dass es eher dafür bezeichnend ist, dass das Zielfahrzeug für einen gewissen Zeitraum stationär bleibt, wenn der Motor eines Zielfahrzeugs ausgeschaltet wird, als wenn sich das Objekt auf einem Parkstreifen befindet, und die Computerprozessoren 1328 ordnen jedem Attribut dementsprechend Gewichte zu (z. B. höhere Gewichtswerte für die Tatsache, dass der Motor des Zielfahrzeugs nicht läuft). In einer Ausführungsform werden die Gewichte verwendet, um einen Prognosewert (z. B. eine Prognosepunktzahl) zu produzieren, der mit der Wahrscheinlichkeit verknüpft ist, dass ein Zielobjekt 1320 stationär und/oder in Bewegung bleiben wird. In einer Ausführungsform wird die Weise, in der die Computerprozessoren 1328 die Gewichte zuordnen, kontinuierlich aktualisiert, zum Beispiel auf Basis von Rückkopplungsinformationen. Die Computerprozessoren 1328 oder ein menschlicher Betreiber können auf Basis der resultierenden Ausgabe (z. B. Folgerungen) bestimmen, ob die Ausgabe einen Fehlerschwellenwert überschreitet, und, falls die Ausgabe einen Fehlerschwellenwert überschreitet, das Gewichtungsschema dementsprechend aktualisieren (z. B. anpassen). Falls die Computerprozessoren 1328 zum Beispiel auf Basis der empfangenen Sensorinformationen und des Gewichtungsschemas prognostizieren, dass ein Zielobjekt 1320 für 30 Sekunden stationär bleiben wird, und das Zielobjekt 1320 tatsächlich für nur 10 Sekunden stationär bleibt, können die Computerprozessoren 1328 einen Fehler von 20 Sekunden bestimmen. Falls 20 Sekunden den Fehlerschwellenwert (z. B. 15 Sekunden) überschreiten, kann das Gewichtungsschema, das zum Bestimmen der prognostizierten Aktivität verwendet wird, in einer Weise zum Reduzieren des verknüpften Fehlers aktualisiert werden.
In einer Ausführungsform sind die Computerprozessoren 1328 dazu ausgelegt, die Faktoren einzustufen, die eine Bestimmung eines Zustands des Zielobjekts 1320 beeinflussen. Die Computerprozessoren 1328 bestimmen dann den Zustand auf Basis eines Vergleichs zwischen den relativen Einstufungen der verschiedenen Faktoren. In einer Ausführungsform wird die Einstufung auf Basis von Techniken des maschinellen Lernens vorbestimmt. In einer Ausführungsform werden die Einstufungen auf Basis von Eingaben durch den Menschen vorbestimmt.
In einer Ausführungsform sind die Computerprozessoren 1328 dazu ausgelegt, das wenigstens eine Zielobjekt 1320 in der Nähe des AV 1304 gemäß der Aktivitätsprognose zu klassifizieren, wenn die Computerprozessoren 1328 die computerausführbaren Anweisungen ausführen. In einer Ausführungsform beinhaltet das Klassifizieren eines Zielobjekts 1320, die Wahrscheinlichkeit zu bestimmen, dass das Objekt 1320 inaktiv oder aktiv ist. In einer Ausführungsform bestimmen die Computerprozessoren 1328, ob das Objekt 1320 aktiv oder inaktiv ist, auf Basis der Länge des Zeitraums, für den prognostiziert wird, dass ein Objekt 1320 stationär oder in Bewegung bleibt (z. B. die prognostizierte Aktivität).
Falls zum Beispiel die empfangenen Sensorinformationen in einer Ausführungsform angeben, dass sich ein Zielfahrzeug vorwärtsbewegt und der Motor läuft, bestimmen die Computerprozessoren 1328, dass das Zielfahrzeug für wenigstens 30 zusätzliche Sekunden in Bewegung bleiben wird, und auf Basis dieser Bestimmung klassifizieren die Computerprozessoren 1328 das Zielfahrzeug als aktiv. Falls die empfangenen Sensorinformationen angeben, dass ein Zielfahrzeug stationär ist, wobei sein Motor nicht läuft und sich keine Fahrgäste im Zielfahrzeug befinden, bestimmen die Computerprozessoren 1328, dass das Zielfahrzeug für wenigstens 30 zusätzliche Sekunden stationär bleiben wird, und können auf Basis dieser Bestimmung das Zielfahrzeug als inaktiv klassifizieren. Falls die Sensorinformationen angeben, dass ein Zielfahrzeug stationär ist, dass jedoch sein Motor läuft, dass es ein eingeschaltetes Blinksignal (manchmal als Blinker bezeichnet) aufweist, was bedeutet, dass das Zielfahrzeug möglicherweise in den Verkehr einfährt, und dass sich ein Fahrer im Zielfahrzeug befindet, der über die Schulter blickt, bestimmen die Computerprozessoren 1328, dass das Zielfahrzeug nicht stationär für wenigstens 30 zusätzliche Sekunden bleiben wird, und klassifizieren auf Basis dieser Bestimmung das Zielfahrzeug als aktiv. Zu anderen Faktoren, die dazu führen können, dass bestimmt wird, dass ein Zielobjekt 1320 aktiv ist (z. B. für einen gewissen Zeitraum in Bewegung bleiben wird oder für einen gewissen Zeitraum nicht stationär bleiben wird), können zählen: ob die Sensorinformationen angeben, dass ein Zielfahrzeug vor einer Ampel angehalten worden ist, ob die Sensorinformationen angeben, dass ein Zielfahrzeug Fahrgäste einsteigen lässt, ob die Sensorinformationen angeben, dass ein Zielfahrzeug eine Fernstraße befährt, ob die Sensorinformationen angeben, dass ein Zielfahrzeug bei Bedingungen dichten Verkehrs betrieben wird, ob die Sensorinformationen angeben, dass die Blinksignale eines Zielfahrzeugs aktiviert sind, ob die Sensorinformationen angeben, dass ein Zielobjekt 1320 eine stationäre Straßenausstattung ist (z. B. ein Hydrant, eine Straßenlaterne usw.), ob die Sensorinformationen angeben, dass ein Zielobjekt 1320 ein Fußgänger ist, der einen Fußgängerüberweg betritt, und so fort. Das vorbestimmte Zeitintervall kann eine Wahl eines Benutzers bzw. Herstellers sein, oder es kann durch die Computerprozessoren 1328 gelernt werden (z. B. unter Verwendung von einer oder mehreren Techniken des maschinellen Lernens) und zum Beispiel auf Sicherheits-, Effizienz- und praktischen Überlegungen basieren.
In einer Ausführungsform beinhaltet das Klassifizieren eines Zielobjekts 1320 das Zuordnen eines Überholwerts zum Zielobjekt 1320. Zum Beispiel produzieren die Computerprozessoren 1328 eine Punktzahl, die sich darauf bezieht, ob das AV 1304 am Zielobjekt vorbeifahren sollte (z. B. durch Erhöhen der Geschwindigkeit des AV 1304 und Manövrieren des AV 1304 um das Zielobjekt 1320 herum). Der Überholwert kann mit dem Gewichtungsschema verknüpft werden, wie zuvor erörtert worden ist, um die Wahrscheinlichkeit zu bestimmen, dass ein Zielobjekt 1320 statisch oder in Bewegung bleiben wird (z. B. auf Basis der Motorwärmewerte, der Anwesenheit von Fahrgästen bzw. Fahrern, der Körperposition des Fahrers, der Distanz zu Ampeln usw.).
In einer Ausführungsform sind die Computerprozessoren 1328 dazu ausgelegt, Vergangenheitssensorinformationen zum Beispiel aus dem Datenspeicher 1364 und/oder dem Server 1312 zu empfangen und auf Basis der Vergangenheitssensorinformationen zusätzlich zu den empfangenen aktuellen Sensorinformationen zu bestimmen, dass ein Zielobjekt 1320 aktiv bzw. inaktiv ist. Zum Beispiel ist das AV 1304 zu einem vorherigen Zeitpunkt möglicherweise an einem Zielfahrzeug vorbeigefahren, das als geparkt und inaktiv bestimmt worden war. Falls die empfangenen aktuellen Sensorinformationen angeben, dass sich das Zielfahrzeug stationär an der gleichen Parkposition befindet, bestimmen die Computerprozessoren 1328 beim Erreichen der gleichen Position auf Basis der aktuellen Sensorinformationen und der gespeicherten Vergangenheitssensorinformationen, dass das Zielfahrzeug inaktiv ist.
In einer Ausführungsform generieren die Computerprozessoren 1328 einen Unsicherheitswert, der der Klassifikation des wenigstens einen Zielobjekts 1320 entspricht. Der Unsicherheitswert kann gemäß dem zuvor erörterten Gewichtungsschema und/oder Vergangenheitsdaten, wie zum Beispiel Daten, die mit der Genauigkeit von früheren Prognosen verknüpft sind, zugeordnet werden. Zum Beispiel ordnen die Computerprozessoren 1328 in einer Ausführungsform höhere Unsicherheitswerte Klassifikationen zu, die mit Zielobjekten 1320 verknüpft sind, die als aktiv mit einer geringeren Prognosepunktzahl klassifiziert worden sind (auf Basis des Gewichtungsschemas), als mit Zielobjekten 1320, die als aktiv mit einem höheren Prognosepunktzahl klassifiziert worden sind. Wie zuvor angegeben worden ist, kann das Gewichtungsschema auf Bestimmungen der Genauigkeit vorheriger Klassifikationen basieren, und somit können die Unsicherheitswerte ebenfalls auf der Genauigkeit von vorherigen Klassifikationen basieren.
In einer Ausführungsform sind die Computerprozessoren 1328 dazu ausgelegt, zu bewirken, dass das Steuermodul 1336 (z. B. die Steuerschaltung) die AV-Steuergeräte 1340 (z. B. Steuerfunktionen) des AV 1304 wenigstens zum Teil auf Basis der Klassifikation des wenigstens einen Zielobjekts 1320 betreibt, wenn die Computerprozessoren 1328 die computerausführbaren Anweisungen ausführen. Zum Beispiel betreibt das Steuermodul 1336 in einer Ausführungsform die AV-Steuergeräte 1340 in solch einer Weise, um zu bewirken, dass das AV 1304 ein Zielobjekt 1320 überholt, wenn die Computerprozessoren 1328 das Zielobjekt 1320 als inaktiv klassifizieren. Die 14 zeigt eine Umgebung 1400, in der das AV 1304 ein Zielfahrzeug 1412 auf Basis der Klassifikation des Zielfahrzeugs 1412 überholt, gemäß einer oder mehreren Ausführungsformen der vorliegenden Offenbarung. Wie in der 14 gezeigt wird, nähert sich das AV 1304 dem Zielfahrzeug 1412, während es einen Pfad 1450 zu einem Bestimmungsort 1428 befährt. Die Sensorinformationen geben zum Beispiel an, dass das Zielfahrzeig 1412 leicht zum Pfad 1450 verschoben ist, dass es stationär ist, dass es keinen laufenden Motor aufweist und dass keine Fahrer bzw. Fahrgäste im Zielfahrzeig 1412 anwesend sind. Auf Basis dieser Informationen bestimmt das AV 1304, dass das Zielfahrzeug 1412 inaktiv ist, und bestimmt, das Zielfahrzeug 1412 zu überholen. Das Steuermodul 1336 betreibt die AV-Steuergeräte 1340 (z. B. durch Übertragen von Steuersignalen an die AV-Steuergeräte 1340) in einer Weise, um zu bewirken, dass das AV 1304 um das Zielfahrzeug 1412 herum manövriert.
Mit Rückbezug auf die 13: In einer Ausführungsform betreibt das Steuermodul 1336 die AV-Steuergeräte 1340 wenigstens zum Teil auf Basis von wenigstens einer Verkehrsregel. Zum Beispiel bewirken die Computerprozessoren 1328, dass das Steuermodul 1336 die AV-Steuergeräte 1340 gemäß Gesetzen bezüglich Geschwindigkeitsbeschränkungen, Überschreitung von Fahrbahnen, Verletzung von Ampelregelungen und so fort betreibt. In einer Ausführungsform betreibt das Steuermodul 1336 die AV-Steuergeräte 1340 in einer Weise, um zu bewirken, dass das AV 1304 seine befahrene Route ändert. Falls das AV 1304 zum Beispiel eine erste Route (z. B. eine primäre Route) befährt und die Computerprozessoren 1328 bestimmen, dass eine erhebliche Anzahl von Zielobjekten 1320 inaktiv ist (z. B. 5. 10, 20 usw.), bewirken die Computerprozessoren 1328, dass das Steuermodul 1336 die AV-Steuergeräte 1340 so betreibt, dass das AV 1304 eine zweite Route (z. B. eine alternative Route) befährt.
In einer Ausführungsform betreibt das Steuermodul 1336 die AV-Steuergeräte 1340, um zu bewirken, dass sich das AV 1304 einem Zielobjekt 1320 mit einer vorbestimmten Geschwindigkeit nähert. Die vorbestimmte Geschwindigkeit kann relativ zu einer angegebenen Geschwindigkeitsbeschränkung eine reduzierte Geschwindigkeit sein. In einer Ausführungsform betreibt das Steuermodul 1336 die AV-Steuergeräte 1340, um zu bewirken, dass das AV 1304 eine vorbestimmte Distanz zu einem Zielobjekt 1320 aufrechterhält. Die vorbestimmte Distanz kann eine erhöhte Distanz relativ zu empfohlenen Distanzen sein, die auf Basis von Sicherheitsüberlegungen aufrechterhalten werden sollten (z. B. empfiehlt das California Driver Handbook eine Folgedistanz von zwei Sekunden auf Basis der aktuellen Fahrgeschwindigkeit eines Fahrzeugs). Die vorbestimmte Geschwindigkeit und/oder Distanz kann auf dem Unsicherheitswert basieren, der mit der Klassifikation eines Zielobjekts 1320 verknüpft ist. Falls zum Beispiel der Unsicherheitswert einen Unsicherheitsschwellenwert (z. B. 30 % unsicher) überschreitet, kann bewirkt werden, dass das AV 1304 eine größere Distanz und eine geringere Geschwindigkeit aufrechterhält, als wenn die Klassifikation des Zielobjekts 1320 mit einem geringeren Unsicherheitswert (z. B. 20 % unsicher) verknüpft ist.
In einer Ausführungsform betreibt das Steuermodul 1336 die AV-Steuergeräte 1340, um zu bewirken, dass das AV 1304 entweder anhält oder langsamer wird, wenn ein Unsicherheitswert, der mit einer Klassifikation eines Zielobjekts verknüpft ist, einen Unsicherheitsschwellenwert erreicht. Wenn bewirkt wird, dass das AV 1304 entweder anhält oder langsamer wird, bewirken die Computerprozessoren 1328 in einer Ausführungsform, dass die Sensoren 1348 zusätzliche Sensorinformationen erfassen, die dem Zielobjekt entsprechen. Es werde zum Beispiel angenommen, dass einem Zielobjekt 1320 eine Klassifikation mit einem Unsicherheitswert von 30 % oder mehr zugeordnet worden ist. Falls der Unsicherheitsschwellenwert 29 % beträgt, kann bestimmt werden, dass der der Klassifikation zugeordnete Unsicherheitswert den Unsicherheitsschwellenwert erfüllt, und es kann bewirkt werden, dass das AV 1304 anhält oder sich dem Zielobjekt mit einer vorbestimmten Geschwindigkeit nähert (z. B. 5 mph, 10 mph usw.), so dass die Sensoren 1348 zusätzliche Sensorinformationen erfassen, die mit dem Zielobjekt 1320 verknüpft sind (z. B. Zeitraum, den das Zielobjekt stationär bleibt, Anzahl an Fahrgästen in einem Zielfahrzeug, sich ändernde Wärmewerte, die mit dem Motor eines Zielfahrzeugs verknüpft sind, usw.). Die zusätzlichen Sensorinformationen können verwendet werden, um die zugeordnete Klassifikation oder den Unsicherheitswert, der der zugeordneten Klassifikation entspricht, einzustellen.
In einer Ausführungsform betreibt das Steuermodul 1336 die AV-Steuergeräte 1340, so dass bewirkt wird, dass das AV 1304 mit einer vorbestimmten Geschwindigkeit fährt. In einer Ausführungsform basiert die prognostizierte Geschwindigkeit wenigstens zum Teil auf gelerntem menschenähnlichem Verhalten. Zum Beispiel verwenden die Computerprozessoren 1328 die Sensoren 1348, um einen menschlichen Fahrer zu beobachten, der in einer Umgebung navigiert (entweder im AV 1304 oder einem anderen Fahrzeug), und um durch eine oder mehrere Techniken maschinellen Lernens (z. B. Deep Learning) zu lernen, das beobachtete Verhalten hinsichtlich des Prognostizierens der Geschwindigkeit, mit der das AV 1304 in einer gegebenen Situation fahren sollte, nachzubilden. In einer Ausführungsform greifen die Computerprozessoren 1328 auf Fahrprotokolle zu, die mit einem menschlichen Fahrer verknüpft sind (z. B. aus dem Datenspeicher 1364 und/oder dem Server 1312), wozu Videos, die mit den Aktionen des menschlichen Fahrers verknüpft sind, und/oder Vergangenheitsgeschwindigkeitsdaten, die mit den Aktionen des menschlichen Fahrers verknüpft sind, zählen können. Auf Basis der Beobachtungen und/oder der Fahrprotokolle lernen die Computerprozessoren 1328, die von einem menschlichen Fahrer unternommenen Aktionen nachzubilden, wenn sie auf ähnliche Situationen treffen wie der menschliche Fahrer. Somit lernen die Computerprozessoren 1328 zum Beispiel, geparkte bzw. inaktive Zielobjekte 1320 aggressiver als Zielobjekte 1320 zu überholen (z. B. vorbeizufahren), die möglicherweise in den Verkehr einfahren oder die eine Fernstraße schnell befahren, und zu bewirken, dass die AV-Steuergeräte 1340 dementsprechend gesteuert werden. Als ein anderes Beispiel: Die Computerprozessoren 1328 lernen, anzuhalten oder langsamer zu werden, wenn das Zielobjekt 1320 eine Plastiktüte oder ein Steppengras ist, das die Straße kreuzt, die das AV 1304 befährt. Die Computerprozessoren 1328 lernen, aggressiver zum Halten zu kommen, wenn das Zielobjekt 1320 ein die Straße überquerender Kinderwagen ist, als wenn das Zielobjekt 1320 ein Steppengras ist, und/oder sie lernen, zu beschleunigen, falls das Beschleunigen unter speziellen Umständen mit größerer Wahrscheinlichkeit gestattet, den Kinderwagen zu vermeiden. In einer Ausführungsform lernen die Computerprozessoren 1328, gewisse Zielobjekte 1320 zu überfahren, wenn es unwahrscheinlich ist, dass das Überfahren des Zielobjekts 1320 eine Beschädigung am AV 1304 bewirkt. Zum Beispiel unterscheiden die Computerprozessoren 1328 Plastiktüten bzw. Steppengras von großen Felsbrocken (z. B. auf Basis der Form, der Größe, der Bewegung, der Verformbarkeit usw.) und bewirken, dass das AV 1304 die Plastiktüten bzw. das Steppengras überfährt.
In einer Ausführungsform basiert die prognostizierte Geschwindigkeit wenigstens zum Teil auf den empfangenen Sensorinformationen, Vergangenheitssensorinformationen, Vergangenheitsgeschwindigkeitsdaten des AV 1304, aktuellen, mit dem AV 1304 verknüpften Positionsdaten, Positionsdaten des wenigstens einen Zielobjekts 1320 und/oder Ampelanlagendaten. Zum Beispiel bestimmen die Computerprozessoren 1328, dass das AV 1304 relativ zu seiner aktuellen Geschwindigkeit mit einer höheren Geschwindigkeit fahren sollte, auf Basis von Geschwindigkeitsbeschränkungsinformationen oder detektierten Ampelanlageninformationen, und bewirken, dass die AV-Steuergeräte 1340 so gesteuert werden, dass sie die Geschwindigkeit des AV 1304 erhöhen. Die Computerprozessoren 1328 bestimmen, dass das AV 1304 relativ zu seiner aktuellen Geschwindigkeit mit einer höheren Geschwindigkeit fahren sollte, wenn das AV 1304 eine Fernstraße befährt, die zuvor befahren worden ist und die mit dem AV 1304 verknüpften Vergangenheitsgeschwindigkeitsaufzeichnungen angeben, dass das AV 1304 sich typischerweise auf der speziellen Fernstraße mit höheren Geschwindigkeiten bewegt.
Die 15 zeigt ein Verfahren 1500 zum Klassifizieren von wahrgenommenen Objekten auf Basis der Aktivität, gemäß einer oder mehreren Ausführungsformen der vorliegenden Offenbarung. Zur Veranschaulichung wird das Verfahren 1500 so beschrieben, dass es durch das System 1300 zum Klassifizieren von wahrgenommenen Objekten auf Basis der Aktivität durchgeführt wird. Allerdings kann das Verfahren 1500 von anderen Systemen 1300 durchgeführt werden, die in der Lage sind, Objekte wahrzunehmen und zu klassifizieren. Das Verfahren 1500 beinhaltet, Sensorinformationen zu detektieren, die wenigstens einem Objekt entsprechen (Block 1501), Sensorinformationen zu empfangen (Block 1502), eine Aktivitätsprognose zu bestimmen (Block 1503), das wenigstens eine Objekt zu klassifizieren (Block 1504) und Steuerfunktionen zu betreiben (Block 1505).
Im Block 1501 detektieren die Sensoren 1348 Sensorinformationen, die mit der Umgebung in der Nähe des AV 1304 verknüpft sind. Zu den Sensorinformationen können die Objektdetektions-, Geschwindigkeits- und/oder Positionsdaten (z. B. Position von Fahrzeugen, Fußgängern, Ampelanlagen, Verkehrszeichen, Straßen- bzw. Fahrbahnmarkierungen usw.) der Zielobjekte 1320 in der Nähe des AV 1304 zählen. Wie früher angegeben worden ist, kann ein Zielobjekt 1320 zum Beispiel ein Fahrzeug (z. B. Auto, Scooter, Fahrrad usw.), ein Fußgänger, eine Straßenausstattung und so fort sein.
Im Block 1502 empfangen die Computerprozessoren 1328 die erfassten Sensorinformationen aus den Sensoren 1348.
Im Block 1503 bestimmen die Computerprozessoren 1328 eine Aktivitätsprognose für wenigstens ein Zielobjekt 1320 in der Nähe des AV 1304 gemäß den empfangenen Sensorinformationen. Zum Beispiel bestimmen die Computerprozessoren 1328 eine Wahrscheinlichkeit, dass ein Zielfahrzeug in der Nähe des AV 1304 für einen gewissen Zeitraum (z. B. für 10 Sekunden, 30 Sekunden, 1 Minute usw.) stationär sein wird. In einer Ausführungsform beinhaltet das Bestimmen einer Aktivitätsprognose ein oder mehrere Attribute zu bestimmen, die mit einem Zielobjekt 1320 in der Nähe des AV 1304 verknüpft sind. Zum Beispiel bestimmen die Computerprozessoren 1328 auf Basis der empfangenen Sensorinformationen die Straßenfahrbahn, auf der sich das Zielfahrzeug befindet, eine Distanz des Zielfahrzeugs zu einer Ampel bzw. einem Stoppzeichen, eine Distanz des Zielfahrzeugs zu einem ausgewiesenen Parkhaus, die Größe des freien Raums vor dem Zielobjekt, die Geschwindigkeitsbeschränkung des Bereichs, in dem ein Zielfahrzeug betrieben wird, und so fort.
In einer Ausführungsform ordnen die Computerprozessoren 1328 den bestimmten Attributen der detektierten Zielobjekte 1320 ein oder mehrere Gewichte zu. Wenn zum Beispiel zu den Computerprozessoren 1328 ein Prozessor für maschinelles Lernen nach dem Bayesschen Modell zählt, ordnen die Computerprozessoren 1328 gewissen Merkmalen Gewichte zu, wie zum Beispiel die Fahrbahn, auf der das Fahrzeug betrieben wird, ob Türen des Zielfahrzeugs geöffnet bzw. geschlossen ist oder nicht, ob der Motor eines Zielfahrzeugs läuft oder nicht und so fort. Die zugeordneten Gewichte können auf dem Lernen, welche speziellen Faktoren tendenziell im Vergleich zu anderen Faktoren einen stärkeren Einfluss haben, und auf dem Prognostizieren, ob ein Zielobjekt 1320 wahrscheinlich für einen gewissen Zeitraum stationär ist (oder sich weiterbewegt) oder nicht, basieren. Zum Beispiel können die Computerprozessoren 1328 durch eine oder mehrere zuvor erörterte Techniken des maschinellen Lernens lernen, dass es eher dafür bezeichnend ist, dass das Zielfahrzeug für einen gewissen Zeitraum stationär bleibt, wenn ein Motor eines Zielfahrzeugs ausgeschaltet wird, als wenn sich das Objekt auf einem Parkstreifen befindet, und die Computerprozessoren 1328 können jedem Attribut dementsprechend Gewichte zuordnen
(z. B. höhere Gewichtswerte für die Tatsache, dass der Motor des Zielfahrzeugs nicht läuft). In einer Ausführungsform werden die Gewichte verwendet, um einen Prognosewert (z. B. eine Prognosepunktzahl) zu produzieren, der mit der Wahrscheinlichkeit verknüpft ist, dass ein Zielobjekt 1320 stationär und/oder in Bewegung bleiben wird. In einer Ausführungsform wird die Weise, in der die Computerprozessoren 1328 die Gewichte zuordnen, kontinuierlich aktualisiert, zum Beispiel auf Basis von Rückkopplungsinformationen. Die Computerprozessoren 1328 oder ein menschlicher Betreiber können auf Basis der resultierenden Ausgabe (z. B. Folgerungen) bestimmen, ob die Ausgabe einen Fehlerschwellenwert überschreitet, und, falls die Ausgabe einen Fehlerschwellenwert überschreitet, das Gewichtungsschema dementsprechend aktualisieren (z. B. anpassen). Falls die Computerprozessoren 1328 zum Beispiel auf Basis der empfangenen Sensorinformationen und des Gewichtungsschemas prognostizieren, dass ein Zielobjekt 1320 für 30 Sekunden stationär bleiben wird, und das Zielobjekt 1320 tatsächlich für nur 10 Sekunden stationär bleibt, bestimmen die Computerprozessoren 1328 einen Fehler von 20 Sekunden. Falls 20 Sekunden den Fehlerschwellenwert (z. B. 15 Sekunden) überschreiten, kann das Gewichtungsschema, das zum Bestimmen der prognostizierten Aktivität verwendet wird, in einer Weise zum Reduzieren des verknüpften Fehlers aktualisiert werden.
Im Block 1504 klassifizieren die Computerprozessoren 1328 das wenigstens eine Zielobjekt 1320 in der Nähe des AV 1304 gemäß der Aktivitätsprognose. In einer Ausführungsform beinhaltet das Klassifizieren eines Zielobjekts 1320, die Wahrscheinlichkeit zu bestimmen, dass das Objekt 1320 inaktiv oder aktiv ist. Auf Basis des Zeitraums, für den prognostiziert wird, dass ein Objekt 1320 stationär oder mobil bleibt (z. B. die prognostizierte Aktivität), bestimmen die Computerprozessoren 1328, ob das Objekt 1320 aktiv oder inaktiv ist.
Falls die empfangenen Sensorinformationen zum Beispiel angeben, dass sich ein Zielfahrzeug vorwärtsbewegt und der Motor läuft, können die Computerprozessoren 1328 bestimmen, dass das Zielfahrzeug für wenigstens 30 zusätzliche Sekunden in Bewegung bleiben wird, und auf Basis dieser Bestimmung klassifizieren die Computerprozessoren 1328 das Zielfahrzeug als aktiv. Falls die empfangenen Sensorinformationen angeben, dass ein Zielfahrzeug stationär ist, wobei sein Motor nicht läuft und sich keine Fahrgäste im Zielfahrzeug befinden, können die Computerprozessoren 1328 bestimmen, dass das Zielfahrzeug für wenigstens 30 zusätzliche Sekunden stationär bleiben wird, und können auf Basis dieser Bestimmung das Zielfahrzeug als inaktiv klassifizieren. Falls die Sensorinformationen angeben, dass ein Zielfahrzeug stationär ist, dass jedoch sein Motor läuft, dass es ein eingeschaltetes Blinksignal aufweist, das angibt, dass das Zielfahrzeug möglicherweise in den Verkehr einfährt, und dass sich ein Fahrer im Zielfahrzeug befindet, der über die Schulter blickt, bestimmen die Computerprozessoren 1328, dass das Zielfahrzeug nicht für wenigstens 30 zusätzliche Sekunden stationär bleiben wird, und klassifizieren auf Basis dieser Bestimmung das Zielfahrzeug als aktiv. Zu anderen Faktoren, die dazu führen können, dass bestimmt wird, dass ein Zielobjekt 1320 aktiv ist (z. B. für einen gewissen Zeitraum in Bewegung bleiben wird oder für einen gewissen Zeitraum nicht stationär bleiben wird), können zählen: ob die Sensorinformationen angeben, dass ein Zielfahrzeug vor einer Ampel angehalten worden ist, ob die Sensorinformationen angeben, dass ein Zielfahrzeug Fahrgäste einsteigen lässt, ob die Sensorinformationen angeben, dass ein Zielfahrzeug eine Fernstraße befährt, ob die Sensorinformationen angeben, dass ein Zielfahrzeug bei Bedingungen dichten Verkehrs betrieben wird, ob die Sensorinformationen angeben, dass ein Zielobjekt 1320 eine stationäre Straßenausstattung ist (z. B. ein Hydrant, eine Straßenlaterne usw.), ob die Sensorinformationen angeben, dass ein Zielobjekt 1320 ein Fußgänger ist, der einen Fußgängerüberweg betritt, und so fort. Das vorbestimmte Zeitintervall kann eine Wahl eines Benutzers bzw. Herstellers sein, oder es kann durch die Computerprozessoren 1328 gelernt werden (z. B. unter Verwendung von einer oder mehreren Techniken des maschinellen Lernens) und zum Beispiel auf Sicherheits-, Effizienz- und praktischen Überlegungen basieren.
In einer Ausführungsform beinhaltet das Klassifizieren eines Zielobjekts 1320 das Zuordnen eines Überholwerts zum Zielobjekt 1320. Zum Beispiel produzieren die Computerprozessoren 1328 eine Punktzahl, die sich darauf bezieht, ob das AV 1304 am Zielobjekt vorbeifahren sollte (z. B. durch Erhöhen der Geschwindigkeit des AV 1304 und Manövrieren des AV 1304 um das Zielobjekt 1320 herum). Der Überholwert kann mit dem Gewichtungsschema verknüpft werden, wie zuvor erörtert worden ist, um die Wahrscheinlichkeit zu bestimmen, dass ein Zielobjekt 1320 statisch oder in Bewegung bleiben wird (z. B. auf Basis der Motorwärmewerte, der Anwesenheit von Fahrgästen bzw. Fahrern, der Körperposition des Fahrers, der Distanz zu Ampeln usw.).
In einer Ausführungsform empfangen die Computerprozessoren 1328 Vergangenheitssensorinformationen zum Beispiel aus dem Datenspeicher 1364 und/oder dem Server 1312 und bestimmen auf Basis der Vergangenheitssensorinformationen, zusätzlich zu den empfangenen aktuellen Sensorinformationen, dass ein Zielobjekt 1320 aktiv bzw. inaktiv ist. Zum Beispiel ist das AV 1304 zu einem vorherigen Zeitpunkt möglicherweise an einem Zielfahrzeug vorbeigefahren, das als geparkt und inaktiv bestimmt worden war. Falls die empfangenen aktuellen Sensorinformationen angeben, dass sich das Zielfahrzeug stationär an der gleichen Parkposition befindet, können die Computerprozessoren 1328 beim Erreichen der gleichen Position auf Basis der aktuellen Sensorinformationen und der gespeicherten Vergangenheitssensorinformationen bestimmen, dass das Zielfahrzeug inaktiv ist.
In einer Ausführungsform generieren die Computerprozessoren 1328 einen Unsicherheitswert, der der Klassifikation des wenigstens einen Zielobjekts 1320 entspricht. Der Unsicherheitswert kann gemäß dem zuvor erörterten Gewichtungsschema und/oder Vergangenheitsdaten, wie zum Beispiel Daten, die mit der Genauigkeit von früheren Prognosen verknüpft sind, zugeordnet werden. Zum Beispiel können die Computerprozessoren 1328 höhere Unsicherheitswerte Klassifikationen zuordnen, die mit Zielobjekten 1320 verknüpft sind, die als aktiv mit einer geringeren Prognosepunktzahl klassifiziert worden sind (auf Basis des Gewichtungsschemas), als mit Zielobjekten 1320, die als aktiv mit einem höheren Prognosepunktzahl klassifiziert worden sind. Wie zuvor angegeben worden ist, kann das Gewichtungsschema auf Bestimmungen der Genauigkeit vorheriger Klassifikationen basieren, und somit können die Unsicherheitswerte ebenfalls auf der Genauigkeit von vorherigen Klassifikationen basieren.
Im Block 1505 sind die Computerprozessoren 1328 dazu ausgelegt, zu bewirken, dass das Steuermodul 1336 (z. B. die Steuerschaltung) die AV-Steuergeräte 1340 (z. B. Steuerfunktionen) des AV 1304 wenigstens zum Teil auf Basis der Klassifikation des wenigstens einen Zielobjekts 1320 betreibt. Zum Beispiel betreibt das Steuermodul 1336 in einer Ausführungsform die AV-Steuergeräte 1340 in solch einer Weise, um zu bewirken, dass das AV 1304 ein Zielobjekt 1320 überholt, wenn die Computerprozessoren 1328 das Zielobjekt 1320 als inaktiv klassifizieren. In einer Ausführungsform betreibt das Steuermodul 1336 die AV-Steuergeräte 1340 wenigstens zum Teil auf Basis von wenigstens einer Verkehrsregel. Zum Beispiel können die Computerprozessoren 1328 bewirken, dass das Steuermodul 1336 die AV-Steuergeräte 1340 gemäß Gesetzen bezüglich Geschwindigkeitsbeschränkungen, Überschreitung von Fahrbahnen, Verletzung von Ampelregelungen und so fort betreibt. In einer Ausführungsform betreibt das Steuermodul 1336 die AV-Steuergeräte 1340 in einer Weise, um zu bewirken, dass das AV 1304 seine befahrene Route ändert. Falls das AV 1304 zum Beispiel eine erste Route (z. B. eine primäre Route) befährt und die Computerprozessoren 1328 bestimmen, dass eine erhebliche Anzahl von Zielobjekten 1320 inaktiv ist (z. B. 5. 10, 20 usw.), können die Computerprozessoren 1328 bewirken, dass das Steuermodul 1336 die AV-Steuergeräte 1340 so betreibt, dass das AV 1304 eine zweite Route (z. B. eine alternative Route) befährt.
In einer Ausführungsform betreibt das Steuermodul 1336 die AV-Steuergeräte 1340, um zu bewirken, dass sich das AV 1304 einem Zielobjekt 1320 mit einer vorbestimmten Geschwindigkeit nähert. Zum Beispiel ist die vorbestimmte Geschwindigkeit eine relativ zu angegebenen Geschwindigkeitsbeschränkungen verringerte Geschwindigkeit. In einer Ausführungsform betreibt das Steuermodul 1336 die AV-Steuergeräte 1340, um zu bewirken, dass das AV 1304 eine vorbestimmte Distanz zu einem Zielobjekt 1320 aufrechterhält. Zum Beispiel ist die vorbestimmte Distanz relativ zu empfohlenen Folgedistanzen eine erhöhte Distanz. Die vorbestimmte Geschwindigkeit und/oder Distanz kann auf dem Unsicherheitswert basieren, der mit der Klassifikation eines Zielobjekts 1320 verknüpft ist. Falls zum Beispiel der Unsicherheitswert einen Unsicherheitsschwellenwert (z. B. 30 % unsicher) überschreitet, kann bewirkt werden, dass das AV 1304 eine größere Distanz und eine geringere Geschwindigkeit aufrechterhält, als wenn die Klassifikation des Zielobjekts 1320 mit einem geringeren Unsicherheitswert (z. B. 20 % unsicher) verknüpft ist.
In einer Ausführungsform betreibt das Steuermodul 1336 die AV-Steuergeräte 1340, um zu bewirken, dass das AV 1304 entweder anhält oder langsamer wird, wenn ein Unsicherheitswert, der mit einer Klassifikation eines Zielobjekts verknüpft ist, einen Unsicherheitsschwellenwert erreicht. Wenn bewirkt wird, dass das AV 1304 entweder anhält oder langsamer wird, bewirken die Computerprozessoren 1328 in einer Ausführungsform, dass die Sensoren 1348 zusätzliche Sensorinformationen erfassen, die dem Zielobjekt entsprechen. Es werde zum Beispiel angenommen, dass einem Zielobjekt 1320 eine Klassifikation mit einem Unsicherheitswert von 30 % oder mehr zugeordnet worden ist. Falls der Unsicherheitsschwellenwert 29 % beträgt, kann bestimmt werden, dass der der Klassifikation zugeordnete Unsicherheitswert den Unsicherheitsschwellenwert erfüllt, und es kann bewirkt werden, dass das AV 1304 anhält oder sich dem Zielobjekt mit einer vorbestimmten Geschwindigkeit nähert (z. B. 5 mph, 10 mph usw.), so dass die Sensoren 1348 zusätzliche Sensorinformationen erfassen, die mit dem Zielobjekt 1320 verknüpft sind (z. B. Zeitraum, den das Zielobjekt stationär bleibt, Anzahl an Fahrgästen in einem Zielfahrzeug, sich ändernde Wärmewerte, die mit dem Motor eines Zielfahrzeugs verknüpft sind, usw.). Die zusätzlichen Sensorinformationen können verwendet werden, um die zugeordnete Klassifikation oder den Unsicherheitswert, der der zugeordneten Klassifikation entspricht, einzustellen.
In einer Ausführungsform betreibt das Steuermodul 1336 die AV-Steuergeräte 1340, so dass bewirkt wird, dass das AV 1304 mit einer vorbestimmten Geschwindigkeit fährt. In einer Ausführungsform basiert die prognostizierte Geschwindigkeit wenigstens zum Teil auf gelerntem menschenähnlichem Verhalten. Zum Beispiel verwenden die Computerprozessoren 1328 die Sensoren 1348, um einen menschlichen Fahrer zu beobachten, der in einer Umgebung navigiert (entweder im AV 1304 oder einem anderen Fahrzeug), und um durch eine oder mehrere Techniken maschinellen Lernens (z. B. Deep Learning) zu lernen, das beobachtete Verhalten hinsichtlich des Prognostizierens der Geschwindigkeit, mit der das AV 1304 in einer gegebenen Situation fahren sollte, nachzubilden. Die Computerprozessoren 1328 greifen auf Fahrprotokolle zu, die mit einem menschlichen Fahrer verknüpft sind (z. B. aus dem Datenspeicher 1364 und/oder dem Server 1312), wozu Videos, die mit den Aktionen des menschlichen Fahrers verknüpft sind, und/oder Vergangenheitsgeschwindigkeitsdaten, die mit den Aktionen des menschlichen Fahrers verknüpft sind, zählen können. Auf Basis der Beobachtungen und/oder der Fahrprotokolle lernen die Computerprozessoren 1328, die von einem menschlichen Fahrer unternommenen Aktionen nachzubilden, wenn sie auf ähnliche Situationen treffen wie der menschliche Fahrer. Somit können die Computerprozessoren 1328 zum Beispiel lernen, geparkte bzw. inaktive Zielobjekte 1320 aggressiver als Zielobjekte 1320 zu überholen (z. B. vorbeizufahren), die möglicherweise in den Verkehr einfahren oder die eine Fernstraße schnell befahren, und zu bewirken, dass die AV-Steuergeräte 1340 dementsprechend gesteuert werden. Als ein anderes Beispiel: Die Computerprozessoren 1328 können lernen, anzuhalten oder langsamer zu werden, wenn das Zielobjekt 1320 eine Plastiktüte oder ein Steppengras ist, das die Straße kreuzt, die das AV 1304 befährt. Die Computerprozessoren 1328 können auch lernen, aggressiver zum Halten zu kommen, wenn das Zielobjekt 1320 ein die Straße überquerender Kinderwagen ist, als wenn das Zielobjekt 1320 ein Steppengras ist, und/oder sie lernen, zu beschleunigen, falls das Beschleunigen unter speziellen Umständen mit größerer Wahrscheinlichkeit gestattet, den Kinderwagen zu vermeiden.
In einer Ausführungsform basiert die prognostizierte Geschwindigkeit wenigstens zum Teil auf den empfangenen Sensorinformationen, Vergangenheitssensorinformationen, Vergangenheitsgeschwindigkeitsdaten des AV 1304, aktuellen, mit dem AV 1304 verknüpften Positionsdaten, Positionsdaten des wenigstens einen Zielobjekts 1320 und/oder Ampelanlagendaten. Zum Beispiel können die Computerprozessoren 1328 bestimmen, dass das AV 1304 relativ zu seiner aktuellen Geschwindigkeit mit einer höheren Geschwindigkeit fahren sollte, auf Basis von Geschwindigkeitsbeschränkungsinformationen oder detektierten Ampelanlageninformationen, und bewirken, dass die AV-Steuergeräte 1340 so gesteuert werden, dass sie die Geschwindigkeit des AV 1304 erhöhen. Die Computerprozessoren 1328 können bestimmen, dass das AV 1304 relativ zu seiner aktuellen Geschwindigkeit mit einer höheren Geschwindigkeit fahren sollte, wenn das AV 1304 eine Fernstraße befährt, die zuvor befahren worden ist und die mit dem AV 1304 verknüpften Vergangenheitsgeschwindigkeitsaufzeichnungen angeben, dass das AV 1304 sich typischerweise auf der speziellen Fernstraße mit höheren Geschwindigkeiten bewegt.
Zusätzliche Ausführungsformen
In einer Ausführungsform beinhaltet das Betreiben der Steuerfunktionen des Fahrzeugs, zu bewirken, dass sich das Fahrzeug dem wenigstens einen Objekt mit einer vorbestimmten Geschwindigkeit nähert.
In einer Ausführungsform beinhaltet das Betreiben der Steuerfunktionen des Fahrzeugs, zu bewirken, dass das Fahrzeug eine vorbestimmte Distanz von dem wenigstens einen Objekt aufrechterhält.
In einer Ausführungsform beinhaltet das Betreiben der Steuerfunktionen des Fahrzeugs, wenn das Fahrzeug eine primäre Route befährt, zu bewirken, dass das Fahrzeug eine alternative Route befährt.
In einer Ausführungsform beinhaltet das Klassifizieren des wenigstens einen Objekts, auf Basis wenigstens eines audiovisuellen Hinweises zu bestimmen, ob das wenigstens eine Objekt einen laufenden Motor aufweist.
In einer Ausführungsform detektiert wenigstens ein Sensor Sensorinformationen, die wenigstens einem Objekt in der Nähe eines Fahrzeugs entsprechen. Die Sensorinformationen werden von dem wenigstens einen Sensor empfangen. Eine Aktivitätsprognose wird für das wenigstens eine Objekt gemäß den Sensorinformationen bestimmt. Das wenigstens eine Objekt wird gemäß der Aktivitätsprognose klassifiziert. Steuerfunktionen des Fahrzeugs werden wenigstens zum Teil auf Basis der Klassifikation des wenigstens einen Objekts betrieben.
In einer Ausführungsform enthält das Fahrzeug wenigstens einen Sensor, der dazu ausgelegt ist, Sensorinformationen zu empfangen, die wenigstens einem Objekt in der Nähe des Fahrzeugs entsprechen. Wenigstens eine Steuerschaltung ist dazu ausgelegt, Steuerfunktionen des Fahrzeugs zu betreiben. Ein computerlesbares Medium speichert computerausführbare Anweisungen. Wenigstens ein Prozessor ist kommunizierend mit dem wenigstens einen Sensor gekoppelt ist und dazu ausgelegt, die computerausführbaren Anweisungen auszuführen, um die Sensorinformationen von dem wenigstens einen Sensor zu empfangen. Eine Aktivitätsprognose wird für das wenigstens eine Objekt gemäß den Sensorinformationen bestimmt. Das wenigstens eine Objekt wird gemäß der Aktivitätsprognose als eines von aktiv oder inaktiv klassifiziert. Gemäß einer Klassifikation, dass das wenigstens eine Objekt inaktiv ist, wird bewirkt, dass die Steuerschaltung die Steuerfunktionen des Fahrzeugs betreibt, um an dem wenigstens einen Objekt vorbeizufahren.
In einer Ausführungsform zählt zu dem wenigstens einen Prozessor ein Prozessor nach dem Bayesschen Modell.
In einer Ausführungsform zählt zu dem wenigstens einen Prozessor ein Prozessor für Deep Learning.
In einer Ausführungsform enthält der Prozessor für Deep Learning wenigstens eines von Folgenden: ein neuronales Vorwärtskopplungsnetzwerk, ein Convolutional Neural Network, ein neuronales radiales Basisfunktionsnetzwerk, ein rekurrentes neuronales Netzwerk oder ein modulares neuronales Netzwerk.
In einer Ausführungsform beinhaltet das Bestimmen, dass das wenigstens eine Objekt aktiv ist, zu bestimmen, ob das wenigstens eine Objekt für eine vorbestimmte Zeitspanne in Bewegung sein wird.
In einer Ausführungsform beinhaltet das Bestimmen, dass das wenigstens eine Objekt inaktiv ist, zu bestimmen, ob das wenigstens eine Objekt für eine vorbestimmte Zeitspanne statisch bleiben wird.
In einer Ausführungsform ist der wenigstens eine Prozessor dazu ausgelegt, ein oder mehrere Attribute des wenigstens einen Objekts auf Basis der empfangenen Sensorinformationen zu bestimmen. Das Klassifizieren des wenigstens einen Objekts basiert wenigstens zum Teil auf dem/den bestimmten einen oder mehreren Attributen.
In einer Ausführungsform zählen zu dem einen oder den mehreren Attributen wenigstens eines von Folgenden: eine Straßenfahrbahn, auf der sich das wenigstens eine Objekt befindet, eine Distanz zu einem Verkehrszeichen des wenigstens einen Objekts, eine Distanz zu einem ausgewiesenen Parkplatz des wenigstens einen Objekts oder die Geschwindigkeit des wenigstens einen Objekts.
In einer Ausführungsform führt der wenigstens eine Prozessor, wenn der wenigstens eine Prozessor die computerausführbaren Anweisungen ausführt, des Weiteren Operationen aus, um dem/den bestimmten einen oder mehreren Attributen des wenigstens einen Objekts ein Gewicht zuzuordnen, und das Klassifizieren des wenigstens einen Objekts basiert wenigstens zum Teil auf dem zugeordneten Gewicht.
In einer Ausführungsform führt der wenigstens eine Prozessor, wenn der wenigstens eine Prozessor die computerausführbaren Anweisungen ausführt, des Weiteren Operationen aus, um das zugeordnete Gewicht auf Basis von Rückkopplungsinformationen kontinuierlich zu aktualisieren.
In einer Ausführungsform beinhaltet das Betreiben der Steuerfunktionen des Fahrzeugs, zu bewirken, dass das Fahrzeug das wenigstens eine Objekt überholt, wenn der wenigstens eine Prozessor das wenigstens eine Objekt als inaktiv klassifiziert.
In einer Ausführungsform basiert das Bewirken, dass die Steuerschaltung die Steuerfunktionen des Fahrzeugs betreibt, wenigstens zum Teil auf wenigstens einer Verkehrsregel.
In einer Ausführungsform führt der wenigstens eine Prozessor, wenn der wenigstens eine Prozessor die computerausführbaren Anweisungen ausführt, des Weiteren Operationen aus, um einen Unsicherheitswert zu generieren, der dem Klassifizieren des wenigstens einen Objekts entspricht.
In einer Ausführungsform führt der wenigstens eine Prozessor, wenn der wenigstens eine Prozessor die computerausführbaren Anweisungen ausführt, des Weiteren Operationen aus, um zu bewirken, dass die Steuerschaltung die Steuerfunktionen des Fahrzeugs betreibt, um zu bewirken, dass das Fahrzeug wenigstens eines von Folgenden, anhält oder langsamer wird, wenn der Unsicherheitswert einen Unsicherheitsschwellenwert erfüllt. Es wird bewirkt, dass der wenigstens eine Sensor zusätzliche Sensorinformationen erfasst, die dem wenigstens einen Objekt entsprechen.
In einer Ausführungsform beinhaltet das Betreiben der Steuerfunktionen des Fahrzeugs, zu bewirken, dass sich das Fahrzeug dem wenigstens einen Objekt mit einer vorbestimmten Geschwindigkeit nähert.
In einer Ausführungsform beinhaltet das Betreiben der Steuerfunktionen des Fahrzeugs, zu bewirken, dass das Fahrzeug eine vorbestimmte Distanz von dem wenigstens einen Objekt aufrechterhält.
In einer Ausführungsform beinhaltet das Betreiben der Steuerfunktionen des Fahrzeugs, wenn das Fahrzeug eine primäre Route befährt, zu bewirken, dass das Fahrzeug eine alternative Route befährt.
In einer Ausführungsform beinhaltet das Klassifizieren des wenigstens einen Objekts, auf Basis wenigstens eines audiovisuellen Hinweises zu bestimmen, ob das wenigstens eine Objekt einen laufenden Motor aufweist.
In einer Ausführungsform detektiert wenigstens ein Sensor Sensorinformationen, die wenigstens einem Objekt in der Nähe eines Fahrzeugs entsprechen. Die Sensorinformationen werden von dem wenigstens einen Sensor empfangen. Eine Aktivitätsprognose wird für das wenigstens eine Objekt gemäß den Sensorinformationen bestimmt. Das wenigstens eine Objekt wird gemäß der Aktivitätsprognose als eines von aktiv oder inaktiv klassifiziert. Steuerfunktionen des Fahrzeugs werden wenigstens zum Teil auf Basis der Klassifikation betrieben, dass das wenigstens eine Objekts inaktiv ist.
In der vorhergehenden Beschreibung sind Ausführungsformen der Erfindung unter Bezugnahme auf zahlreiche spezifische Details beschrieben worden, die von Umsetzungsform zu Umsetzungsform variieren können. Die Beschreibung und die Zeichnungen sind dementsprechend in einem veranschaulichenden statt in einem einschränkenden Sinne zu betrachten. Die einzige und ausschließliche Angabe des Schutzbereichs der Erfindung und was die Anmelder als den Schutzbereich der Erfindung beabsichtigen, ist der wortgetreue und äquivalente Schutzbereich des Satzes von Ansprüchen, die sich aus dieser Anmeldung ergeben, in der spezifischen Form, in der solche Ansprüche ausgegeben werden, einschließlich irgendwelcher nachfolgender Korrekturen. Alle Definitionen, die hier ausdrücklich für Ausdrücke dargelegt werden, die in solchen Ansprüchen enthalten sind, sollen die Bedeutung solcher Ausdrücke so bestimmen, wie sie in den Ansprüchen verwendet werden. Zusätzlich kann, wenn der Ausdruck „umfasst des Weiteren“ in der vorhergehenden Beschreibung oder den folgenden Ansprüchen verwendet wird, das Folgende ein zusätzlicher Schritt oder eine zusätzliche Instanz oder ein Unterschritt bzw. eine Unterinstanz eines zuvor genannten Schritts oder einer zuvor genannten Instanz sein.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 62/789804 [0001]

Claims

Der Unterzeichnende, Dr. Herbert Kunz, beglaubigt hiermit, dass die vorliegende deutsche Übersetzung eine komplette und wahrheitsgetreue Übersetzung der Veröffentlichung WO2020/146445 der Internationalen Patentanmeldung PCT/US2020/012653 darstellt.