DE102021211781A1

DE102021211781A1 - Fahrzeugbetrieb unter verwendung von verhaltensregelprüfungen

Info

Publication number: DE102021211781A1
Application number: DE102021211781.3A
Authority: DE
Inventors: Radboud Duintjer Tebbens; Calin Belta; Hsun-Hsien Chang; Amitai Bin-Nun; Anne Collin; Noushin Mehdipour; Wei Xiao
Original assignee: Motional AD LLC
Current assignee: Motional AD LLC
Priority date: 2020-10-23
Filing date: 2021-10-19
Publication date: 2022-04-28
Also published as: GB202219098D0; GB202115226D0; GB2602194B; GB2602194A; CN114510020A; US20220126876A1; GB2615193B; KR20220054534A; KR102626145B1; GB2615193A

Abstract

Verfahren für den Fahrzeugbetrieb unter Verwendung von Verhaltensregelprüfungen beinhalten das Empfangen von ersten Sensordaten aus ersten Sensoren und zweiten Sensordaten aus zweiten Sensoren des Fahrzeugs. Die ersten Sensordaten repräsentieren den Betrieb des Fahrzeugs gemäß einer ersten Bewegungsbahn. Die zweiten Sensordaten repräsentieren mindestens ein Objekt. Basierend auf den ersten Sensordaten und den zweiten Sensordaten wird bestimmt, dass die erste Bewegungsbahn gegen eine erste Verhaltensregel für den Betrieb verstößt. Die erste Verhaltensregel hat eine erste Priorität. Mehrere alternative Bewegungsbahnen werden unter Verwendung von Steuerbarrierefunktionen erzeugt. Es wird eine zweite Bewegungsbahn identifiziert, die gegen eine zweite Verhaltensregel verstößt, deren zweite Priorität niedriger als die erste Priorität ist. Als Reaktion auf das Identifizieren der zweiten Bewegungsbahn wird eine Nachricht an eine Steuerschaltung des Fahrzeugs übertragen, um das Fahrzeug basierend auf der zweiten Bewegungsbahn zu betreiben.

Description

QUERVERWEISE AUF VERWANDTE ANMELDUNGEN
Die vorliegende Anmeldung beansprucht die Priorität der vorläufigen US-Patentanmeldung Nr. 63/105.006 , eingereicht am 23. Oktober 2020, und der vorläufigen US-Patentanmeldung Nr. 63/216.953 , eingereicht am 30. Juni 2021, deren Gesamtinhalt hiermit durch Bezugnahme aufgenommen wird.
GEBIET DER ERFINDUNG
Diese Beschreibung betrifft allgemein den Betrieb von Fahrzeugen und speziell den Fahrzeugbetrieb unter Verwendung von Verhaltensregelprüfungen.
HINTERGRUND
Der Betrieb eines Fahrzeugs von einem Anfangsort zu einem Endzielort erfordert oft, dass ein Benutzer oder das Fahrzeugentscheidungssystem eine Route durch ein Straßennetz vom Anfangsort zu einem Endzielort auswählt. Die Route kann die Erfüllung von Zielsetzungen beinhalten, wie zum Beispiel eine maximale Fahrzeit nicht zu überschreiten. Darüber hinaus müssen die Fahrzeuge unter Umständen komplexe Anforderungen erfüllen, die sich aus den Verkehrsgesetzen und den kulturellen Erwartungen an das Fahrverhalten ergeben. Der Betrieb eines autonomen Fahrzeugs kann viele Entscheidungen erfordern, was traditionelle Algorithmen für autonomes Fahren undurchführbar macht.
KURZDARSTELLUNG
Es werden Verfahren, Systeme und Vorrichtungen für den Fahrzeugbetrieb unter Verwendung von Verhaltensregelprüfungen offenbart. In einer Ausführungsform empfängt mindestens ein Prozessor erste Sensordaten aus einem ersten Satz von Sensoren eines Fahrzeugs und zweite Sensordaten aus einem zweiten Satz von Sensoren des Fahrzeugs. Die ersten Sensordaten repräsentieren den Betrieb des Fahrzeugs gemäß einer ersten Bewegungsbahn. Die zweiten Sensordaten repräsentieren mindestens ein Objekt. Der mindestens eine Prozessor bestimmt basierend auf den ersten Sensordaten und den zweiten Sensordaten, dass die erste Bewegungsbahn gegen eine erste Verhaltensregel eines hierarchischen Satzes von Betriebsregeln für das Fahrzeug verstößt. Die erste Verhaltensregel hat eine erste Priorität. Der mindestens eine Prozessor erzeugt basierend auf den ersten Sensordaten und den zweiten Sensordaten mehrere alternative Bewegungsbahnen für das Fahrzeug. Der mindestens eine Prozessor identifiziert aus den mehreren alternativen Bewegungsbahnen eine zweite Bewegungsbahn. Die zweite Bewegungsbahn verstößt gegen eine zweite Verhaltensregel des hierarchischen Regelsatzes. Die zweite Verhaltensregel hat eine zweite Priorität, die niedriger als die erste Priorität ist. Als Reaktion auf das Identifizieren der zweiten Bewegungsbahn sendet der mindestens eine Prozessor eine Nachricht an eine Steuerschaltung des Fahrzeugs, um das Fahrzeug basierend auf der zweiten Bewegungsbahn zu betreiben.
In einer Ausführungsform ist das Rahmenwerk ein allgemeines Offline-Rahmenwerk. In einem allgemeinen Offline-Rahmenwerk wird im Nachhinein eine Bestanden/Nicht-bestanden-Bewertung der Bewegungsbahnen durchgeführt. Eine gegebene Bewegungsbahn wird abgelehnt, falls eine durch eine Steuervorrichtung erzeugte Bewegungsbahn gefunden wird, die zu einem geringeren Verstoß gegen die Prioritätsstruktur der Regeln führt.
In einer Ausführungsform ist das Rahmenwerk ein allgemeines Online-Rahmenwerk. In einem allgemeinen Online-Rahmenwerk hat das Fahrzeug einen begrenzten Erfassungsbereich, der einen hierarchischen Satz von Betriebsregeln des Fahrzeugs verändert. Die Steuerung erfolgt über einen Ansatz mit zurückweichendem Horizont (modellprädiktive Steuerung).
In einer Ausführungsform befindet sich der mindestens eine Prozessor in einer Planungsschaltung des Fahrzeugs. Der mindestens eine Prozessor empfängt die ersten Sensordaten und die zweiten Sensordaten während des Betriebs des Fahrzeugs.
In einer Ausführungsform korrigiert der mindestens eine Prozessor den Betrieb einer Planungsschaltung des Fahrzeugs basierend auf der zweiten Bewegungsbahn. Der mindestens eine Prozessor befindet sich auf einer fahrzeugexternen Computervorrichtung. Der mindestens eine Prozessor empfängt die ersten Sensordaten und die zweiten Sensordaten nach dem Betrieb des Fahrzeugs.
In einer Ausführungsform weist der erste Satz von Sensoren mindestens eines von einem Beschleunigungsmesser, einem Lenkradwinkelsensor, einem Radsensor oder einem Bremssensor auf. Die ersten Sensordaten weisen mindestens eines von einer Geschwindigkeit des Fahrzeugs, einer Beschleunigung des Fahrzeugs, einem Kurs des Fahrzeugs, einer Winkelgeschwindigkeit des Fahrzeugs oder einem Drehmoment des Fahrzeugs auf.
In einer Ausführungsform enthält der zweite Satz von Sensoren mindestens eines von einem LiDAR, einem RADAR, einer Kamera, einem Mikrofon, einem Infrarotsensor, einem SONAR- (Sound Navigation and Ranging) Sensor und dergleichen.
In einer Ausführungsform sind die zweiten Sensordaten mindestens eines von einem Bild des mindestens einen Objekts, einer Geschwindigkeit des mindestens einen Objekts, einer Beschleunigung des mindestens einen Objekts, einem seitlichen Abstand zwischen dem mindestens einen Objekt und dem Fahrzeug oder andere kinematische Daten.
In einer Ausführungsform wählt der mindestens eine Prozessor die zweite Bewegungsbahn aus den mehreren alternativen Bewegungsbahnen aus, indem er mindestens eines von Planung mit minimalem Verstoß, prädiktive Modellsteuerung oder maschinelles Lernen verwendet, wobei das Auswählen auf der hierarchischen Vielzahl von Regeln basiert.
In einer Ausführungsform hat jede Verhaltensregel des hierarchischen Regelsatzes eine entsprechende Priorität in Bezug auf jede andere Verhaltensregel des hierarchischen Regelsatzes. Die jeweilige Priorität repräsentiert eine Risikostufe des Verstoßes gegen die einzelnen Verhaltensregeln in Bezug auf die anderen Verhaltensregeln.
In einer Ausführungsform beinhaltet das Verstoßen gegen die erste Verhaltensregel, dass das Fahrzeug so betrieben wird, dass ein seitlicher Abstand zwischen dem Fahrzeug und dem mindestens einen Objekt einen seitlichen Schwellenabstand unterschreitet.
In einer Ausführungsform beinhaltet das Verstoßen gegen die erste Verhaltensregel das Betreiben des Fahrzeugs so, dass das Fahrzeug eine Geschwindigkeitsbegrenzung überschreitet.
In einer Ausführungsform beinhaltet das Verstoßen gegen die erste Verhaltensregel das Betreiben des Fahrzeugs so, dass das Fahrzeug vor Erreichen eines Zielorts anhält.
In einer Ausführungsform beinhaltet das Verstoßen gegen die erste Verhaltensregel das Betreiben des Fahrzeugs so, dass das Fahrzeug mit dem mindestens einen Objekt kollidiert.
In einer Ausführungsform bestimmt der mindestens eine Prozessor basierend auf den zweiten Sensordaten einen Weg des mindestens einen Objekts. Das Bestimmen, dass die erste Bewegungsbahn gegen die erste Verhaltensregel verstößt, basiert außerdem auf dem Weg des mindestens einen Objekts.
Diese und andere Aspekte, Merkmale und Implementierungen können als Verfahren, Vorrichtungen, Systeme, Komponenten, Programmprodukte, Einrichtungen oder Schritte zum Ausführen einer Funktion und auf andere Weise ausgedrückt werden.
Diese und andere Aspekte, Merkmale und Implementierungen werden aus den folgenden Beschreibungen einschließlich der Ansprüche ersichtlich.
Figurenliste

1 ist ein Blockdiagramm, das ein Beispiel für ein autonomes Fahrzeug (AF) mit autonomer Fähigkeit gemäß einer oder mehreren Ausführungsformen veranschaulicht.
2 ist ein Blockdiagramm, das ein Beispiel für eine „Cloud“-Rechenumgebung gemäß einer oder mehreren Ausführungsformen veranschaulicht.
3 ist ein Blockdiagramm, das ein Computersystem gemäß einer oder mehreren Ausführungsformen veranschaulicht.
4 ist ein Blockdiagramm, das ein Beispiel für die Architektur eines AF gemäß einer oder mehreren Ausführungsformen veranschaulicht.
5 ist ein Blockdiagramm, das ein Beispiel für Eingaben und Ausgaben, die durch ein Wahrnehmungsmodul gemäß einer oder mehreren Ausführungsformen verwendet werden können, veranschaulicht.
6 ist ein Blockdiagramm, das ein Beispiel für ein LiDAR-System gemäß einer oder mehreren Ausführungsformen veranschaulicht.
7 ist ein Blockdiagramm, das das LiDAR-System im Betrieb gemäß einer oder mehreren Ausführungsformen veranschaulicht.
8 ist ein Blockdiagramm, das den Betrieb des LiDAR-Systems in zusätzlicher Detaillierung gemäß einer oder mehreren Ausführungsformen veranschaulicht.
9 ist ein Blockdiagramm, das Zusammenhänge zwischen Eingaben und Ausgaben eines Planungsmoduls gemäß einer oder mehreren Ausführungsformen veranschaulicht.
10 veranschaulicht einen gerichteten Graphen, der bei der Wegplanung gemäß einer oder mehreren Ausführungsformen verwendet wird.
11 ist ein Blockdiagramm, das Ein- und Ausgaben eines Steuermoduls gemäß einer oder mehreren Ausführungsformen veranschaulicht.
12 ist ein Blockdiagramm, das Eingaben, Ausgaben und Komponenten einer Steuervorrichtung gemäß einer oder mehreren Ausführungsformen veranschaulicht.
13A veranschaulicht ein Beispielszenario für den Fahrzeugbetrieb mittels Verhaltensregelprüfungen gemäß einer oder mehreren Ausführungsformen.
13B veranschaulicht ein Beispiel für einen hierarchischen Satz von Regeln gemäß einer oder mehreren Ausführungsformen.
14 veranschaulicht ein Beispielflussdiagramm für den Fahrzeugbetrieb mittels Verhaltensregelprüfungen gemäß einer oder mehreren Ausführungsformen.
15 veranschaulicht ein Beispielflussdiagramm für den Fahrzeugbetrieb mittels Verhaltensregelprüfungen gemäß einer oder mehreren Ausführungsformen.
16 veranschaulicht ein Beispiel für das Ausführen von Verhaltensregelprüfungen für ein Fahrzeug gemäß einem oder mehreren Ausführungsformen.
17 veranschaulicht ein Beispielflussdiagramm für den Fahrzeugbetrieb mittels Verhaltensregelprüfungen gemäß einer oder mehreren Ausführungsformen.
18 veranschaulicht eine Beispielausgabe für das Ausführen von Verhaltensregelprüfungen für ein Fahrzeug gemäß einem oder mehreren Ausführungsformen.
19 veranschaulicht ein Beispielflussdiagramm für den Fahrzeugbetrieb mittels Verhaltensregelprüfungen gemäß einer oder mehreren Ausführungsformen.
20 veranschaulicht ein Beispiel für einen hierarchischen Satz von Regeln für den Fahrzeugbetrieb mittels Verhaltensregelprüfungen gemäß einer oder mehreren Ausführungsformen.

DETAILLIERTE BESCHREIBUNG
In der folgenden Beschreibung werden zwecks Erklärung zahlreiche spezifische Details dargelegt, um ein gründliches Verständnis der vorliegenden Erfindung zu ermöglichen. Es wird jedoch offensichtlich, dass die vorliegende Erfindung auch ohne diese spezifischen Details umgesetzt werden kann. In anderen Fällen werden bekannte Strukturen und Vorrichtungen in Blockdiagrammform dargestellt, um eine unnötige Verschleierung der vorliegenden Erfindung zu vermeiden.
Zur leichteren Beschreibung sind in den Zeichnungen spezifische Anordnungen oder Reihenfolgen von schematischen Elementen abgebildet, wie zum Beispiel solche, die Vorrichtungen, Module, Anweisungsblöcke und Datenelemente darstellen. Der Fachmann sollte jedoch verstehen, dass die spezifische Reihenfolge oder Anordnung der schematischen Elemente in den Zeichnungen nicht bedeuten soll, dass eine bestimmte Reihenfolge oder Sequenz der Bearbeitung oder eine Trennung der Prozesse erforderlich ist. Ferner soll die Aufnahme eines schematischen Elements in eine Zeichnung nicht bedeuten, dass dieses Element in allen Ausführungsformen erforderlich ist oder dass die durch dieses Element dargestellten Merkmale in einer Ausführungsform nicht in andere Elemente aufgenommen oder mit anderen Elementen kombiniert werden dürfen.
Ferner ist in den Zeichnungen, in denen Verbindungselemente, wie beispielsweise durchgezogene oder gestrichelte Linien oder Pfeile verwendet werden, um eine Verbindung, Beziehung oder Verknüpfung zwischen oder unter zwei oder mehreren anderen schematischen Elementen darzustellen, das Fehlen solcher Verbindungselemente nicht so zu verstehen, dass keine Verbindung, Beziehung oder Verknüpfung bestehen kann. Mit anderen Worten werden einige Verbindungen, Zusammenhänge oder Verknüpfungen zwischen Elementen in den Zeichnungen nicht dargestellt, um die Offenbarung nicht zu verschleiern. Zur leichteren Veranschaulichung wird außerdem ein einzelnes Verbindungselement verwendet, um mehrere Verbindungen, Zusammenhänge oder Verknüpfungen zwischen Elementen darzustellen. Wenn zum Beispiel ein Verbindungselement eine Kommunikation von Signalen, Daten oder Anweisungen darstellt, sollte der Fachmann verstehen, dass ein solches Element einen oder mehrere Signalwege (z. B. einen Bus) darstellt, je nachdem, was erforderlich ist, um die Kommunikation zu bewirken.
Im Folgenden wird im Detail Bezug auf Ausführungsformen genommen, deren Beispiele in den begleitenden Zeichnungen veranschaulicht sind. In der folgenden detaillierten Beschreibung werden zahlreiche spezifische Details dargelegt, um ein gründliches Verständnis der verschiedenen beschriebenen Ausführungsformen zu ermöglichen. Jedoch wird für einen durchschnittlichen Fachmann deutlich sein, dass die verschiedenen beschriebenen Ausführungsformen auch ohne diese spezifischen Details umgesetzt werden können. In anderen Fällen sind allgemein bekannte Verfahren, Vorgehensweisen, Komponenten, Schaltungen und Netzwerke nicht ausführlich beschrieben, um eine unnötige Verschleierung der Aspekte der Ausführungsformen zu vermeiden.
Im Folgenden werden mehrere Merkmale beschrieben, die jeweils unabhängig voneinander oder in einer beliebigen Kombination anderer Merkmale verwendet werden können. Allerdings kann es sein, dass ein einzelnes Merkmal keines der oben erörterten Probleme oder nur eines der oben erörterten Probleme anspricht. Einige der oben erörterten Probleme werden möglicherweise durch keines der hier beschriebenen Merkmale vollständig angesprochen. Auch wenn Überschriften angegeben sind, können Informationen, die sich auf eine bestimmte Überschrift beziehen, aber nicht in dem Abschnitt mit dieser Überschrift zu finden sind, auch an anderer Stelle in dieser Beschreibung gefunden werden. Ausführungsformen werden hier gemäß der folgenden Übersicht beschrieben:

1. Allgemeiner Überblick
2. Systemübersicht
3. Architektur autonomer Fahrzeuge
4. Eingaben autonomer Fahrzeuge
5. Planung autonomer Fahrzeuge
6. Steuerung autonomer Fahrzeuge
7. Autonomer Fahrzeugbetrieb mittels Verhaltensregelprüfungen

Allgemeiner Überblick
In diesem Dokument werden Verfahren, Systeme und Vorrichtungen für den Fahrzeugbetrieb mittels Verhaltensregelprüfungen vorgestellt. Die Sicherheit im Straßenverkehr ist ein wichtiges Thema für die öffentliche Gesundheit mit weltweit mehr als 1 Million Verkehrstoten im Jahr 2020. Gemessen an verlorenen Lebensjahren sind Verkehrsunfälle derzeit die siebthäufigste Todesursache in den Vereinigten Staaten. Die hier offenbarten Ausführungsformen implementieren ein regelbasiertes Überprüfen zum Bewerten der Leistung eines maschinellen Fahrers, zum Bewerten von Risikofaktoren und zum Bewerten der Fähigkeiten zur Bewegungsbahnerzeugung eines AF-Systems oder eines Teilsystems, wie z. B. eines Bewegungsplanungsmoduls. Die hier vorgestellten Implementierungen der verhaltensbasierten Fahrbewertung basieren auf dem Bestimmen, ob einem autonomen Fahrzeug, das gegen bestimmte Regeln verstoßen hat, eine alternative Bewegungsbahn zur Verfügung stand, die zu weniger Verstößen geführt hätte. Die Regeln ergeben sich aus Sicherheitserwägungen, Verkehrsgesetzen und allgemein anerkannten bewährten Verfahren. Durch Formulierung von Fahrregeln wird quantitativ bewertet, inwieweit das tatsächliche Fahrverhalten eines automatisierten Systems mit dem erwünschten Fahrverhalten übereinstimmt.
Zu den Vorteilen und Nutzen der hier beschriebenen Ausführungsformen gehört die verbesserte Bewertung der Fahrleistung für automatisierte Fahrzeugsysteme im Vergleich zu herkömmlichen Verfahren. Mithilfe der Ausführungsformen können bestimmte Verhaltensweisen beim autonomen Fahren effizienter ausgewertet werden. Der regelbasierte Steuerungsansatz, der mithilfe von Steuerbarrierefunktionen implementiert wird, kann sowohl für die automatisierte „Nachhinein“-Bewertung der optimalen Steuerung als auch für die Ausführung auf einem autonomen Fahrzeug zur Echtzeitbewertung als Bewegungsbahnkontrolle verwendet werden. Da die Implementierungen eine geringere Berechnungskomplexität aufweisen, können die offenbarten Ausführungsformen auch in Echtzeit in einem autonomen Fahrzeug als regelbasierte Planungs- oder Steuervorrichtung implementiert werden.
Weitere Vorteile und Nutzen der hierin offenbarten Ausführungsformen umfassen die Berücksichtigung alternativer Bewegungsbahnen, sodass dem autonomen Fahrzeug keine unangemessenen Erwartungen auferlegt werden. Da Regelwerke szenario- und technologieunabhängig sind, kann ein Regelwerk für zahlreiche Szenarien, verschiedene autonome Fahrzeugstacks, unterschiedliche Sensorkonfigurationen und unterschiedliche Planungsalgorithmen verwendet werden. Die offenbarten Ausführungsformen machen die Implementierung des autonomen Fahrzeugs skalierbarer und machen eine Beurteilung durch einen Testauswerter überflüssig. Darüber hinaus können die Ausführungsformen in eine Vielzahl von Regulierungs- und Normungsprozessen einfließen, die zunehmend spezifische AF-Verhaltensweisen fordern, und die Zusammenarbeit der Industrie bei der Definition guter AF-Fahrverhaltensweisen fördern.
Systemübersicht
1 ist ein Blockdiagramm, das ein Beispiel für ein autonomes Fahrzeug 100 mit autonomer Fähigkeit gemäß einer oder mehreren Ausführungsformen veranschaulicht.
Wie hier verwendet, bezieht sich der Begriff „autonome Fähigkeit“ auf eine Funktion, ein Merkmal oder eine Einrichtung, die es ermöglicht, ein Fahrzeug teilweise oder vollständig ohne menschliches Eingreifen in Echtzeit zu betreiben, einschließlich, aber nicht beschränkt auf vollständig autonome Fahrzeuge, hochgradig autonome Fahrzeuge und bedingt autonome Fahrzeuge.
Wie hier verwendet, ist ein autonomes Fahrzeug (AF) ein Fahrzeug, das über autonome Fähigkeiten verfügt.
Wie hier verwendet, umfasst „Fahrzeug“ Transportmittel für den Transport von Gütern oder Personen. Zum Beispiel Autos, Busse, Züge, Flugzeuge, Drohnen, Lastwagen, Boote, Schiffe, Tauchboote, Lenkflugkörper usw. Ein fahrerloses Kraftfahrzeug ist ein Beispiel für ein Fahrzeug.
Wie hier verwendet, bezieht sich „Bewegungsbahn“ auf einen Weg oder eine Route zum Betreiben eines AF von einem ersten raumzeitlichen Ort zu einem zweiten raumzeitlichen Ort. In einer Ausführungsform wird der erste raumzeitliche Ort als Anfangs- oder Startort und der zweite raumzeitliche Ort als Bestimmungsort, Endort, Ziel, Zielposition oder Zielort bezeichnet. In einigen Beispielen besteht eine Bewegungsbahn aus einem oder mehreren Segmenten (z. B. Straßenabschnitten), und jedes Segment besteht aus einem oder mehreren Blöcken (z. B. Abschnitten eines Fahrstreifens oder einer Kreuzung/Einmündung). In einer Ausführungsform entsprechen die raumzeitlichen Orte den Orten der realen Welt. Die raumzeitlichen Orte sind zum Beispiel Abhol- oder Absetzorte zum Abholen oder Absetzen von Personen oder Gütern.
Wie hier verwendet, umfasst „Sensor(en)“ eine oder die mehreren Hardwarekomponenten, die Informationen über die Umgebung rund um den Sensor erfassen. Einige der Hardwarekomponenten können sensorische Komponenten (z. B. Bildsensoren, biometrische Sensoren), Sende- und/oder Empfangskomponenten (z. B. Laser- oder Hochfrequenzwellensender und -empfänger), elektronische Komponenten wie Analog-Digital-Wandler, eine Datenspeichervorrichtung (z. B. ein RAM und/oder ein nicht-flüchtiger Speicher), Software- oder Firmwarekomponenten und Datenverarbeitungskomponenten wie eine ASIC (anwendungsspezifische integrierte Schaltung), einen Mikroprozessor und/oder einen Mikrocontroller umfassen.
Wie hier verwendet, ist eine „Szeneriebeschreibung“ eine Datenstruktur (z. B. Liste) oder ein Datenstrom, der ein oder mehrere klassifizierte oder markierte Objekte enthält, die durch einen oder mehrere Sensoren an dem AF-Fahrzeug erkannt oder durch eine AF-externe Quelle bereitgestellt werden.
Wie hier verwendet, ist eine „Straße“ ein physischer Bereich, der durch ein Fahrzeug befahren werden kann und einem benannten Verkehrsweg (z. B. Stadtstraße, Autobahn usw.) oder einem unbenannten Verkehrsweg (z. B. eine Einfahrt an einem Haus oder Bürogebäude, ein Abschnitt eines Parkplatzes, ein Abschnitt eines leeren Grundstücks, ein Feldweg in einem ländlichen Gebiet usw.) entsprechen kann. Da einige Fahrzeuge (z. B. Allradlastwagen, Geländewagen, usw.) in der Lage sind, eine Vielzahl physischer Bereiche zu befahren, die nicht speziell für den Fahrzeugverkehr angepasst sind, kann eine „Straße“ ein physischer Bereich sein, der nicht formell durch eine Gemeinde oder andere Regierungs- oder Verwaltungsbehörde als Verkehrsweg definiert ist.
Wie hier verwendet, ist ein „Fahrstreifen“ ein Abschnitt einer Straße, der durch ein Fahrzeug befahren werden kann und dem größten Teil oder der Gesamtheit des Zwischenraums zwischen den Fahrstreifenmarkierungen oder nur einem Teil (z. B. weniger als 50 %) des Zwischenraums zwischen den Fahrstreifenmarkierungen entsprechen kann. Zum Beispiel könnte eine Straße mit weit auseinanderliegenden Fahrstreifenmarkierungen zwei oder mehr Fahrzeuge zwischen den Markierungen aufnehmen, sodass ein Fahrzeug das andere überholen kann, ohne die Fahrstreifenmarkierungen zu überqueren, und könnte daher so interpretiert werden, dass ein Fahrstreifen schmaler als der Zwischenraum zwischen den Fahrstreifenmarkierungen ist oder dass zwei Fahrstreifen zwischen den Fahrstreifenmarkierungen liegen. Ein Fahrstreifen könnte auch bei Fehlen von Fahrstreifenmarkierungen interpretiert werden. Beispielsweise kann ein Fahrstreifen basierend auf physischen Merkmalen einer Umgebung, z. B. Felsen und Bäume entlang einem Verkehrsweg in einem ländlichen Gebiet, definiert werden.
„Eine oder mehrere” umfasst eine Funktion, die durch ein Element ausgeführt wird, eine Funktion, die durch mehr als ein Element ausgeführt wird, z. B. auf verteilte Weise, wobei mehrere Funktionen durch ein Element ausgeführt werden, mehrere Funktionen durch mehrere Elemente ausgeführt werden, oder eine beliebige Kombination des oben Genannten.
Es versteht sich auch, dass die Begriffe „erste“, „zweite“ usw. hier zwar in einigen Fällen zur Beschreibung verschiedener Elemente verwendet werden, diese Elemente jedoch nicht durch diese Begriffe eingeschränkt werden sollten. Diese Begriffe werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Beispielsweise könnte ein erster Kontakt als ein zweiter Kontakt bezeichnet sein, und in ähnlicher Weise könnte ein zweiter Kontakt als ein dritter Kontakt bezeichnet sein, ohne vom Schutzbereich der verschiedenen beschriebenen Ausführungsformen abzuweichen. Der erste Kontakt und der zweite Kontakt sind beide Kontakte, aber sie sind nicht derselbe Kontakt.
Die Terminologie, die bei der Beschreibung der verschiedenen hier beschriebenen Ausführungsformen verwendet wird, dient nur der Beschreibung bestimmter Ausführungsformen und ist nicht als einschränkend beabsichtigt. Bei der Beschreibung der verschiedenen beschriebenen Ausführungsformen und der beigefügten Ansprüche sollen die Singularformen „ein“, „eine“ sowie „der“, „die“, „das“ auch die Pluralformen einschließen, sofern der Zusammenhang nicht eindeutig etwas anderes vorgibt. Es versteht sich auch, dass der Begriff „und/oder“ wie hier verwendet sich auf alle möglichen Kombinationen eines oder mehrerer der zugehörigen aufgelisteten Punkte bezieht und diese mit einschließt. Es versteht sich ferner, dass die Begriffe „enthalten“, „einschließlich“, „umfassen“ und/oder „umfassend“, wenn in dieser Beschreibung verwendet, das Vorhandensein angegebener Merkmale, Ganzzahlen, Schritte, Vorgänge, Elemente und/oder Komponenten davon angibt, aber nicht das Vorhandensein oder die Hinzufügung eines/einer oder mehrerer anderer Merkmale, Ganzzahlen, Schritte, Vorgänge, Elemente, Komponenten und/oder Gruppen davon ausschließt.
Wie hier verwendet, ist der Begriff „falls“ gegebenenfalls so auszulegen, dass er je nach Zusammenhang „wenn“ oder „bei“ oder „als Reaktion auf das Ermitteln“ oder „als Reaktion auf das Erkennen“ bedeutet. In ähnlicher Weise ist die Formulierung „falls ermittelt wird“ oder „falls [ein angegebener Zustand oder ein Ereignis] erkannt wird“ je nach Zusammenhang gegebenenfalls so auszulegen, dass sie „bei Ermitteln“ oder „als Reaktion auf das Ermitteln“ oder „bei Erkennen [des angegebenen Zustands oder Ereignisses]“ oder „als Reaktion auf das Erkennen [des angegebenen Zustands oder Ereignisses]“ bedeutet.
Wie hier verwendet, bezieht sich ein AF-System auf das AF zusammen mit der Anordnung von Hardware, Software, gespeicherten Daten und in Echtzeit erzeugten Daten, die den Betrieb des AF unterstützen. In einer Ausführungsform ist das AF-System in das AF integriert. In einer Ausführungsform ist das AF-System über mehrere Orte verteilt. Zum Beispiel ist ein Teil der Software des AF-Systems auf einer Cloud-Rechenumgebung implementiert, ähnlich der Cloud-Rechenumgebung 300, die im Folgenden mit Bezug auf 3 beschrieben wird.
Allgemein beschreibt dieses Dokument Technologien, die auf alle Fahrzeuge anwendbar sind, die über eine oder mehrere autonome Fähigkeiten verfügen, einschließlich vollständig autonomer Fahrzeuge, hochgradig autonomer Fahrzeuge und bedingt autonomer Fahrzeuge, wie z. B. sogenannte Stufe-5-, Stufe-4- und Stufe-3-Fahrzeuge (siehe SAE International Standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems (Taxonomie und Definitionen für Begriffe im Zusammenhang mit automatischen Straßen-Kraftfahrzeug-Fahrsystemen), die durch Verweis in ihrer Gesamtheit übernommen wurde, für weitere Einzelheiten über die Klassifizierung von Autonomiegraden in Fahrzeugen). Die in diesem Dokument beschriebenen Technologien sind auch auf teilautonome Fahrzeuge und fahrerunterstützte Fahrzeuge anwendbar, wie z. B. sogenannte Stufe-2- und Stufe-I-Fahrzeuge (siehe SAE International's Standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems (Taxonomie und Definitionen für Begriffe im Zusammenhang mit automatisierten Straßen-Kraftfahrzeug-Fahrsystemen)). In einer Ausführungsform können eines oder mehrere der Fahrzeugsysteme der Stufen 1, 2, 3, 4 und 5 unter bestimmten Betriebsbedingungen basierend auf dem Verarbeiten von Sensoreingaben bestimmte Fahrzeugfunktionen (z. B. Lenken, Bremsen und Verwenden von Karten) automatisieren. Die in diesem Dokument beschriebenen Technologien können Fahrzeugen auf allen Stufen zugute kommen, von vollständig autonomen Fahrzeugen bis hin zu durch Menschen betriebenen Fahrzeugen.
Mit Bezug auf 1 betreibt ein AF-System 120 das AF-System 100 entlang einer Bewegungsbahn 198 durch eine Umgebung 190 bis zu einem Zielort 199 (mitunter auch als Endort bezeichnet), wobei Objekte (z. B. natürliche Hindernisse 191, Fahrzeuge 193, Fußgänger 192, Radfahrer und andere Hindernisse) vermieden und Straßenregeln (z. B. Betriebsregeln oder Fahrpräferenzen) befolgt werden.
In einer Ausführungsform beinhaltet das AF-System 120 Vorrichtungen 101, die dazu eingerichtet sind, Betriebsbefehle aus den Computerprozessoren 146 zu empfangen und darauf zu reagieren. In einer Ausführungsform ähneln die Computerprozessoren 146 dem nachfolgend mit Bezug auf 3 beschriebenen Prozessor 304. Beispiele für Vorrichtungen 101 beinhalten eine Lenksteuerung 102, Bremsen 103, Gangschaltung, Gaspedal oder andere Beschleunigungssteuerungsmechanismen, Scheibenwischer, Seitentürschlösser, Fenstersteuervorrichtungen und Blinker.
In einer Ausführungsform umfasst das AF-System 120 Sensoren 121 zur Messung oder Ableitung von Zuständen oder Bedingungen des AF 100, wie z. B. die Position des AF, die Lineargeschwindigkeit und -beschleunigung, die Winkelgeschwindigkeit und - beschleunigung und die Fahrtrichtung (z. B. eine Ausrichtung des vorderen Endes des AF 100). Beispiele für Sensoren 121 sind GNSS, Trägheitsmesseinheiten (IMU), die sowohl lineare Fahrzeugbeschleunigungen als auch Winkelbeschleunigungen messen, Radsensoren zum Messen oder Schätzen von Radschlupfverhältnissen, Radbremsdruck- oder Bremsmomentsensoren, Motordrehmoment- oder Raddrehmomentsensoren sowie Lenkwinkel- und Winkelgeschwindigkeitssensoren.
In einer Ausführungsform umfassen die Sensoren 121 auch Sensoren zum Erfassen oder Messen von Eigenschaften der Umgebung des AF. Zum Beispiel Monokular- oder Stereo-Videokameras 122 im sichtbaren Licht-, Infrarot- oder Wärmespektrum (oder beiden Spektren), LiDAR 123, RADAR, Ultraschallsensoren, Time-of-Flight(TOF)-Tiefensensoren, Geschwindigkeitssensoren, Temperatursensoren, Feuchtigkeitssensoren und Niederschlagssensoren.
In einer Ausführungsform umfasst das AF-System 120 eine Datenspeichereinheit 142 und einen Speicher 144 zum Speichern von Maschinenanweisungen im Zusammenhang mit Computerprozessoren 146 oder durch Sensoren 121 gesammelten Daten. In einer Ausführungsform ähnelt die Datenspeichereinheit 142 dem ROM 308 oder der Speichervorrichtung 310, die nachfolgend mit Bezug auf 3 beschrieben werden. In einer Ausführungsform ähnelt der Speicher 144 dem nachfolgend beschriebenen Hauptspeicher 306. In einer Ausführungsform speichern die Datenspeichereinheit 142 und der Speicher 144 historische, Echtzeit- und/oder vorausschauende Informationen über die Umgebung 190. In einer Ausführungsform umfassen die gespeicherten Informationen Karten, Fahrleistungen, Aktualisierungen zu Verkehrsstaus oder Wetterbedingungen. In einer Ausführungsform werden Daten, die sich auf die Umgebung 190 beziehen, über einen Kommunikationskanal aus einer entfernt gelegenen Datenbank 134 an das AF 100 übertragen.
In einer Ausführungsform umfasst das AF-System 120 Kommunikationsvorrichtungen 140 zum Übermitteln gemessener oder abgeleiteter Eigenschaften von Zuständen und Bedingungen anderer Fahrzeuge, wie z. B. Positionen, Linear- und Winkelgeschwindigkeiten, Linear- und Winkelbeschleunigungen sowie Linear- und Winkelfahrtrichtungen an das AF-System 100. Diese Vorrichtungen umfassen Fahrzeug-zu-Fahrzeug(V2V)- und Fahrzeug-zu-Infrastruktur(V2I)-Kommunikationsvorrichtungen und Vorrichtungen für drahtlose Kommunikation über Punkt-zu-Punkt- oder Ad-hoc-Netze oder beides. In einer Ausführungsform kommunizieren die Kommunikationsvorrichtungen 140 über das elektromagnetische Spektrum (einschließlich Funk- und optische Kommunikation) oder andere Medien (z. B. Luft- und akustische Medien). Eine Kombination von Fahrzeug-zu-Fahrzeug(V2V)-Kommunikation, Fahrzeug-zu-Infrastruktur(V2I)-Kommunikation (und in einer Ausführungsform eine oder mehrere andere Kommunikationsarten) wird mitunter als Fahrzeug-zu-alles (V2X)-Kommunikation bezeichnet. Die V2X-Kommunikation entspricht in der Regel einem oder mehreren Kommunikationsstandards für die Kommunikation mit, zwischen und unter autonomen Fahrzeugen.
In einer Ausführungsform enthalten die Kommunikationsvorrichtungen 140 Kommunikationsschnittstellen. Zum Beispiel drahtgebundene, drahtlose, WiMAX-, Wi-Fi-, Bluetooth-, Satelliten-, Zellular-, optische, Nahfeld-, Infrarot- oder Funkschnittstellen. Die Kommunikationsschnittstellen übertragen Daten aus einer entfernt gelegenen Datenbank 134 an das AF-System 120. In einer Ausführungsform ist die entfernt gelegene Datenbank 134 wie in 2 beschrieben in eine Cloud-Rechenumgebung 200 eingebettet. Die Kommunikationsschnittstellen 140 übertragen die aus den Sensoren 121 gesammelten Daten oder andere Daten, die sich auf den Betrieb des AF 100 beziehen, an die entfernt gelegene Datenbank 134. In einer Ausführungsform übertragen die Kommunikationsschnittstellen 140 Informationen, die sich auf Teleoperationen beziehen, an das AF 100. In einer Ausführungsform kommuniziert das AF 100 mit anderen entfernt gelegenen (z. B. „Cloud“) Servern 136.
In einer Ausführungsform speichert und überträgt die entfernt gelegene Datenbank 134 auch digitale Daten (z. B. Speichern von Daten wie Straßen- und Wegestandorte). Diese Daten werden im Speicher 144 des AF 100 gespeichert oder über einen Kommunikationskanal aus der entfernt gelegenen Datenbank 134 an das AF 100 übertragen.
In einer Ausführungsform speichert und überträgt die entfernt gelegene Datenbank 134 historische Informationen über Fahreigenschaften (z. B. Geschwindigkeits- und Beschleunigungsprofile) von Fahrzeugen, die zuvor zu ähnlichen Tageszeiten entlang der Bewegungsbahn 198 gefahren sind. In einer Ausführungsform können diese Daten im Speicher 144 des AF 100 gespeichert oder über einen Kommunikationskanal aus der entfernt gelegenen Datenbank 134 an das AF 100 übertragen werden.
Die im AF 100 befindlichen Rechenvorrichtungen 146 erzeugen auf algorithmische Weise Steueraktionen, die sowohl auf Echtzeit-Sensordaten als auch auf vorherigen Informationen basieren, sodass das AF-System 120 seine autonomen Fahrfähigkeiten ausführen kann.
In einer Ausführungsform umfasst das AF-System 120 Computerperipherievorrichtungen 132, die mit Rechenvorrichtungen 146 gekoppelt sind, um Informationen und Warnungen an einen Benutzer (z. B. einen Insassen oder einen entfernt befindlichen Benutzer) des AF 100 zu liefern und Eingaben von diesem zu empfangen. In einer Ausführungsform ähneln die Peripherievorrichtungen 132 der Anzeigevorrichtung 312, der Eingabevorrichtung 314 und der Cursorsteuervorrichtung 316, die nachfolgend mit Bezug auf 3 behandelt werden. Die Kopplung erfolgt drahtlos oder drahtgebunden. Zwei oder mehr der Schnittstellenvorrichtungen könnten zu einer einzelnen Vorrichtung integriert sein.
Beispielfür eine Cloud-Rechenumgebung
2 ist ein Blockdiagramm, das ein Beispiel für eine „Cloud“-Rechenumgebung gemäß einer oder mehreren Ausführungsformen veranschaulicht. Cloud Computing ist ein Modell zum Bereitstellen von Diensten, das einen komfortablen, bedarfsgerechten Netzwerkzugang zu einem gemeinsam genutzten Bestand konfigurierbarer Rechenressourcen (z. B. Netzwerke, Netzwerkbandbreite, Server, Verarbeitung, Speicher, Anwendungen, virtuelle Maschinen und Dienste) ermöglicht. In typischen Cloud-Rechensystemen sind in einem oder mehreren großen Cloud-Rechenzentren die Rechner untergebracht, die zum Erbringen der durch die Cloud bereitgestellten Dienste verwendet werden. Mit Bezug auf 2 umfasst die Cloud-Rechenumgebung 200 Cloud-Rechenzentren 204a, 204b und 204c, die über die Cloud 202 miteinander verbunden sind. Die Rechenzentren 204a, 204b und 204c bieten Cloud-Rechendienste für die mit der Cloud 202 verbundenen Computersysteme 206a, 206b, 206c, 206d, 206e und 206f.
Die Cloud-Rechenumgebung 200 enthält ein oder mehrere Cloud-Rechenzentren. Allgemein bezieht sich ein Cloud-Rechenzentrum, z. B. das in 2 dargestellte Cloud-Rechenzentrum 204a, auf die physische Anordnung von Servern, die eine Cloud, z. B. die in 2 dargestellte Cloud 202, oder einen bestimmten Abschnitt einer Cloud bilden. Beispielsweise sind die Server physisch im Cloud-Rechenzentrum in Räumen, Gruppen, Reihen und Racks angeordnet. Ein Cloud-Rechenzentrum hat eine oder mehrere Zonen, die einen oder mehrere Räume mit Servern umfassen. Jeder Raum hat eine oder mehrere Reihen von Servern, und jede Reihe enthält ein oder mehrere Racks. Jedes Rack enthält einen oder mehrere einzelne Serverknoten. In einigen Ausführungen sind Server in Zonen, Räumen, Racks und/oder Reihen basierend auf den physischen Infrastrukturanforderungen der Rechenzentrumseinrichtung, die Strom, Energie, Heizung, Wärme und/oder andere Anforderungen umfassen, in Gruppen angeordnet. In einer Ausführungsform ähneln die Serverknoten dem in 3 beschriebenen Computersystem. Das Rechenzentrum 204a weist viele Rechensysteme auf, die über viele Racks verteilt sind.
Die Cloud 202 umfasst die Cloud-Rechenzentren 204a, 204b und 204c sowie die Netzwerk- und Netzwerkressourcen (z. B. Netzwerkgeräte, Knoten, Router, Switches und Netzwerkkabel), die die Cloud-Rechenzentren 204a, 204b und 204c miteinander verbinden und dazu beitragen, den Zugang der Computersysteme 206a-f zu den Cloud-Rechendiensten zu ermöglichen. In einer Ausführungsform stellt das Netzwerk eine Kombination aus einem oder mehreren lokalen Netzwerken, Weitverkehrsnetzwerken oder Internetnetzwerken dar, die über drahtgebundene oder drahtlose Verbindungen mittels terrestrischer oder satellitengestützter Verbindungstechnik gekoppelt sind. Daten, die über das Netzwerk ausgetauscht werden, werden unter Verwendung einer Anzahl von Netzwerkschichtprotokollen übertragen, wie z. B. Internet Protocol (IP), Multiprotocol Label Switching (MPLS), Asynchronous Transfer Mode (ATM), Frame Relay, usw. Fernerhin werden in Ausführungsformen, in denen das Netzwerk eine Kombination aus mehreren Teilnetzwerken darstellt, in jedem der zugrunde liegenden Teilnetzwerke unterschiedliche Netzwerkschichtprotokolle verwendet. In einer Ausführungsform stellt das Netzwerk ein oder mehrere miteinander verbundene Internetnetzwerke dar, wie z. B. das öffentliche Internet.
Die Verbraucher der Rechensysteme 206a-f oder Cloud-Rechendienste sind über Netzwerkverbindungen und Netzwerkadapter mit der Cloud 202 verbunden. In einer Ausführungsform sind die Rechensysteme 206a-f als verschiedene Rechenvorrichtungen, z. B. Server, Desktops, Laptops, Tablets, Smartphones, Geräte für das Internet der Dinge (IoT), autonome Fahrzeuge (darunter Autos, Drohnen, Pendelfahrzeuge, Züge, Busse usw.) und Verbraucherelektronik, implementiert. In einer Ausführungsform sind die Rechensysteme 206a-f in oder als Bestandteil von anderen Systemen implementiert.
Computersystem
3 ist ein Blockdiagramm 300, das ein Computersystem gemäß einer oder mehreren Ausführungsformen veranschaulicht. In einer Implementierung ist das Computersystem 300 eine Spezialrechenvorrichtung. Die Spezialrechenvorrichtung ist fest verdrahtet, um die Techniken auszuführen, oder enthält digitale elektronische Vorrichtungen wie eine oder die mehreren anwendungsspezifische integrierte Schaltungen (ASICs) oder feldprogrammierbare Gate-Arrays (FPGAs), die dauerhaft programmiert sind, um die Techniken auszuführen, oder kann einen oder mehrere Universal-Hardware-Prozessoren umfassen, die dazu programmiert sind, die Techniken gemäß Programmanweisungen in Firmware, Arbeitsspeicher, anderen Speichern oder einer Kombination davon auszuführen. Derartige Spezialcomputervorrichtungen können auch kundenspezifische fest verdrahtete Logik, ASICs oder FPGAs mit kundenspezifischer Programmierung kombinieren, um die Techniken zu erzielen. In verschiedenen Ausführungsformen sind die Spezialrechenvorrichtungen Desktop-Computersysteme, tragbare Computersysteme, Handgeräte, Netzwerkgeräte oder sonstige Vorrichtungen, die zur Implementierung der Techniken festverdrahtete und/oder programmgesteuerte Logik enthalten.
In einer Ausführungsform umfasst das Computersystem 300 einen Bus 302 oder einen anderen Kommunikationsmechanismus zum Übermitteln von Informationen und einen mit einem Bus 302 gekoppelten Hardwareprozessor 304 zum Verarbeiten von Informationen. Der Hardwareprozessor 304 ist zum Beispiel ein Allzweck-Mikroprozessor. Das Computersystem 300 beinhaltet auch einen Hauptspeicher 306, wie beispielsweise einen Direktzugriffsspeicher (RAM) oder eine andere dynamische Speichervorrichtung, die mit dem Bus 302 zum Speichern von Informationen und Anweisungen gekoppelt ist, die durch den Prozessor 304 ausgeführt werden sollen. In einer Ausführungsform wird der Hauptspeicher 306 zum Speichern von temporären Variablen oder anderen Zwischeninformationen während der Ausführung von Anweisungen durch den Prozessor 304 verwendet. Derartige in nichtflüchtigen, für den Prozessor 304 zugänglichen Speichermedien gespeicherte Anweisungen machen aus dem Computersystem 300 eine Spezialmaschine, die auf das Ausführen der in den Anweisungen angegebenen Funktionen zugeschnitten ist.
In einer Ausführungsform beinhaltet das Computersystem 300 ferner einen Nur-Lese-Speicher (ROM) 308 oder eine andere statische Speichervorrichtung, die mit dem Bus 302 gekoppelt ist, um statische Informationen und Anweisungen für den Prozessor 304 zu speichern. Eine Speichervorrichtung 310, wie beispielsweise eine Magnetplatte, eine optische Platte, ein Solid-State-Laufwerk oder ein dreidimensionaler Kreuzpunktespeicher, ist vorhanden und mit dem Bus 302 zum Speichern von Informationen und Anweisungen gekoppelt.
In einer Ausführungsform ist das Computersystem 300 über den Bus 302 an eine Anzeigevorrichtung 312, wie z. B. eine Kathodenstrahlröhre (CRT), ein Flüssigkristalldisplay (LCD), ein Plasmadisplay, ein Leuchtdioden(LED)-Display oder ein organisches Leuchtdioden(OLED)-Display, zum Anzeigen von Informationen für einen Computerbenutzer gekoppelt. Eine Eingabevorrichtung 314 mit alphanumerischen und anderen Tasten ist mit dem Bus 302 zum Übermitteln von Informationen und Befehlsauswahlen an den Prozessor 304 gekoppelt. Eine andere Art von Benutzereingabevorrichtung ist eine Cursorsteuervorrichtung 316, z. B. eine Maus, ein Trackball, ein berührungsempfindliches Anzeigevorrichtung oder Cursorrichtungstasten zum Übermitteln von Richtungsinformationen und Befehlsauswahlen an den Prozessor 304 und zum Steuern der Cursorbewegung auf der Anzeigevorrichtung 312. Diese Eingabevorrichtung verfügt in der Regel über zwei Freiheitsgrade in zwei Achsen, eine erste Achse (z. B. x-Achse) und eine zweite Achse (z. B. y-Achse), mit denen die Vorrichtung Positionen in einer Ebene angeben kann.
Gemäß einer Ausführungsform werden die hier beschriebenen Techniken durch das Computersystem 300 als Reaktion darauf durchgeführt, dass der Prozessor 304 eine oder die mehreren Sequenzen von einer oder mehreren Anweisungen ausführt, die im Hauptspeicher 306 enthalten sind. Derartige Anweisungen werden aus einem anderen Speichermedium, z. B. der Speichervorrichtung 310, in den Hauptspeicher 306 eingelesen. Die Ausführung der im Hauptspeicher 306 enthaltenen Anweisungssequenzen veranlasst den Prozessor 304, die hier beschriebenen Prozessschritte durchzuführen. In alternativen Ausführungsformen wird eine fest verdrahtete Schaltungsanordnung anstelle von oder in Kombination mit Softwareanweisungen verwendet.
Der Begriff „Speichermedium“, wie hier verwendet, betrifft alle nichtflüchtigen Medien, die Daten und/oder Anweisungen speichern, die eine Maschine veranlassen, auf eine spezifische Art und Weise zu arbeiten. Derartige Speichermedien umfassen nichtflüchtige Medien und/oder flüchtige Medien. Nichtflüchtige Medien umfassen z. B. optische Platten, Magnetplatten, Solid-State-Laufwerke oder dreidimensionale Kreuzpunktespeicher, wie z. B. die Speichervorrichtung 310. Flüchtige Medien umfassen dynamische Speicher, wie beispielsweise den Hauptspeicher 306. Übliche Formen von Speichermedien umfassen zum Beispiel eine Floppy-Disk, eine Diskette, eine Festplatte, ein Solid-State-Laufwerk, ein Magnetband oder jedes andere magnetische Datenspeichermedium, einen CD-ROM, ein beliebiges anderes optisches Datenspeichermedium, ein beliebiges physisches Medium mit Lochmustern, einen RAM, einen PROM und EPROM, einen FLASH-EPROM, NV-RAM, oder einen beliebigen anderen Speicherchip oder eine Speicherkassette.
Speichermedien unterscheiden sich von Übertragungsmedien, können aber zusammen mit diesen verwendet werden. Übertragungsmedien sind am Übertragen von Informationen zwischen Speichermedien beteiligt. Zum Beispiel umfassen Übertragungsmedien Koaxialkabel, Kupferdraht und Lichtwellenleiter, einschließlich der Leitungen, die den Bus 302 umfassen. Übertragungsmedien können auch die Form von akustischen Wellen oder Lichtwellen annehmen, wie etwa jene, die bei Funkwellen- und Infrarotdatenkommunikation erzeugt werden.
In einer Ausführungsform sind verschiedene Formen von Medien am Transportieren von einer oder mehreren Sequenzen von einer oder mehreren Anweisungen an den Prozessor 304 zur Ausführung beteiligt. Zum Beispiel werden die Anweisungen zuerst auf einer Magnetplatte oder einem Solid-State-Laufwerk eines entfernt gelegenen Computers getragen. Der entfernt gelegene Computer lädt die Anweisungen in seinen dynamischen Speicher und sendet die Anweisungen unter Verwendung eines Modems über eine Telefonleitung. Ein am Computersystem 300 lokal vorhandenes Modem empfängt die Daten über die Telefonleitung und verwendet einen Infrarotsender, um die Daten in ein Infrarotsignal umzuwandeln. Ein Infrarotdetektor empfängt die in dem Infrarotsignal transportierten Daten, und eine entsprechende Schaltungsanordnung stellt die Daten auf den Bus 302. Der Bus 302 transportiert die Daten an den Hauptspeicher 306, aus dem der Prozessor 304 die Anweisungen abruft und ausführt. Die durch den Hauptspeicher 306 empfangenen Anweisungen können gegebenenfalls entweder vor oder nach dem Ausführen durch den Prozessor 304 auf der Speichervorrichtung 310 gespeichert werden.
Das Computersystem 300 enthält auch eine Kommunikationsschnittstelle 318, die mit dem Bus 302 gekoppelt ist. Die Kommunikationsschnittstelle 318 stellt eine bidirektionale Datenkommunikationskopplung mit einer Netzwerkverbindung 320 bereit, die mit einem lokalen Netzwerk 322 verbunden ist. Die Kommunikationsschnittstelle 318 ist zum Beispiel eine Integrated Services Digital Network(ISDN)-Karte, ein Kabelmodem, Satellitenmoden oder ein Modem zum Bereitstellen einer Datenkommunikationsverbindung mit einem entsprechenden Typ einer Telefonleitung. Als weiteres Beispiel ist die Kommunikationsschnittstelle 318 eine Karte eines lokalen Netzwerks (LAN), um eine Datenkommunikationsverbindung zu einem kompatiblen LAN bereitzustellen. Bei einigen Implementierungen sind auch drahtlose Verbindungen implementiert. Bei jeder derartigen Implementierung sendet und empfängt die Kommunikationsschnittstelle 318 elektrische, elektromagnetische oder optische Signale, die digitale Datenströme transportieren, die verschiedene Arten von Informationen darstellen.
Die Netzwerkverbindung 320 stellt typischerweise eine Datenkommunikation über ein oder mehrere Netzwerke zu anderen Datenvorrichtungen bereit. Zum Beispiel stellt die Netzwerkverbindung 320 eine Verbindung durch das lokale Netzwerk 322 zu einem Hostcomputer 324 oder zu einem Cloud-Rechenzentrum oder Geräten bereit, die durch einen Internetdienstanbieter (ISP) 326 betrieben werden. Der ISP 326 stellt wiederum Datenkommunikationsdienste über das weltweite paketorientierte Datenkommunikationsnetzwerk bereit, das jetzt allgemein als das „Internet“ 328 bezeichnet wird. Sowohl das lokale Netzwerk 322 als auch das Internet 328 verwenden elektrische, elektromagnetische oder optische Signale, die digitale Datenströme transportieren. Die Signale über die verschiedenen Netzwerke und die Signale auf der Netzwerkverbindung 320 und über die Kommunikationsschnittstelle 318, die die digitalen Daten an das und aus dem Computersystem 300 transportieren, sind Beispielformen von Übertragungsmedien. In einer Ausführungsform enthält das Netzwerk 320 die Cloud 202 oder einen Teil der oben beschriebenen Cloud 202.
Das Computersystem 300 sendet Nachrichten und empfängt Daten einschließlich Programmcode über das/die Netzwerk(e), die Netzwerkverbindung 320 und die Kommunikationsschnittstelle 318. In einer Ausführungsform empfängt das Computersystem 300 einen Code zum Verarbeiten. Der empfangene Code wird sofort beim Empfang durch den Prozessor 304 ausgeführt und/oder auf der Speichervorrichtung 310 oder einem anderen nichtflüchtigen Speicher zum späteren Ausführen gespeichert.
Architektur autonomer Fahrzeuge
4 ist ein Blockdiagramm, das eine Beispielarchitektur 400 für ein autonomes Fahrzeug (z. B. das in 1 gezeigte AF 100) gemäß einer oder mehreren Ausführungsformen veranschaulicht. Die Architektur 400 enthält ein Wahrnehmungsmodul 402 (mitunter als Wahrnehmungsschaltung bezeichnet), ein Planungsmodul 404 (mitunter als Planungsschaltung bezeichnet), ein Steuermodul 406 (mitunter als Steuerschaltung bezeichnet), ein Lokalisierungsmodul 408 (mitunter als Lokalisierungsschaltung bezeichnet) und ein Datenbankmodul 410 (mitunter als Datenbankschaltung bezeichnet). Jedes Modul spielt eine Rolle beim Betrieb des AF 100. Die Module 402, 404, 406, 408 und 410 können zusammen Bestandteil des in 1 gezeigten AF-Systems 120 sein. In einer Ausführungsform sind die Module 402, 404, 406, 408 und 410 eine Kombination aus Computersoftware (z. B. ausführbarer Code, der auf einem computerlesbaren Medium gespeichert ist) und Computerhardware (z. B. ein oder mehrere Mikroprozessoren, Mikrocontroller, anwendungsspezifische integrierte Schaltungen [ASICs], Hardware-Speichervorrichtungen, andere Arten von integrierten Schaltungen, andere Arten von Computerhardware oder eine Kombination von einem oder allen dieser Dinge).
Beim Betrieb empfängt das Planungsmodul 404 Daten, die einen Zielort 412 darstellen, und ermittelt Daten, die eine Bewegungsbahn 414 (mitunter auch als Route bezeichnet) darstellen, die durch das AF 100 gefahren werden kann, um den Zielort 412 zu erreichen (z. B. am Zielort anzukommen). Damit das Planungsmodul 404 die die Bewegungsbahn 414 repräsentierenden Daten ermitteln kann, empfängt das Planungsmodul 404 Daten aus dem Wahrnehmungsmodul 402, dem Lokalisierungsmodul 408 und dem Datenbankmodul 410.
Das Wahrnehmungsmodul 402 identifiziert nahegelegene physische Objekte mittels eines oder mehrerer Sensoren 121, z. B. wie ebenfalls in 1 gezeigt. Die Objekte werden klassifiziert (z. B. gruppiert in Arten wie Fußgänger, Fahrrad, Kraftfahrzeug, Verkehrszeichen usw.), und eine Szeneriebeschreibung einschließlich der klassifizierten Objekte 416 wird dem Planungsmodul 404 zur Verfügung gestellt.
Das Planungsmodul 404 empfängt auch Daten, die die AF-Position 418 repräsentieren, aus dem Lokalisierungsmodul 408. Das Lokalisierungsmodul 408 ermittelt die AF-Position unter Verwendung von Daten aus den Sensoren 121 und Daten aus dem Datenbankmodul 410 (z. B. geografische Daten), um eine Position zu berechnen. Zum Beispiel verwendet das Lokalisierungsmodul 408 Daten aus einer Globalen-Navigationssatellitensystem(GNSS)-Einheit und geografische Daten, um einen Längen- und Breitengrad des AF zu berechnen. In einer Ausführungsform beinhalten die durch das Lokalisierungsmodul 408 verwendeten Daten hochpräzise Karten der geometrischen Eigenschaften der Fahrbahn, Karten, die die Verbindungseigenschaften des Straßennetzes beschreiben, Karten, die die physischen Eigenschaften der Straßen beschreiben (wie z. B. die Verkehrsgeschwindigkeit, das Verkehrsaufkommen, die Anzahl der Fahrstreifen für den Auto- und Fahrradverkehr, die Fahrstreifenbreite, die Fahrstreifenrichtungen oder die Arten und Orte von Fahrstreifenmarkierungen oder Kombinationen davon), und Karten, die die räumliche Lage von Straßenmerkmalen wie Fußgängerüberwegen, Verkehrsschildern oder anderen Verkehrssignalen verschiedener Arten beschreiben.
Das Steuermodul 406 empfängt die Daten der Bewegungsbahn 414 und die Daten das AF-Position 418 und führt die Steuerfunktionen 420a-c (z. B. Lenken, Drosselklappenbetätigung, Bremsen, Zündung) des AF so aus, dass das AF 100 auf der Bewegungsbahn 414 bis zum Zielort 412 fährt. Falls zum Beispiel die Bewegungsbahn 414 eine Linkskurve enthält, führt das Steuermodul 406 die Steuerfunktionen 420a-c so aus, dass der Lenkwinkel der Lenkfunktion das AF 100 zum Linksabbiegen veranlasst und das Betätigen der Drosselklappe und Bremsen das AF 100 zum Anhalten und Warten auf passierende Fußgänger oder entgegenkommende Fahrzeuge veranlasst, bevor das Abbiegen durchgeführt wird.
Eingaben autonomer Fahrzeuge
5 ist ein Blockdiagramm, das ein Beispiel für die Eingaben 502a-d (z. B. Sensoren 121 in 1) und Ausgaben 504a-d (z. B. Sensordaten), die durch das Wahrnehmungsmodul 402 (4) verwendet werden, gemäß einem oder mehreren Ausführungsformen. Eine Eingabe 502a ist ein LiDAR(„Light Detection and Ranging“)-System (z. B. LiDAR 123 wie in 1 gezeigt). LiDAR ist eine Technologie, die Licht (z. B. Lichtblitze wie Infrarotlicht) verwendet, um Daten über physische Objekte in Sichtlinie zu erhalten. Ein LiDAR-System erzeugt LiDAR-Daten als Ausgabe 504a. LiDAR-Daten sind beispielsweise Sammlungen von 3D- oder 2D-Punkten (auch als Punktwolken bekannt), die zur Konstruktion einer Darstellung der Umgebung 190 verwendet werden.
Eine weitere Eingabe 502b ist ein RADAR-System. RADAR ist eine Technologie, die Funkwellen verwendet, um Daten über nahe gelegene physische Objekte zu erhalten. RADAR-Einrichtungen können Daten über Objekte erhalten, die sich nicht in Sichtlinie eines LiDAR-Systems befinden. Ein RADAR-System 502b erzeugt RADAR-Daten als Ausgabe 504b. Zum Beispiel sind RADAR-Daten ein oder mehrere elektromagnetische Hochfrequenzsignale, die zur Konstruktion einer Darstellung der Umgebung 190 verwendet werden.
Eine weitere Eingabe 502c ist ein Kamerasystem. Ein Kamerasystem verwendet eine oder die mehreren Kameras (z. B. Digitalkameras, die einen Lichtsensor, wie ein ladungsgekoppeltes Bauelement [CCD], verwenden), um Informationen über nahe gelegene physische Objekte zu erhalten. Ein Kamerasystem erzeugt Kameradaten als Ausgabe 504c. Kameradaten liegen häufig in Form von Bilddaten vor (z. B. Daten in einem Bilddatenformat wie RAW, JPEG, PNG usw.). In einigen Beispielen verfügt das Kamerasystem über mehrere unabhängige Kameras, z. B. zwecks Stereopsis (Stereosehen), wodurch das Kamerasystem in der Lage ist, die Tiefe wahrzunehmen. Obwohl die durch das Kamerasystem wahrgenommenen Objekte hier als „nah“ beschrieben werden, gilt dies relativ zum AF. Beim Betrieb kann das Kamerasystem dazu ausgelegt sein, weit entfernt gelegene Objekte zu „sehen“, z. B. bis zu einem Kilometer oder mehr vor dem AF. Dementsprechend kann das Kamerasystem über Merkmale wie Sensoren und Objektive verfügen, die für die Wahrnehmung weit entfernter Objekte optimiert sind.
Eine weitere Eingabe 502d ist ein Ampelerkennungs(AE)-System. Ein AE-System verwendet eine oder mehrere Kameras, um Informationen über Ampeln, Straßenschilder und andere physische Objekte zu erhalten, die visuelle Betriebsinformationen liefern. Ein AE-System erzeugt AE-Daten als Ausgabe 504d. AE-Daten liegen häufig in Form von Bilddaten vor (z. B. Daten in einem Bilddatenformat wie RAW, JPEG, PNG usw.). Ein AE-System unterscheidet sich von einem System mit einer Kamera dadurch, dass bei einem AE-System eine Kamera mit weitem Sichtfeld (z. B. mit einem Weitwinkelobjektiv oder einem Fischaugenobjektiv) verwendet wird, um Informationen über möglichst viele physische Objekte zu liefern, die visuelle Betriebsinformationen bereitstellen, sodass das AF 100 Zugriff auf alle relevanten Betriebsinformationen hat, die durch diese Objekte bereitgestellt werden. Beispielsweise könnte der Blickwinkel des AE-Systems ca. 120 Grad oder mehr betragen.
In einer Ausführungsform werden die Ausgaben 504a-d mittels einer Sensorfusionstechnik kombiniert. So werden entweder die einzelnen Ausgaben 504a-d anderen Systemen des AF 100 (z. B. einem Planungsmodul 404 wie in 4 dargestellt) zur Verfügung gestellt, oder die kombinierte Ausgabe kann den anderen Systemen entweder in Form einer einzelnen kombinierten Ausgabe oder mehrerer kombinierter Ausgaben derselben Art (z. B. unter Verwendung derselben Kombinationstechnik oder Kombination derselben Ausgaben oder beides) oder unterschiedlicher Arten (z. B. unter Verwendung jeweils unterschiedlicher Kombinationstechniken oder Kombination jeweils unterschiedlicher Ausgaben oder beides) zur Verfügung gestellt werden. In einer Ausführungsform wird eine frühzeitige Fusionstechnik verwendet. Eine frühzeitige Fusionstechnik zeichnet sich dadurch aus, dass die Ausgaben kombiniert werden, bevor ein oder mehrere Datenverarbeitungsschritte auf die kombinierte Ausgabe angewendet werden. In einer Ausführungsform wird eine späte Fusionstechnik verwendet. Eine späte Fusionstechnik zeichnet sich dadurch aus, dass die Ausgaben kombiniert werden, nachdem ein oder mehrere Datenverarbeitungsschritte auf die einzelnen Ausgaben angewendet wurden.
6 ist ein Blockdiagramm, das ein Beispiel für ein LiDAR-System 602 (z. B. die in 5 dargestellte Eingabe 502a) gemäß einer oder mehreren Ausführungsformen veranschaulicht. Das LiDAR-System 602 emittiert Licht 604a-c aus einem Lichtemitter 606 (z. B. einem Laseremitter). Das durch ein LiDAR-System emittierte Licht liegt in der Regel nicht im sichtbaren Spektrum; beispielsweise wird häufig Infrarotlicht verwendet. Ein Teil des emittierten Lichts 604b trifft auf ein physisches Objekt 608 (z. B. ein Fahrzeug) und wird zurück zum LiDAR-System 602 reflektiert. (Das durch ein LiDAR-System emittierte Licht durchdringt normalerweise keine physischen Objekte, z. B. physische Objekte in fester Form.) Das LiDAR-System 602 verfügt auch über einen oder mehrere Lichtdetektoren 610, die das reflektierte Licht detektieren. In einer Ausführungsform erzeugen ein oder mehrere dem LiDAR-System zugeordnete Datenverarbeitungssysteme ein Bild 612, das das Sichtfeld 614 des LiDAR-Systems darstellt. Das Bild 612 enthält Informationen, die die Begrenzungen 616 eines physischen Objekts 608 repräsentieren. Auf diese Weise wird das Bild 612 verwendet, um die Begrenzungen 616 eines oder mehrerer physischer Objekte in der Nähe eines AF zu ermitteln.
7 ist ein Blockdiagramm, das das LiDAR-System 602 im Betrieb gemäß einer oder mehreren Ausführungsformen veranschaulicht. In dem in dieser Figur dargestellten Szenario empfängt das AF 100 sowohl die Kamerasystemausgabe 504c in Form eines Bildes 702 als auch die LiDAR-Systemausgabe 504a in Form von LiDAR-Datenpunkten 704. Beim Betrieb vergleicht das Datenverarbeitungssystem des AF 100 das Bild 702 mit den Datenpunkten 704. Insbesondere wird ein im Bild 702 identifiziertes physisches Objekt 706 ebenfalls unter den Datenpunkten 704 identifiziert. Auf diese Weise nimmt das AF 100 die Begrenzungen des physischen Objekts anhand der Kontur und Dichte der Datenpunkte 704 wahr.
8 ist ein Blockdiagramm, das den Betrieb des LiDAR-Systems 602 in zusätzlicher Detaillierung gemäß einer oder mehreren Ausführungsformen veranschaulicht. Wie oben beschrieben, erkennt das AF 100 die Begrenzung eines physischen Objekts anhand der Eigenschaften der durch das LiDAR-System 602 erfassten Datenpunkte. Wie in 8 gezeigt, reflektiert ein ebenes Objekt, wie z. B. der Boden 802, das durch ein LiDAR-System 602 emittierte Licht 804a-d auf konsistente Weise. Anders ausgedrückt, da das LiDAR-System 602 Licht in gleichmäßigen Abständen emittiert, reflektiert der Boden 802 das Licht mit dem gleichen konsistenten Abstand zum LiDAR-System 602 zurück. Während sich das AF 100 über den Boden 802 bewegt, erkennt das LiDAR-System 602 weiterhin das durch den nächsten gültigen Bodenpunkt 806 reflektierte Licht, falls nichts die Straße versperrt. Falls jedoch ein Objekt 808 die Straße versperrt, wird das durch das LiDAR-System 602 emittierte Licht 804e-f von den Punkten 810a-b in einer Weise reflektiert, die nicht mit der erwarteten Gleichmäßigkeit übereinstimmt. Aus diesen Informationen kann das AF 100 ermitteln, dass das Objekt 808 vorhanden ist.
Wegplanung
9 ist ein Blockdiagramm 900, das die Zusammenhänge zwischen Eingaben und Ausgaben eines Planungsmoduls 404 (z. B. wie in 4 dargestellt) gemäß einer oder mehreren Ausführungsformen veranschaulicht. Allgemein ist die Ausgabe eines Planungsmoduls 404 eine Route 902 aus einem Startpunkt 904 (z. B. Quellenort oder Anfangsort) und einem Endpunkt 906 (z. B. Ziel- oder Endort). Die Route 902 ist in der Regel durch ein oder mehrere Segmente definiert. Ein Segment ist zum Beispiel eine Entfernung, die mindestens über einen Abschnitt einer Straße, einer Landstraße, einer Autobahn, einer Einfahrt oder eines anderen für den Autoverkehr geeigneten physischen Bereichs zurückzulegen ist. In einigen Beispielen, z. B. falls das AF 100 ein geländegängiges Fahrzeug wie z. B. ein vierradgetriebener (4WD) oder allradgetriebener (AWD) PKW, SUV, Lieferwagen oder dergleichen ist, umfasst die Route 902 „geländegängige“ Segmente wie unbefestigte Wege oder offene Felder.
Zusätzlich zur Route 902 gibt ein Planungsmodul auch Routenplanungsdaten auf Fahrstreifenebene 908 aus. Die Routenplanungsdaten auf Fahrstreifenebene 908 werden verwendet, um Segmente der Route 902 basierend auf den Bedingungen des Segments zu einem bestimmten Zeitpunkt zu durchfahren. Falls die Route 902 beispielsweise eine Autobahn mit mehreren Fahrstreifen umfasst, enthalten die Routenplanungsdaten auf Fahrstreifenebene 908 die Bewegungsbahnplanungsdaten 910, die das AF 100 verwenden kann, um einen Fahrstreifen unter den mehreren Fahrstreifen auszuwählen, z. B. in Abhängigkeit davon, ob sich eine Ausfahrt nähert, ob eine oder mehrere der Fahrstreifen andere Fahrzeuge aufweisen oder aufgrund anderer Faktoren, die im Laufe weniger Minuten oder weniger variieren. In ähnlicher Weise enthalten bei einigen Implementierungen die Routenplanungsdaten auf Fahrstreifenebene 908 auch Geschwindigkeitsrandbedingungen 912, die spezifisch für ein Segment der Route 902 gelten. Falls das Segment zum Beispiel Fußgänger oder unerwarteten Verkehr enthält, können die Geschwindigkeitsrandbedingungen 912 das AF 100 auf eine Fahrgeschwindigkeit beschränken, die langsamer als eine erwartete Geschwindigkeit ist, z. B. eine Geschwindigkeit, die auf den Geschwindigkeitsbegrenzungsdaten für das Segment basiert.
In einer Ausführungsform umfassen die Eingaben an das Planungsmodul 404 auch die Datenbankdaten 914 (z. B. aus dem in 4 dargestellten Datenbankmodul 410), die aktuellen Standortdaten 916 (z. B. die in 4 dargestellte AF-Position 418), die Zielortdaten 918 (z. B. für den in 4 dargestellten Zielort 412) und die Objektdaten 920 (z. B. die klassifizierten Objekte 416, die durch das Wahrnehmungsmodul 402 wahrgenommen werden, wie in 4 gezeigt). In einer Ausführungsform enthalten die Datenbankdaten 914 Regeln, die bei der Planung verwendet werden. Regeln werden durch eine formale Sprache spezifiziert, z. B. durch boolesche Logik. In jeder Situation, in der sich das AF 100 befindet, sind mindestens einige der Regeln auf die Situation anwendbar. Eine Regel gilt für eine gegebene Situation, falls die Regel Bedingungen enthält, die basierend auf den dem AF 100 zur Verfügung stehenden Informationen, z. B. Informationen über die Umgebung, erfüllt sind. Regeln können eine Priorität aufweisen. Beispielsweise kann eine Regel, die besagt: „Falls die Straße eine Autobahn ist, auf den äußerst linken Fahrstreifen wechseln“, eine niedrigere Priorität als „Falls die Ausfahrt sich innerhalb von 2 Kilometern nähert, auf den äußerst rechten Fahrstreifen wechseln“ aufweisen.
10 veranschaulicht einen gerichteten Graphen 1000, der bei der Wegplanung z. B. durch das Planungsmodul 404 (4) gemäß einer oder mehrerer Ausführungsformen verwendet wird. Allgemein wird ein gerichteter Graph 1000 wie der in 10 gezeigte verwendet, um einen Weg zwischen einem beliebigen Startpunkt 1002 und Endpunkt 1004 zu ermitteln. In der Praxis kann die Entfernung zwischen dem Startpunkt 1002 und dem Endpunkt 1004 relativ groß (z. B. in zwei verschiedenen Ballungsgebieten) oder relativ klein (z. B. zwei Einmündungen, die an einen Stadtblock angrenzen oder zwei Fahrstreifen einer Straße mit mehreren Fahrstreifen) sein.
In einer Ausführungsform hat der gerichtete Graph 1000 Knoten 1006a-d, die verschiedene Orte zwischen dem Startpunkt 1002 und dem Endpunkt 1004 darstellen, die durch ein AF 100 belegt werden könnten. In einigen Beispielen, z. B. wenn der Startpunkt 1002 und der Endpunkt 1004 verschiedene Ballungsräume darstellen, stellen die Knoten 1006a-d Straßensegmente dar. In einigen Beispielen, z. B. wenn der Startpunkt 1002 und der Endpunkt 1004 verschiedene Orte auf derselben Straße darstellen, stellen die Knoten 1006a-d verschiedene Positionen auf dieser Straße dar. Auf diese Weise enthält der gerichtete Graph 1000 Informationen in unterschiedlicher Granularität. In einer Ausführungsform ist ein gerichteter Graph mit hoher Granularität auch ein Teilgraph eines anderen gerichteten Graphen mit einem größeren Maßstab. Zum Beispiel hat ein gerichteter Graph, bei dem der Startpunkt 1002 und der Endpunkt 1004 weit entfernt sind (z. B. viele Kilometer auseinander liegend), die meisten seiner Informationen in einer niedrigen Granularität und basiert auf gespeicherten Daten, enthält aber auch einige Informationen mit hoher Granularität für den Abschnitt des Graphen, der physische Orte im Sichtfeld des AF 100 darstellt.
Die Knoten 1006a-d unterscheiden sich von Objekten 1008a-b, die sich nicht mit einem Knoten überlappen können. In einer Ausführungsform, wenn die Granularität gering ist, stellen die Objekte 1008a-b Regionen dar, die nicht mit dem Auto befahren werden können, z. B. Gebiete, die keine Straßen oder Wege aufweisen. Bei hoher Granularität stellen die Objekte 1008a-b physische Objekte im Sichtfeld des AF 100 dar, z. B. andere Kraftfahrzeuge, Fußgänger oder andere Objekte, mit denen das AF 100 den physischen Raum nicht teilen kann. In einer Ausführungsform sind einige oder alle der Objekte 1008a-b statische Objekte (z. B. ein Objekt, das seine Position nicht ändert, wie eine Straßenlampe oder ein Strommast) oder dynamische Objekte (z. B. ein Objekt, das seine Position ändern kann, wie ein Fußgänger oder ein anderes Kraftfahrzeug).
Die Knoten 1006a-d sind durch die Kanten 1010a-c verbunden. Falls zwei Knoten 1006a-b durch eine Kante 1010a verbunden sind, ist es möglich, dass ein AF 100 zwischen dem einen Knoten 1006a und dem anderen Knoten 1006b fahren kann, z. B. ohne zu einem Zwischenknoten fahren zu müssen, bevor es am anderen Knoten 1006b ankommt. (Wenn wir von einem zwischen Knoten fahrenden AF 100 sprechen, meinen wir, dass sich das AF 100 zwischen den beiden physischen Positionen bewegt, die durch die jeweiligen Knoten dargestellt werden.) Die Kanten 1010a-c sind oft bidirektional, in dem Sinne, dass ein AF 100 von einem ersten Knoten zu einem zweiten Knoten oder vom zweiten Knoten zum ersten Knoten fährt. In einer Ausführungsform sind die Kanten 1010a-c unidirektional, in dem Sinne, dass ein AF 100 von einem ersten Knoten zu einem zweiten Knoten fahren kann, das AF 100 jedoch nicht vom zweiten Knoten zum ersten Knoten fahren kann. Die Kanten 1010a-c sind unidirektional, wenn sie z. B. Einbahnstraßen, einzelne Fahrstreifen einer Straße, eines Weges oder einer Landstraße oder andere Merkmale darstellen, die aufgrund rechtlicher oder physischer Randbedingungen nur in einer Richtung befahren werden können.
In einer Ausführungsform verwendet das Planungsmodul 404 den gerichteten Graphen 1000 zum Identifizieren eines Weges 1012, der aus Knoten und Kanten zwischen dem Startpunkt 1002 und dem Endpunkt 1004 besteht.
Eine Kante 1010a-c ist einem Aufwand 1014a-b zugeordnet. Der Kostenwert 1014a-b ist ein Wert, der die Ressourcen darstellt, die aufgewendet werden, falls das AF 100 diese Kante auswählt. Eine typische Ressource ist die Zeit. Falls zum Beispiel eine Kante 1010a eine physische Entfernung darstellt, die doppelt so groß wie die einer anderen Kante 1010b ist, kann der zugeordnete Kostenwert 1014a der ersten Kante 1010a doppelt so groß wie der zugeordnete Kostenwert 1014b der zweiten Kante 1010b sein. Andere Faktoren, die sich auf die Zeit auswirken, sind der erwartete Verkehr, die Anzahl der Einmündungen, Geschwindigkeitsrandbedingungen usw. Eine weitere typische Ressource ist der Kraftstoffverbrauch. Zwei Kanten 1010a-b können die gleiche physische Entfernung darstellen, aber eine Kante 1010a kann mehr Kraftstoff als eine andere Kante 1010b erfordern, z. B. aufgrund von Straßenbedingungen, voraussichtlichem Wetter usw.
Wenn das Planungsmodul 404 einen Weg 1012 zwischen dem Startpunkt 1002 und dem Endpunkt 1004 identifiziert, wählt das Planungsmodul 404 in der Regel einen Weg mit optimiertem Kostenwert, z. B. den Weg mit dem geringsten Gesamtkostenwert, wenn die einzelnen Kostenwerte der Kanten addiert werden.
Steuerung autonomer Fahrzeuge
11 ist ein Blockdiagramm 1100, das die Eingaben und Ausgaben eines Steuermoduls 406 (z. B. wie in 4 dargestellt) gemäß einer oder mehreren Ausführungsformen veranschaulicht. Ein Steuermodul arbeitet gemäß einer Steuervorrichtung 1102, die z. B. einen oder mehrere Prozessoren (z. B. einen oder mehrere Computerprozessoren wie Mikroprozessoren oder Mikrocontroller oder beides) ähnlich dem Prozessor 304, einen Kurzzeit- und/oder Langzeitdatenspeicher (z. B. Direktzugriffsspeicher oder Flashspeicher oder beides) ähnlich dem Hauptspeicher 306, ROM 1308 und Speichervorrichtung 210 und im Speicher gespeicherte Anweisungen enthält, die Operationen der Steuervorrichtung 1102 durchführen, wenn die Anweisungen ausgeführt werden (z. B. durch den einen oder die mehreren Prozessoren).
In einer Ausführungsform empfängt die Steuervorrichtung 1102 Daten, die eine gewünschte Ausgabe 1104 darstellen. Die gewünschte Ausgabe 1104 umfasst in der Regel eine Geschwindigkeit und eine Fahrtrichtung. Die gewünschte Ausgabe 1104 kann zum Beispiel auf Daten basieren, die aus einem Planungsmodul 404 empfangen werden (z. B. wie in 4 gezeigt). Die Steuervorrichtung 1102 erzeugt gemäß der gewünschten Ausgabe 1104 Daten, die als Drosselklappeneingabe 1106 und als Lenkeingabe 1108 verwendet werden können. Die Drosselklappeneingabe 1106 stellt die Größe dar, in der die Drosselklappe (z. B. Beschleunigungssteuerung) eines AF 100 zu betätigen ist, z. B. durch Betätigen des Lenkpedals oder durch Betätigen einer anderen Drosselklappensteuerung, um die gewünschte Ausgabe 1104 zu erreichen. In einigen Beispielen umfasst die Drosselklappeneingabe 1106 auch Daten, die zum Betätigen der Bremse (z. B. Verlangsamungssteuerung) des AF 100 verwendet werden können. Die Lenkeingabe 1108 stellt einen Lenkwinkel dar, z. B. den Winkel, in dem die Lenksteuerung (z. B. Lenkrad, Lenkwinkelsteller oder eine andere Funktion zur Steuerung des Lenkwinkels) des AF positioniert werden sollte, um die gewünschte Ausgabe 1104 zu erreichen.
In einer Ausführungsform empfängt die Steuervorrichtung 1102 eine Rückmeldung, die bei der Anpassung der für die Drosselklappe und Lenkung bereitgestellten Eingaben verwendet wird. Falls beispielsweise das AF 100 auf eine Störung 1110 wie z. B. einen Hügel trifft, wird die gemessene Geschwindigkeit 1112 des AF 100 unter die gewünschte Ausgabegeschwindigkeit abgesenkt. In einer Ausführungsform wird der Steuervorrichtung 1102 eine Messwertausgabe 1114 zur Verfügung gestellt, sodass die nötigen Anpassungen, z. B. basierend auf der Differenz 1113 zwischen der gemessenen Geschwindigkeit und der gewünschten Ausgabe, durchgeführt werden. Die gemessene Ausgabe 1114 umfasst die gemessene Position 1116, die gemessene Geschwindigkeit 1118 (einschließlich Drehzahl und Fahrtrichtung), die gemessene Beschleunigung 1120 und andere durch Sensoren des AF 100 messbare Ausgaben.
In einer Ausführungsform werden Informationen über die Störung 1110 im Voraus erkannt, z. B. durch einen Sensor wie eine Kamera oder einen LiDAR-Sensor, und einem vorausschauenden Rückmeldemodul 1122 zur Verfügung gestellt. Das vorausschauende Rückmeldemodul 1122 liefert dann Informationen an die Steuervorrichtung 1102, die die Steuervorrichtung 1102 zur entsprechenden Anpassung verwenden kann. Falls zum Beispiel die Sensoren des AF 100 einen Hügel erkennen („sehen“), können diese Informationen durch die Steuervorrichtung 1102 genutzt werden, um sich darauf vorzubereiten, die Drosselklappe zum geeigneten Zeitpunkt zu betätigen, um eine wesentliche Verlangsamung zu vermeiden.
12 ist ein Blockdiagramm 1200, das Eingaben, Ausgaben und Komponenten einer Steuervorrichtung 1102 gemäß einer oder mehreren Ausführungsformen veranschaulicht. Die Steuervorrichtung 1102 weist einen Geschwindigkeitsprofilersteller 1202 auf, der den Betrieb einer Drosselklappen-/Bremssteuervorrichtung 1204 beeinflusst. Beispielsweise weist der Geschwindigkeitsprofilersteller 1202 die Drosselklappen-/Bremssteuervorrichtung 1204 an, eine Beschleunigung oder Verlangsamung unter Verwendung der Drosselklappe/Bremse 1206 einzuleiten, abhängig z. B. von der Rückmeldung, die durch die Steuervorrichtung 1102 empfangen und durch den Geschwindigkeitsprofilersteller 1202 verarbeitet wird.
Die Steuervorrichtung 1102 weist auch eine Seitenführungssteuervorrichtung 1208 auf, die den Betrieb einer Lenksteuervorrichtung 1210 beeinflusst. Zum Beispiel weist die Seitenführungssteuervorrichtung 1208 die Lenksteuervorrichtung 1204 an, die Position des Lenkwinkelstellers 1212 abhängig von z. B. der Rückmeldung anzupassen, die durch die Steuervorrichtung 1102 empfangen und durch die Seitenführungssteuervorrichtung 1208 verarbeitet wird.
Die Steuervorrichtung 1102 empfängt mehrere Eingaben, mit denen ermittelt wird, wie die Drosselklappe/Bremse 1206 und der Lenkwinkelsteller 1212 gesteuert werden sollen. Ein Planungsmodul 404 liefert Informationen, die durch die Steuervorrichtung 1102 verwendet werden, um z. B. eine Bewegungsrichtung zu wählen, wenn das AF 100 den Betrieb aufnimmt, und um zu ermitteln, welches Straßensegment befahren werden soll, wenn das AF 100 eine Kreuzung erreicht. Ein Lokalisierungsmodul 408 liefert der Steuervorrichtung 1102 Informationen, die zum Beispiel den aktuellen Standort des AF 100 beschreiben, sodass die Steuervorrichtung 1102 ermitteln kann, ob sich das AF 100 an einem Ort befindet, der basierend auf der Art und Weise, in der die Drosselklappe/Bremse 1206 und der Lenkwinkelsteller 1212 gesteuert werden, erwartet wird. In einer Ausführungsform empfängt die Steuervorrichtung 1102 Informationen aus anderen Eingaben 1214, z. B. Informationen, die aus Datenbanken, Computernetzwerken usw. empfangen werden.
Fahrzeugbetrieb unter Verwendung von Verhaltensregelprüfungen
13A veranschaulicht ein Beispielszenario für den Betrieb des AF 100 mittels Verhaltensregelprüfungen gemäß einer oder mehreren Ausführungsformen. Das AF 100 wird mit Bezug auf 1 veranschaulicht und ausführlicher beschrieben. Das AF 100 fährt in einer Umgebung 190, die mit Bezug auf 1 veranschaulicht und ausführlicher beschrieben wird. In dem in 13A dargestellten Beispielszenario fährt das AF 100 auf dem Fahrstreifen 1316, der ein Einbahnfahrstreifen ist. Die Umgebung 190 weist einen weiteren Fahrstreifen 1320 auf, der an den Fahrstreifen 1316 angrenzt und in entgegengesetzter Fahrtrichtung verläuft. Auf dem Fahrstreifen 1320 fährt ein weiteres Fahrzeug 193. Das Fahrzeug 193 wird mit Bezug auf 1 veranschaulicht und ausführlicher beschrieben. Eine Doppellinie 1312 trennt den Fahrstreifen 1316 von dem Fahrstreifen 1320. Es besteht jedoch kein physischer Fahrbahnteiler oder Mittelstreifen, der den Fahrstreifen 1316 von dem Fahrstreifen 1320 trennt. Die Verkehrsregeln in der Umgebung 190 verbieten es einem Fahrzeug, die Doppellinie 1312 zu überqueren oder die Höchstgeschwindigkeit von 45 Meilen pro Stunde zu überschreiten, um Kollisionen zu vermeiden.
Es besteht eine Straßensperre 1308 wegen eines Zwischenfalls auf dem Fahrstreifen 1316 vor dem AF 100 auf dem Fahrstreifen des AF 100. Ein Fahrzeug 1304 hat entweder eine Panne oder einen Zusammenstoß auf dem Fahrstreifen 1316 erlitten, weswegen die Straßensperre 1308 besteht. Das AF 100 fährt auf dem Fahrstreifen 1316 in Richtung des Zielorts 199 (ebenfalls auf dem Fahrstreifen 1316). Der Zielort 199 wird mit Bezug auf 1 veranschaulicht und ausführlicher beschrieben. Die Straßensperre 1308 und das Fahrzeug 1304 sind Beispiele für die klassifizierten Objekte 416, die mit Bezug auf 4 veranschaulicht und ausführlicher beschrieben werden. Das AF 100 verwendet sein Wahrnehmungsmodul 402, um nahegelegene physische Objekte 1308, 1304 mittels eines oder mehrerer Sensoren 121, z. B. wie ebenfalls in 1 gezeigt, zu identifizieren. Das Wahrnehmungsmodul 402 wird mit Bezug auf 4 dargestellt und ausführlicher beschrieben. Die Objekte 1304, 1308, werden klassifiziert (z. B. gruppiert in Arten wie Kraftfahrzeug, Straßensperre, Leitkegel usw.), und eine Szenariobeschreibung einschließlich der klassifizierten Objekte 1304, 1308 wird dem Planungsmodul (oder der „Planungsschaltung“) 404 zur Verfügung gestellt. Die Planungsschaltung 404 wird mit Bezug auf 1 dargestellt und ausführlicher beschrieben.
Das AF 100 bestimmt, dass der Fahrstreifen 1316 durch die Objekte 1304, 1308 blockiert ist. Wie mit Bezug auf 8 dargestellt und näher beschrieben, erkennt das AF 100 die Begrenzungen der Objekte 1304, 1308 basierend auf Merkmalen von Datenpunkten (erste Sensordaten), die durch die Sensoren 121 erfasst werden. Wie in 8 gezeigt, reflektiert ein ebenes Objekt, wie z. B. der Fahrstreifen 1316, gleichmäßig das durch ein LiDAR-System 602 emittierte Licht 804a-d. Das LiDAR-System 602 wird mit Bezug auf 6 dargestellt und ausführlicher beschrieben. Anders ausgedrückt, da das LiDAR-System 602 Licht in gleichmäßigen Abständen emittiert, reflektiert der Fahrstreifen 1316 das Licht mit dem gleichen konsistenten Abstand zum LiDAR-System 602 zurück. Während sich das AF 100 über den Fahrstreifen 1316 bewegt, erkennt das LiDAR-System 602 weiterhin das durch den nächsten gültigen Bodenpunkt reflektierte Licht, falls nichts den Fahrstreifen 1316 versperrt. Falls jedoch die Objekte 1304, 1308 den Fahrstreifen 1316 versperren, wird das durch das LiDAR-System 602 emittierte Licht 804e-f von den Punkten 810a-b in einer Weise reflektiert, die nicht mit der erwarteten Gleichmäßigkeit übereinstimmt. Aus diesen Informationen kann das AF 100 ermitteln, dass die Objekte 1304, 1308 vorhanden sind.
Um den Zielort 199 zu erreichen, erzeugt die Planungsschaltung 404 des AF 100 die Bewegungsbahn 198. Die Bewegungsbahn 198 wird mit Bezug auf 1 veranschaulicht und ausführlicher beschrieben. Der Betrieb des AF 100 gemäß der Bewegungsbahn 198 veranlasst das AF 100, gegen eine Verkehrsregel zu verstoßen und die Doppellinie 1312 zu überqueren, um die Objekte 1304, 1308 zu umfahren, sodass das AF 100 seinen Zielort 199 erreichen kann. Die Bewegungsbahn 198 veranlasst das AF 100, die Doppellinie 1312 zu überqueren und in den Fahrstreifen 1320 auf dem Weg des Fahrzeugs 193 einzufahren. Das AF 100 verwendet einen hierarchischen Satz von Betriebsregeln, um eine Rückmeldung über die Fahrleistung des AF 100 zu geben. Der hierarchische Satz von Regeln wird mitunter auch als gespeichertes Verhaltensmodell oder als Regelwerk bezeichnet. In einigen Ausführungsformen erfolgt die Rückmeldung nach dem Prinzip „bestanden/nicht bestanden“. Die hier offenbarten Ausführungsformen sind so konzipiert, dass sie erkennen, wenn das AF 100 (z. B. die Planungsschaltung 404) eine Bewegungsbahn 198 erzeugt, die gegen eine Verhaltensregel höherer Priorität verstößt, obwohl das AF 100 eine alternative Bewegungsbahn hätte erzeugen können, die nur eine Verhaltensregel niedrigerer Priorität verletzt hätte. Das Auftreten einer solchen Erkennung bedeutet ein Scheitern des Bewegungsplanungsprozesses. Ein Beispiel für einen hierarchischen Satz von Regeln 1352 wird mit Bezug auf 13B veranschaulicht und ausführlicher beschrieben.
Zum Erzeugen der Bewegungsbahn 198 wird mindestens ein Prozessor verwendet. In einer ersten Ausführungsform befindet sich der mindestens eine Prozessor in einer Planungsschaltung 404 des AF 100. Der mindestens eine Prozessor ist zum Beispiel der Prozessor 146, der mit Bezug auf 1 dargestellt und näher beschrieben ist. So empfängt der mindestens eine Prozessor (Prozessor 146 auf AF 100) die ersten Sensordaten und die zweiten Sensordaten während des Betriebs des AF 100. In der ersten Ausführungsform wird der regelbasierte Steuerungsansatz auf dem AF 100 zur Echtzeitbewertung als Bewegungsbahnprüfer oder als regelbasierte Planungs-/Steuerungsvorrichtung ausgeführt. Im Online-Rahmenwerk verwendet das AF beispielsweise einen hierarchischen Satz von Betriebsregeln, um iterativ während des Betriebs des AF (z. B. wenn das AF die Doppellinie überquert) Rückmeldungen über die Fahrleistung des AF 100 zu geben. Konkret aktiviert und deaktiviert das Online-Rahmenwerk Regeln in Abhängigkeit von der lokalen Erfassung relevanter Verkehrsteilnehmer oder Merkmale (z. B. geparkte Autos, Fußgänger, Straßenbegrenzungen).
In einer zweiten Ausführungsform befindet sich der mindestens eine Prozessor auf einer Computervorrichtung außerhalb des AF 100. Die Computervorrichtung ist zum Beispiel der Server 136, der mit Bezug auf 1 dargestellt und näher beschrieben ist. In der zweiten Ausführungsform empfängt der mindestens eine Prozessor (des Servers 136) die ersten Sensordaten und die zweiten Sensordaten nach dem Betrieb des AF 100. Da Regelwerke szenario- und technologieunabhängig sind, kann ein und dasselbe Regelwerk für verschiedene Szenarien und Stackversionen verwendet werden, um die Planungsschaltung 404 im Nachhinein zu ändern und zu verbessern. In Beispielen ist das Offline-Rahmenwerk dazu ausgelegt, eine transparente und reproduzierbare regelbasierte Bestanden/Nichtbestanden-Bewertung von AF-Bewegungsbahnen in Testszenarien zu entwickeln. In einem Offline-Rahmenwerk wird beispielsweise eine durch die Planungsschaltung 404 ausgegebene Bewegungsbahn abgelehnt, falls eine Bewegungsbahn gefunden wird, die zu einem geringeren Verstoß gegen die Struktur der Regelprioritäten führt. Die Planungsschaltung wird mindestens teilweise basierend auf der abgelehnten Bewegungsbahn und den mit der abgelehnten Bewegungsbahn verknüpften Daten geändert und verbessert.
Die Bewegungsbahn 198 wird basierend auf ersten Sensordaten aus einem ersten Satz von Sensoren (z. B. Sensoren 121) des AF 100 und zweiten Sensordaten aus einem zweiten Satz von Sensoren (z. B. Sensoren 122) des AF 100 erzeugt. In Ausführungsformen repräsentieren die ersten Sensordaten den Betrieb des AF 100, und die zweiten Sensordaten repräsentieren die in der Umgebung 190 befindlichen Objekte 1304, 1308. Im Beispiel von 1 weist der erste Satz von Sensoren 121 mindestens eines von einem Beschleunigungsmesser, einem Lenkradwinkelsensor, einem Radsensor oder einem Bremssensor auf. Die ersten Sensordaten weisen mindestens eines von einer Geschwindigkeit des AF 100, einer Beschleunigung des AF 100, einem Kurs des AF 100, einer Winkelgeschwindigkeit des AF 100 oder einem Drehmoment des AF 100 auf. In einer Ausführungsform umfasst der zweite Satz von Sensoren mindestens einen LiDAR, ein RADAR, eine Kamera oder ein Mikrofon, einen Infrarotsensor, einen SONAR-Sensor (Sound Navigation and Ranging) und dergleichen. Im Beispiel von 1 weisen die zweiten Sensordaten mindestens eines von einem Bild eines Objekts (z. B. des Fahrzeugs 193), einer Geschwindigkeit des Fahrzeugs 193, einer Beschleunigung des Fahrzeugs 193 oder einem seitlichen Abstand zwischen dem Fahrzeug 193 und dem AF 100 auf. Der Einfachheit halber werden bestimmte Sensoren des ersten und des zweiten Satzes von Sensoren beschrieben. Die vorliegenden Techniken können jedoch mithilfe von Sensoren implementiert werden, die Informationen im Zusammenhang mit dem AF, den Objekten, der Umgebung oder beliebige Kombinationen davon erfassen. Allgemein handelt es sich bei dem ersten Satz von Sensoren um dynamische Sensoren, die dynamische Daten erfassen. Zu den dynamischen Daten gehören beispielsweise Zentrifugalkräfte, Schwerkraft, Geschwindigkeit und dergleichen. Allgemein handelt es sich bei dem zweiten Satz von Sensoren um kinematische Sensoren, die kinematische Daten erfassen. In Beispielen beschreiben kinematische Daten die Bewegung eines Objekts relativ zum AF. Zu den kinematischen Daten gehören zum Beispiel ein Bild des mindestens einen Objekts, eine Geschwindigkeit des mindestens einen Objekts, eine Beschleunigung des mindestens einen Objekts, ein seitlicher Abstand zwischen dem mindestens einen Objekt und dem Fahrzeug, ein Längsabstand zwischen dem mindestens einen Objekt und dem Fahrzeug, der Ruck eines Objekts und dergleichen. In einigen Beispielen handelt es sich bei den durch den ersten Satz von Sensoren oder den zweiten Satz von Sensoren erfassten Daten um eine zeitliche Ableitung oder um die Änderungsrate des Wertes einer Funktion.
In einer Ausführungsform empfängt der Prozessor 146 laufend oder periodisch die ersten Sensordaten aus dem ersten Satz von Sensoren 121 des AF 100 und die zweiten Sensordaten aus dem zweiten Satz von Sensoren 122 des AF 100. Die ersten Sensordaten und die zweiten Sensordaten repräsentieren somit das jeweilige Szenario (13A), in dem das AF 100 arbeitet. In einem Beispiel wird das jeweilige Szenario verwendet, um die in einem Online-Rahmenwerk aktivierten Regeln zu bestimmen. In einer Ausführungsform bestimmt der Prozessor 146, dass die Bewegungsbahn 198 gegen eine erste Verhaltensregel des hierarchischen Satzes von Betriebsregeln des AF 100 verstößt. Der Prozessor 146 bestimmt basierend auf den ersten Sensordaten und den zweiten Sensordaten, dass die Bewegungsbahn 198 gegen die erste Verhaltensregel (Überqueren der Doppellinie 1312 bei Verkehr - Fahrzeug 193 - auf dem Fahrstreifen 1320) verstößt. Die erste Verhaltensregel besagt beispielsweise, dass das AF 100 die Doppellinie 1312 nicht überqueren darf, wenn Verkehr herrscht, um Kollisionen zu vermeiden. (Alternativ, falls die verwendete Bewegungsbahn 198 gegen keine Verhaltensregeln verstößt, bestehen die Planungsschaltung 404 und das AF-System 120 den Prozess der Verhaltensprüfung)
Verstöße gegen den hierarchischen Satz von Betriebsregeln des AF 100 werden in Bezug auf ein oder mehrere Objekte (z. B. Objekte 1304, 1308 und Fahrzeug 193) in der Umgebung 190 bestimmt. So werden beispielsweise Kriterien definiert, um eine Bewegungsbahn 198 als potenziell fehlerhaft zu kennzeichnen. Ein einfaches Kriterium ist der Verstoß gegen eine einzelne Verhaltensregel, aber auch andere Formulierungen sind möglich. Wenn beispielsweise eine Bewegungsbahn 198 (z. B. eine potenzielle Bewegungsbahn, eine tatsächliche Bewegungsbahn oder eine andere Bewegungsbahn) durch die Planungsschaltung 404 des AF 100 erzeugt wird, bieten die hier beschriebenen Ausführungsformen eine Rückmeldung über die Bewegungsbahn 198 in Bezug auf die Priorität der Regeln, gegen die verstoßen wird. In Beispielen aktualisiert das Online-Rahmenwerk die Bewegungsbahn iterativ, während sich das AF durch eine Umgebung 190 bewegt. In diesem Beispiel ist die gegebene Bewegungsbahn ein Teil oder eine Untermenge einer größeren Bewegungsbahn.
In einer Ausführungsform bestimmt der Prozessor basierend auf den zweiten Sensordaten den Weg eines sich bewegenden Objekts (z. B. des Fahrzeugs 193). Während sich das Fahrzeug 193 bewegt, bestimmt der Prozessor beispielsweise einen geometrischen Weg, der durch aufeinanderfolgende Positionen eines Endes eines Positionsvektors des Fahrzeugs 193 über die Zeit gebildet wird. Der Prozessor kann die Koordinaten x, y und z des als Funktion der Zeit geschriebenen Positionsvektors angeben, z. B. x(t), y(t) und z(t), um die zeitliche Entwicklung der Position des Fahrzeugs 193, d. h. den Weg des Fahrzeugs 193, darzustellen. Der Prozessor bestimmt anhand des Weges des Fahrzeugs 193, dass die erste Bewegungsbahn 198 gegen die erste Verhaltensregel verstößt. Falls zum Beispiel Punkte auf der Bewegungsbahn 198 weniger als einen Schwellenabstand von Punkten auf dem Weg entfernt sind, kann gegen die erste Verhaltensregel verstoßen werden.
Die erste Verhaltensregel, d. h. die Regel, gegen die die Bewegungsbahn 198 verstößt, hat oberste Priorität. In einer Ausführungsform hat jede Verhaltensregel des hierarchischen Regelsatzes eine entsprechende Priorität in Bezug auf jede andere Verhaltensregel des hierarchischen Regelsatzes. Die jeweilige Priorität repräsentiert eine Risikostufe des Verstoßes gegen die einzelnen Verhaltensregeln in Bezug auf die anderen Verhaltensregeln. Der mindestens eine Prozessor erzeugt basierend auf den ersten Sensordaten und den zweiten Sensordaten mehrere alternative Bewegungsbahnen für das AF 100. Zum Beispiel können die mehreren alternativen Bewegungsbahnen auf einer Position des AF 100, einer Geschwindigkeit des AF 100, einer Position des Fahrzeugs 193 oder einer Geschwindigkeit des Fahrzeugs 193 basieren. Jede alternative Bewegungsbahn repräsentiert Entscheidungen, die das AF 100 hätte treffen können, anstatt die Bewegungsbahn 198 zu erzeugen. Die mehreren alternativen Bewegungsbahnen werden entweder in Echtzeit durch den Prozessor 146 während des Betriebs des AF 100 (wie in der oben beschriebenen ersten Ausführungsform) oder nachträglich auf dem Server 136 (wie in der oben beschriebenen zweiten Ausführungsform) erzeugt.
In einer Ausführungsform werden die mehreren alternativen Bewegungsbahnen mithilfe von Steuerbarrierefunktionen (Control Barrier Functions, CBFs) erzeugt. Eine Barrierefunktion ist eine kontinuierliche Funktion, deren Wert an einem Punkt gegen Unendlich ansteigt, wenn sich der Punkt der Grenze des machbaren Bereichs des Optimierungsproblems nähert. Solche Funktionen können verwendet werden, um Ungleichheitsbedingungen durch einen leichter zu handhabenden Bestrafungsterm in der Zielfunktion zu ersetzen. Ein CBF nimmt als Eingabe den aktuellen Systemzustand (z. B. Daten, die einer Position des AF 100, einer Geschwindigkeit des AF 100, einer Beschleunigung des AF 100 oder einer Entfernung des AF 100 von den Objekten 1304, 1308 zugeordnet sind) und gibt eine reelle Zahl aus, die dem Sicherheitszustand des Systems entspricht. Wenn sich das System einem unsicheren Betriebspunkt nähert, steigt der CBF-Wert auf Unendlich. CBFs können mit Kontroll-Lyapunov-Funktionen (Control Lyapunov Functions, CLFs) kombiniert werden, um gemeinsame Garantien für Stabilität, Leistung und Sicherheit zu bieten. Eine Lyapunov-Funktion V(x) ist eine skalare Funktion, die zur Bestimmung der Stabilität eines Gleichgewichts einer gewöhnlichen Differentialgleichung verwendet werden kann. Eine CLF bezieht sich auf eine Lyapunov-Funktion V(x) für ein System (z. B. das AF-System 120 oder die Planungsschaltung 404) mit Steuereingaben. Eine reguläre Lyapunov-Funktion kann verwendet werden, um zu prüfen, ob ein dynamisches System stabil ist, d. h., ob das System in einem Zustand x ≠ 0 in einem bestimmten Bereich D beginnt, in D verbleibt oder bei asymptotischer Stabilität schließlich zu x = 0 zurückkehrt. Die CLF wird verwendet, um zu prüfen, ob ein System rückkopplungsstabilisierbar ist, d. h., ob für einen Zustand x eine Steuerung u(x, t) existiert, sodass das System durch Anwendung der Steuerung u in den Nullzustand gebracht werden kann. Das Offline-Rahmenwerk erreicht beispielsweise die Verfolgung der Bewegungsbahn durch zusätzliche Einschränkungen, die mit CLFs implementiert werden. In einem Online-Rahmenwerk wird eine Referenzbewegungsbahn verfolgt, indem ein Verfolgungsfehler in die Kosten einbezogen und eine Optimierung über einen zurückweichenden Horizont (MPC) durchgeführt wird.
Der mindestens eine Prozessor identifiziert aus den mehreren alternativen Bewegungsbahnen eine zweite Bewegungsbahn. Beispielsweise kommt das AF 100 gemäß der zweiten Bewegungsbahn auf dem Fahrstreifen 1316 zum Stehen und überquert dann die Doppellinie 1312, nachdem das Fahrzeug 193 vorbeigefahren ist. Die zweite Bewegungsbahn verstößt somit nur gegen eine zweite Verhaltensregel (Überqueren der Doppellinie 1312, wenn auf dem Fahrstreifen 1320 kein Verkehr herrscht) des hierarchischen Regelwerks. Die zweite Verhaltensregel hat eine zweite Priorität, die niedriger als die erste Priorität ist. Das Verhindern einer Kollision - das Überqueren der Doppellinie 1312 bei Verkehr auf dem Fahrstreifen 1320 - hat eine höhere Priorität als das einfache Überqueren der Doppellinie 1312, wenn kein Verkehr auf der Fahrstreifen 1320 herrscht. Falls die zweite Bewegungsbahn gegen eine Regel mit höherer Priorität verstößt, bestehen die Planungsschaltung 404 und das AF-System 120 die Verhaltensprüfung, da keine alternative Bewegungsbahn mit einem niedrigeren Grad an Regelverstößen gefunden werden konnte.
In der oben beschriebenen ersten Ausführungsform sendet der mindestens eine Prozessor 146 als Reaktion auf das Identifizieren der zweiten Bewegungsbahn eine Nachricht an eine Steuerschaltung 406 des AF 100, um das AF 100 basierend auf der zweiten Bewegungsbahn zu betreiben. Die Steuerschaltung 406 wird mit Bezug auf 4 veranschaulicht und ausführlicher beschrieben. Falls beispielsweise der mindestens eine Prozessor 146 zur Planungsschaltung 404 gehört, wird das AF 100 in Echtzeit basierend auf der zweiten Bewegungsbahn betrieben. Befindet sich der mindestens eine Prozessor auf dem Offline-Server 136, wird die zweite Bewegungsbahn zur Neuprogrammierung der Planungsschaltung 404 wie in der oben beschriebenen zweiten Ausführungsform verwendet. In einer Ausführungsform lauten die Ergebnisse der Rückmeldung aus der Bewegungsbahnverifizierung „BESTANDEN“, z. B. ist die Bewegungsbahn 198 entweder zufriedenstellend oder ist keine alternative Bewegungsbahn verfügbar, oder „NICHT BESTANDEN“, z. B. entspricht die AF-Bewegungsbahn 198 nicht den Verhaltensspezifikationen des Regelwerks und ist eine alternative Bewegungsbahn verfügbar, die entweder gegen keine Verhaltensregel verstößt oder gegen eine Verhaltensregel mit niedrigerer Priorität als die Bewegungsbahn 198 verstößt. Die Bewegungsbahn 198 wird als „BESTANDEN“ eingestuft, falls eine solche alternative Bewegungsbahn erkannt wird.
Die hier offenbarten Ausführungsformen sind dazu ausgelegt, zu verhindern, dass „trivial befriedigende“ Bewegungsbahnen, z. B. Bewegungsbahnen, bei denen das AF 100 zum Stillstand kommt oder sein Ziel 199 nicht erreicht, als bessere Lösung als eine Bewegungsbahn, die das Ziel mit Regelverstößen erreicht, angesehen werden. Eine Regel zum „Erreichen des Ziels“ ist ausdrücklich in die Regelwerke eingebaut. Der Prozessor 146 betreibt das AF 100 basierend auf der Bewegungsbahn 198, um eine Kollision des AF 100 mit den Objekten 1304, 1308 und dem Fahrzeug 193 zu vermeiden. Beispielsweise steuert das Steuermodul 406, das mit Bezug auf 4 dargestellt und näher beschrieben ist, das AF 100.
13B veranschaulicht ein Beispiel für einen hierarchischen Satz von Regeln 1352 gemäß einer oder mehreren Ausführungsformen. Die gespeicherten Verhaltensregeln für den Betrieb des AF 100 enthalten mehrere Verhaltensregeln. Das AF 100 wird mit Bezug auf 1, 13A veranschaulicht und ausführlicher beschrieben. Jede Verhaltensregel (z. B. Regel 1356) hat eine Priorität gegenüber jeder anderen Betriebsregel (z. B. Regel 1360) Die Priorität repräsentiert eine Risikostufe eines Verstoßes gegen die gespeicherten Verhaltensregeln 1352. Das Regelwerk 1352 ist daher ein formales Rahmenwerk, in dem die durch Verkehrsgesetze oder kulturelle Erwartungen sowie durch ihre relativen Prioritäten vollstreckten Fahranforderungen festgelegt sind. Das Regelwerk 1352 ist ein vorgeordneter Satz von Regeln mit Verstoßbewertungen, die die Hierarchie der Regelprioritäten erfassen. Daher ermöglicht das Regelwerk 1352 die Festlegung und Bewertung des AF-Verhaltens in Konfliktszenarien. Angenommen, ein Fußgänger 192 betritt den Fahrstreifen, auf dem das AF 100 fährt. Der Fußgänger 192 wird mit Bezug auf 1 veranschaulicht und ausführlicher beschrieben. Ein vernünftiges AF-Verhalten wäre es, eine Kollision mit dem Fußgänger 192 und anderen Fahrzeugen 193 zu vermeiden (hohe Priorität), auch wenn dies zu dem Preis geschieht, dass gegen Regeln niedrigerer Priorität verstoßen wird, indem die Geschwindigkeit auf weniger als eine Mindestgeschwindigkeitsgrenze reduziert wird oder von einem Fahrstreifen abgewichen wird.
In einer Ausführungsform beinhaltet der Verstoß gegen eine Verhaltensregel den Betrieb des AF 100 in der Weise, dass das AF 100 mit dem Fahrzeug 193 kollidiert. Das Fahrzeug 193 wird mit Bezug auf 1, 13A veranschaulicht und ausführlicher beschrieben. Zum Beispiel ist das Risiko einer Kollision zwischen dem AF 100 und dem Fahrzeug 193 größer, falls die Regel 1360 verletzt wird, als wenn nur die Regel 1356 verletzt wird. Daher hat die Regel 1360 eine höhere Priorität als die Regel 1356. Ebenso hat die Regel 1372 eine höhere Priorität als die Regeln 1368 und 1364.
In einer Ausführungsform umfasst der Verstoß gegen eine Verhaltensregel den Betrieb des AF 100 in der Weise, dass das AF 100 eine Geschwindigkeitsbegrenzung (z. B. 45 mph) überschreitet. Die Regel 1356 besagt zum Beispiel, dass das AF 100 die Geschwindigkeitsbegrenzung des Fahrstreifens, auf dem es sich befindet, nicht überschreiten sollte. In 13A beträgt die Geschwindigkeitsbegrenzung für den Fahrstreifen 1316 zum Beispiel 45 Meilen pro Stunde. Die Regel 1356 hat jedoch eine niedrigere Priorität; daher kann das AF 100 gegen die Regel 1356 verstoßen, um eine Kollision (z. B. mit dem Fahrzeug 193) zu verhindern und gemäß der Regel 1372 zu handeln. In einer Ausführungsform beinhaltet das Verstoßen gegen eine Verhaltensregel den Betrieb des AF 100 auf eine Weise, dass das AF 100 anhält, bevor es einen Zielort 199 erreicht. Der Zielort 199 wird mit Bezug auf 1, 13A veranschaulicht und ausführlicher beschrieben. Die Regel 1360 besagt zum Beispiel, dass das AF 100 auf seinem eigenen Fahrstreifen bleiben soll. In 13A fährt das AF 100 beispielsweise auf dem Fahrstreifen 1316. Die Priorität der Regel 1360 ist jedoch niedriger als die Priorität der Regel 1372. Wie mit Bezug auf 13A dargestellt und näher beschrieben, verstößt das AF 100 daher nur gegen die Regel 1360, um eine Kollision mit den Objekten 1304, 1308 zu vermeiden und die beiden Regeln mit höherer Priorität 1368 (Erreichen des Zielorts 199) und 1372 (Vermeidung von Kollisionen) zu befolgen.
In einer Ausführungsform beinhaltet eine Verletzung der gespeicherten Verhaltensregeln 1352 für den Betrieb des AF 100, dass das AF 100 in einer Weise betrieben wird, dass ein seitlicher Abstand zwischen dem AF 100 und den Objekten 1304, 1308 einen seitlichen Schwellenabstand unterschreitet. Die Regel 1364 besagt zum Beispiel, dass das AF 100 einen seitlichen Schwellenabstand (z. B. eine halbe Autolänge oder 1 Meter) zu anderen Objekten (z. B. den Objekten 1304, 1308) einhalten sollte. Die Priorität der Regel 1364 ist jedoch niedriger als die Priorität der Regel 1368 (Erreichen des Zielorts 199). Wie mit Bezug auf 13A dargestellt und näher beschrieben, kann das AF 100 daher gegen die Regel 1364 verstoßen, um die Regeln 1368 (Erreichen des Zielorts 199) und 1372 (Vermeiden von Kollisionen) mit höherer Priorität zu befolgen.
In einer Ausführungsform werden Ersatzsicherheitsmetriken zur Bewertung der AF-Sicherheit verwendet. Die Ersatzsicherheitsmetriken werden dazu verwendet, die Straßenverkehrssicherheit schneller zu bewerten und das Konzept in ein ganzheitliches theoretisches Rahmenwerk zu integrieren. Die Priorität einer Betriebsregel (z. B. Regel 1356) kann basierend auf der Häufigkeit des Verstoßes angepasst werden. So werden zum Beispiel empirische Daten von menschlichen Fahrern zur Unterstützung der Anwendung der gespeicherten Verhaltensregeln 1352 von 13B auf die Verkehrssicherheit herangezogen.
14 veranschaulicht ein Beispielflussdiagramm für den Betrieb des AF 100 mittels Verhaltensregelprüfungen gemäß einer oder mehreren Ausführungsformen. In der ersten Ausführungsform (mit Bezug auf 13A beschrieben) wird der Prozess von 14 durch den Prozessor 146 des AF 100 durchgeführt, der mit Bezug auf 1 näher beschrieben wird. Das heißt, der mindestens eine Prozessor 146 befindet sich in einer Planungsschaltung 404 des AF 100. Der mindestens eine Prozessor 146 empfängt die ersten Sensordaten und die zweiten Sensordaten (AF-Verhalten) während des Betriebs des AF 100. So wird der hier beschriebene regelbasierte Steuerungsansatz (AF-Verhalten auswählen) auf dem AF 100 zur Echtzeitauswertung als Bewegungsbahnprüfer oder als regelbasierte Planungsschaltung 404 oder Steuervorrichtung ausgeführt. Ebenso können Ausführungsformen verschiedene und/oder zusätzliche Schritte enthalten oder die Schritte in verschiedener Reihenfolge durchführen. Die Planungsschaltung 404 wird mit Bezug auf 4 dargestellt und ausführlicher beschrieben.
In der zweiten Ausführungsform (mit Bezug auf 13A beschrieben) passt der mindestens eine Prozessor (auf dem Server 136) den Betrieb der Planungsschaltung 404 des AF 100 basierend auf der zweiten Bewegungsbahn (mit Bezug auf 13A beschrieben) an. In der zweiten Ausführungsform befindet sich der mindestens eine Prozessor auf einer Computervorrichtung (Server 136) außerhalb des AF 100. Der Server 136 empfängt die ersten Sensordaten (AF-Verhalten) und die zweiten Sensordaten nach dem Betrieb des AF 100. Wie in 14 dargestellt, wird beispielsweise der Bewegungsplanungsprozess der Planungsschaltung 404 basierend auf der Häufigkeit von Verstößen gegen die Verhaltensregeln angepasst. So wird beispielsweise ein validiertes Regelwerk 1352 (mit Bezug auf 13B dargestellt und näher beschrieben) für die Entwicklung und Implementierung automatisierter Fahrzeugsysteme 120 verwendet. Bei maschinellen Fahrern, die normalerweise Systemmodelle aufweisen, kann die Fahrleistung die AF-Fahrleistung anhand von Regelwerken bewerten (das AF-Verhalten bewerten).
In einer Ausführungsform wird eine Risikostufe des Bewegungsplanungsprozesses des AF 100 basierend auf der Häufigkeit des einen oder der mehreren Verstöße gegen die gespeicherten Regeln 1352 bestimmt (AF-Verhalten erklären). Die Regeln 1352 werden mit Bezug auf 13B veranschaulicht und ausführlicher beschrieben. So werden beispielsweise die Auswirkungen der Auslegung des AF-Systems 120 und der Leistung der Planungsschaltung 404 auf die geplanten Bewegungsbahnen modelliert, wie in 14 dargestellt. Das AF-System 120 wird mit Bezug auf 1 veranschaulicht und ausführlicher beschrieben. Die Planungsschaltung 404 wird mit Bezug auf 4 dargestellt und ausführlicher beschrieben. Geplante Bewegungsbahnen werden bewertet, um die Gesamtfahrleistung in Abhängigkeit von der Auslegung des AF-Systems 120 und der Leistung der Teilsysteme (Planungsschaltung 404) zu messen. (Teil-)Systemanforderungen werden aus Verhaltensspezifikationen (Regeln 1352) abgeleitet, optimieren die Leistung und setzen Prioritäten bei den Ressourcen.
In einer Ausführungsform wählt der mindestens eine Prozessor die zweite Bewegungsbahn aus den mehreren alternativen Bewegungsbahnen aus, indem er mindestens eines von Planung mit minimalem Regelverstoß, prädiktive Modellsteuerung (Model Predictive Control, MPC) oder maschinelles Lernen verwendet. Die Planung mit minimalem Regelverstoß bezieht sich auf ein Verfahren zur Wegplanung für das AF 100, das es ermöglicht, mehrere kontinuierliche Ziele (z. B. die Suche nach dem kürzesten Weg) mit diskreten Beschränkungen zu verwenden, die aus der Logik stammen, wie z. B. die Beschränkungen, die sich aus dem hierarchischen Satz von Regeln 1352 ergeben. MPC bezieht sich auf ein Verfahren zum Steuern eines Prozesses (Erzeugung und Auswahl von Bewegungsbahnen) unter Einhaltung eines Satzes von Beschränkungen (eines hierarchischen Satzes von Regeln 1352). In einer Ausführungsform verwendet die MPC ein dynamisches Modell des AF-Systems 120, das ein lineares empirisches Modell ist. Das AF-System 120 wird mit Bezug auf 1 veranschaulicht und ausführlicher beschrieben. Maschinelles Lernen bezieht sich auf das Erzeugen einer alternativen Bewegungsbahn unter Verwendung eines Modells, das sich durch Erfahrung automatisch verbessert. Das AF-System 120 oder der Server 136 erstellt ein mathematisches Modell basierend auf Beispieldaten, die als „Trainingsdaten“ bezeichnet werden, um Vorhersagen oder Entscheidungen zu treffen, ohne dass dies explizit programmiert wird. Die Trainingsdaten für die Auswahl der zweiten Bewegungsbahn sind beispielsweise der hierarchische Satz von Regeln 1352 und die bekannten Ergebnisse von Verstößen gegen bestimmte Regeln. Wie in 14 dargestellt, werden in der zweiten Ausführungsform, die mit Bezug auf 13A beschrieben wird, die in Frage kommenden Bewegungsbahnen aus mehreren Ansätzen im Nachhinein ausgewählt, wobei die Informationen über das Szenario und das Verhalten des AF 100 berücksichtigt werden.
Das Online-Rahmenwerk implementiert zum Beispiel eine Optimierung mit zurückweichendem Horizont (modellprädiktive Regelung (Model Predictive Control, MPC)), bei der der Fehler bei der Verfolgung der Referenzbewegungsbahn in die Kostenfunktion einbezogen wird. Im Online-Rahmenwerk fügen die aktiven Regeln (z. B. Regeln, die erkannten Instanzen oder einem bestimmten Szenario entsprechen) dem Optimierungsproblem zu einem bestimmten Zeitpunkt in dem Online-Fall Beschränkungen hinzu. Die Regeln werden in instanzabhängige (z. B. Abstand zu Fußgängern, Abstand zu parkenden Fahrzeugen) und instanzunabhängige Regeln (z. B. Geschwindigkeitsbegrenzung und Komfort) unterteilt. Instanzunabhängige Regeln müssen immer berücksichtigt werden. Instanzabhängige Regeln müssen jedoch nur berücksichtigt werden, wenn die entsprechenden Instanzen im lokalen Erfassungsbereich des AF liegen. Ein lokaler Erfassungsbereich bezieht sich generell auf den Umfang der Sensordaten, die dem AF zur Verfügung stehen, z. B. Daten, die durch Sensoren erfasst werden, die sich am AF befinden oder dem AF zugeordnet sind.
In Ausführungsformen sind bei der Initialisierung oder zum Zeitpunkt t=0 instanzabhängige Regeln im hierarchischen Regelwerk deaktiviert. Wenn Instanzen auftreten, werden die entsprechenden instanzabhängigen Regeln aktiviert. Für jede Instanz zu einem aktuellen Zeitpunkt t werden deaktivierte Regeln (z. B. Regeln, die nicht auf die aktuellen Instanzen anwendbar sind) aus dem hierarchischen Satz von Regeln entfernt. Bei einem Online-Ansatz wird das hierarchische Regelwerk also iterativ geändert, wenn Instanzen auftreten. In einigen Beispielen erfolgt die Änderung periodisch gemäß einer vorgegebenen Zeitspanne. In den Beispielen sind die aktivierten Regeln so lange aktiviert, wie die entsprechende Instanz auftritt.
In 13B ist ein Satz von hierarchischen Regeln 1352 dargestellt. Es sei ein Beispiel mit einer Straßensperre und Objekten (z. B. 1304, 1308, 13A) betrachtet, die den Fahrstreifen des AF blockieren, wie in 13A beschrieben. In diesem Beispiel ist eine Instanz eine Straßensperre auf dem Fahrstreifen. Wie im Beispiel von 13A dargestellt, befinden sich keine Fußgänger innerhalb des lokalen Erfassungsbereichs des AF. In diesem Beispiel sind die Regeln im Zusammenhang mit Fußgängern (z. B. keine Instanz erkannt) deaktiviert. Die Regeln, die der Erkennung von Fußgängern zugeordnet sind, werden aus dem hierarchischen Satz von Regeln gelöscht, wenn das AF um die Straßensperre herumfährt.
15 veranschaulicht ein Beispielflussdiagramm für den Fahrzeugbetrieb mittels Verhaltensregelprüfungen gemäß einer oder mehreren Ausführungsformen. In der ersten Ausführungsform (mit Bezug auf 13A beschrieben) wird der Prozess von 15 durch den Prozessor 146 des AF 100 durchgeführt, der mit Bezug auf 1 näher beschrieben wird. In der zweiten Ausführungsform (mit Bezug auf 13A beschrieben) führt mindestens ein Prozessor (auf dem Server 136) den Prozess von 15 durch. Ebenso können Ausführungsformen verschiedene und/oder zusätzliche Schritte enthalten oder die Schritte in verschiedener Reihenfolge durchführen.
In Schritt 1504 bestimmt ein Prozessor basierend auf den ersten Sensordaten und den zweiten Sensordaten, ob eine erste Bewegungsbahn (z. B. die Bewegungsbahn 198) gegen eine Verhaltensregel eines hierarchischen Satzes von Regeln 1352 für den Betrieb des AF 100 verstößt. Die Bewegungsbahn 198 wird mit Bezug auf 1, 13A dargestellt und ausführlicher beschrieben. Der hierarchischen Satz von Regeln 1352 wird mit Bezug auf 13B veranschaulicht und ausführlicher beschrieben. Falls der Prozessor in Schritt 1508 feststellt, dass gegen keine Regeln verstoßen werden, geht der Prozess zu Schritt 1512 über, und die Planungsschaltung 404 und das AF-Verhalten bestehen die Verifizierungsprüfungen. Die Planungsschaltung 404 wird mit Bezug auf 4 dargestellt und ausführlicher beschrieben.
Falls der Prozessor in Schritt 1508 feststellt, dass gegen eine Regel verstoßen wird, geht der Prozess zu Schritt 1516 über. Die betreffende Regel wird als erste Verhaltensregel mit erster Priorität bezeichnet. In Schritt 1516 bestimmt der Prozessor, ob eine alternative, weniger gegen eine Regel verstoßende Bewegungsbahn existiert. Beispielsweise erzeugt der Prozessor basierend auf den ersten Sensordaten und den zweiten Sensordaten mehrere alternative Bewegungsbahnen für das AF 100. Die mehreren alternativen Bewegungsbahnen können mittels CBFs erzeugt werden, wie mit Bezug auf 13A näher beschrieben ist. Der Prozessor stellt fest, ob eine zweite Bewegungsbahn existiert, die nur gegen eine zweite Verhaltensregel des hierarchischen Regelsatzes 1352 verstößt, sodass die zweite Verhaltensregel eine zweite Priorität hat, die niedriger als die erste Priorität ist.
Falls keine andere Bewegungsbahn existiert, die nur gegen eine zweite Verhaltensregel mit einer niedrigeren Priorität als die erste Priorität verstößt, geht der Prozess zu Schritt 1520 über. Die Planungsschaltung 404 und das AF-Verhalten bestehen die Verifikationsprüfungen. Falls der Prozessor in Schritt 1516 bestimmt, dass eine alternative, weniger gegen Regeln verstoßende Bewegungsbahn existiert, bestehen die Planungsschaltung 404 und das AF-Verhalten die Verifikationsprüfungen nicht. Optional kann der Prozessor zu Schritt 1528 übergehen und bestimmen, ob die Optimierung gestoppt (weiter zu Schritt 1532 und beenden) oder zu Schritt 1536 übergegangen werden soll. In Schritt 1536 untersucht der Prozessor jede alternative Bewegungsbahn der mehreren alternativen Bewegungsbahnen, um eine am wenigsten gegen Regeln verstoßende Bewegungsbahn zu identifizieren, z. B. eine alternative Bewegungsbahn, die entweder gegen keine Regel verstößt oder gegen eine Regel verstößt, die die niedrigste Priorität von allen Regeln, gegen die verstoßen wird, aufweist. Die am wenigsten gegen Regeln verstoßende Bewegungsbahn kann für den Betrieb des AF 100 (in der ersten mit Bezug auf 13A beschriebenen Ausführungsform) oder für die Anpassung der Planungsschaltung 404 (in der zweiten mit Bezug auf 13A beschriebenen Ausführungsform) verwendet werden.
16 veranschaulicht ein Beispiel für das Ausführen von Verhaltensregelprüfungen für für das AF 100 gemäß einem oder mehreren Ausführungsformen. Das AF 100 wird mit Bezug auf 1, 13A veranschaulicht und ausführlicher beschrieben. In 16 wird die grafische Benutzeroberfläche auf dem Server 136 angezeigt, wo mehrere alternative Bewegungsbahnen erzeugt werden. Die verschiedenen Bewegungsbahnen werden untersucht, um basierend auf den ersten Sensordaten und den zweiten Sensordaten die am wenigsten gegen Regeln verstoßende Bewegungsbahn zu ermitteln. Die Daten, die auf der grafischen Benutzeroberfläche bei der Durchführung von Verhaltensregelprüfungen für das AF 100, wie in 16 gezeigt, erzeugt werden, werden zur Anpassung und Verbesserung der Bewegungsbahnerzeugung durch die Planungsschaltung 404 in der zweiten Ausführungsform, die mit Bezug auf auf 13A beschrieben wird, verwendet. Die Planungsschaltung 404 wird mit Bezug auf 4 dargestellt und ausführlicher beschrieben.
16 zeigt eine Implementierung von Steuerungsstrategien für AFs zur Erfüllung komplexer Vorgaben (z. B. Regelwerk 1352), die aus Verkehrsgesetzen und kulturellen Erwartungen an ein vernünftiges Fahrverhalten abgeleitet sind. Diese Vorgaben werden als Regeln (siehe 13B) und Prioritäten spezifiziert, indem eine Vorordnungsstruktur, das sogenannte Regelwerk 1352, erstellt wird. Die offenbarten Ausführungsformen stellen ein rekursives Rahmenwerk dar, in dem die Erfüllung der Regeln im Regelwerk 1352 iterativ basierend auf ihren Prioritäten gelockert wird. In einer Ausführungsform wird die Konvergenz zu den gewünschten Zuständen durch (CLFs) erreicht und die Sicherheit durch CBFs gewährleistet. CLFs können verwendet werden, um Systeme in gewünschte Zustände zu stabilisieren. CBFs können verwendet werden, um die Vorwärtsinvarianz zu erzwingen und die Erfüllung von Sicherheitsanforderungen zu verbessern. Das Rahmenwerk kann für die nachträgliche Bestanden-/Nicht-bestanden-Bewertung von Bewegungsbahnen verwendet werden - eine gegebene Bewegungsbahn 198 wird abgelehnt, falls der Prozess eine Steuervorrichtung findet, die eine alternative Bewegungsbahn erzeugt, die zu einem geringeren Verstoß gegen das Regelwerk 1352 führt.
17 veranschaulicht ein Beispielflussdiagramm für den Fahrzeugbetrieb mittels Verhaltensregelprüfungen gemäß einer oder mehreren Ausführungsformen. In der ersten Ausführungsform (mit Bezug auf 13A beschrieben) wird der Prozess von 17 durch den Prozessor 146 des AF 100 durchgeführt, der mit Bezug auf 1 näher beschrieben wird. In der zweiten Ausführungsform (mit Bezug auf 13A beschrieben) führt mindestens ein Prozessor (auf dem Server 136) den Prozess von 17 durch. Ebenso können Ausführungsformen verschiedene und/oder zusätzliche Schritte enthalten oder die Schritte in verschiedener Reihenfolge durchführen.
In Schritt 1704 bestimmt ein Prozessor, ob eine Bewegungsbahn (z. B. die Bewegungsbahn 198) für das AF 100 akzeptabel ist. Die Bewegungsbahn 198 und das AF 100 werden mit Bezug auf 1, 13A veranschaulicht und ausführlicher beschrieben. Zum Beispiel bestimmt der Prozessor in Schritt 1704, ob die Bewegungsbahn 198 basierend auf den ersten Sensordaten und den zweiten Sensordaten gegen eine Verhaltensregel eines hierarchischen Satzes von Regeln 1352 für den Betrieb des AF 100 verstößt. Der hierarchischen Satz von Regeln 1352 wird mit Bezug auf 13B veranschaulicht und ausführlicher beschrieben. Falls der Prozessor in Schritt 1704 feststellt, dass gegen keine Regeln verstoßen werden, geht der Prozess zu Schritt 1708 über, und die Planungsschaltung 404 und das AF-Verhalten bestehen die Verifizierungsprüfungen. Die Planungsschaltung 404 wird mit Bezug auf 4 dargestellt und ausführlicher beschrieben.
Falls der Prozessor in Schritt 1704 feststellt, dass gegen eine Regel verstoßen wird, geht der Prozess zu Schritt 1712 über. Die betreffende Regel wird als erste Verhaltensregel mit erster Priorität bezeichnet. Der Prozess geht weiter zu Schritt 1716. In Schritt 1716 bestimmt der Prozessor, ob eine alternative, weniger gegen eine Regel verstoßende Bewegungsbahn existiert. Beispielsweise erzeugt der Prozessor basierend auf den ersten Sensordaten und den zweiten Sensordaten mehrere alternative Bewegungsbahnen für das AF 100. Die mehreren alternativen Bewegungsbahnen können mithilfe von Steuerbarrierefunktionen erzeugt werden, wie mit Bezug auf 13A näher beschrieben wird. Der Prozessor stellt fest, ob eine zweite Bewegungsbahn existiert, die nur gegen eine zweite Verhaltensregel des hierarchischen Regelsatzes 1352 verstößt, sodass die zweite Verhaltensregel eine zweite Priorität hat, die niedriger als die erste Priorität ist.
Falls keine andere Bewegungsbahn existiert, die nur gegen eine zweite Verhaltensregel mit einer niedrigeren Priorität als die erste Priorität verstößt, geht der Prozess zu Schritt 1720 über. Die Planungsschaltung 404 und das AF-Verhalten bestehen die Verifikationsprüfungen. Falls der Prozessor in Schritt 1716 bestimmt, dass eine alternative, weniger gegen Regeln verstoßende Bewegungsbahn existiert, bestehen die Planungsschaltung 404 und das AF-Verhalten die Verifikationsprüfungen nicht.
18 veranschaulicht eine Beispielausgabe für das Ausführen von Verhaltensregelprüfungen für ein Fahrzeug gemäß einem oder mehreren Ausführungsformen. In der ersten Ausführungsform (mit Bezug auf 13A beschrieben), wird die Beispielausgabe von 18 durch den Prozessor 146 des AF 100 durchgeführt, wie ausführlicher mit Bezug auf 1 beschrieben wird. In der zweiten Ausführungsform (mit Bezug auf 13A beschrieben) verwendet mindestens ein Prozessor (auf dem Server 136) die Ausgabe von 18. Die Beispielausgabe zeigt an, dass eine in Frage kommende Bewegungsbahn (z. B. Bewegungsbahn 198) gegen die Regel R10 (Mindestabstand zu anderen aktiven Fahrzeugen auf der Straße) verstößt. Beispielsweise veranlasst die Bewegungsbahn 198 das AF 100, näher als einen Mindestschwellenabstand an ein aktives Fahrzeug (z. B. Fahrzeug 193) heranzufahren. Das Fahrzeug 193 wird mit Bezug auf 1, 13A veranschaulicht und ausführlicher beschrieben. Die Beispielausgabe zeigt an, dass eine zweite (alternative) Bewegungsbahn die Regel R10 einhält.
Die Beispielausgabe zeigt, dass die in Frage kommende Bewegungsbahn 198 gegen die Regel R8 (Mindestabstand zu anderen inaktiven Fahrzeugen auf der Straße) verstößt. Beispielsweise veranlasst die Bewegungsbahn 198 das AF 100, näher als einen Mindestschwellenabstand an ein inaktives Fahrzeug (z. B. Fahrzeug 1304) heranzufahren. Das Fahrzeug 1304 wird mit Bezug auf 13A veranschaulicht und ausführlicher beschrieben. Die Beispielausgabe zeigt an, dass eine alternative Bewegungsbahn die Regel R8 einhält. Die Regel R10 hat eine höhere Priorität als die Regel R8, was bedeutet, dass das AF 100 bestrebt sein sollte, die Regel R10 zu erfüllen, auch falls es dafür gegen die Regel R8 verstoßen muss.
Die Beispielausgabe zeigt, dass die in Frage kommende Bewegungsbahn 198 die Regel R4b (Mindestgeschwindigkeitsbegrenzung auf der Straße) einhält. Beispielsweise veranlasst die Bewegungsbahn 198 das AF 100, langsamer als eine Mindestgeschwindigkeitsbegrenzung zu fahren. Die Beispielausgabe zeigt an, dass die alternative Bewegungsbahn gegen die Regel R4b verstößt. Die Regeln R8, R10 haben eine höhere Priorität als die Regel R4b, was bedeutet, dass das AF 100 bestrebt sein sollte, die Regeln R8, R10 zu erfüllen, auch falls es dafür gegen die Regel R4b verstoßen muss. Die Bewegungsbahn 198 veranlasst das AF 100 jedoch, die Regel R4b einzuhalten, während es gegen die Regeln R8 und R10 verstößt. Die alternative Bewegungsbahn veranlasst das AF 100, gegen die Regel R4b zu verstoßen, während es die Regeln R8 und R10 befolgt. Daher wird die Bewegungsbahnprüfung auf der Bewegungsbahn 198 nicht bestanden, und die alternative Bewegungsbahn wird verwendet.
19 veranschaulicht ein Beispielflussdiagramm für den Fahrzeugbetrieb mittels Verhaltensregelprüfungen gemäß einer oder mehreren Ausführungsformen. In der ersten Ausführungsform (mit Bezug auf 13A beschrieben) wird der Prozess von 19 durch den Prozessor 146 des AF 100 durchgeführt, der mit Bezug auf 1 näher beschrieben wird. In der zweiten Ausführungsform (mit Bezug auf 13A beschrieben) führt mindestens ein Prozessor (auf dem Server 136) den Prozess von 19 durch. Ebenso können Ausführungsformen verschiedene und/oder zusätzliche Schritte enthalten oder die Schritte in verschiedener Reihenfolge durchführen.
In Schritt 1904 empfängt ein Prozessor erste Sensordaten aus einem ersten Satz von Sensoren 120 des AF 100 und zweite Sensordaten aus einem zweiten Satz von Sensoren 121 des AF 100. Die Sensoren 120, 121 werden mit Bezug auf 1 veranschaulicht und ausführlicher beschrieben. Die ersten Sensordaten repräsentieren den Betrieb des AF 100 gemäß einer ersten Bewegungsbahn 198. Die Bewegungsbahn 198 wird mit Bezug auf 1, 13A dargestellt und ausführlicher beschrieben. Die zweiten Sensordaten repräsentieren mindestens ein Objekt 1304, 1308. Die Objekte 1304, 1308 werden mit Bezug auf 13A veranschaulicht und ausführlicher beschrieben.
In Schritt 1908 bestimmt der Prozessor basierend auf den ersten Sensordaten und den zweiten Sensordaten, dass die erste Bewegungsbahn 198 gegen eine erste Verhaltensregel (z. B. Regel 1360) eines hierarchischen Satzes von Regeln 1352 für den Betrieb des AF 100 verstößt. Die Regel 1360 und der hierarchischen Satz von Regeln 1352 werden mit Bezug auf 13B veranschaulicht und ausführlicher beschrieben. Die erste Verhaltensregel 1350 hat eine erste Priorität.
In Schritt 1912 erzeugt der Prozessor mehrere alternative Bewegungsbahnen für das AF 100 basierend auf den ersten Sensordaten und den zweiten Sensordaten. Die mehreren alternativen Bewegungsbahnen werden unter Verwendung von CBFs erzeugt. Der Prozessor lockert iterativ die Regeln, die er erfüllen muss, um zu bestimmen, ob eine zweite Bewegungsbahn mit weniger Verstößen existiert. Der Prozessor verwendet CLFs und CBFs, die zusammen garantieren, dass, falls eine durchführbare, weniger gegen Regeln verstoßende Bewegungsbahn existiert, der Algorithmus gegen diese konvergiert. Die iterativ gelockerten Regeln können mit anderen Verfahren der Bewegungsbahnerzeugung verwendet werden, einschließlich graphbasierter Suche, kombinierter MPC oder einem auf maschinellem Lernen basierenden Planungsverfahren.
In Schritt 1916 ermittelt der Prozessor aus den mehreren alternativen Bewegungsbahnen eine zweite Bewegungsbahn. Die zweite Bewegungsbahn verstößt gegen eine zweite Verhaltensregel (z. B. Regel 1356) des hierarchischen Satzes von Regeln 1352. Die Regel 1356 wird mit Bezug auf 13B veranschaulicht und ausführlicher beschrieben. Die zweite Verhaltensregel hat eine zweite Priorität, die niedriger als die erste Priorität ist. Die Randbedingungen müssen kontinuierlich differenzierbar sein, was das Optimierungsproblem zu einem quadratischen Problem macht. Eine kontinuierlich differenzierbare Funktion ist eine Funktion, deren Ableitung an jedem Punkt ihres Bereichs existiert. Mit anderen Worten hat der Graph einer kontinuierlich differenzierbaren Funktion an jedem inneren Punkt seines Bereichs eine nicht-vertikale Tangente. Regeln, die nicht differenzierbar sind, werden mit konservativen, differenzierbaren Funktionen approximiert, die sich schneller auswerten lassen als komplexere Regeln. Da das Optimierungsproblem quadratisch ist, verringert sich die Rechenkomplexität. Beispielsweise kann ein nichtlineares Lösungsverfahren wie beispielsweise ein Newton-Krylov-Lösungsverfahren, ein Anderson-Lösungsverfahren oder ein Broyden- Lösungsverfahren verwendet werden, um das Optimierungsproblem durch Modellierung des AF-Systems 120 als nichtlineares System zu lösen. Dadurch lässt sich das Verfahren einfacher in die eingebettete Software des AF 100 implementieren und erfüllt gleichzeitig die strengen Sicherheitsanforderungen im Automobilbereich.
In Schritt 1920 überträgt der Prozessor als Reaktion auf das Identifizieren der zweiten Bewegungsbahn eine Nachricht an eine Steuerschaltung 406 des AF 100, um das AF 100 basierend auf der zweiten Bewegungsbahn zu betreiben. Die Steuerschaltung 406 wird mit Bezug auf 4 veranschaulicht und ausführlicher beschrieben. Die hier offenbarten Ausführungsformen gehen über die Planung und Steuerung im Fahrzeug hinaus, indem sie eine skalierbare, objektive Möglichkeit bieten, das AF-Verhalten in Testfällen nachträglich als bestanden oder nicht bestanden zu bewerten. Die nachträgliche Bewertung kann dazu beitragen, die durch das AF 100 in der realen Welt getroffenen Fahrentscheidungen zu rechtfertigen, indem objektiv nachgewiesen wird, dass dem AF 100 keine „vernünftigeren“ Möglichkeiten zur Verfügung standen.
20 veranschaulicht ein Beispiel für einen hierarchischen Satz von Regeln für den Betrieb des AF 100 mittels Verhaltensregelprüfungen gemäß einer oder mehreren Ausführungsformen. Das AF 100 wird mit Bezug auf 1, 13A veranschaulicht und ausführlicher beschrieben. Eine Verhaltensregel legt ein gewünschtes Verhalten für das AF 100 fest, sodass das AF 100 die Verkehrsgesetze, die Ethik und die örtliche Kultur erfüllt, z. B. „auf dem Fahrstreifen bleiben“, „Abstand zu Fußgängern 192 halten“, „die maximale Geschwindigkeitsbegrenzung einhalten“, „das Ziel 199 innerhalb einer Frist erreichen“. Der Fußgänger 192 wird mit Bezug auf 1 veranschaulicht und ausführlicher beschrieben.
Die Regeln werden über die Fahrzeugbewegungsbahnen interpretiert. Bei einer gegebenen Bewegungsbahn 198 und Regel erfasst eine Verstoßbewertung den Grad des Verstoßes gegen die Regel durch die Bewegungsbahn 198. Die Bewegungsbahn 198 wird mit Bezug auf 1, 13A dargestellt und ausführlicher beschrieben. Falls das AF 100 beispielsweise die Doppellinie 1312 überquert und den Fahrstreifen 1320 in einer Entfernung von 1 m entlang der Bewegungsbahn 198 erreicht, beträgt der Verstoßwert für diese Bewegungsbahn 198 gegen die Regel „auf dem Fahrstreifen bleiben“ 1 m. Die Doppellinie 1312 und der Fahrstreifen 1320 werden mit Bezug auf 13A veranschaulicht und näher beschrieben.
Das Regelwerk 1352 definiert die Priorität von Regeln und legt eine Vorordnung fest, die zur Einstufung von AF-Bewegungsbahnen verwendet werden kann. Das Regelwerk 1352 wird mit Bezug auf 13B veranschaulicht und ausführlicher beschrieben. Das Regelwerk 1352 ist ein Tupel 〈R, ≤〉, wobei R eine endliche Menge von Regeln bezeichnet und < eine Vorordnung auf R bezeichnet. Das Regelwerk 1352 kann auch durch einen gerichteten Graphen dargestellt werden, wobei jeder Knoten eine Regel ist und eine Kante zwischen zwei Regeln bedeutet, dass die erste Regel eine höhere Priorität als die zweite hat. Formal bedeutet r1 → r2 in dem Graphen, dass r1 <_ r2 (r2 ∈ R hat eine höhere Priorität als r1 ∈ R). Mittels einer Vorordnung können zwei Regeln in einer von drei Beziehungen stehen: vergleichbar (eine hat eine höhere Priorität als die andere), unvergleichbar oder gleichwertig (beide haben die gleiche Priorität).
Das in 20 gezeigte Regelwerk enthält sechs Regeln. In diesem Beispiel sind die Regeln r1 and r2 nicht vergleichbar und haben beide eine höhere Priorität als die Regeln r3 und r4. Die Regeln r3 and r4 sind gleichwertig (r3 ≤ r4 und r4 ≤ r3), sind aber mit der Regel r5 unvergleichbar. Die Regel r6 hat die niedrigste Priorität unter allen Regeln.
In der vorgenannten Beschreibung sind Ausführungsformen der Erfindung mit Bezug auf zahlreiche spezifische Details beschrieben, die von Implementierung zu Implementierung verschieden sein können. Die Beschreibung und die Zeichnungen sind dementsprechend in einem veranschaulichenden statt einem einschränkenden Sinn zu sehen. Der einzige und ausschließliche Indikator für den Schutzbereich der Erfindung und das, was durch die Anmelder als Schutzbereich der Erfindung beabsichtigt ist, ist der wörtliche und äquivalente Schutzbereich der Menge der Ansprüche, die aus dieser Anmeldung in der spezifischen Form hervorgehen, in der diese Ansprüche ausgestellt sind, einschließlich etwaiger späterer Korrekturen. Alle hier ausdrücklich dargelegten Definitionen für Begriffe, die in diesen Ansprüchen enthalten sind, regeln die Bedeutung der in den Ansprüchen verwendeten Begriffe. Darüber hinaus kann bei Verwendung des Begriffs „ferner umfassend“ in der vorstehenden Beschreibung oder in den folgenden Ansprüchen das auf diese Formulierung Folgende ein zusätzlicher Schritt oder eine zusätzliche Einrichtung oder ein Unterschritt bzw. eine Untereinrichtung eines bereits erwähnten Schritts oder einer bereits erwähnten Einrichtung sein.
Die folgenden Aspekte sind ebenfalls Bestandteil der Erfindung:

1. Verfahren, umfassend:
- Empfangen von ersten Sensordaten aus einem ersten Satz von Sensoren eines Fahrzeugs und zweiten Sensordaten aus einem zweiten Satz von Sensoren des Fahrzeugs durch mindestens einen Prozessor, wobei die ersten Sensordaten den Betrieb des Fahrzeugs gemäß einer ersten Bewegungsbahn repräsentieren und die zweiten Sensordaten mindestens ein Objekt repräsentieren;
- Bestimmen durch den mindestens einen Prozessor, dass die erste Bewegungsbahn basierend auf den ersten Sensordaten und den zweiten Sensordaten gegen eine erste Verhaltensregel einer hierarchischen Vielzahl von Regeln für den Betrieb des Fahrzeugs verstößt, wobei die erste Verhaltensregel eine erste Priorität hat;
- Erzeugen einer Vielzahl von alternativen Bewegungsbahnen für das Fahrzeug basierend auf den ersten Sensordaten und den zweiten Sensordaten durch den mindestens einen Prozessor, wobei die Vielzahl von alternativen Bewegungsbahnen unter Verwendung von Steuerbarrierefunktionen erzeugt wird;
- Identifizieren einer zweiten Bewegungsbahn aus der Vielzahl alternativer Bewegungsbahnen durch den mindestens einen Prozessor, wobei die zweite Bewegungsbahn gegen eine zweite Verhaltensregel der hierarchischen Vielzahl von Regeln verstößt, wobei die zweite Verhaltensregel eine zweite Priorität hat, die niedriger als die erste Priorität ist; und
- als Reaktion auf das Identifizieren der zweiten Bewegungsbahn Übermitteln einer Nachricht durch den mindestens einen Prozessor an eine Steuerschaltung des Fahrzeugs, um das Fahrzeug basierend auf der zweiten Bewegungsbahn zu betreiben.
2. Verfahren gemäß Aspekt 1, wobei sich der mindestens eine Prozessor in einer Planungsschaltung des Fahrzeugs befindet und wobei der mindestens eine Prozessor die ersten Sensordaten und die zweiten Sensordaten während des Betriebs des Fahrzeugs empfängt.
3. Verfahren gemäß Aspekt 1, ferner umfassend das Anpassen des Betriebs einer Planungsschaltung des Fahrzeugs durch den mindestens einen Prozessor basierend auf der zweiten Bewegungsbahn, wobei sich der mindestens eine Prozessor auf einer Computervorrichtung außerhalb des Fahrzeugs befindet und wobei der mindestens eine Prozessor die ersten Sensordaten und die zweiten Sensordaten nach dem Betrieb des Fahrzeugs empfängt.
4. Verfahren gemäß Aspekt 1, wobei der erste Satz von Sensoren mindestens eines von einem Beschleunigungsmesser, einem Lenkradwinkelsensor, einem Radsensor oder einem Bremssensor umfasst.
5. Verfahren gemäß Aspekt 1, wobei die ersten Sensordaten mindestens eines von einer Geschwindigkeit des Fahrzeugs, einer Beschleunigung des Fahrzeugs, einem Kurs des Fahrzeugs, einer Winkelgeschwindigkeit des Fahrzeugs oder einem Drehmoment des Fahrzeugs umfassen.
6. Verfahren gemäß Aspekt 1 wobei der zweite Satz von Sensoren mindestens eines von einem LiDAR, einem RADAR, einer Kamera, einem Mikrofon, einem Infrarotsensor oder einem SONAR-Sensor (Sound Navigation and Ranging) umfasst.
7. Verfahren gemäß Aspekt 1 wobei die zweiten Sensordaten mindestens eines von einem Bild des mindestens einen Objekts, einer Geschwindigkeit des mindestens einen Objekts, einer Beschleunigung des mindestens einen Objekts, einem seitlichen Abstand zwischen dem mindestens einen Objekt und dem Fahrzeug oder andere kinematische Daten umfassen.
8. Verfahren gemäß Aspekt 1, ferner umfassend das Auswählen der zweiten Bewegungsbahn aus der Vielzahl alternativer Bewegungsbahnen durch den mindestens einen Prozessor unter Verwendung von mindestens einem von Planung minimalem Verstoß, prädiktiver Modellsteuerung oder maschinellem Lernen, wobei das Auswählen auf der hierarchischen Vielzahl von Regeln basiert.
9. Verfahren gemäß Aspekt 1, wobei jede Verhaltensregel der hierarchischen Vielzahl von Regeln eine jeweilige Priorität in Bezug auf jede andere Verhaltensregel der hierarchischen Vielzahl von Regeln hat, wobei die jeweilige Priorität eine Risikostufe der Verletzung der jeweiligen Verhaltensregel in Bezug auf die jeweilige andere Verhaltensregel darstellt.
10. Verfahren gemäß Aspekt 1, wobei das Verstoßen gegen die erste Verhaltensregel darin besteht, das Fahrzeug so zu betreiben, dass ein seitlicher Abstand zwischen dem Fahrzeug und dem mindestens einen Objekt einen seitlichen Schwellenabstand unterschreitet.
11. Verfahren gemäß Aspekt 1, wobei das Verstoßen gegen die erste Verhaltensregel darin besteht, das Fahrzeug so zu betreiben, dass das Fahrzeug eine Geschwindigkeitsbegrenzung überschreitet.
12. Verfahren gemäß Aspekt 1, wobei das Verstoßen gegen die erste Verhaltensregel darin besteht, das Fahrzeug so zu betreiben, dass das Fahrzeug vor Erreichen eines Zielorts anhält.
13. Verfahren gemäß Aspekt 1, wobei das Verstoßen gegen die erste Verhaltensregel darin besteht, das Fahrzeug so zu betreiben, dass das Fahrzeug mit dem mindestens einen Objekt kollidiert.
14. Verfahren gemäß Aspekt 1, ferner umfassend das Bestimmen eines Weges des mindestens einen Objekts durch den mindestens einen Prozessor basierend auf den zweiten Sensordaten, wobei das Bestimmen, dass die erste Bewegungsbahn gegen die erste Verhaltensregel verstößt, ferner auf dem Weg des mindestens einen Objekts basiert.
15. Autonomes Fahrzeug, umfassend:
- einen oder mehrere Prozessoren; und
- ein oder mehrere nichtflüchtige Speichermedien, auf denen Anweisungen gespeichert sind, die beim Ausführen durch den einen oder die mehreren Prozessoren die Durchführung eines Verfahrens bewirken, umfassend:
  - Empfangen von ersten Sensordaten aus einem ersten Satz von Sensoren eines Fahrzeugs und zweiten Sensordaten aus einem zweiten Satz von Sensoren des Fahrzeugs, wobei die ersten Sensordaten den Betrieb des Fahrzeugs gemäß einer ersten Bewegungsbahn repräsentieren und die zweiten Sensordaten mindestens ein Objekt repräsentieren;
  - Bestimmen, dass die erste Bewegungsbahn basierend auf den ersten Sensordaten und den zweiten Sensordaten gegen eine erste Verhaltensregel einer hierarchischen Vielzahl von Regeln für den Betrieb des Fahrzeugs verstößt, wobei die erste Verhaltensregel eine erste Priorität hat;
  - Erzeugen einer Vielzahl von alternativen Bewegungsbahnen für das Fahrzeug basierend auf den ersten Sensordaten und den zweiten Sensordaten wobei die Vielzahl von alternativen Bewegungsbahnen unter Verwendung von Steuerbarrierefunktionen erzeugt wird;
  - Identifizieren einer zweiten Bewegungsbahn aus der Vielzahl alternativer Bewegungsbahnen, wobei die zweite Bewegungsbahn gegen eine zweite Verhaltensregel der hierarchischen Vielzahl von Regeln verstößt, wobei die zweite Verhaltensregel eine zweite Priorität hat, die niedriger als die erste Priorität ist; und
  - als Reaktion auf das Identifizieren der zweiten Bewegungsbahn Übertragen einer Nachricht an eine Steuerschaltung des Fahrzeugs, um das Fahrzeug basierend auf der zweiten Bewegungsbahn zu betreiben.
16. Nichtflüchtiges Speichermedium bzw. nichtflüchtige Speichermedien, auf denen Anweisungen gespeichert sind, die beim Ausführen durch einen oder mehrere Rechenvorrichtungen die Durchführung eines Verfahren bewirken, umfassend:
- Empfangen von ersten Sensordaten aus einem ersten Satz von Sensoren eines Fahrzeugs und zweiten Sensordaten aus einem zweiten Satz von Sensoren des Fahrzeugs, wobei die ersten Sensordaten den Betrieb des Fahrzeugs gemäß einer ersten Bewegungsbahn repräsentieren und die zweiten Sensordaten mindestens ein Objekt repräsentieren;
- Bestimmen, dass die erste Bewegungsbahn basierend auf den ersten Sensordaten und den zweiten Sensordaten gegen eine erste Verhaltensregel einer hierarchischen Vielzahl von Regeln für den Betrieb des Fahrzeugs verstößt, wobei die erste Verhaltensregel eine erste Priorität hat;
- Erzeugen einer Vielzahl von alternativen Bewegungsbahnen für das Fahrzeug basierend auf den ersten Sensordaten und den zweiten Sensordaten wobei die Vielzahl von alternativen Bewegungsbahnen unter Verwendung von Steuerbarrierefunktionen erzeugt wird;
- Identifizieren einer zweiten Bewegungsbahn aus der Vielzahl alternativer Bewegungsbahnen, wobei die zweite Bewegungsbahn gegen eine zweite Verhaltensregel der hierarchischen Vielzahl von Regeln verstößt, wobei die zweite Verhaltensregel eine zweite Priorität hat, die niedriger als die erste Priorität ist; und
- als Reaktion auf das Identifizieren der zweiten Bewegungsbahn Übertragen einer Nachricht an eine Steuerschaltung des Fahrzeugs, um das Fahrzeug basierend auf der zweiten Bewegungsbahn zu betreiben.

17. Fahrzeug gemäß Aspekt 15, wobei sich der mindestens eine Prozessor in einer Planungsschaltung des Fahrzeugs befindet und wobei der mindestens eine Prozessor die ersten Sensordaten und die zweiten Sensordaten während des Betriebs des Fahrzeugs empfängt.
18. Fahrzeug gemäß Aspekt 15, ferner umfassend das Einstellen des Betriebs einer Planungsschaltung des Fahrzeugs durch den mindestens einen Prozessor basierend auf der zweiten Bewegungsbahn, wobei sich der mindestens eine Prozessor auf einer Computervorrichtung außerhalb des Fahrzeugs befindet und wobei der mindestens eine Prozessor die ersten Sensordaten und die zweiten Sensordaten nach dem Betrieb des Fahrzeugs empfängt.
19. Fahrzeug gemäß Aspekt 15, wobei die ersten Sensordaten mindestens eines von einer Geschwindigkeit des Fahrzeugs, einer Beschleunigung des Fahrzeugs, einem Kurs des Fahrzeugs, einer Winkelgeschwindigkeit des Fahrzeugs oder einem Drehmoment des Fahrzeugs umfassen.
20. Fahrzeug gemäß Aspekt 15 wobei die zweiten Sensordaten mindestens eines von einem Bild des mindestens einen Objekts, einer Geschwindigkeit des mindestens einen Objekts, einer Beschleunigung des mindestens einen Objekts, einem seitlichen Abstand zwischen dem mindestens einen Objekt und dem Fahrzeug oder andere kinematische Daten umfassen.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 63/105006 [0001]
US 63/216953 [0001]

Claims

Verfahren, umfassend: Empfangen von ersten Sensordaten aus einem ersten Satz von Sensoren eines Fahrzeugs und zweiten Sensordaten aus einem zweiten Satz von Sensoren des Fahrzeugs durch mindestens einen Prozessor, wobei die ersten Sensordaten den Betrieb des Fahrzeugs gemäß einer ersten Bewegungsbahn repräsentieren und die zweiten Sensordaten mindestens ein Objekt repräsentieren; Bestimmen durch den mindestens einen Prozessor, dass die erste Bewegungsbahn basierend auf den ersten Sensordaten und den zweiten Sensordaten gegen eine erste Verhaltensregel einer hierarchischen Vielzahl von Regeln für den Betrieb des Fahrzeugs verstößt, wobei die erste Verhaltensregel eine erste Priorität hat; Erzeugen einer Vielzahl von alternativen Bewegungsbahnen für das Fahrzeug basierend auf den ersten Sensordaten und den zweiten Sensordaten durch den mindestens einen Prozessor, wobei die Vielzahl von alternativen Bewegungsbahnen unter Verwendung von Steuerbarrierefunktionen erzeugt wird; Identifizieren einer zweiten Bewegungsbahn aus der Vielzahl alternativer Bewegungsbahnen durch den mindestens einen Prozessor, wobei die zweite Bewegungsbahn gegen eine zweite Verhaltensregel der hierarchischen Vielzahl von Regeln verstößt, wobei die zweite Verhaltensregel eine zweite Priorität hat, die niedriger als die erste Priorität ist; und als Reaktion auf das Identifizieren der zweiten Bewegungsbahn Übermitteln einer Nachricht durch den mindestens einen Prozessor an eine Steuerschaltung des Fahrzeugs, um das Fahrzeug basierend auf der zweiten Bewegungsbahn zu betreiben.
Verfahren gemäß Anspruch 1, wobei sich der mindestens eine Prozessor in einer Planungsschaltung des Fahrzeugs befindet und wobei der mindestens eine Prozessor die ersten Sensordaten und die zweiten Sensordaten während des Betriebs des Fahrzeugs empfängt.
Verfahren gemäß Anspruch 1, ferner umfassend das Anpassen des Betriebs einer Planungsschaltung des Fahrzeugs durch den mindestens einen Prozessor basierend auf der zweiten Bewegungsbahn, wobei sich der mindestens eine Prozessor auf einer Computervorrichtung außerhalb des Fahrzeugs befindet und wobei der mindestens eine Prozessor die ersten Sensordaten und die zweiten Sensordaten nach dem Betrieb des Fahrzeugs empfängt.
Verfahren gemäß Anspruch 1, wobei der erste Satz von Sensoren mindestens eines von einem Beschleunigungsmesser, einem Lenkradwinkelsensor, einem Radsensor oder einem Bremssensor umfasst.
Verfahren gemäß Anspruch 1, wobei die ersten Sensordaten mindestens eines von einer Geschwindigkeit des Fahrzeugs, einer Beschleunigung des Fahrzeugs, einem Kurs des Fahrzeugs, einer Winkelgeschwindigkeit des Fahrzeugs oder einem Drehmoment des Fahrzeugs umfassen.
Verfahren gemäß Anspruch 1, wobei der zweite Satz von Sensoren mindestens eines von einem LiDAR, einem RADAR, einer Kamera, einem Mikrofon, einem Infrarotsensor oder einem SONAR-Sensor (Sound Navigation and Ranging) umfasst.
Verfahren gemäß Anspruch 1 wobei die zweiten Sensordaten mindestens eines von einem Bild des mindestens einen Objekts, einer Geschwindigkeit des mindestens einen Objekts, einer Beschleunigung des mindestens einen Objekts, einem seitlichen Abstand zwischen dem mindestens einen Objekt und dem Fahrzeug oder andere kinematische Daten umfassen.
Verfahren gemäß Anspruch 1, ferner umfassend das Auswählen der zweiten Bewegungsbahn aus der Vielzahl alternativer Bewegungsbahnen durch den mindestens einen Prozessor unter Verwendung von mindestens einem von Planung mit minimalem Verstoß, prädiktiver Modellsteuerung oder maschinellem Lernen, wobei das Auswählen auf der hierarchischen Vielzahl von Regeln basiert.
Verfahren gemäß Anspruch 1, wobei jede Verhaltensregel der hierarchischen Vielzahl von Regeln eine jeweilige Priorität in Bezug auf jede andere Verhaltensregel der hierarchischen Vielzahl von Regeln hat, wobei die jeweilige Priorität eine Risikostufe des Verstoßes gegen die jeweilige Verhaltensregel in Bezug auf die jeweilige andere Verhaltensregel darstellt.
Verfahren gemäß Anspruch 1, wobei das Verstoßen gegen die erste Verhaltensregel darin besteht, das Fahrzeug so zu betreiben, dass ein seitlicher Abstand zwischen dem Fahrzeug und dem mindestens einen Objekt einen seitlichen Schwellenabstand unterschreitet.
Verfahren gemäß Anspruch 1, wobei das Verstoßen gegen die erste Verhaltensregel darin besteht, das Fahrzeug so zu betreiben, dass das Fahrzeug eine Geschwindigkeitsbegrenzung überschreitet.
Verfahren gemäß Anspruch 1, wobei das Verstoßen gegen die erste Verhaltensregel darin besteht, das Fahrzeug so zu betreiben, dass das Fahrzeug vor Erreichen eines Zielorts anhält.
Verfahren gemäß Anspruch 1, wobei das Verstoßen gegen die erste Verhaltensregel darin besteht, das Fahrzeug so zu betreiben, dass das Fahrzeug mit dem mindestens einen Objekt kollidiert.
Verfahren gemäß Anspruch 1, ferner umfassend das Bestimmen eines Weges des mindestens einen Objekts durch den mindestens einen Prozessor basierend auf den zweiten Sensordaten, wobei das Bestimmen, dass die erste Bewegungsbahn gegen die erste Verhaltensregel verstößt, ferner auf dem Weg des mindestens einen Objekts basiert.
Autonomes Fahrzeug, umfassend: einen oder mehrere Prozessoren; und ein oder mehrere nichtflüchtige Speichermedien, die Anweisungen speichern, die beim Ausführen durch den einen oder mehrere Prozessoren die Durchführung von Verfahren gemäß einem der Ansprüche 1-14 bewirken.
Nichtflüchtiges Speichermedium bzw. nichtflüchtige Speichermedien, die Anweisungen speichern, die beim Ausführen durch eine oder mehrere Rechenvorrichtungen die Durchführung von Verfahren gemäß einem der Ansprüche 1-14 bewirken.
Verfahren, umfassend das Durchführen eines maschinell ausgeführten Vorgangs mit Anweisungen, die beim Ausführen durch eine oder mehrere Rechenvorrichtungen das Durchführen von Verfahren gemäß einem der Ansprüche 1-14 bewirken, wobei der maschinell ausgeführte Vorgang mindestens eines von Senden der Anweisungen, Empfangen der Anweisungen, Speichern der Anweisungen oder Ausführen der Anweisungen ist.