DE102022100041A1

DE102022100041A1 - Betriebseinhüllendenerkennung mit situationsbeurteilung unter verwendung von metriken

Info

Publication number: DE102022100041A1
Application number: DE102022100041.9A
Authority: DE
Inventors: You Hong Eng; James Guo Ming Fu; Scott D. Pendleton; Yu Pan
Original assignee: Motional AD LLC
Current assignee: Motional AD LLC
Priority date: 2021-09-14
Filing date: 2022-01-03
Publication date: 2023-03-16
Also published as: CN115936466A; GB2610661A; KR20230039485A; US20230078779A1

Abstract

Es werden Ausführungsformen für eine Betriebseinhüllendenerkennung (OED) mit einer Situationsbeurteilung offenbart. Hier vorgestellte Ausführungsformen betreffen einen Betriebseinhüllendendetektor, der dafür ausgelegt ist, als Eingaben Informationen in Bezug auf Sensoren des Systems und Informationen in Bezug auf Betriebsentwurfsdomänen-(ODD)-Anforderungen zu empfangen. Die OED vergleicht dann die Informationen in Bezug auf Sensoren des Systems mit den Informationen in Bezug auf die ODD-Anforderungen und stellt fest, ob das System innerhalb seiner ODD arbeitet oder ob eine Abhilfeaktion angemessen ist, um die ODD-Anforderungen auf der Grundlage der aktuellen Sensorinformationen anzupassen. Andere Ausführungsformen werden beschrieben und/oder beansprucht.

Description

HINTERGRUND
Eine Betriebsentwurfsdomäne (ODD) für ein autonomes Fahrzeug (AV) besteht aus den spezifischen Bedingungen, unter denen das AV funktionieren soll. Die ODD kann auf einer Vielzahl von Bedingungen (beispielsweise Ort des AVs, Geschwindigkeit, mit der das AV fahren muss usw.) beruhen. Der Betrieb von AVs kann auf der Grundlage der ODD, in der das AV arbeiten soll, beschränkt werden.
Figurenliste
Es zeigen:

1 eine beispielhafte Umgebung, in der ein Fahrzeug, das eine oder mehrere Komponenten eines autonomen Systems aufweist, implementiert werden kann, gemäß verschiedenen Ausführungsformen,
2 ein Diagramm eines oder mehrerer Systeme eines Fahrzeugs, das ein autonomes System aufweist, gemäß verschiedenen Ausführungsformen,
3 ein Diagramm von Komponenten einer oder mehrerer Vorrichtungen und/oder eines oder mehrerer Systeme aus den 1 und 2 gemäß verschiedenen Ausführungsformen,
4 ein Diagramm gewisser Komponenten eines autonomen Systems gemäß verschiedenen Ausführungsformen,
5 ein beispielhaftes Szenario, das ein Fahrzeug antreffen kann, gemäß verschiedenen Ausführungsformen,
6 ein beispielhaftes Betriebseinhüllendenerkennung(OED)-Framework gemäß verschiedenen Ausführungsformen,
7 einen beispielhaften Prozessablauf in Bezug auf eine OED mit Situationsbeurteilung gemäß verschiedenen Ausführungsformen,
8 ein beispielhaftes Blockdiagramm in Bezug auf eine Sensorpipeline gemäß verschiedenen Ausführungsformen,
9 ein Beispiel einer Erkennungswahrscheinlichkeits(PoD)-Karte gemäß verschiedenen Ausführungsformen,
10 ein Beispiel einer Verdeckungskarte gemäß verschiedenen Ausführungsformen,
11 einen beispielhaften Prozessablauf in Bezug auf das Wahrnehmungssystem gemäß verschiedenen Ausführungsformen,
12 einen alternativen beispielhaften Prozessablauf in Bezug auf das Wahrnehmungssystem gemäß verschiedenen Ausführungsformen,
13 ein Diagramm einer Beurteilungspipeline gemäß verschiedenen Ausführungsformen,
14 ein Flussdiagramm eines Prozesses zur Situationsbeurteilung für ein OED-Framework für autonome Fahrzeuge gemäß verschiedenen Ausführungsformen,
15 ein beispielhaftes Blockdiagramm in Bezug auf eine Unbeweglichkeitserkennung mit Situationskontext gemäß verschiedenen Ausführungsformen,
16 ein Flussdiagramm eines beispielhaften Prozesses in Bezug auf eine Unbeweglichkeitserkennung mit Situationskontext gemäß verschiedenen Ausführungsformen,
17 ein Flussdiagramm eines alternativen beispielhaften Prozesses in Bezug auf eine Unbeweglichkeitserkennung mit Situationskontext gemäß verschiedenen Ausführungsformen und
18 ein Flussdiagramm eines alternativen beispielhaften Prozesses in Bezug auf eine Unbeweglichkeitserkennung mit Situationskontext gemäß verschiedenen Ausführungsformen.

DETAILLIERTE BESCHREIBUNG
In der folgenden Beschreibung werden für die Zwecke der Erklärung zahlreiche spezifische Einzelheiten dargelegt, um ein gründliches Verständnis der vorliegenden Offenbarung bereitzustellen. Es ist jedoch zu verstehen, dass die durch die vorliegende Offenbarung beschriebenen Ausführungsformen ohne diese spezifischen Einzelheiten verwirklicht werden können. In einigen Fällen sind wohlbekannte Strukturen und Vorrichtungen in Form eines Blockdiagramms dargestellt, um es zu vermeiden, Aspekte der vorliegenden Offenbarung unnötig unverständlich zu machen.
Spezifische Anordnungen oder Reihenfolgen schematischer Elemente in der Art jener, die Systeme, Vorrichtungen, Module, Befehlsblöcke, Datenelemente und/oder dergleichen repräsentieren, sind zur Vereinfachung der Beschreibung in den Zeichnungen dargestellt. Fachleute werden jedoch verstehen, dass die spezifische Reihenfolge oder Anordnung der schematischen Elemente in den Zeichnungen nicht implizieren soll, dass eine bestimmte Ordnung oder Sequenz der Verarbeitung oder Trennung von Prozessen erforderlich ist, es sei denn, dass dies explizit so beschrieben wird. Ferner soll die Aufnahme eines schematischen Elements in einer Zeichnung nicht implizieren, dass dieses Element in allen Ausführungsformen benötigt wird oder dass die durch dieses Element repräsentierten Merkmale nicht gemäß einigen Ausführungsformen in andere Elemente aufgenommen oder mit diesen kombiniert werden können, es sei denn, dass dies explizit so beschrieben wird.
Ferner soll in den Zeichnungen an Stellen, an denen verbindende Elemente, beispielsweise durchgezogene oder gestrichelte Linien oder Pfeile, verwendet werden, um eine Verbindung, Beziehung oder Assoziation zwischen oder unter zwei oder mehr anderen schematischen Elementen darzustellen, das Nichtvorhandensein solcher verbindender Elemente nicht bedeuten, dass dadurch impliziert wird, dass keine Verbindung, Beziehung oder Assoziation existieren kann. Mit anderen Worten sind in den Zeichnungen einige Verbindungen, Beziehungen oder Assoziationen zwischen Elementen nicht dargestellt, um die Offenbarung nicht unverständlich zu machen. Zusätzlich kann im Interesse einer einfachen Darstellung ein einziges verbindendes Element verwendet werden, um mehrere Verbindungen, Beziehungen oder Assoziationen zwischen Elementen zu repräsentieren. Beispielsweise sollten Fachleute an Stellen, an denen ein verbindendes Element eine Kommunikation von Signalen, Daten oder Befehlen (beispielsweise „Softwarebefehlen“) repräsentiert, verstehen, dass dieses Element einen oder mehrere Signalwege (beispielsweise einen Bus) repräsentieren kann, wie es erforderlich sein kann, um die Kommunikation auszuführen.
Wenngleich die Begriffe erster, zweiter, dritter und/oder dergleichen verwendet werden, um verschiedene Elemente zu beschreiben, sollten diese Elemente nicht durch diese Begriffe beschränkt werden. Die Begriffe erster, zweiter, dritter und/oder dergleichen werden nur zur Unterscheidung eines Elements von einem anderen verwendet. Beispielsweise könnte ein erster Kontakt als ein zweiter Kontakt bezeichnet werden und könnte ähnlich ein zweiter Kontakt als ein erster Kontakt bezeichnet werden, ohne vom Schutzumfang der beschriebenen Ausführungsformen abzuweichen. Der erste und der zweite Kontakt sind beide Kontakte, sie sind jedoch nicht derselbe Kontakt.
Die in der Beschreibung der verschiedenen hier beschriebenen Ausführungsformen verwendete Terminologie dient nur der Beschreibung bestimmter Ausführungsformen und ist nicht als einschränkend vorgesehen. Wie in der Beschreibung der verschiedenen beschriebenen Ausführungsformen und den anliegenden Ansprüchen verwendet, sollen die Singularformen „ein/eine/eines“ und „der/die/das“ auch die Pluralformen einschließen und können austauschbar mit „ein/eine/eines oder mehrere“ oder „wenigstens ein/eine/eines“ verwendet werden, es sei denn, dass der Zusammenhang klar etwas anderes angibt. Es sei auch bemerkt, dass der Begriff „und/oder“, wie er hier verwendet wird, jegliche und alle möglichen Kombinationen eines oder mehrerer der assoziierten aufgezählten Bestandteile betrifft und diese umfasst. Es ist ferner zu verstehen, dass die Begriffe „weist auf“, „aufweisend“, „umfasst“ und/oder „umfassend“, wenn sie in dieser Beschreibung verwendet werden, das Vorhandensein erwähnter Merkmale, natürlicher Zahlen, Schritte, Operationen, Elemente und/oder Komponenten spezifizieren, jedoch nicht das Vorhandensein oder das Hinzufügen eines oder mehrerer anderer Merkmale, natürlicher Zahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon ausschließen.
Hier beziehen sich die Begriffe „Kommunikation“ und „Kommunizieren“ auf wenigstens einen vom Empfang, von der Entgegennahme, von der Aussendung, der Übertragung, der Bereitstellung und/oder dergleichen von Informationen (oder Informationen, die beispielsweise durch Daten, Signale, Nachrichten, Befehle, Anweisungen und/oder dergleichen repräsentiert sind). Dass eine Einheit (beispielsweise eine Vorrichtung, ein System, eine Komponente einer Vorrichtung oder eines Systems, Kombinationen davon und/oder dergleichen) in Kommunikation mit einer anderen Einheit steht, bedeutet, dass die eine Einheit in der Lage ist, direkt oder indirekt Informationen von der anderen Einheit zu empfangen und/oder zu dieser zu senden (beispielsweise zu übertragen). Dies kann sich auf eine direkte oder indirekte Verbindung beziehen, die der Natur nach festverdrahtet und/oder drahtlos ist. Zusätzlich können zwei Einheiten in Kommunikation miteinander stehen, selbst wenn die übertragenen Informationen zwischen der ersten und der zweiten Einheit modifiziert, verarbeitet, vermittelt und/oder weitergeleitet werden können. Beispielsweise kann eine erste Einheit in Kommunikation mit einer zweiten Einheit stehen, selbst wenn die erste Einheit passiv Informationen empfängt und nicht aktiv Informationen zur zweiten Einheit sendet. Bei einem anderen Beispiel kann eine erste Einheit in Kommunikation mit einer zweiten Einheit stehen, falls wenigstens eine Zwischeneinheit (beispielsweise eine dritte Einheit, die sich zwischen der ersten Einheit und der zweiten Einheit befindet) von der ersten Einheit empfangene Informationen verarbeitet und die verarbeiteten Informationen zur zweiten Einheit sendet. Gemäß einigen Ausführungsformen kann sich eine Nachricht auf ein Netzpaket (beispielsweise ein Datenpaket und/oder dergleichen), das Daten aufweist, beziehen.
Hier sollte der Begriff „falls“ abhängig vom Zusammenhang optional als „wenn“, „bei“, „ansprechend auf eine Feststellung“, „ansprechend auf eine Erkennung“ und/oder dergleichen bedeutend ausgelegt werden. Ähnlich sollte der Ausdruck „falls festgestellt wird“ oder „falls [eine erwähnte Bedingung oder ein erwähntes Ereignis] erkannt wird“ abhängig vom Zusammenhang optional als „bei einer Feststellung“, „ansprechend auf eine Feststellung“, „bei einer Erkennung [der erwähnten Bedingung oder des erwähnten Ereignisses]“, „ansprechend auf eine Erkennung [der erwähnten Bedingung oder des erwähnten Ereignisses]“ und/oder dergleichen bedeutend ausgelegt werden. Auch sind die Begriffe „weist auf“, „weisen auf“, „aufweisend“ oder dergleichen wie hier verwendet als offene Begriffe vorgesehen. Ferner soll der Ausdruck „basierend auf“ als "zumindest teilweise basierend auf' verstanden werden, es sei denn, dass etwas anderes explizit ausgesagt wird.
Einige Ausführungsformen der vorliegenden Offenbarung werden in Zusammenhang mit einer Schwelle beschrieben. Wie hier beschrieben, kann sich das Erfüllen einer Schwelle auf einen Wert beziehen, der größer als die Schwelle ist, die Schwelle überschreitet, höher als die Schwelle ist, größer oder gleich der Schwelle ist, kleiner als die Schwelle ist, geringer als die Schwelle ist, niedriger als die Schwelle ist, kleiner oder gleich der Schwelle ist, gleich der Schwelle ist und/oder dergleichen.
Es wird nun detailliert auf Ausführungsformen Bezug genommen, von denen Beispiele in den anliegenden Zeichnungen dargestellt sind. In der folgenden detaillierten Beschreibung werden zahlreiche spezifische Einzelheiten dargelegt, um ein gründliches Verständnis der verschiedenen beschriebenen Ausführungsformen bereitzustellen. Durchschnittsfachleute auf dem Gebiet werden jedoch verstehen, dass die verschiedenen beschriebenen Ausführungsformen ohne diese spezifischen Einzelheiten verwirklicht werden können. In anderen Fällen wurden wohlbekannte Verfahren, Prozeduren, Komponenten, Schaltungen und Netze nicht detailliert beschrieben, um Aspekte der Ausführungsformen nicht unnötig unverständlich zu machen.
Allgemeiner Überblick
Gemäß einigen Aspekten und/oder Ausführungsformen umfassen und/oder implementieren hier beschriebene Systeme, Verfahren und Computerprogrammprodukte ein autonomes System, das eine ODD aufweist, worin das autonome System funktionieren soll. Hier vorgestellte Ausführungsformen betreffen ein OED-Framework, das dafür ausgelegt ist, als Eingaben Daten in Bezug auf Sensoren des autonomen Systems und Daten in Bezug auf ODD-Anforderungen zu empfangen. Die OED vergleicht dann die Daten in Bezug auf Sensoren des autonomen Systems mit den Daten in Bezug auf die ODD-Anforderungen und stellt fest, ob das autonome System innerhalb seiner ODD arbeitet oder ob eine Abhilfeaktion angemessen ist, um die ODD-Anforderungen auf der Grundlage der aktuellen Sensordaten anzupassen.
Gemäß einem anderen Aspekt und/oder einer anderen Ausführungsform umfassen oder betreffen hier beschriebene Systeme, Verfahren und Computerprogrammprodukte ein Wahrnehmungssystem des autonomen Systems, das sichtbarkeitsbezogene Faktoren in Bezug auf einen oder mehrere der Sensoren identifiziert, wie Umgebungsbedingungen, welche die Sensoren beeinträchtigen würden, eine erkannte Verdeckung eines Sensors (beispielsweise durch ein Objekt innerhalb des Wegs des Sensors), eine Blockage des Sensors usw. Das Wahrnehmungssystem verwendet diese Faktoren zur Erzeugung eines Wahrnehmungssichtbarkeitsmodells (PVMs) in Bezug auf die Sensorerkennungsfähigkeiten. Auf der Grundlage des PVMs erzeugt das Wahrnehmungssystem eine oder mehrere Karten. Eine solche Karte ist eine Verdeckungskarte, die angibt, wo sich ein Objekt befindet, das die Sensoren verdeckt. Eine andere solche Karte ist eine PoD-Karte, die sich auf die Wahrscheinlichkeit bezieht, dass ein Sensor in der Lage ist, das Vorhandensein eines Objekts an einem gegebenen Ort zu erkennen. Gemäß einer Ausführungsform wird das PVM-Modell oder werden Teile davon in vorab festgelegten Zeitintervallen gegen ein Standardmodell iteriert, falls durch das Wahrnehmungssystem keine neuen Daten in Bezug auf die Sensoren empfangen werden.
Gemäß einem anderen Aspekt und/oder einer anderen Ausführungsform umfassen und/oder implementieren hier beschriebene Systeme, Verfahren und Computerprogrammprodukte ein OED-Framework für ein autonomes System und insbesondere eine Situationsbeurteilung unter Verwendung einer Metrik(SAM)-Komponente des OED-Frameworks. Die SAM-Komponente versucht, eine Fahrstrecke, die ein Fahrzeug mit einem autonomen System in einer gegebenen Umgebung in einem jeweiligen Fahrszenario durchfährt, zu verstehen und zu validieren, ob Verhaltensanforderungen für das Fahrzeug für das jeweilige Fahrszenario erfüllt sind. Gemäß einer Ausführungsform weist die Verarbeitungspipeline der SAM-Komponente zwei Untersysteme auf, nämlich ein Manöverbeurteilungs-Untersystem und ein Anomalieerkennungs-Untersystem.
Gemäß einem anderen Aspekt und/oder einer anderen Ausführungsform empfängt das Manöverbeurteilungs-Untersystem von einem Planer-/Steuereinrichtungssystem aktuelle und vorhergesagte „Weltzustände“ (beispielsweise Agentendaten, Ampelstatus), Kartendaten und eine Zielzuweisung (beispielsweise einen bestimmten Bestimmungsort). Das Manöverbeurteilungs-Untersystem gibt eine Befolgungsanalyse für wohldefinierte Situationen (beispielsweise Fahrszenarien, für die es spezifizierte Regeln gibt), ein Erkennungsergebnis für schlecht definierte Situationen (beispielsweise Fahrszenarien, für die es keine spezifizierten Regeln gibt) und eine aktualisierte Anforderung für das Wahrnehmungssystem aus. Einige Beispiele der Manöverbeurteilung umfassen eine „Abstandsanalyse“, um zu prüfen, ob das Fahrzeug einen sicheren Abstand/eine sichere Entfernung zu anderen Agenten (beispielsweise anderen Fahrzeugen) in der Umgebung einhält, wenn es ein Fahrspurwechselmanöver ausführt. Ein anderes Beispiel ist eine „Interessierendes Gebiet“-Befolgung, wobei eine minimale erforderliche Wahrnehmungszone (beispielsweise das von der Sensorsuite des Fahrzeugs bereitgestellte Gesichtsfeld) für das Fahrzeug erforderlich ist, um ein sicheres Manöver auszuführen.
Gemäß einem anderen Aspekt und/oder einer anderen Ausführungsform empfängt das Anomalieerkennungs-Untersystem als Eingabe die Erkennung der schlecht definierten Situation und interne Zustände des Planer-/Steuereinrichtungssystems. Das Anomalieerkennungs-Untersystem gibt Kontextdaten in Bezug auf den Haltegrund aus, um die Zuweisung eines geeigneten Eingriffs (beispielsweise Fernfahrzeugassistenz) zu unterstützen. Einige Beispiele einer Anomalieerkennung umfassen ungewöhnliche Straßenverkehrsszenarien in der Art eines Verkehrsunfalls, einer Baustelle oder des Brechens der Präzedenz anderer Straßenbenutzer (beispielsweise eines unachtsamen Fußgängers, Überfahren einer roten Ampel). Ein anderes Beispiel ist eine „Steckengeblieben“-Erkennung, wobei sich das Fahrzeug in einem nicht auflösbaren Unbeweglichkeitszustand, der einen Ferneingriff erfordert, befindet oder bald in diesen eintreten wird.
Gemäß anderen Aspekten und/oder Ausführungsformen kann es, wenn das Fahrzeug „steckenbleibt“ (beispielsweise während einer längeren Dauer unbeweglich bleibt), vorteilhaft sein, wenn ein Fernfahrzeugassistenz(RVA)-Betreiber die Ursache der Unbeweglichkeit versteht, so dass der RVA-Betreiber den geeigneten Eingriff ausführen kann. Es werden Ausführungsformen offenbart, die sich auf der Grundlage von Metadaten, die sich auf diese Halterandbedingungen beziehen, auf einen Programmablauf beziehen, der verschiedene haltebezogene Vorkommnisse (hier auch als Halterandbedingungen bezeichnet) überwacht, während sie auftreten. Falls die Dauer einer Halterandbedingung über eine vordefinierte Schwelle hinausreicht, werden die Daten in Bezug auf die Halterandbedingung einem RVA-Betreiber bereitgestellt, damit er eingreift.
Gemäß einer Ausführungsform umfasst ein Verfahren Folgendes: Empfangen von Eingangsinformationen mit wenigstens einem Prozessor, wobei die Eingangsinformationen wenigstens eine Fahrstrecke eines Fahrzeugs in einer Umgebung, Karteninformationen, aktuelle vorhergesagte Zustände des Fahrzeugs und wenigstens einen anderen Agenten in der Umgebung und ein dem Fahrzeug zugewiesenes Ziel umfassen, Beurteilen eines das Fahrzeug betreffenden Szenarios auf der Grundlage der Eingangsinformationen mit dem wenigstens einen Prozessor, ansprechend auf die Beurteilung, Feststellen, dass das Szenario wenigstens eine definierte Verhaltensanforderung aufweist oder ein anomales Ereignis ist, mit dem wenigstens einen Prozessor, falls das Szenario wenigstens eine definierte Verhaltensanforderung aufweist: Feststellen, ob die wenigstens eine Fahrstrecke und die aktuellen und vorhergesagten Zustände des wenigstens einen Agenten die wenigstens eine definierte Verhaltensanforderung befolgen, Bereitstellen von Daten, die sich auf ein Nichtbefolgungsrisiko in Bezug auf die wenigstens eine definierte Verhaltensanforderung beziehen, und
falls das Szenario ein anomales Ereignis ist: Erzeugen von Unsicher-Indikator-Daten in Bezug auf das Szenario.
Gemäß einer Ausführungsform umfasst das Verfahren ferner Folgendes: Planen eines Manövers für das Fahrzeug auf der Grundlage des Nichtbefolgungsrisikos.
Gemäß einer Ausführungsform umfasst das Feststellen, ob die wenigstens eine Fahrstrecke und die aktuellen und vorhergesagten Zustände des wenigstens einen Agenten die wenigstens eine definierte Verhaltensanforderung befolgen, Folgendes: Prüfen, ob die Fahrstrecke wenigstens eine der Vorschriftsregeln, Sicherheitsregeln oder Fahrgastkomfortregeln erfüllt.
Gemäß einer Ausführungsform besteht eine definierte Verhaltensanforderung darin, dass das Fahrzeug einen sicheren Abstand zwischen dem Fahrzeug und dem wenigstens einen Agenten einhält, wenn es ein Manöver ausführt.
Gemäß einer Ausführungsform ist eine definierte Verhaltensanforderung eine minimale erforderliche Wahrnehmungszone für das Ausführen eines sicheren Manövers durch das Fahrzeug.
Gemäß einer Ausführungsform ist das anomale Ereignis ein ungewöhnliches Verkehrs- oder Fußgängerszenario, ein Verkehrsunfall, eine Menschenansammlung in der Nähe der wenigstens einen Fahrstrecke oder eine Baustelle in der Nähe der wenigstens einen Fahrstrecke oder besteht darin, dass der wenigstens eine Agent eine Präzedenz eines erwarteten Verhaltens des wenigstens einen Agenten bricht.
Gemäß einer Ausführungsform wird das anomale Ereignis auf der Grundlage interner Zustände eines Planers oder einer Steuereinrichtung des Fahrzeugs erkannt.
Gemäß einer Ausführungsform umfasst ein System Folgendes: ein Manöverbeurteilungs-Untersystem, das dafür ausgelegt ist, Folgendes auszuführen: Empfangen von Eingangsinformationen, einschließlich wenigstens einer Fahrstrecke eines Fahrzeugs in einer Umgebung, Karteninformationen, aktueller vorhergesagter Zustände des Fahrzeugs und wenigstens eines anderen Agenten in der Umgebung und eines dem Fahrzeug zugewiesenen Ziels, Beurteilen eines Szenarios, welches das Fahrzeug betrifft, auf der Grundlage der Eingangsinformationen, Feststellen, ob das Szenario wenigstens eine definierte Verhaltensanforderung aufweist, ansprechend auf die Beurteilung, falls das Szenario wenigstens eine definierte Verhaltensanforderung aufweist: Feststellen, ob die wenigstens eine Fahrstrecke und die aktuellen und vorhergesagten Zustände des wenigstens einen Agenten die wenigstens eine definierte Verhaltensanforderung befolgen, Bereitstellen von Daten, die sich auf ein Nichtbefolgungsrisiko in Bezug auf die wenigstens eine definierte Verhaltensanforderung beziehen, ein Anomalieerkennungs-Untersystem, das dafür ausgelegt ist, Folgendes auszuführen: Erkennen eines anomalen Ereignistyps, Erzeugen von Unsicher-Indikator-Daten in Bezug auf den Anomalietyp und ein Eingriffsuntersystem, das dafür ausgelegt ist, Folgendes auszuführen: Zuweisen einer Eingriffsaufgabe zum Fahrzeug auf der Grundlage der Kontextinformationen.
Gemäß einer Ausführungsform umfasst das System ferner Folgendes: ein Planeruntersystem, das dafür ausgelegt ist, ein Manöver für das Fahrzeug auf der Grundlage des Nichtbefolgungsrisikos zu planen.
Gemäß einer Ausführungsform ist das Manöverbeurteilungs-Untersystem ferner dafür ausgelegt, zu prüfen, ob die Fahrstrecke wenigstens eine der Vorschriftsregeln, Sicherheitsregeln oder Fahrgastkomfortregeln erfüllt.
Gemäß einer Ausführungsform besteht eine definierte Verhaltensanforderung darin, dass das Fahrzeug einen sicheren Abstand zwischen dem Fahrzeug und dem wenigstens einen Agenten einhält, wenn es ein Manöver ausführt.
Gemäß einer Ausführungsform ist eine definierte Verhaltensanforderung eine minimale erforderliche Wahrnehmungszone für das Ausführen eines sicheren Manövers durch das Fahrzeug.
Gemäß einer Ausführungsform ist das anomale Ereignis wenigstens eines von einem ungewöhnlichen Verkehrs- oder Fußgängerszenario, einem Verkehrsunfall, einer Menschenansammlung in der Nähe der wenigstens einen Fahrstrecke und einer Baustelle in der Nähe der wenigstens einen Fahrstrecke oder besteht darin, dass der wenigstens eine Agent eine Präzedenz eines erwarteten Verhaltens des wenigstens einen Agenten bricht.
Gemäß einer Ausführungsform wird das anomale Ereignis zumindest teilweise auf der Grundlage wenigstens eines internen Zustands eines Planer- oder Steuereinrichtungs-Untersystems erkannt.
Gemäß einer Ausführungsform ist wenigstens ein nichtflüchtiges computerlesbares Medium vorgesehen, das Befehle umfasst, die nach der Ausführung der Befehle durch wenigstens einen Prozessor das Fahrzeug veranlassen, eines der vorhergehenden Verfahren auszuführen.
Einige der Vorteile der vorstehend beschriebenen Techniken umfassen das Bereitstellen eines OED-Frameworks, das Komplexitäten, die am Betrieb eines AVs in einer Umgebung über verschiedene Fahrszenarien beteiligt sind, wirksam adressiert. Bei einem spezifischen hier angegebenen Beispiel betreffen die Komplexitäten verschiedene Fahrszenarien, bei denen mehrere Faktoren (beispielsweise Beleuchtung, Wetterbedingungen, andere Objekte, die sich in oder in der Nähe der Straße befinden, Eigenschaften der Straße usw.) die ODD des autonomen Systems beeinflussen. Das OED-Framework ermöglicht, dass ein Manöver minimalen Risikos (MRM) oder ein anderes Manöver oder ein anderer Eingriff auf der Grundlage einer holistischen Analyse eines Fahrszenarios ausgelöst wird.
Ein anderer Vorteil besteht darin, dass hier vorgestellte Ausführungsformen ein Framework für das Modellieren einer Sensorwahrnehmungsfähigkeit und der Funktionsweise unter verschiedenen Bedingungen bereitstellen. Diese Bedingungen umfassen Umgebungsbedingungen (beispielsweise Nebel, Regen, Sonnenblendlicht usw.), Sensorsichtbarkeitsbedingungen (beispielsweise Blockage des Sensors durch ein Fremdobjekt in der Art von Schlamm), verdeckungsbezogene Bedingungen (beispielsweise Erkennung eines Objekts durch den Sensor) oder Sensorstrukturbedingungen (beispielsweise Typ oder Anordnung des Sensors). Durch Identifizieren dieses OED-Frameworks ist das Modell der Sensorwahrnehmungsfähigkeit vom autonomen System verwendbar, um Betriebsfähigkeiten des autonomen Systems in verschiedenen Szenarien zu beurteilen, so dass das autonome System innerhalb dieser Fähigkeiten betrieben werden kann.
Ein anderer Vorteil besteht darin, dass hier vorgestellte Ausführungsformen ein quantitatives Maß eines Nichtbefolgungsrisikos in Bezug auf Sicherheits-, Vorschrifts- und Komfortregeln unter verschiedenen wohldefinierten Fahrszenarien bereitstellen, während noch eine Zuweisung direkter Eingriffe ansprechend auf schlecht definierte Situationen (beispielsweise anomale Ereignisse) oder eine längere Unbeweglichkeit (beispielsweise „Steckengeblieben“-Erkennung) ermöglicht wird. Es werden mehrere Situationen oder Szenarien gleichzeitig beurteilt (beispielsweise Fahrspurwechsel, während durch eine Kreuzung navigiert wird). Für den internen Zustand agnostische Metriken werden sowohl für eine Befolgungsprüfung des aktuellen Zustands als auch für vorhergesagte künftige Zustände verallgemeinert. Die Anwendbarkeit der Situationsbeurteilung ist unabhängig von einem oder mehreren zugrunde liegenden Entscheidungsfällungsalgorithmen. Die Situationsbeurteilung kann verwendet werden, um mehrere gleichzeitige Fahrspurvorschläge zu beurteilen.
Ein anderer Vorteil besteht darin, dass hier vorgestellte Ausführungsformen ein leichtgewichtiges Datenformat bereitstellen, das ausreichend Situationskontext vermittelt, während gleichzeitig knappe Daten interner Zustände des autonomen Systems an einen RVA-Betreiber vermittelt werden. Dabei wird der RVA-Betreiber in die Lage versetzt, einen geeigneten Eingriff bereitzustellen, ohne unvollständiges Wissen über den Grund, aus dem das Fahrzeug unbeweglich ist, zu haben. Beispielsweise werden dem RVA-Betreiber durch die Implementation der hier beschriebenen Techniken genauere und relevantere Daten über den Zustand des autonomen Systems bereitgestellt, wodurch die Zeit verringert wird, die der RVA-Betreiber benötigt, um die bereitgestellten Daten zu analysieren und einen geeigneten Eingriff zu implementieren.
Überblick über Systeme und Architekturen
1 zeigt nun eine beispielhafte Umgebung 100, in der Fahrzeuge, die autonome Systeme aufweisen, sowie Fahrzeuge, bei denen dies nicht der Fall ist, betrieben werden. Wie dargestellt, weist die Umgebung 100 Fahrzeuge 102a - 102n, Objekte 104a - 104n, Routen 106a - 106n, einen Bereich 108, eine Fahrzeug-zu-Infrastruktur(V2I)-Vorrichtung 110, ein Netz 112, ein Fern-AV-System 114, ein Flottenverwaltungssystem 116 und ein V2I-System 118 auf. Die Fahrzeuge 102a - 102n, die Fahrzeug-zu-Infrastruktur(V2I)-Vorrichtung 110, das Netz 112, das Fern-AV-System 114, das Flottenverwaltungssystem 116 und das V2l-System 118 sind durch festverdrahtete Verbindungen, drahtlose Verbindungen oder eine Kombination festverdrahteter oder drahtloser Verbindungen miteinander verbunden (stellen beispielsweise eine Verbindung zur Kommunikation und/oder dergleichen) her. Gemäß einigen Ausführungsformen sind Objekte 104a - 104n durch festverdrahtete Verbindungen, drahtlose Verbindungen oder eine Kombination festverdrahteter oder drahtloser Verbindungen mit wenigstens einem der Fahrzeuge 102a - 102n, der Fahrzeugzu-Infrastruktur(V2I)-Vorrichtung 110, des Netzes 112, des Fern-AV-Systems 114, des Flottenverwaltungssystems 116 und des V2I-Systems 118 verbunden.
Fahrzeuge 102a - 102n (individuell als Fahrzeug 102 und gemeinsam als Fahrzeuge 102 bezeichnet) weisen wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, Waren und/oder Personen zu transportieren. Gemäß einigen Ausführungsformen sind Fahrzeuge 102 dafür ausgelegt, über das Netz 112 in Kommunikation mit der V2I-Vorrichtung 110, dem Fern-AV-System 114, dem Flottenverwaltungssystem 116 und/oder dem V2l-System 118 zu stehen. Gemäß einigen Ausführungsformen umfassen Fahrzeuge 102 Personenkraftwagen, Busse, Lastwagen, Züge und/oder dergleichen. Gemäß einigen Ausführungsformen gleichen oder ähneln die Fahrzeuge 102 hier beschriebenen Fahrzeugen 200 (siehe 2). Gemäß einigen Ausführungsformen ist ein Fahrzeug 200 eines Satzes von Fahrzeugen 200 mit einem Autonome-Flotte-Manager assoziiert. Gemäß einigen Ausführungsformen fahren Fahrzeuge 102 entlang jeweiligen Routen 106a - 106n (individuell als Route 106 und gemeinsam als Routen 106 bezeichnet), wie hier beschrieben. Gemäß einigen Ausführungsformen weisen ein oder mehrere Fahrzeuge 102 ein autonomes System (beispielsweise ein autonomes System, das dem autonomen System 202 gleicht oder ähnelt) auf.
Objekte 104a - 104n (individuell als Objekt 104 und gemeinsam als Objekte 104 bezeichnet) umfassen beispielsweise wenigstens ein Fahrzeug, wenigstens einen Fußgänger, wenigstens einen Radfahrer, wenigstens eine Struktur (beispielsweise ein Gebäude, ein Zeichen, einen Feuerhydranten usw.) und/oder dergleichen. Jedes Objekt 104 ist stationär (befindet sich beispielsweise während eines Zeitraums an einem festen Ort) oder mobil (weist beispielsweise eine Geschwindigkeit auf und ist mit wenigstens einer Fahrstrecke assoziiert). Gemäß einigen Ausführungsformen sind Objekte 104 mit entsprechenden Orten im Bereich 108 assoziiert.
Routen 106a - 106n (individuell als Route 106 und gemeinsam als Routen 106 bezeichnet) sind jeweils mit einer Sequenz von Aktionen (auch als Fahrstrecke bekannt), die Zustände verbinden, entlang derer ein Fahrzeug navigieren kann, assoziiert (schreiben diese beispielsweise vor). Jede Route 106 beginnt an einem Anfangszustand (beispielsweise einem Zustand, der einem ersten räumlich-zeitlichen Ort, einer Geschwindigkeit und/oder dergleichen entspricht) und einem Endzielzustand (beispielsweise einem Zustand, der einem zweiten räumlich-zeitlichen Ort entspricht, welcher sich vom ersten räumlich-zeitlichen Ort unterscheidet) oder Zielgebiet (beispielsweise einem Teilraum akzeptierbarer Zustände (beispielsweise Endzustände)). Gemäß einigen Ausführungsformen umfasst der erste Zustand einen Ort, an dem eine oder mehrere Personen durch das Fahrzeug aufzunehmen sind, und umfasst der zweite Zustand oder das zweite Gebiet einen oder mehrere Orte, an denen die eine oder die mehreren vom Fahrzeug aufgenommenen Personen abzusetzen sind. Gemäß einigen Ausführungsformen umfassen Routen 106 mehrere akzeptierbare Zustandssequenzen (beispielsweise mehrere räumlich-zeitliche Ortssequenzen), wobei die mehreren Zustandssequenzen mit mehreren Fahrstrecken assoziiert sind (beispielsweise diese definieren). Bei einem Beispiel umfassen Routen 106 nur Aktionen hoher Ebene oder ungenaue Zustandsorte, wie eine Reihe miteinander verbundener Straßen, die Abbiegerichtungen an Straßenkreuzungen vorschreiben. Zusätzlich oder alternativ können Routen 106 genauere Aktionen oder Zustände wie beispielsweise spezifische Zielfahrspuren oder genaue Orte innerhalb der Fahrspurbereiche und die angestrebte Geschwindigkeit an diesen Positionen umfassen. Bei einem Beispiel umfassen Routen 106 mehrere genaue Zustandssequenzen entlang der wenigstens einen Aktionssequenz hoher Ebene mit einem begrenzten Vorschauhorizont zur Erreichung von Zwischenzielen, wobei die Kombination aufeinander folgender Iterationen von Zustandssequenzen mit einem begrenzten Horizont kumulativ mehreren Fahrstrecken entspricht, die gemeinsam die Route hoher Ebene zum Erreichen des Endzielzustands oder -gebiets bilden.
Der Bereich 108 umfasst einen physischen Bereich (beispielsweise ein geographisches Gebiet), innerhalb dessen Fahrzeuge 102 navigieren können. Bei einem Beispiel umfasst der Bereich 108 wenigstens einen Zustand (beispielsweise ein Land, eine Provinz, einen individuellen Staat mehrerer Staaten in einem Land usw.), wenigstens einen Teil eines Staats, wenigstens eine Stadt, wenigstens einen Teil einer Stadt usw. Gemäß einigen Ausführungsformen umfasst der Bereich 108 wenigstens eine benannte Durchgangsroute (hier als „Straße“ bezeichnet) in der Art einer Schnellstraße, einer Überlandschnellstraße, einer Schnellstraße mit beschränkter Fahrzeuggröße, einer Stadtstraße usw. Zusätzlich oder alternativ umfasst der Bereich 108 bei einigen Beispielen wenigstens eine unbenannte Straße in der Art einer Auffahrt, eines Abschnitts eines Parkplatzes, eines Abschnitts eines leeren und/oder unterentwickelten Grundstücks, eines unbefestigten Wegs usw. Gemäß einigen Ausführungsformen weist eine Straße wenigstens eine Fahrspur (beispielsweise einen Teil der Straße, der von Fahrzeugen 102 befahren werden kann) auf. Bei einem Beispiel weist eine Straße wenigstens eine Fahrspur in Zusammenhang mit wenigstens einer Fahrspurmarkierung (beispielsweise auf der Grundlage dieser identifiziert) auf.
Die Fahrzeug-zu-Infrastruktur(V2I)-Vorrichtung 110 (manchmal als Fahrzeug-zu-Infrastruktur(V2X)-Vorrichtung bezeichnet) umfasst wenigstens eine Vorrichtung, die dafür ausgelegt ist, mit Fahrzeugen 102 und/oder dem V2I-Infrastruktursystem 118 in Kommunikation zu stehen. Gemäß einigen Ausführungsformen ist die V2I-Vorrichtung 110 dafür ausgelegt, über das Netz 112 in Kommunikation mit Fahrzeugen 102, mit dem Fern-AV-System 114, mit dem Flottenverwaltungssystem 116 und/oder dem V2l-System 118 zu stehen. Gemäß einigen Ausführungsformen umfasst die V2I-Vorrichtung 110 eine Funkfrequenzidentifikations(RFID)-Vorrichtung, eine Ausschilderung, Kameras (beispielsweise zweidimensionale (2D) und/oder dreidimensionale (3D) Kameras), Fahrspurmarkierungen, Straßenleuchten, Parkuhren usw. Gemäß einigen Ausführungsformen ist die V2I-Vorrichtung 110 dafür ausgelegt, direkt mit Fahrzeugen 102 zu kommunizieren. Alternativ oder zusätzlich ist die V2I-Vorrichtung 110 gemäß einigen Ausführungsformen dafür ausgelegt, über das V2l-System 118 mit Fahrzeugen 102, mit dem Fern-AV-System 114 und/oder mit dem Flottenverwaltungssystem 116 zu kommunizieren. Gemäß einigen Ausführungsformen ist die V2I-Vorrichtung 110 dafür ausgelegt, über das Netz 112 mit dem V2l-System 118 zu kommunizieren.
Das Netz 112 umfasst ein oder mehrere festverdrahtete und/oder drahtlose Netze. Bei einem Beispiel umfasst das Netz 112 ein zellenbasiertes Netz (beispielsweise ein Long-Term-Evolution(LTE)-Netz, ein Netz der dritten Generation (3G-Netz), ein Netz der vierten Generation (4G-Netz), ein Netz der fünften Generation (5G-Netz), ein Codegetrenntlage-Vielfachzugriff(CDMA)-Netz usw.), ein öffentliches terrestrisches Mobilfunknetz (PLMN), ein lokales Netz (LAN), ein Weitbereichsnetz (WAN), ein Großstadtnetz (MAN), ein Telefonnetz (beispielsweise das öffentliche Wählverbindungsnetz (PSTN), ein privates Netz, ein Adhoc-Netz, ein Intranet, das Internet, ein Netz auf Faseroptikbasis, ein Cloud-Rechennetz usw., eine Kombination einiger oder aller dieser Netze und/oder dergleichen.
Das Fern-AV-System 114 weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, über das Netz 112 in Kommunikation mit Fahrzeugen 102, der V2I-Vorrichtung 110, dem Netz 112, dem Fern-AV-System 114, dem Flottenverwaltungssystem 116 und/oder dem V2I-System 118 zu stehen. Bei einem Beispiel weist das Fern-AV-System 114 einen Server, eine Gruppe von Servern und/oder andere vergleichbare Vorrichtungen auf. Gemäß einigen Ausführungsformen befindet sich das Fern-AV-System 114 am selben Ort wie das Flottenverwaltungssystem 116. Gemäß einigen Ausführungsformen ist das Fern-AV-System 114 an der Installation einiger oder aller der Komponenten eines Fahrzeugs, einschließlich eines autonomen Systems, eines Autonomes-Fahrzeug-Computers, durch einen Autonomes-Fahrzeug-Computer implementierter Software und/oder dergleichen, beteiligt. Gemäß einigen Ausführungsformen wartet das Fern-AV-System 114 solche Komponenten und/oder solche Software während der Lebensdauer der Vorrichtung (führt beispielsweise Aktualisierungen und/oder Ersetzungen aus).
Das Flottenverwaltungssystem 116 weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, in Kommunikation mit Fahrzeugen 102, der V2I-Vorrichtung 110, dem Fern-AV-System 114 und/oder dem V2I-Infrastruktursystem 118 zu stehen. Bei einem Beispiel weist das Flottenverwaltungssystem 116 einen Server, eine Gruppe von Servern und/oder andere vergleichbare Vorrichtungen auf. Gemäß einigen Ausführungsformen ist das Flottenverwaltungssystem 116 mit einer Fahrgemeinschaftsfirma (beispielsweise einer Organisation, die den Betrieb mehrerer Fahrzeuge steuert (beispielsweise Fahrzeuge, die autonome Systeme aufweisen, und/oder Fahrzeuge, die keine autonomen Systeme aufweisen) und/oder dergleichen) assoziiert.
Gemäß einigen Ausführungsformen weist das V2l-System 118 wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, über das Netz 112 in Kommunikation mit Fahrzeugen 102, der V2I-Vorrichtung 110, dem Fern-AV-System 114 und/oder dem Flottenverwaltungssystem 116 zu stehen. Bei einigen Beispielen ist das V2l-System 118 dafür ausgelegt, über eine vom Netz 112 verschiedene Verbindung in Kommunikation mit der V2I-Vorrichtung 110 zu stehen. Gemäß einigen Ausführungsformen weist das V2l-System 118 einen Server, eine Gruppe von Servern und/oder andere vergleichbare Vorrichtungen auf. Gemäß einigen Ausführungsformen ist das V2l-System 118 mit einer Kommunalverwaltung oder einer privaten Institution (beispielsweise einer privaten Institution, welche die V2I-Vorrichtung 110 und/oder dergleichen unterhält) assoziiert.
Die Anzahl und die Anordnung der in 1 dargestellten Elemente dienen als Beispiel. Es kann zusätzliche Elemente, weniger Elemente, andere Elemente und/oder anders angeordnete Elemente als die in 1 dargestellten geben. Zusätzlich oder alternativ kann wenigstens ein Element der Umgebung 100 eine oder mehrere Funktionen ausführen, die als durch wenigstens ein anderes Element aus 1 ausgeführt beschrieben wurden. Zusätzlich oder alternativ kann wenigstens ein Satz von Elementen der Umgebung 100 eine oder mehrere Funktionen ausführen, die als durch wenigstens einen anderen Satz der Elemente der Umgebung 100 ausgeführt beschrieben wurden.
Mit Bezug auf 2 sei nun bemerkt, dass das Fahrzeug 200 ein autonomes System 202, ein Antriebsstrang-Steuersystem 204, ein Lenksteuersystem 206 und ein Bremssystem 208 aufweist. Gemäß einigen Ausführungsformen gleicht oder ähnelt das Fahrzeug 200 dem Fahrzeug 102 (siehe 1). Gemäß einigen Ausführungsformen weist das Fahrzeug 102 eine Autonomiefähigkeit auf (beispielsweise Implementieren wenigstens einer Funktion, wenigstens eines Merkmals, wenigstens einer Vorrichtung und/oder dergleichen, wodurch es ermöglicht wird, dass das Fahrzeug 200 teilweise oder ganz ohne einen menschlichen Eingriff betrieben wird, einschließlich ohne Einschränkung vollständig autonomer Fahrzeuge (beispielsweise Fahrzeuge, die nicht auf einen menschlichen Eingriff vertrauen), hochgradig autonomer Fahrzeuge (beispielsweise Fahrzeuge, die in gewissen Situationen nicht auf einen menschlichen Eingriff vertrauen) und/oder dergleichen). Für eine detaillierte Beschreibung vollständig autonomer Fahrzeuge und hochgradig autonomer Fahrzeuge sei auf SAE International's Standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems, der durch Verweis in seiner Gesamtheit aufgenommen ist, verwiesen. Gemäß einigen Ausführungsformen ist das Fahrzeug 200 mit einem Autonome-Flotte-Manager und/oder einer Fahrgemeinschaftsfirma assoziiert.
Das autonome System 202 weist eine Sensorsuite auf, die eine oder mehrere Vorrichtungen in der Art von Kameras 202a, LiDAR-Sensoren 202b, Radarsensoren 202c und Mikrofonen 202d aufweist. Gemäß einigen Ausführungsformen kann das autonome System 202 mehr oder weniger Vorrichtungen und/oder andere Vorrichtungen (beispielsweise Ultraschallsensoren, Trägheitssensoren, Globales-Positionsbestimmungssystem-(GPS)-Empfänger (nachstehend erörtert), Odometrie-Sensoren, die Daten erzeugen, die mit einer Angabe der Strecke, die das Fahrzeug 200 gefahren ist, assoziiert sind, und/oder dergleichen) aufweisen. Gemäß einigen Ausführungsformen verwendet das autonome System 202 die eine oder die mehreren im autonomen System 202 enthaltenen Vorrichtungen zur Erzeugung von Daten in Zusammenhang mit der Umgebung 100, wie hier beschrieben. Die durch die eine oder die mehreren Vorrichtungen des autonomen Systems 202 erzeugten Daten können durch ein oder mehrere hier beschriebene Systeme zur Beobachtung der Umgebung (beispielsweise der Umgebung 100), in der sich das Fahrzeug 200 befindet, verwendet werden. Gemäß einigen Ausführungsformen weist das autonome System 202 eine Kommunikationsvorrichtung 202e, einen Autonomes-Fahrzeug-Computer 202f und ein Drive-by-Wire(DBW)-System 202h auf.
Kameras 202a weisen wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, über einen Bus (beispielsweise einen Bus, der dem Bus 302 aus 3 gleicht oder ähnelt) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem AV-Computer 202f und/oder der Sicherheitssteuereinrichtung 202g zu stehen. Kameras 202a umfassen wenigstens eine Kamera (beispielsweise eine Digitalkamera unter Verwendung eines Lichtsensors in der Art einer ladungsgekoppelten Vorrichtung (CCD), eine Wärmekamera, eine Infrarot(IR)-Kamera, eine Ereigniskamera und/oder dergleichen) zur Aufnahme von Bildern, die physische Objekte (beispielsweise Personenkraftwagen, Busse, Bordsteine, Personen und/oder dergleichen) aufweisen. Gemäß einigen Ausführungsformen erzeugt die Kamera 202a Kameradaten als Ausgabe. Bei einigen Beispielen erzeugt die Kamera 202a Kameradaten, die Bilddaten in Zusammenhang mit einem Bild einschließen. Bei diesem Beispiel können die Bilddaten wenigstens einen dem Bild entsprechenden Parameter (beispielsweise Bildmerkmale in der Art von Belichtung, Helligkeit usw., einen Bildzeitstempel und/oder dergleichen) spezifizieren. Bei einem solchen Beispiel kann das Bild in einem Format (beispielsweise RAW, JPEG, PNG und/oder dergleichen) vorliegen. Gemäß einigen Ausführungsformen umfasst die Kamera 202a mehrere unabhängige Kameras, die an einem Fahrzeug zur Aufnahme von Bildern für den Zweck des räumlichen Sehens (Stereosehens) ausgebildet (beispielsweise positioniert) sind. Bei einigen Beispielen umfasst die Kamera 202a mehrere Kameras, die Bilddaten erzeugen und die Bilddaten zum AV-Computer 202f und/oder zum Flottenverwaltungssystem (beispielsweise einem Flottenverwaltungssystem, das dem Flottenverwaltungssystem 116 aus 1 gleicht oder ähnelt) senden. Bei einem solchen Beispiel bestimmt der AV-Computer 202f die Tiefe eines oder mehrerer Objekte in einem Gesichtsfeld wenigstens zweier der mehreren Kameras auf der Grundlage der Bilddaten von den wenigstens zwei Kameras. Gemäß einigen Ausführungsformen sind Kameras 202a dafür ausgelegt, Bilder von Objekten innerhalb eines Abstands von den Kameras 202a (beispielsweise bis zu 100 Meter, bis zu einem Kilometer und/oder dergleichen) aufzunehmen. Dementsprechend weisen die Kameras 202a Merkmale in der Art von Sensoren und Linsen auf, die für die Wahrnehmung von Objekten optimiert sind, die sich in einem oder mehreren Abständen von den Kameras 202a befinden.
Gemäß einer Ausführungsform umfasst die Kamera 202a wenigstens eine Kamera, die dafür ausgelegt ist, ein oder mehrere Bilder in Zusammenhang mit einer oder mehreren Ampeln, Straßenzeichen und/oder anderen physischen Objekten, die visuelle Navigationsdaten bereitstellen, aufzunehmen. Gemäß einigen Ausführungsformen erzeugt die Kamera 202a Ampeldaten in Zusammenhang mit einem oder mehreren Bildern. Bei einigen Beispielen erzeugt die Kamera 202a TLD-Daten in Zusammenhang mit einem oder mehreren Bildern, die ein Format (beispielsweise RAW, JPEG, PNG und/oder dergleichen) aufweisen. Gemäß einigen Ausführungsformen unterscheidet sich die Kamera 202a, die TLD-Daten erzeugt, von anderen hier beschriebenen Systemen, die Kameras aufweisen, in der Hinsicht, dass die Kamera 202a eine oder mehrere Kameras mit einem weiten Gesichtsfeld (beispielsweise Weitwinkellinse, Fischaugenlinse, Linse mit einem Sichtwinkel von etwa 120 Grad oder mehr und/oder dergleichen) zur Erzeugung von Bildern über möglichst viele physische Objekte aufweisen kann.
Laser-Detection-and-Ranging(LiDAR)-Sensoren 202b weisen wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, über einen Bus (beispielsweise einen Bus, der dem Bus 302 aus 3 gleicht oder ähnelt) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem AV-Computer 202f und/oder der Sicherheitssteuereinrichtung 202g zu stehen. LiDAR-Sensoren 202b weisen ein System auf, das dafür ausgelegt ist, Licht von einem Lichtemitter (beispielsweise einem Lasersender) auszusenden. Von LiDAR-Sensoren 202b emittiertes Licht umfasst Licht (beispielsweise Infrarotlicht und/oder dergleichen), das sich außerhalb des sichtbaren Spektrums befindet. Gemäß einigen Ausführungsformen trifft während des Betriebs von LiDAR-Sensoren 202b emittiertes Licht auf ein physisches Objekt (beispielsweise ein Fahrzeug) und wird zu den LiDAR-Sensoren 202b rückreflektiert. Gemäß einigen Ausführungsformen durchdringt das von den LiDAR-Sensoren 202b emittierte Licht die physischen Objekte, auf die das Licht trifft, nicht. LiDAR-Sensoren 202b weisen auch wenigstens einen Lichtdetektor auf, der das Licht erfasst, das vom Lichtemitter emittiert wurde, nachdem es auf ein physisches Objekt getroffen ist. Gemäß einigen Ausführungsformen erzeugt wenigstens ein Datenverarbeitungssystem in Zusammenhang mit LiDAR-Sensoren 202b ein Bild (beispielsweise eine Punktwolke, eine kombinierte Punktwolke und/oder dergleichen), welches die im Gesichtsfeld der LiDAR-Sensoren 202b enthaltenen Objekte repräsentiert. Bei einigen Beispielen erzeugt das wenigstens eine Datenverarbeitungssystem in Zusammenhang mit dem LiDAR-Sensor 202b ein Bild, das die Begrenzungen eines physischen Objekts, die Oberflächen (beispielsweise die Topologie der Oberflächen) des physischen Objekts und/oder dergleichen repräsentiert. Bei einem solchen Beispiel wird das Bild zur Bestimmung der Begrenzungen physischer Objekte im Gesichtsfeld von LiDAR-Sensoren 202b verwendet.
Radio-Detection-and-Ranging(Radar)-Sensoren 202c weisen wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, über einen Bus (beispielsweise einen Bus, der dem Bus 302 aus 3 gleicht oder ähnelt) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem AV-Computer 202f und/oder der Sicherheitssteuereinrichtung 202g zu stehen. Radarsensoren 202c weisen ein System auf, das dafür ausgelegt ist, Radiowellen (entweder gepulst oder kontinuierlich) auszusenden. Die von Radarsensoren 202c ausgesendeten Radiowellen umfassen Radiowellen, die sich innerhalb eines vorgegebenen Spektrums befinden. Gemäß einigen Ausführungsformen treffen von Radarsensoren 202c ausgesendete Radiowellen auf ein physisches Objekt und werden zu den Radarsensoren 202c zurück reflektiert. Gemäß einigen Ausführungsformen werden die von Radarsensoren 202c ausgesendeten Radiowellen von einigen Objekten nicht reflektiert. Gemäß einigen Ausführungsformen erzeugt wenigstens ein Datenverarbeitungssystem in Zusammenhang mit Radarsensoren 202c Signale, welche die in einem Gesichtsfeld der Radarsensoren 202c enthaltenen Objekte repräsentieren. Beispielsweise erzeugt das wenigstens eine Datenverarbeitungssystem in Zusammenhang mit dem Radarsensor 202c ein Bild, das die Begrenzungen eines physischen Objekts, die Oberflächen (beispielsweise die Topologie der Oberflächen) des physischen Objekts und/oder dergleichen repräsentiert. Bei einigen Beispielen wird das Bild verwendet, um die Begrenzungen physischer Objekte im Gesichtsfeld der Radarsensoren 202c zu bestimmen.
Mikrofone 202d weisen wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, über einen Bus (beispielsweise einen Bus, der dem Bus 302 aus 3 gleicht oder ähnelt) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem AV-Computer 202f und/oder der Sicherheitssteuereinrichtung 202g zu stehen. Die Mikrofone 202d umfassen ein oder mehrere Mikrofone (beispielsweise Array-Mikrofone, externe Mikrofone und/oder dergleichen), die Audiosignale erfassen und Daten in Zusammenhang mit den Audiosignalen erzeugen (beispielsweise repräsentieren). Bei einigen Beispielen weisen die Mikrofone 202d Wandlervorrichtungen und/oder vergleichbare Vorrichtungen auf. Gemäß einigen Ausführungsformen können ein oder mehrere hier beschriebene Systeme die von Mikrofonen 202d erzeugten Daten empfangen und die Position eines Objekts in Bezug auf das Fahrzeug 200 (beispielsweise Abstand und/oder dergleichen) auf der Grundlage der Audiosignale in Zusammenhang mit den Daten bestimmen.
Die Kommunikationsvorrichtung 202e umfasst wenigstens eine Vorrichtung, die dafür ausgelegt ist, in Kommunikation mit Kameras 202a, LiDAR-Sensoren 202b, Radarsensoren 202c, Mikrofonen 202d, dem AV-Computer 202f, der Sicherheitssteuereinrichtung 202g und/oder dem DBW-System 202h zu stehen. Beispielsweise kann die Kommunikationsvorrichtung 202e eine Vorrichtung umfassen, die der Kommunikationsschnittstelle 314 aus 3 gleicht oder ähnelt. Gemäß einigen Ausführungsformen umfasst die Kommunikationsvorrichtung 202e eine Fahrzeug-zu-Fahrzeug(V2V)-Kommunikationsvorrichtung (beispielsweise eine Vorrichtung, die eine Drahtloskommunikation von Daten zwischen Fahrzeugen ermöglicht).
Der AV-Computer 202f weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, in Kommunikation mit Kameras 202a, LiDAR-Sensoren 202b, Radarsensoren 202c, Mikrofonen 202d, der Kommunikationsvorrichtung 202e, der Sicherheitssteuereinrichtung 202g und/oder dem DBW-System 202h zu stehen. Bei einigen Beispielen weist der AV-Computer 202f eine Vorrichtung in der Art einer Client-Vorrichtung, einer mobilen Vorrichtung (beispielsweise Mobiltelefon, Tablet und/oder dergleichen), eines Servers (beispielsweise einer Rechenvorrichtung, die eine oder mehrere Zentralverarbeitungseinheiten, Graphikverarbeitungseinheiten und/oder dergleichen aufweist) und/oder dergleichen auf. Gemäß einigen Ausführungsformen gleicht oder ähnelt der AV-Computer 202f dem hier beschriebenen Autonomes-Fahrzeug-Computer 400. Zusätzlich oder alternativ ist der AV-Computer 202f gemäß einigen Ausführungsformen dafür ausgelegt, in Kommunikation mit einem Fern-AV-System (beispielsweise einem Fern-AV-System, das dem Fern-AV-System 114 aus 1 gleicht oder ähnelt), einem Flottenverwaltungssystem (beispielsweise einem Flottenverwaltungssystem, das dem Flottenverwaltungssystem 116 aus 1 gleicht oder ähnelt), einer V2I-Vorrichtung (beispielsweise einer V2l-Vorrichtung, die der V2I-Vorrichtung 110 aus 1 gleicht oder ähnelt) und/oder einem V2I-System (beispielsweise einem V2l-System, das dem V2l-System 118 aus 1 gleicht oder ähnelt) zu stehen.
Die Sicherheitssteuereinrichtung 202g weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, in Kommunikation mit Kameras 202a, LiDAR-Sensoren 202b, Radarsensoren 202c, Mikrofonen 202d, der Kommunikationsvorrichtung 202e, dem AV-Computer 202f und/oder dem DBW-System 202h zu stehen. Bei einigen Beispielen umfasst die Sicherheitssteuereinrichtung 202g eine oder mehrere Steuereinrichtungen (elektrische Steuereinrichtungen, elektromechanische Steuereinrichtungen und/oder dergleichen), die dafür ausgelegt sind, Steuersignale zum Betreiben einer oder mehrerer Vorrichtungen des Fahrzeugs 200 (beispielsweise Antriebsstrang-Steuersystem 204, Lenksteuersystem 206, Bremssystem 208 und/oder dergleichen) zu erzeugen und/oder auszusenden. Gemäß einigen Ausführungsformen ist die Sicherheitssteuereinrichtung 202g dafür ausgelegt, Steuersignale zu erzeugen, die vom AV-Computer 202f erzeugten und/oder ausgesendeten Steuersignalen übergeordnet sind (beispielsweise diese überschreiben).
Das DBW-System 202h weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, in Kommunikation mit der Kommunikationsvorrichtung 202e und/oder dem AV-Computer 202f zu stehen. Bei einigen Beispielen weist das DBW-System 202h eine oder mehrere Steuereinrichtungen (beispielsweise elektrische Steuereinrichtungen, elektromechanische Steuereinrichtungen und/oder dergleichen) auf, die dafür ausgelegt sind, Steuersignale zum Betreiben einer oder mehrerer Vorrichtungen des Fahrzeugs 200 (beispielsweise Antriebsstrang-Steuersystem 204, Lenksteuersystem 206, Bremssystem 208 und/oder dergleichen) zu erzeugen und/oder auszusenden. Zusätzlich oder alternativ sind die eine oder die mehreren Steuereinrichtungen des DBW-Systems 202h dafür ausgelegt, Steuersignale zum Betreiben wenigstens einer anderen Vorrichtung (beispielsweise Blinksignal, Frontscheinwerfer, Türverriegelungen, Scheibenwischer und/oder dergleichen) des Fahrzeugs 200 zu erzeugen und/oder auszusenden.
Das Antriebsstrang-Steuersystem 204 weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, in Kommunikation mit dem DBW-System 202h zu stehen. Bei einigen Beispielen weist das Antriebsstrang-Steuersystem 204 wenigstens eine Steuereinrichtung, einen Aktuator und/oder dergleichen auf. Gemäß einigen Ausführungsformen empfängt das Antriebsstrang-Steuersystem 204 Steuersignale vom DBW-System 202h und veranlasst das Antriebsstrang-Steuersystem 204 das Fahrzeug 200, eine Vorwärtsbewegung zu beginnen, eine Vorwärtsbewegung zu unterbrechen, eine Rückwärtsbewegung zu beginnen, eine Rückwärtsbewegung zu unterbrechen, in einer Richtung zu beschleunigen, in einer Richtung zu verzögern, nach links zu fahren, nach rechts zu fahren und/oder dergleichen. Bei einem Beispiel bewirkt das Antriebsstrang-Steuersystem 204, dass die einem Motor des Fahrzeugs bereitgestellte Energie (beispielsweise Kraftstoff, Elektrizität und/oder dergleichen) zunimmt, gleich bleibt oder abnimmt, wodurch bewirkt wird, dass sich wenigstens ein Rad des Fahrzeugs 200 dreht oder nicht dreht.
Das Lenksteuersystem 206 weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, ein oder mehrere Räder des Fahrzeugs 200 zu drehen. Bei einigen Beispielen weist das Lenksteuersystem 206 wenigstens eine Steuereinrichtung, einen Aktuator und/oder dergleichen auf. Gemäß einigen Ausführungsformen bewirkt das Lenksteuersystem 206, dass die beiden Vorderräder und/oder die beiden hinteren Räder des Fahrzeugs 200 nach links oder nach rechts gedreht werden, um zu bewirken, dass das Fahrzeug 200 nach links oder nach rechts fährt.
Das Bremssystem 208 weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, eine oder mehrere Bremsen zu betätigen, um zu bewirken, dass das Fahrzeug 200 die Geschwindigkeit verringert und/oder stationär bleibt. Bei einigen Beispielen weist das Bremssystem 208 wenigstens eine Steuereinrichtung und/oder wenigstens einen Aktuator auf, der dafür ausgelegt ist, das Schließen eines oder mehrerer Bremsbeläge in Zusammenhang mit einem oder mehreren Rädern des Fahrzeugs 200 an einem entsprechenden Rotor des Fahrzeugs 200 zu bewirken. Zusätzlich oder alternativ umfasst das Bremssystem 208 bei einigen Beispielen ein automatisches Notbrems(AEB)-System, ein regeneratives Bremssystem und/oder dergleichen.
Gemäß einigen Ausführungsformen weist das Fahrzeug 200 wenigstens einen Plattformsensor (nicht explizit dargestellt) auf, der Eigenschaften eines Zustands oder einer Bedingung des Fahrzeugs 200 misst oder ableitet. Bei einigen Beispielen weist das Fahrzeug 200 Plattformsensoren in der Art eines GPS-Empfängers, einer Trägheitsmesseinheit (IMU), eines Radgeschwindigkeitssensors, eines Radbrems-Drucksensors, eines Raddrehmomentsensors, eines Motordrehmomentsensors, eines Lenkwinkelsensors und/oder dergleichen auf.
3 zeigt ein schematisches Diagramm einer Vorrichtung 300. Wie dargestellt, weist die Vorrichtung 300 einen Prozessor 304, einen Speicher 306, eine Massenspeicherkomponente 308, eine Eingabeschnittstelle 310, eine Ausgabeschnittstelle 312, eine Kommunikationsschnittstelle 314 und einen Bus 302 auf. Gemäß einigen Ausführungsformen entspricht die Vorrichtung 300 wenigstens einer Vorrichtung der Fahrzeuge 102 (beispielsweise wenigstens einer Vorrichtung eines Systems der Fahrzeuge 102), des Fern-AV-Systems 114, des Flottenverwaltungssystems 116, des Fahrzeug-zu-Infrastruktur-Systems 118, des autonomen Systems 202, des Bremssystems 208, des DBW-Systems 202h, des Lenksteuersystems 206, des Antriebsstrang-Steuersystems 204 und/oder einer oder mehreren Vorrichtungen des Netzes 112 (beispielsweise einer oder mehreren Vorrichtungen eines Systems des Netzes 112). Gemäß einigen Ausführungsformen umfassen eine oder mehrere Vorrichtungen der Fahrzeuge 102 (beispielsweise eine oder mehrere Vorrichtungen eines Systems der Fahrzeuge 102), des Fern-AV-Systems 114, des Flottenverwaltungssystems 116, des Fahrzeug-zu-Infrastruktur-Systems 118, des autonomen Systems 202, des Bremssystems 208, des DBW-Systems 202h, des Lenksteuersystems 206, des Antriebsstrang-Steuersystems 204 und/oder eine oder mehrere Vorrichtungen des Netzes 112 (beispielsweise eine oder mehrere Vorrichtungen eines Systems des Netzes 112) wenigstens eine Vorrichtung 300 und/oder wenigstens eine Komponente der Vorrichtung 300. Wie in 3 dargestellt ist, weist die Vorrichtung 300 den Bus 302, den Prozessor 304, den Speicher 306, die Massenspeicherkomponente 308, die Eingabeschnittstelle 310, die Ausgabeschnittstelle 312 und die Kommunikationsschnittstelle 314 auf.
Der Bus 302 weist eine Komponente auf, die eine Kommunikation zwischen den Komponenten der Vorrichtung 300 ermöglicht. Gemäß einigen Ausführungsformen ist der Prozessor 304 in Hardware, Software oder einer Kombination von Hardware und Software implementiert. Bei einigen Beispielen umfasst der Prozessor 304 einen Prozessor (beispielsweise eine Zentralverarbeitungseinheit (CPU), eine Graphikverarbeitungseinheit (GPU), eine Einheit für eine beschleunigte Verarbeitung (APU) und/oder dergleichen), ein Mikrofon, einen Digitalsignalprozessor (DSP) und/oder eine Verarbeitungskomponente (beispielsweise ein feldprogrammierbares Gate-Array (FPGA), eine anwendungsspezifische integrierte Schaltung (ASIC) und/oder dergleichen), die programmiert werden kann, um wenigstens eine Funktion auszuführen. Der Speicher 306 umfasst einen Direktzugriffsspeicher (RAM), einen Nurlesespeicher (ROM) und/oder einen anderen Typ einer dynamischen und/oder statischen Speichervorrichtung (beispielsweise Flash-Speicher, magnetischer Speicher, optischer Speicher und/oder dergleichen), die vom Prozessor 304 verwendbare Daten und/oder Befehle speichert.
Die Massenspeicherkomponente 308 speichert Daten und/oder Software in Bezug auf den Betrieb und die Verwendung der Vorrichtung 300. Bei einigen Beispielen umfasst die Massenspeicherkomponente 308 eine Festplatte (beispielsweise eine Magnetplatte, eine optische Scheibe, eine magnetooptische Scheibe, eine Halbleiterplatte und/oder dergleichen), eine Compact Disc (CD), eine Digital Versatile Disc (DVD), eine Diskette, eine Kassette, ein Magnetband, eine CD-ROM, einen RAM, einen PROM, einen EPROM, einen FLASH-EPROM, einen NV-RAM und/oder einen anderen Typ eines computerlesbaren Mediums zusammen mit einem entsprechenden Laufwerk.
Die Eingabeschnittstelle 310 weist eine Komponente auf, die es der Vorrichtung 300 ermöglicht, Daten, beispielsweise über eine Benutzereingabe (beispielsweise eine Touchscreen-Anzeige, eine Tastatur, ein Tastenfeld, eine Maus, eine Taste, einen Schalter, ein Mikrofon, eine Kamera und/oder dergleichen), zu empfangen. Zusätzlich oder alternativ weist die Eingabeschnittstelle 310 gemäß einigen Ausführungsformen einen Sensor auf, der Daten erfasst (beispielsweise einen GPS-Empfänger, einen Beschleunigungsmesser, ein Gyroskop, einen Aktuator und/oder dergleichen). Die Ausgabeschnittstelle 312 weist eine Komponente auf, die von der Vorrichtung 300 ausgegebene Daten bereitstellt (beispielsweise eine Anzeige, einen Lautsprecher, eine oder mehrere Leuchtdioden (LEDs) und/oder dergleichen).
Gemäß einigen Ausführungsformen weist die Kommunikationsschnittstelle 314 eine sendeempfängerartige Komponente (beispielsweise einen Sendeempfänger, einen getrennten Empfänger und Sender und/oder dergleichen) auf, die es der Vorrichtung 300 ermöglicht, über eine festverdrahtete Verbindung, eine drahtlose Verbindung oder eine Kombination einer festverdrahteten und einer drahtlosen Verbindung mit anderen Vorrichtungen zu kommunizieren. Bei einigen Beispielen ermöglicht es die Kommunikationsschnittstelle 314 der Vorrichtung 300, Daten von einer anderen Vorrichtung zu empfangen und/oder einer anderen Vorrichtung Daten bereitzustellen. Bei einigen Beispielen umfasst die Kommunikationsschnittstelle 314 eine Ethernet-Schnittstelle, eine optische Schnittstelle, eine Koaxialschnittstelle, eine Infrarotschnittstelle, eine Funkfrequenz(RF)-Schnittstelle, eine Universeller-serieller-Bus(USB)-Schnittstelle, eine WiFi®-Schnittstelle, eine Mobilfunkschnittstelle und/oder dergleichen.
Gemäß einigen Ausführungsformen führt die Vorrichtung 300 einen oder mehrere hier beschriebene Prozesse aus. Die Vorrichtung 300 führt diese Prozesse auf der Grundlage davon aus, dass der Prozessor 304 von einem computerlesbaren Medium in der Art des Speichers 305 und/oder der Massenspeicherkomponente 308 gespeicherte Softwarebefehle ausführt. Ein computerlesbares Medium (beispielsweise ein nichtflüchtiges computerlesbares Medium) wird hier als nichtflüchtige Speichervorrichtung definiert. Eine nichtflüchtige Speichervorrichtung weist einen sich innerhalb einer einzigen physischen Speichervorrichtung befindenden Speicherplatz oder einen über mehrere physische Speichervorrichtungen verteilten Speicherplatz auf.
Gemäß einigen Ausführungsformen werden Softwarebefehle über die Kommunikationsschnittstelle 314 von einem anderen computerlesbaren Medium oder einer anderen Vorrichtung in den Speicher 306 und/oder die Massenspeicherkomponente 308 gelesen. Wenn sie ausgeführt werden, veranlassen im Speicher 306 und/oder der Massenspeicherkomponente 308 gespeicherte Softwarebefehle den Prozessor 304, einen oder mehrere hier beschriebene Prozesse auszuführen. Zusätzlich oder alternativ wird anstelle von Softwarebefehlen oder in Kombination damit eine festverdrahtete Schaltungsanordnung verwendet, um einen oder mehrere hier beschriebene Prozesse auszuführen. Demgemäß sind hier beschriebene Ausführungsformen nicht auf eine spezifische Kombination einer Hardwareschaltungsanordnung und Software beschränkt, es sei denn, dass explizit etwas anderes ausgesagt wird.
Der Speicher 306 und/oder die Massenspeicherkomponente 308 weist einen Datenspeicher oder wenigstens eine Datenstruktur (beispielsweise eine Datenbank und/oder dergleichen) auf. Die Vorrichtung 300 ist in der Lage, Daten vom Datenspeicher oder von der wenigstens einen Datenstruktur im Speicher 306 oder der Massenspeicherkomponente 308 zu empfangen, darin zu speichern, Daten dazu zu übermitteln oder darin gespeicherte Daten zu suchen. Bei einigen Beispielen umfassen die Daten Netzdaten, Eingangsdaten, Ausgangsdaten oder eine Kombination davon.
Gemäß einigen Ausführungsformen ist die Vorrichtung 300 dafür ausgelegt, Softwarebefehle auszuführen, die entweder im Speicher 306 und/oder im Speicher einer anderen Vorrichtung (beispielsweise einer anderen Vorrichtung, die der Vorrichtung 300 gleicht oder ähnelt) gespeichert sind. Hier bezieht sich der Begriff „Modul“ auf wenigstens einen im Speicher 306 und/oder im Speicher einer anderen Vorrichtung gespeicherten Befehl, der, wenn er durch den Prozessor 304 und/oder einen Prozessor einer anderen Vorrichtung (beispielsweise eine andere Vorrichtung, die der Vorrichtung 300 gleicht oder ähnelt) ausgeführt wird, die Vorrichtung 300 (beispielsweise wenigstens eine Komponente der Vorrichtung 300) veranlasst, einen oder mehrere hier beschriebene Prozesse auszuführen. Gemäß einigen Ausführungsformen ist ein Modul in Software, Firmware, Hardware und/oder dergleichen implementiert.
Die Anzahl und Anordnung in 3 dargestellter Komponenten dienen als Beispiel. Gemäß einigen Ausführungsformen kann die Vorrichtung 300 zusätzliche Komponenten, weniger Komponenten, andere Komponenten oder anders angeordnete Komponenten als in 3 aufweisen. Zusätzlich oder alternativ kann ein Satz von Komponenten (beispielsweise eine oder mehrere Komponenten) der Vorrichtung 300 eine oder mehrere Funktionen ausführen, die als von einer anderen Komponente oder einem anderen Satz von Komponenten der Vorrichtung 300 ausgeführt beschrieben werden.
4 zeigt ein beispielhaftes Blockdiagramm eines Autonomes-Fahrzeug-Computers 400 (manchmal als „AV-Stapel“ bezeichnet). Wie dargestellt ist, weist der AV-Computer 400 ein Wahrnehmungssystem 402 (manchmal als Wahrnehmungsmodul bezeichnet), ein Planungssystem 404 (manchmal als Planungsmodul bezeichnet), ein Lokalisierungssystem 406 (manchmal als Lokalisierungsmodul bezeichnet), ein Steuersystem 408 (manchmal als Steuermodul bezeichnet) und eine Datenbank 410 auf. Gemäß einigen Ausführungsformen sind das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in ein autonomes Navigationssystem eines Fahrzeugs (beispielsweise den AV-Computer 202f des Fahrzeugs 200) aufgenommen und/oder darin implementiert. Zusätzlich oder alternativ sind gemäß einigen Ausführungsformen das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in ein oder mehrere eigenständige Systeme (beispielsweise ein oder mehrere Systeme, die dem AV-Computer 400 und/oder dergleichen gleichen oder ähneln) aufgenommen. Bei einigen Beispielen sind das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in ein oder mehrere eigenständige Systeme aufgenommen, die sich in einem Fahrzeug und/oder wenigstens einem fernen System, wie hier beschrieben, befinden. Gemäß einigen Ausführungsformen sind einige und/oder alle der im AV-Computer 400 enthaltenen Systeme in Software (beispielsweise in Softwarebefehlen, die im Speicher gespeichert sind), Computerhardware (beispielsweise durch Mikroprozessoren, Mikrosteuereinrichtungen, anwendungsspezifische integrierte Schaltungen [ASICs], FPGAs und/oder dergleichen) oder Kombinationen von Computersoftware und Computerhardware implementiert. Es sei auch bemerkt, dass der AV-Computer 400 gemäß einigen Ausführungsformen dafür ausgelegt ist, in Kommunikation mit einem fernen System (beispielsweise einem Autonomes-Fahrzeug-System, das dem Fern-AV-System 114 gleicht oder ähnelt, einem Flottenverwaltungssystem 116, das dem Flottenverwaltungssystem 116 gleicht oder ähnelt, einem V2I-System, das dem V2I-System 118 gleicht oder ähnelt und/oder dergleichen) zu stehen.
Gemäß einigen Ausführungsformen empfängt das Wahrnehmungssystem 402 Daten in Zusammenhang mit wenigstens einem physischen Objekt (beispielsweise Daten, die vom Wahrnehmungssystem 402 verwendet werden, um das wenigstens eine physische Objekt zu erkennen) in einer Umgebung und klassifiziert das wenigstens eine physische Objekt. Bei einigen Beispielen empfängt das Wahrnehmungssystem 402 von wenigstens einer Kamera (beispielsweise Kameras 202a) aufgenommene Bilddaten, wobei das Bild mit einem oder mehreren physischen Objekten innerhalb eines Gesichtsfelds der wenigstens einen Kamera assoziiert ist (diese beispielsweise repräsentiert). Bei einem solchen Beispiel klassifiziert das Wahrnehmungssystem 402 wenigstens ein physisches Objekt auf der Grundlage einer oder mehrerer Gruppierungen physischer Objekte (beispielsweise Fahrräder, Fahrzeuge, Verkehrszeichen, Fußgänger und/oder dergleichen). Gemäß einigen Ausführungsformen überträgt das Wahrnehmungssystem 402 Daten in Zusammenhang mit der Klassifikation der physischen Objekte auf der Grundlage der vom Wahrnehmungssystem 402 vorgenommenen Klassifikation der physischen Objekte zum Planungssystem 404.
Gemäß einigen Ausführungsformen empfängt das Planungssystem 404 Daten in Zusammenhang mit einem Bestimmungsort und erzeugt Daten in Zusammenhang mit wenigstens einer Route (beispielsweise Routen 106), entlang derer ein Fahrzeug (beispielsweise die Fahrzeuge 102) zu einem Bestimmungsort fahren kann. Gemäß einigen Ausführungsformen empfängt das Planungssystem 404 periodisch oder kontinuierlich Daten vom Wahrnehmungssystem 402 (beispielsweise Daten in Zusammenhang mit der Klassifikation physischer Objekte, wie vorstehend beschrieben) und aktualisiert das Planungssystem 404 die wenigstens eine Fahrstrecke oder erzeugt wenigstens eine andere Fahrstrecke auf der Grundlage der vom Wahrnehmungssystem 402 erzeugten Daten. Gemäß einigen Ausführungsformen empfängt das Planungssystem 404 Daten in Zusammenhang mit einer aktualisierten Position eines Fahrzeugs (beispielsweise der Fahrzeuge 102) vom Lokalisierungssystem 406 und aktualisiert das Planungssystem 404 die wenigstens eine Fahrstrecke oder erzeugt wenigstens eine andere Fahrstrecke auf der Grundlage der vom Lokalisierungssystem 406 erzeugten Daten.
Gemäß einigen Ausführungsformen empfängt das Lokalisierungssystem 406 Daten in Zusammenhang mit dem Ort eines Fahrzeugs (beispielsweise der Fahrzeuge 102) in einem Bereich (welche diesen beispielsweise repräsentieren). Bei einigen Beispielen empfängt das Lokalisierungssystem 406 LiDAR-Daten in Zusammenhang mit wenigstens einer von wenigstens einem LiDAR-Sensor (beispielsweise den LiDAR-Sensoren 202b) erzeugten Punktwolke. Bei gewissen Beispielen empfängt das Lokalisierungssystem 406 Daten in Zusammenhang mit wenigstens einer Punktwolke von mehreren LiDAR-Sensoren und erzeugt das Lokalisierungssystem 406 eine kombinierte Punktwolke auf der Grundlage jeder der Punktwolken. Bei diesen Beispielen vergleicht das Lokalisierungssystem 406 die wenigstens eine Punktwolke oder die kombinierte Punktwolke mit einer in der Datenbank 410 gespeicherten zweidimensionalen (2D) und/oder dreidimensionalen (3D) Karte des Bereichs. Das Lokalisierungssystem 406 bestimmt dann die Position des Fahrzeugs im Bereich auf der Grundlage dessen, dass das Lokalisierungssystem 406 die wenigstens eine Punktwolke oder die kombinierte Punktwolke mit der Karte vergleicht. Gemäß einigen Ausführungsformen weist die Karte eine vor der Navigation des Fahrzeugs erzeugte kombinierte Punktwolke des Bereichs auf. Gemäß einigen Ausführungsformen umfassen Karten ohne Einschränkung Karten hoher Genauigkeit der geometrischen Eigenschaften der Fahrbahn, Karten, die Straßennetz-Verbindbarkeitseigenschaften beschreiben, Karten, die physische Eigenschaften der Fahrbahn beschreiben (wie Verkehrsgeschwindigkeit, Verkehrsaufkommen, die Anzahl von Fahrzeug- und Radfahrer-Verkehrsspuren, die Fahrspurbreite, Fahrspur-Verkehrsrichtungen oder Fahrspur-Markierungstypen und -orte oder Kombinationen davon) und Karten, welche die räumlichen Orte von Straßenmerkmalen in der Art von Fußgängerüberwegen, Verkehrszeichen oder anderen Verkehrssignalen verschiedener Typen beschreiben. Gemäß einigen Ausführungsformen wird die Karte in Echtzeit auf der Grundlage der vom Wahrnehmungssystem empfangenen Daten erzeugt.
Bei einem anderen Beispiel empfängt das Lokalisierungssystem 406 von einem GPS-Empfänger erzeugte Daten des globalen Navigationssatellitensystems (GNSS). Bei einigen Beispielen empfängt das Lokalisierungssystem 406 GNSS-Daten in Zusammenhang mit dem Ort des Fahrzeugs im Bereich und bestimmt das Lokalisierungssystem 406 die Breite und Länge des Fahrzeugs im Bereich. Bei einem solchen Beispiel bestimmt das Lokalisierungssystem 406 die Position des Fahrzeugs im Bereich auf der Grundlage der Breite und Länge des Fahrzeugs. Gemäß einigen Ausführungsformen erzeugt das Lokalisierungssystem 406 Daten in Zusammenhang mit der Position des Fahrzeugs. Bei einigen Beispielen erzeugt das Lokalisierungssystem 406 Daten in Zusammenhang mit der Position des Fahrzeugs auf der Grundlage dessen, dass das Lokalisierungssystem 406 die Position des Fahrzeugs bestimmt. Bei einem solchen Beispiel umfassen die Daten in Zusammenhang mit der Position des Fahrzeugs Daten in Zusammenhang mit einer oder mehreren semantischen Eigenschaften, die der Position des Fahrzeugs entsprechen.
Gemäß einigen Ausführungsformen empfängt das Steuersystem 408 Daten in Zusammenhang mit wenigstens einer Fahrstrecke vom Planungssystem 404 und steuert das Steuersystem 408 den Betrieb des Fahrzeugs. Bei einigen Beispielen empfängt das Steuersystem 408 Daten in Zusammenhang mit wenigstens einer Fahrstrecke vom Planungssystem 404 und steuert das Steuersystem 408 den Betrieb des Fahrzeugs durch Erzeugen und Übertragen von Steuersignalen, um zu bewirken, dass ein Antriebsstrang-Steuersystem (beispielsweise das DBW-System 202h, das Antriebsstrang-Steuersystem 204 und/oder dergleichen), ein Lenksteuersystem (beispielsweise das Lenksteuersystem 206) und/oder ein Bremssystem (beispielsweise das Bremssystem 208) arbeiten. Bei einem Beispiel, bei dem eine Fahrstrecke ein Abbiegen nach links aufweist, überträgt das Steuersystem 408 ein Steuersignal, um das Lenksteuersystem 206 zu veranlassen, den Lenkwinkel des Fahrzeugs 200 einzustellen, wodurch das Fahrzeug 200 veranlasst wird, nach links zu fahren. Zusätzlich oder alternativ erzeugt und überträgt das Steuersystem 408 Steuersignale, um andere Vorrichtungen (beispielsweise Frontscheinwerfer, Abbiegesignale, Türverriegelungen, Scheibenwischer und/oder dergleichen) des Fahrzeugs 200 zu veranlassen, Zustände zu ändern.
Gemäß einigen Ausführungsformen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 wenigstens ein Maschinenlernmodell (beispielsweise wenigstens ein mehrschichtiges Perzeptron (MLP), wenigstens ein faltendes neuronales Netz (CNN), wenigstens ein rekurrentes neuronales Netz (RNN), wenigstens einen Autoencoder, wenigstens einen Transformer und/oder dergleichen). Bei einigen Beispielen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 allein oder in Kombination mit einem oder mehreren der vorstehend erwähnten Systeme wenigstens ein Maschinenlernmodell. Bei einigen Beispielen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 wenigstens ein Maschinenlernmodell als Teil einer Pipeline (beispielsweise einer Pipeline zur Identifikation eines oder mehrerer Objekte, die sich in einer Umgebung und/oder dergleichen befinden).
Die Datenbank 410 speichert Daten, die zum Wahrnehmungssystem 402, zum Planungssystem 404, zum Lokalisierungssystem 406 und/oder zum Steuersystem 408 gesendet, davon empfangen und/oder dadurch aktualisiert werden. Bei einigen Beispielen weist die Datenbank 410 eine Massenspeicherkomponente (beispielsweise eine Massenspeicherkomponente, die der Massenspeicherkomponente 308 aus 3 gleicht oder ähnelt) auf, die Daten und/oder Software in Bezug auf den Betrieb speichert und wenigstens ein System des AV-Computers 400 verwendet. Gemäß einigen Ausführungsformen speichert die Datenbank 410 Daten in Zusammenhang mit 2D- und/oder 3D-Karten wenigstens eines Bereichs. Bei einigen Beispielen speichert die Datenbank 410 Daten in Zusammenhang mit 2D- und/oder 3D-Karten eines Teils einer Stadt, mehrerer Teile mehrerer Städte, mehrerer Städte, eines Lands, eine Staats, eines souveränen Staats (beispielsweise eines Lands) und/oder dergleichen. Bei einem solchen Beispiel kann ein Fahrzeug (beispielsweise ein Fahrzeug, das den Fahrzeugen 102 und/oder dem Fahrzeug 200 gleicht oder ähnelt) entlang einem oder mehreren befahrbaren Gebieten (beispielsweise einspurigen Straßen, mehrspurigen Straßen, Schnellstraßen, Nebenwegen, Querfeldeinwegen und/oder dergleichen) fahren und wenigstens einen LiDAR-Sensor (beispielsweise einen LiDAR-Sensor, der dem LiDAR-Sensor 202b gleicht oder ähnelt) veranlassen, Daten in Zusammenhang mit einem Bild zu erzeugen, das die in einem Gesichtsfeld des wenigstens einen LiDAR-Sensors enthaltenen Objekte repräsentiert.
Gemäß einigen Ausführungsformen kann die Datenbank 410 über mehrere Vorrichtungen hinweg implementiert werden. Bei einigen Beispielen ist die Datenbank 410 in ein Fahrzeug (beispielsweise ein Fahrzeug, das den Fahrzeugen 102 und/oder dem Fahrzeug 200 gleicht oder ähnelt), ein Fern-AV-System (beispielsweise ein Fern-AV-System, das dem Fern-AV-System 114 gleicht oder ähnelt), ein Flottenverwaltungssystem (beispielsweise ein Flottenverwaltungssystem, das dem Flottenverwaltungssystem 116 aus 1 gleicht oder ähnelt), ein V2l-System (beispielsweise ein V2I-System, das dem V2l-System 118 aus 1 gleicht oder ähnelt) und/oder dergleichen aufgenommen.
Betriebseinhüllendenerkennung mit Situationsbeurteilungs-Framework
Hier bezeichnet der Begriff „Betriebseinhüllende“ die Einhüllende, in der ein AV innerhalb seiner Fähigkeiten arbeitet. Im Allgemeinen arbeitet das AV innerhalb seiner festgelegten Betriebseinhüllenden, wenn seine aktuellen Fähigkeiten (beispielsweise Wahrnehmung, Planung, Vorhersage, Steuerung, Kommunikation usw.) die Funktionsanforderungen, die vom Manöver auferlegt werden, welches das Fahrzeug ausführt oder von dem erwartet wird, dass es dieses ausführt, in einer gegebenen Situation mit identifizierten Funktionsbeschränkungen (beispielsweise Umgebungsbedingungen, Straßenstrukturen, Verhalten anderer Straßenbenutzer usw.) erfüllen oder überschreiten.
5 zeigt ein beispielhaftes Szenario 500, auf das ein Fahrzeug 200 mit einem autonomen System 202 treffen kann. Insbesondere zeigt 5, dass das AV 200 beabsichtigt, an einer Kreuzung nach rechts abzubiegen. Die Abbiegung nach rechts ist in einer beabsichtigten Fahrstrecke 520 des AVs 200 dargestellt. Wie vorstehend beschrieben, bezieht sich der Begriff „Fahrstrecke“ auf einen Weg, dem das AV 200 als Funktion der Zeit durch eine Umgebung folgt. Insbesondere wird hier ausgesagt, dass das AV 200 „die Fahrstrecke durchfährt“, wenn das AV 200 die Aktionssequenz ausführt. Gemäß einer anderen Ausführungsform werden diese Aktionen als „ein Manöver ausführen[d]“ bezeichnet.
Bei diesem beispielhaften Szenario 500 ist eine Anzahl von Objekten in der Art eines geparkten Fahrzeugs 510 und eines Fußgängers 515 vorhanden. Insbesondere ist das geparkte Fahrzeug 510 als entlang einem Bordstein in der Fahrspur, in der das AV 200 abzubiegen beabsichtigt, geparkt dargestellt. Der Fußgänger 515 befindet sich auch zumindest teilweise in der Fahrspur. Gemäß dieser Ausführungsform kann das geparkte Fahrzeug 510, wenn das AV 200 durch die Abbiegung nach rechts entlang der Fahrstrecke 520 manövriert, die Sehfähigkeit des AVs 200 blockieren, so dass das AV 200 nicht in der Lage ist, den Fußgänger zu sehen. Gemäß dieser Ausführungsform wird die Betriebseinhüllende des AVs 200 daher durch die Positionierung des geparkten Fahrzeugs 510 beeinflusst, so dass die Fähigkeiten des AVs 200 (beispielsweise die Wahrnehmung des AVs 200) die Fähigkeit des AVs 200, entlang der Fahrstrecke 520 zu navigieren, beeinflussen (in diesem Fall beschränken).
Hier dargelegte Ausführungsformen beziehen sich auf ein autonomes System, das Funktionsfähigkeiten und -anforderungen des AVs 200 misst, um dabei zu helfen, den Betrieb des AVs 200 innerhalb seiner ODD auf der Grundlage einer genauen Beurteilung der Umgebung, in der sich das AV 200 befindet, und/oder der Situation, an der das AV 200 beteiligt ist, zu gewährleisten.
Mit Bezug auf 6 zeigt 6 ein beispielhaftes OED-Framework. Gemäß einigen Ausführungsformen werden eines oder mehrere der mit Bezug auf das OED-Framework 600 beschriebenen Elemente durch ein oder mehrere Fahrzeuge 102 (beispielsweise eine oder mehrere Vorrichtungen der Fahrzeuge 102) (beispielsweise vollständig, teilweise und/oder dergleichen) ausgeführt. Zusätzlich oder alternativ können ein oder mehrere mit Bezug auf das OED-Framework 600 beschriebene Elemente (beispielsweise vollständig, teilweise und/oder dergleichen) durch eine andere Vorrichtung oder Gruppe von Vorrichtungen getrennt von den Fahrzeugen 102 oder diese einschließend, in der Art einer oder mehrerer der anderen Vorrichtungen aus einer der 1, 2, 3 und 4, ausgeführt werden.
Gemäß einigen Ausführungsformen weist das OED-Framework 600 wenigstens einen Sensor 605 auf, der wenigstens eine der Kameras 202a, der LiDAR-Sensoren 202b, der Radarsensoren 202c, der Mikrofone 202d usw. aufweist. Die Sensoren 605 sind dafür ausgelegt, Sensordaten 606 an das Wahrnehmungssystem 402 auszugeben. Die Sensordaten 606 umfassen beispielsweise Radardaten, Kameradaten, LiDAR-Daten usw.
Zusätzlich zu den vorstehend mit Bezug auf 4 beschriebenen Funktionen stellt das Wahrnehmungssystem 402 wenigstens eine Wahrnehmungskarte 607 bereit. Die Wahrnehmungskarte 607 beschreibt wie gut (beispielsweise bis zu welchem Grad) und wie weit die Sensoren 605 des AVs ein Objekt zu einer gegebenen Zeit genau in einem gewissen Abstand vom AV 200 wahrnehmen können. Das Wahrnehmungssystem 402 wird nachstehend detaillierter beschrieben. Gemäß einigen Ausführungsformen wird das Wahrnehmungssystem 402 als Umgebungsbeschränkungs- und Sensoranomalie („ELSA“)-System 402 bezeichnet.
Das OED-Framework 600 weist ferner das Planungssystem 404 auf. Das Planungssystem 404 empfängt Daten von verschiedenen Systemen und Untersystemen, wie beispielsweise mit Bezug auf 4 beschrieben. Zusätzlich empfängt das Planungssystem 404 Wahrnehmungsdaten 619 (beispielsweise Objekterkennungen) und/oder PVM-Daten 618 vom Wahrnehmungssystem 402, welche das Planungssystem 404 verwendet, um Fahrstreckendaten 609 für den Autonomes-Fahrzeug-Computer 400 zur Beurteilung und/oder für das Durchfahren durch Fahrzeuge 102 zu erzeugen oder zu aktualisieren. Die Fahrstreckendaten 609 weisen einen oder mehrere Parameter einer Fahrstrecke in der Art der Fahrstrecke 520 auf. Gemäß einer Ausführungsform werden die PVM-Daten 618 durch das Wahrnehmungssystem 402 erzeugt, wie nachstehend detailliert erörtert wird.
Das OED-Framework 600 weist ferner ein Beurteilungssystem 620 auf. Gemäß einigen Ausführungsformen kann das Beurteilungssystem 620 als unabhängiges System in den AV-Computer 400 oder in das Wahrnehmungssystem 402 aufgenommen sein. Gemäß einigen Ausführungsformen wird das Beurteilungssystem 620 als „SAM“-System 620 bezeichnet. Das Beurteilungssystem 620 ist dafür ausgelegt, ein Wahrnehmungspolygon (entlang einer Draufsicht oder Vogelperspektive der Umgebung, in der das AV arbeitet), das eine minimale erforderliche Wahrnehmungszone in einem interessierenden Gebiet angibt, bereitzustellen. Hier ist eine „Wahrnehmungszone“ ein Teil der Betriebsumgebung, der sich innerhalb der Erfassungsfähigkeiten der Sensoren 605 befindet, und bezieht sich ein „interessierendes Gebiet“ auf ein Gebiet, das sich in der Nähe des AVs und insbesondere im Gebiet der Umgebung, in dem sich das AV befindet oder wohin es sich auf der Grundlage der Fahrstreckendaten 609 bewegen wird, befindet. Insbesondere identifiziert das Beurteilungssystem 620 auf der Grundlage der vom Planungssystem 404 bereitgestellten Fahrstreckendaten 609 die Minimale-Wahrnehmungszone-Daten 611 und gibt diese aus. Die Minimale-Wahrnehmungszone-Daten 611 beziehen sich auf die minimale Wahrnehmungszone, die erforderlich ist, um die durch Fahrstreckendaten 609 beschriebene Fahrstrecke zu durchfahren.
Eine Unfähigkeit des Beurteilungssystems 620, eine minimale erforderliche Wahrnehmungszone zu identifizieren, kann angeben, dass die vorgeschlagene Fahrstrecke nicht mit einer Funktionsanforderung assoziiert ist. In dieser Situation stellt das Beurteilungssystem 620 dem Eingriffsanforderungssystem 630 eine Angabe einer undefinierten Funktionsanforderung 617 bereit. Das Beurteilungssystem 620 wird nachstehend detaillierter beschrieben.
Das OED-Framework 600 weist ferner ein Schiedsrichtersystem 625 auf. Das Schiedsrichtersystem 625 ist dafür ausgelegt, eine oder mehrere Wahrnehmungskarten 607 und die Minimale-Wahrnehmungszone-Daten 611 zu empfangen. Gemäß einer Ausführungsform ist das Schiedsrichtersystem 625 dafür ausgelegt, Fahrstreckendaten 609 direkt vom Planungssystem 404 zu empfangen. Das Schiedsrichtersystem 625 vergleicht dann die eine oder die mehreren Wahrnehmungskarten 607 und die Minimale-Wahrnehmungszone-Daten 611 (und gemäß einer Ausführungsform Fahrstreckendaten 609), um festzustellen, ob das AV innerhalb seiner ODD arbeitet. Insbesondere ist das Schiedsrichtersystem 625 dafür ausgelegt, einer Ausgabe des Wahrnehmungssystems 402 ein erstes Risikoniveau zuzuweisen. Gemäß einigen Ausführungsformen ist das Schiedsrichtersystem 625 dafür ausgelegt, ein erstes Nichtbefolgungs-Risikoniveau mit einer Funktionsanforderung in Bezug auf die Fahrstrecke auf der Grundlage der Sensordaten 606 zuzuweisen.
Das Schiedsrichtersystem 625 weist der Ausgabe (beispielsweise Minimale-Wahrnehmungszone-Daten 611) des Beurteilungssystems 620 ferner ein zweites Nichtbefolgungs-Risikoniveau mit der Funktionsanforderung zu. Das Schiedsrichtersystem 625 berechnet ein Gesamtrisikoniveau auf der Grundlage des zugewiesenen ersten und zweiten Risikoniveaus. Auf der Grundlage des Gesamtrisikoniveaus stellt das Schiedsrichtersystem 625 fest, ob sich das AV in einem sicheren Zustand befindet. Ein Beispiel eines sicheren Zustands ist gegeben, wenn das AV in der Lage ist, die zugewiesene Fahrstrecke/das zugewiesene Manöver innerhalb der ODD des AVs auszuführen oder die zugewiesene Fahrstrecke/das zugewiesene Manöver innerhalb der ODD des AVs zu navigieren. Ein Beispiel eines unsicheren Zustands ist gegeben, wenn die Anforderungen der Fahrstrecke/des Manövers die Funktionseigenschaften des AVs überschreiten. Falls das Schiedsrichtersystem 625 feststellt, dass sich das AV in einem unsicheren Zustand befindet, gibt es Unsicher-Indikator-Daten 616 an ein Eingriffsanforderungssystem 630 aus, das eine Eingriffsanforderung erzeugt und sie beispielsweise zum Fern-AV-System 114 für einen RVA-Eingriff oder zum Planungssystem 404 und/oder zum AV-Steuersystem 408 für einen MRM-Eingriff sendet/überträgt.
Das OED-Framework 600 weist ferner ein Unbeweglichkeitserkennungssystem 635 auf. Das Unbeweglichkeitserkennungssystem 635 ist dafür ausgelegt, auf der Grundlage einer vom Planungssystem 404 empfangenen Fahrstrecke festzustellen, dass das AV unbeweglich ist. Das Unbeweglichkeitserkennungssystem 635 ist ferner dafür ausgelegt, einen Grund für diese Unbeweglichkeit zu identifizieren und Auslösesignaldaten 614 und Haltegrunddaten 613 an das Eingriffsanforderungssystem 630 auszugeben, wie nachstehend detaillierter beschrieben.
Das OED-Framework 600 weist ferner das Eingriffsanforderungssystem 630 auf. Das Eingriffsanforderungssystem 630 ist dafür ausgelegt, eine Eingriffsanforderung 612 zu erzeugen. Die Eingriffsanforderung 612 kann auf einer Wahrnehmungskarte 607, Unsicher-Indikator-Daten 616, Minimale-Wahrnehmungszone-Daten 611, Haltegrunddaten 613, Auslösesignaldaten 614 und/oder einer Angabe einer undefinierten Funktionsanforderung 617 beruhen.
Gemäß einer Ausführungsform ist die Eingriffsanforderung 612 beispielsweise eine Anforderung von Daten in Zusammenhang mit der Steuerung der Vorrichtung an einen RVA-Betreiber oder Fernbetreiber. Beispielsweise kann die Eingriffsanforderung 612 eine Anforderung von Daten aufweisen, auf die hin das Steuersystem 408 handeln kann, um das AV zu veranlassen, eine oder mehrere Aktionen auszuführen. Gemäß einer anderen Ausführungsform ist die Eingriffsanforderung 612 ein MRM, das ein zuvor identifiziertes Manöver in der Art eines Verzögerns, Anhaltens, Herüberziehens usw. des AVs, um das AV wieder in einen sicheren Zustand zu bringen, sein kann. Gemäß einer anderen Ausführungsform kann die Eingriffsanforderung 612 eine Anforderung einer Verschlechterter-Modus-Betrieb(DMO)-Aufgabe in der Art eines Betriebs mit verringerter Geschwindigkeit umfassen.
Gemäß einer Ausführungsform, bei der die Eingriffsanforderung 612 auf wenigstens einer Wahrnehmungskarte 607 beruht, erkennen das Wahrnehmungssystem 610 und/oder das Eingriffsanforderungssystem 630 einen Fehler in Bezug auf die Funktionsweise eines Sensors oder eine Notsituation. Gemäß dieser Ausführungsform kann das Wahrnehmungssystem 610 dem Eingriffsanforderungssystem 630 direkt mitteilen, dass eine solche Notsituation existiert, oder wenigstens eine Wahrnehmungskarte 607 bereitstellen, so dass das Eingriffsanforderungssystem 630 eine Eingriffsanforderung 612 erzeugen kann.
Gemäß einer Ausführungsform, wie nachstehend in weiteren Einzelheiten mit Bezug auf 13 dargestellt und beschrieben, ist das Eingriffsanforderungssystem 630 dafür ausgelegt, Daten in der Art von Haltegrunddaten 613 und Auslösesignaldaten 614 direkt vom Unbeweglichkeitserkennungssystem 635 zu empfangen. Insbesondere stellt das Unbeweglichkeitserkennungssystem 635, wenn das Unbeweglichkeitserkennungssystem 635 feststellt, dass das AV „steckengeblieben“ (beispielsweise unbeweglich) ist, Kontextdaten (beispielsweise Daten 613, 614) in Bezug auf die Unbeweglichkeit des AVs dem Eingriffsanforderungssystem 630 bereit.
7 zeigt einen beispielhaften Prozessablauf in Bezug auf eine Betriebseinhüllendenerkennung mit Situationsbeurteilung gemäß verschiedenen Ausführungsformen. Gemäß einigen Ausführungsformen werden eines oder mehrere der mit Bezug auf den Prozess 700 beschriebenen Elemente durch das beispielhafte OED-Framework 600 (beispielsweise eine Vorrichtung oder Gruppe von Vorrichtungen im OED-Framework 600) (beispielsweise vollständig, teilweise und/oder dergleichen) ausgeführt. Zusätzlich oder alternativ werden gemäß einigen Ausführungsformen ein oder mehrere mit Bezug auf den Prozess 700 beschriebene Elemente durch eine andere Vorrichtung oder Gruppe von Vorrichtungen getrennt vom beispielhaften OED-Framework 600 in der Art einer oder mehrerer der Vorrichtungen aus einer der 1, 2, 3 und 4 (beispielsweise vollständig, teilweise und/oder dergleichen) ausgeführt.
In Prozess 700 wird bei 705 eine Fahrstrecke für ein AV auf der Grundlage des Orts des AVs und Sensordaten in der Art der Sensordaten 606 bestimmt. Die Fahrstrecke wird beispielsweise am Planungssystem 404, wie vorstehend beschrieben, oder durch dieses erzeugt. Die Fahrstrecke weist wenigstens einen Befehl auf, der durch das Steuersystem 408 zu implementieren ist, um das AV zu veranlassen, eine Aktion in der Art einer Richtungsänderung, einer Beschleunigung, eines Beibehaltens einer Geschwindigkeit, eines Bremsens usw. auszuführen. Zusätzlich kann 705 auf Lokalisierungsdaten 801 beruhen, wie nachstehend detaillierter beschrieben wird.
In Prozess 700 wird ferner bei 710 festgestellt, ob die Fahrstrecke mit wenigstens einer definierten Funktionsanforderung assoziiert ist. Eine Funktionsanforderung ist eine Regel oder Randbedingung, die das AV erfüllen muss, wenn es entlang einer gegebenen Fahrstrecke fährt. Die Anforderung schließt Folgende ein, ist jedoch nicht darauf beschränkt: 1) grundlegende Steuerung des Fahrzeugs in der Art von Anhalten, Beibehalten der Fahrzeuggeschwindigkeit und Richtungsänderung; 2) grundlegende Notwendigkeit, Umgebungen wahrzunehmen, wie Erkennen von Ampeln, Fußgängern, Fahrrädern, anderen Fahrzeugen und anderen stationären oder dynamischen Objekten; 3) die Notwendigkeit, die Position des Fahrzeugs auf einer Karte oder Fahrspur zu bestimmen (d. h. zu lokalisieren) und 4) die Fähigkeit des Fahrzeugs, eine Kreuzung, eine Kehrtwende, einen Fahrspurwechsel, ein Einfädeln, eine ungeschützte Abbiegung, einen Kreisverkehr und jegliche andere Manöver zu verhandeln. Gemäß einer Ausführungsform erfolgt die Bestimmung durch das Beurteilungssystem 620, während die Bestimmung gemäß anderen Ausführungsformen zusätzlich oder alternativ durch das Schiedsrichtersystem 625 oder ein anderes System oder Untersystem des Fahrzeugs ausgeführt wird.
Falls bei 710 festgestellt wird, dass die Fahrstrecke nicht mit der wenigstens einen definierten Funktionsanforderung assoziiert ist (beispielsweise auf der Grundlage einer Angabe einer undefinierten Funktionsanforderung 617), fährt der Prozess 700 direkt damit fort, bei 715 einen Eingriff zu fordern, um das Fahrzeug in einen sicheren Zustand zu versetzen. Die Eingriffsanforderung geschieht durch das Eingriffsanforderungssystem 630, wie vorstehend beschrieben. Ein solcher Eingriff kann eine oder mehrere der Anforderungen einer RVA-, MRM- oder DMO-Aufgabe oder einen anderen Eingriff einschließen. Ein solcher Eingriff kann in dieser Situation wünschenswert sein, weil eine Angabe, dass das Manöver nicht mit der Funktionsanforderung assoziiert ist, angibt, dass es sich dabei um ein anomales Manöver handelt. Das anomale Manöver kann beispielsweise ein Unfall, ein Notmanöver (beispielsweise ein plötzlicher Richtungswechsel oder eine Notbremsung) oder ein anderer Manövertyp sein.
Falls bei 710 jedoch festgestellt wird, dass die Fahrstrecke mit wenigstens einer definierten Funktionsanforderung assoziiert ist, bestimmt der Prozess 700 bei 720 ein erstes Nichtbefolgungs-Risikoniveau des Fahrzeugs mit der wenigstens einen definierten Funktionsanforderung, falls das Fahrzeug die Fahrstrecke durchfährt. Gemäß einer Ausführungsform wird das erste Risikoniveau bei 720 durch das Wahrnehmungssystem 402 und/oder das Schiedsrichtersystem 625 bestimmt. Beispielsweise identifiziert das Wahrnehmungssystem 402 gemäß einer Ausführungsform das erste Risikoniveau und stellt dem Schiedsrichtersystem 625 eine Angabe des ersten Risikoniveaus bereit. Gemäß einer anderen Ausführungsform wird das erste Risikoniveau durch das Schiedsrichtersystem 625 auf der Grundlage der einen oder der mehreren vom Wahrnehmungssystem 402 bereitgestellten Wahrnehmungskarten 607 bestimmt.
Die Bestimmung eines ersten Nichtbefolgungs-Risikoniveaus geschieht beispielsweise auf der Grundlage davon, ob die Funktionsanforderungen des Manövers die Funktionsfähigkeiten des Fahrzeugs und insbesondere des einen oder der mehreren Sensoren 605 überschreiten. Insbesondere geschieht die Bestimmung auf der Grundlage eines PVMs. Gemäß einer Ausführungsform beruht die Erzeugung des PVMs auf wenigstens einem früheren PVM. Das PVM wird nachstehend detaillierter beschrieben.
Gemäß einer Ausführungsform beruht die Bestimmung des ersten Risikoniveaus auf einer Feststellung, ob wenigstens eine quantitative Metrik in Zusammenhang mit der definierten Funktionsanforderung erfüllt ist. Eine solche quantitative Metrik kann auf wenigstens einem Regelbuch beruhen, wobei es sich um eine Datenstruktur handelt, die Vorschriftsregeln, Sicherheitsregeln, Fahrgastkomfortregeln oder einen anderen Regeltyp aufweist, jedoch nicht darauf beschränkt ist.
In Prozess 700 wird ferner bei 725 ein interessierendes Gebiet auf der Grundlage des Orts des Fahrzeugs (beispielsweise vom Lokalisierungssystem 406 bereitgestellt) und der Fahrstreckendaten (vom Planungssystem 404 bereitgestellt) bestimmt. Eine solche Bestimmung geschieht beispielsweise durch das Schiedsrichtersystem 625 und/oder das Planungssystem 404.
In Prozess 700 wird ferner bei 730 eine minimale erforderliche Wahrnehmungszone für das interessierende Gebiet zumindest teilweise auf der Grundlage der Sensordaten erzeugt. Gemäß einer Ausführungsform geschieht diese Erzeugung durch das Beurteilungssystem 620. Die minimale erforderliche Wahrnehmungszone kann auf einer minimalen Menge von Wahrnehmungsdaten (beispielsweise einer minimalen Datenmenge in Zusammenhang mit der Umgebung), die für das Fahrzeug benötigt werden, um die Fahrstrecke sicher zu durchfahren, beruhen. Gemäß einer Ausführungsform beruht die minimale Menge von Wahrnehmungsdaten auf einer Analyse der Fahrstrecke (beispielsweise ist die minimale Menge von Wahrnehmungsdaten dynamisch), während die minimale Menge von Wahrnehmungsdaten gemäß einer anderen Ausführungsform zuvor identifiziert wird (beispielsweise ist die minimale Menge von Wahrnehmungsdaten statisch).
In Prozess 700 wird ferner bei 735 ein zweites Risikoniveau in Zusammenhang mit dem Durchfahren der Fahrstrecke durch das Fahrzeug auf der Grundlage der minimalen Wahrnehmungszone beurteilt. Gemäß einer Ausführungsform geschieht die Beurteilung durch das Beurteilungssystem 620 und/oder das Schiedsrichtersystem 625. Beispielsweise identifiziert das Beurteilungssystem 620 gemäß einer Ausführungsform das Risiko und stellt die Daten dem Schiedsrichtersystem 625 bereit. Gemäß einer anderen Ausführungsform stellt das Beurteilungssystem 620 die Minimale-Wahrnehmungszone-Daten 611 dem Schiedsrichtersystem 625 bereit und identifiziert das Schiedsrichtersystem 625 das zweite Risikoniveau. Ähnlich wie bei der Beurteilung des ersten Risikoniveaus beruht die Beurteilung des zweiten Risikoniveaus auf der Feststellung, ob Funktionsanforderungen für den Betrieb des AVs die Fähigkeiten des AVs oder von Sensoren des AVs überschreiten.
In Prozess 700 wird ferner bei 740 ein Gesamtrisikoniveau auf der Grundlage einer Kombination des ersten Risikoniveaus (bei Element 720 bestimmt) und des zweiten Risikoniveaus (bei Element 735 beurteilt) bestimmt. Diese Bestimmung geschieht durch das Schiedsrichtersystem 625 und kann auf einer oder mehreren mathematischen Funktionen in der Art einer Addition des Risikos, einer Mittelung des Risikos, eines Durchschnitts des Risikos, eines Medians des Risikos oder einer anderen mathematischen Funktion beruhen. Gemäß einer anderen Ausführungsform wird das Gesamtrisiko nur auf der Grundlage des höchsten von dem ersten und dem zweiten Risikoniveau identifiziert.
In Prozess 700 wird ferner an Element 745 festgestellt, ob das Gesamtrisikoniveau das Fahrzeug in einen sicheren Zustand oder einen unsicheren Zustand versetzt. Diese Bestimmung geschieht durch das Schiedsrichtersystem 625. Gemäß einer Ausführungsform beruht die Bestimmung auf einem Vergleich des Gesamtrisikoniveaus mit einer Schwelle in Bezug auf das identifizierte Manöver. Mit anderen Worten ist die Schwelle dynamisch. Gemäß einer anderen Ausführungsform beruht die Bestimmung auf einem Vergleich des Gesamtrisikoniveaus mit einer zuvor identifizierten Schwelle, die vom Manöver unabhängig ist. Mit anderen Worten ist die Schwelle statisch. Falls das gesamte Risikoniveau die Schwelle erfüllt (oder überschreitet), stellt das Schiedsrichtersystem 625 fest, dass sich das AV in einem unsicheren Zustand befindet oder sich darin befinden wird, und fährt mit Element 715 fort, indem es beispielsweise dem Eingriffsanforderungssystem 630 Unsicher-Indikator-Daten 616 bereitstellt. Falls das Gesamtrisikoniveau jedoch unterhalb (oder an oder unterhalb) der Schwelle legt, stellt das Schiedsrichtersystem 625 fest, dass sich das AV in einem sicheren Zustand befindet oder sich in diesem befinden wird, und durchfährt die Fahrstrecke bei 750 (führt beispielsweise ein Manöver aus). Insbesondere erleichtert das Schiedsrichtersystem 625 das Durchfahren der Fahrstrecke durch ein anderes System oder Untersystemen des AVs in der Art des Steuersystems 408.
Im Allgemeinen gibt das PVM für das interessierende Gebiet die Wahrscheinlichkeit an, dass eine Objekterkennung in den Wahrnehmungsdaten für wenigstens einen Sensor des AVs im interessierenden Gebiet sichtbar ist. Die Wahrscheinlichkeit kann auf einem oder mehreren von einer Vielzahl von Faktoren in der Art von Sensorbedingungsdaten in Zusammenhang mit einem Betriebszustand des wenigstens einen Sensors des AVs beruhen. Hier gibt der Betriebszustand an, ob ein Gesichtsfeld des wenigstens einen Sensors verdeckt ist (und der Betriebszustand kann, falls dies der Fall ist, angeben, bis zu welchem Grad das Gesichtsfeld verdeckt ist) und/oder ob der wenigstens eine Sensor eine Fehlfunktion aufwies. Gemäß einer anderen Ausführungsform wird die Wahrscheinlichkeit auf der Grundlage wenigstens einer Umgebungsbedingung in der Art einer Wetterbedingung (beispielsweise ob es regnerisch oder sonnig ist), einer Beleuchtungsbedingung (beispielsweise ob Tageslicht verfügbar ist oder nicht) oder einer anderen Bedingung bestimmt.
Beispielhaftes Wahrnehmungssystem
Wie zuvor beschrieben, stellt das Wahrnehmungssystem 402 gemäß einer Ausführungsform Daten darüber bereit, wie gut und wie weit die Sensoren (beispielsweise die Sensoren 605) des AVs ein Objekt zu einer gegebenen Zeit wahrnehmen können. Insbesondere ist das Wahrnehmungssystem 402 dafür verantwortlich, die Erfassungsfähigkeiten des AVs durch Modellieren und Überwachen der Fähigkeit des Wahrnehmungssystems 402, relevante Objekte und Umgebungsmerkmale um das AV zu erkennen, zu charakterisieren. Diese Fähigkeit wird als Funktion von Sensorbedingungen (beispielsweise Blockierung des Sensors, schmutziger Sensor, fehlerhaft funktionierender Sensor usw.), Umgebungsbedingungen (beispielsweise Wetter, Tageszeit, Sensorverdeckungen usw.) und Fähigkeiten von Sensoren 605 (beispielsweise Gesichtsfeld (FOV), Installationsort der Sensoren usw.) modelliert. Gemäß alternativen Ausführungsformen ist das Wahrnehmungssystem 402 für die Objekterkennung verantwortlich und ist ein anderes vom Wahrnehmungssystem 402 getrenntes System für das Charakterisieren der Messfähigkeiten des AVs durch Modellieren und Überwachen der Fähigkeit des Wahrnehmungssystems 402, relevante Objekte und Umgebungsmerkmale um das AV zu erkennen, verantwortlich.
Gemäß Ausführungsformen erzeugt das Wahrnehmungssystem 402 ein PVM, das die Umgebung außerhalb des AVs und die Wahrnehmungserfassungsfähigkeiten des Wahrnehmungssystems 402 während der Laufzeit einkapselt. Das PVM kann auf der Grundlage von Online- und/oder Offline-Daten erzeugt werden. Gemäß einer Ausführungsform wird ein Satz von Sensordetektoren verwendet, um Sensorbedingungen und Umgebungsbedingungen zu erfassen und zu überwachen. Eine Sensorbedingung ist eine Bedingung des Sensors, die Folgende einschließt, jedoch nicht darauf beschränkt ist: Blockierung/Verdeckung, schmutziger Sensor, ein fehlerhaft funktionierender Sensor usw. Eine Umgebungsbedingung ist eine Bedingung, die Folgende einschließt, jedoch nicht darauf beschränkt ist: Wetter, Tageszeit, andere Objekte, die den Sensor verdecken (beispielsweise Verdecken des FOVs des Sensors) usw.
Mit Bezug auf 8 zeigt 8 ein Blockdiagramm eines beispielhaften Sensorsystems 800, welches das Wahrnehmungssystem 402 aufweist. Das Wahrnehmungssystem 402 weist wenigstens ein Sensorsystem 810 auf, das dafür ausgelegt ist, Sensordaten 606 vom einen oder von den mehreren Sensoren 605 zu empfangen und Sensorbedingungen und/oder Umgebungsbedingungen zu erfassen/zu überwachen. Insbesondere können Sensorbedingungen in der Art einer Blockierung/Verdeckung, Schmutz und Fehlfunktionen oder Umgebungsbedingungen in der Art einer Sonnenblendung die Fähigkeit des Wahrnehmungssystems 402 verringern, Objekte zu erkennen. Das eine oder die mehreren Sensorsysteme 810 sind dafür ausgelegt, das Vorhandensein und den Ort dieser Bedingungen auf der Grundlage der Sensordaten 606 zu erkennen (beispielsweise welche Sensoren 605 betroffen sind und wie oder woher das Problem stammt, in der Art des Orts der Sonne oder von Licht, das eine Blendwirkung erzeugt). Gemäß einer Ausführungsform sind der eine oder die mehreren Sensordetektoren 810 dafür ausgelegt, diese Sensor- oder Umgebungsbedingungen beispielsweise durch eine Datenanalyse in Bezug auf die Sensordaten 606, eine Analyse von Metadaten in Bezug auf die Sensordaten 606, von Steuerdaten in Bezug auf den einen oder die mehreren Sensoren 605 oder anderer von dem einen oder den mehreren Sensoren 605 ausgegebener Daten zu identifizieren. Das eine oder die mehreren Sensorsysteme 810 stellen dann dem PVM-Untersystem 820, wie nachstehend in weiteren Einzelheiten beschrieben, Daten in Bezug auf Sensor-/Umgebungsbedingungen 840 bereit.
Gemäß einigen Ausführungsformen werden die Sensor-/Umgebungsdaten 840, wie in 8 ersichtlich ist, direkt dem Eingriffsanforderungssystem 630 bereitgestellt, wie vorstehend beschrieben. Gemäß einer Ausführungsform werden die Daten 840 dem Eingriffsanforderungssystem 630 kontinuierlich bereitgestellt, während gemäß einer anderen Ausführungsform die Daten 840 nur dem Eingriffsanforderungssystem 630 bereitgestellt werden, wenn ein Parameter der Daten eine Schwelle, die entweder dynamisch oder statisch sein kann, erreicht oder überschreitet. Gemäß dieser Ausführungsform ist das Eingriffsanforderungssystem 630 dafür ausgelegt, auf vom einen oder von den mehreren Sensorsystemen 810 empfangene Daten 840 einzuwirken, wodurch eine Situation in der Art eines Sensorversagens (beispielsweise eine extreme Umgebungsbedingung, eine Sensorfehlfunktion usw.) angegeben wird, die einen Eingriff notwendig machen kann, wie vorstehend beschrieben.
Das Wahrnehmungssystem 402 weist ferner wenigstens eine Wahrnehmungspipeline 815 auf. Die Wahrnehmungspipeline 815 ist dafür ausgelegt, Sensordaten zu empfangen und Aktionen in Bezug auf eine Objekterkennung auszuführen. Insbesondere ist die Wahrnehmungspipeline 815 dafür ausgelegt, Zwischenwahrnehmungsergebnisse zu erzeugen, die als Wahrnehmungsdaten 619 ausgegeben werden. Diese Wahrnehmungsdaten 619 umfassen eine semantische LiDAR-Punktwolke, die Daten des Bodens und erkannter Objekte trägt, sind jedoch nicht darauf beschränkt. Gemäß anderen Ausführungsformen umfassen die Wahrnehmungsdaten 845 beispielsweise Daten in Bezug auf eine RADAR-Erfassung, Daten in Bezug auf eine oder mehrere Kameras usw. Die Wahrnehmungsdaten 619 werden durch die eine oder die mehreren Wahrnehmungspipelines 815 an das PVM-Untersystem 820 und das Planungssystem 404 ausgegeben.
Die Wahrnehmungsdaten 619 werden vom PVM zum Identifizieren einer Umgebungsverdeckung sowie zum Identifizieren/Interpretieren von LiDAR-Daten verwendet. Das PVM kann auch von der Wahrnehmungspipeline 815 ausgegebene Wahrnehmungsdaten 619 verwenden, um die Wahrnehmungskarte 607 in der Art einer PoD-Karte in Bezug auf ein Objekt in der Nähe des AVs zu bilden. Eine solche PoD-Karte wird nachstehend in weiteren Einzelheiten beschrieben. Die Wahrnehmungspipeline 815 ist ferner dafür ausgelegt, ähnliche Funktionen in Bezug auf RADAR-Daten, Kameradaten oder einen anderen Typ vom einen oder von den mehreren Sensoren 605 erzeugter Daten oder in Bezug darauf auszuführen oder ähnliche Daten in Bezug darauf zu erzeugen. Es sei auch bemerkt, dass, wenngleich 8 nur eine einzige Wahrnehmungspipeline zeigt, das Wahrnehmungssystem 402 gemäß anderen Ausführungsformen mehrere Wahrnehmungspipelines 815 aufweist. Gemäß einigen Ausführungsformen weist jeder von dem einen oder den mehreren Sensoren 605 seine eigene Wahrnehmungspipeline auf, während sich gemäß anderen Ausführungsformen ein oder mehrere Sensoren eine Wahrnehmungspipeline teilen.
Das Wahrnehmungssystem 402 weist ferner das PVM-Untersystem 820 auf. Das PVM-Untersystem 820 ist dafür ausgelegt, Wahrnehmungsdaten 619 und Sensor-/Umgebungsdaten 840 zu empfangen und ein PVM zu erzeugen. Im Allgemeinen ist das PVM ein Modell, das einen Sichtbarkeitsbereich von Sensoren 605 des AVs angibt. Wie nachstehend detaillierter beschrieben wird, wird das PVM verwendet, um wenigstens eine Wahrnehmungskarte 607 in der Art einer PoD-Nahbereichskarte für jeweilige relevante Objekte (beispielsweise ein Fahrzeug, einen Fußgänger, ein Objekt in der Nähe des Fahrzeugs in der Art eines Postkastens oder eines Lichtmasts usw.) zu erzeugen. Das PVM erzeugt ferner die Wahrnehmungskarte 607 in der Art einer Verdeckungsniveaukarte, die Umgebungsverdeckungen und ihre Schwere um das AV modelliert. Die PoD-Nahbereichskarte und die Verdeckungskarte werden nachstehend detaillierter dargestellt und erörtert.
Im Allgemeinen erzeugt das PVM-Untersystem 820 das PVM auf der Grundlage von Daten in der Art der Sensor-/Umgebungsdaten 840 und der Wahrnehmungsdaten 619. Gemäß einer Ausführungsform beruht das PVM ferner auf zusätzlichen Daten in der Art von einem Lokalisierungssystem 406 bereitgestellter Lokalisierungsdaten 801. Die Lokalisierungsdaten 801 umfassen Daten in Bezug auf den Ort oder die Umgebung des AVs und können vom PVM-Untersystem 820 verwendet werden, um festzustellen, ob es im Nahbereich des AVs ein oder mehrere Objekte (beispielsweise ein Gebäude, eine Überführung usw.) gibt, welche die Sichtfähigkeit eines oder mehrerer Sensoren des AVs beeinträchtigen. Solche Daten können beispielsweise durch ein globales Satellitennavigationssystem (beispielsweise GPS) bereitgestellt werden.
Gemäß einer Ausführungsform beruht das PVM ferner auf Umgebungsdaten 802, die eine Umgebungsbedingung angeben. Solche Umgebungsdaten 802 umfassen beispielsweise eine durch einen Wetterdienst, mit dem das Umgebungsuntersystem 850 kommunikativ gekoppelt ist, erzeugte Wettervorhersage. Die Umgebungsdaten 802 können zusätzlich oder alternativ Daten in Bezug auf Sensoren des AVs (oder mit denen es kommunikativ gekoppelt ist) in der Art eines Barometers, eines Feuchtigkeitssensors oder eines anderen Sensortyps, der eine Umgebungsbedingung in der Nähe des AVs angibt, umfassen.
Gemäß einer Ausführungsform ist das PVM-Untersystem 820 dafür ausgelegt, ferner das PVM oder eine sich daraus ergebende Karte in der Art einer PoD-Nahbereichskarte oder einer Verdeckungskarte früheren in einer früheren PVM-Datenbank 825 gespeicherten Daten 806 zugrunde zu legen. Solche früheren Daten 806 können ein vorhergehendes PVM, eine vorhergehende PoD-Nahbereichskarte, eine vorhergehende Verdeckungskarte und/oder einen anderen Datentyp umfassen.
Die eine oder die mehreren resultierenden Karten des PVM-Untersystems werden durch das Wahrnehmungssystem 402 an das Schiedsrichtersystem 625 ausgegeben, um ein vorstehend mit Bezug auf das Element 720 beschriebenes erstes Risikoniveau zu bestimmen. Gemäß einigen Ausführungsformen können eine oder mehrere der Karten 607 auch direkt an das Eingriffsanforderungssystem 630 ausgegeben werden, um einen Eingriff auf der Grundlage des Ergebnisses der Karte zu bestimmen. Beispielsweise werden die eine oder die mehreren durch das PVM-Untersystem 820 auf der Grundlage des PVMs erzeugten Karten gemäß einer Ausführungsform kontinuierlich dem Eingriffsanforderungssystem 630 bereitgestellt, während die eine oder die mehreren Karten gemäß einer anderen Ausführungsform nur dem Eingriffsanforderungssystem 630 bereitgestellt werden, wenn ein Parameter der einen oder der mehreren Karten eine Schwelle erreicht oder überschreitet, was entweder dynamisch oder statisch geschehen kann. Gemäß dieser Ausführungsform ist das Eingriffsanforderungssystem 630 dafür ausgelegt, auf die eine oder die mehreren vom PVM-Untersystem 820 empfangenen Karten einzuwirken, wodurch eine Situation in der Art einer extremen Verdeckung, eines Objekts, das dem AV sehr nahe ist usw., wodurch ein Eingriff, wie vorstehend beschrieben, notwendig sein kann, angegeben wird.
Mit Bezug auf 9 zeigt 9 ein Beispiel 900 einer PoD-Karte. Wie zuvor erwähnt, ist das Wahrnehmungssystem 402 und insbesondere das PVM-Untersystem 820, dafür ausgelegt, wenigstens eine PoD-Karte für verschiedene Objekte (beispielsweise eine PoD-Karte für Fahrzeuge, eine andere für Fußgänger usw.) zu erzeugen. Zusätzlich können die PoD-Karten, wie erwähnt, auf einer oder mehreren vorhergehenden PoD-Karten beruhen, die von der früheren PVM-Datenbank 825 zugeführt wurden.
Das Beispiel 900 zeigt eine PoD-Karte für Fahrzeuge. Insbesondere befindet sich das Fahrzeug 200 (beispielsweise ein AV) auf einer Straße 930, die eine Stadtstraße, eine Fahrspur, eine Schnellstraße, ein Boulevard usw. sein kann. Für die Zwecke dieses Beispiels 900 wird die an die Straße 930 angrenzende Umgebung ferner als „außerhalb der Straße“ 925 bezeichnet. Das Fahrzeug 940 (beispielsweise ein anderes Fahrzeug) befindet sich in der Nähe des Fahrzeugs 200. Zusätzlich wird der Ort der Sonne 920 für dieses Beispiel 900 als sich vor dem Fahrzeug 200 befindend dargestellt.
Gemäß dieser Ausführungsform ist die PoD-Karte 905 eine PoD-Karte, die sich auf Agenten (beispielsweise Fahrzeuge, Fußgänger, Fahrräder, Motorräder usw.) in der Art des Fahrzeugs 940 bezieht. Insbesondere repräsentiert die PoD-Karte 905 eine Abstandsschwelle, bei der es eine Wahrscheinlichkeit von etwa N % (N = 75 %) oder größer gibt, dass das Fahrzeug 200 durch einen Sensor des Fahrzeugs 200 in der Art des einen oder der mehreren Sensoren 605 erfasst wird. Gemäß einigen Ausführungsformen kann die PoD-Karte 905 durch einen Azimutwinkel (d. h. einen Winkel eines Objekts vom Horizont) beeinflusst werden oder darauf beruhen, während gemäß anderen Ausführungsformen der Azimutwinkel kein bei der Berechnung der PoD-Karte 905 verwendeter Faktor ist.
Wie beim Beispiel aus 9 ersichtlich ist, überspannt die PoD-Karte 905 im Allgemeinen einen das Fahrzeug 200 umgebenden Nahbereich. Es ist jedoch zu verstehen, dass die PoD-Karte 905 drei Beschränkungen aufweist, wie in 9 dargestellt ist. Die erste Beschränkung wird durch das Vorhandensein des Fahrzeugs 940 hervorgerufen, wodurch die Fähigkeit eines Sensors des Fahrzeugs 200 verringert wird, ein Fahrzeug zu erkennen, das so angeordnet ist, dass sich das Fahrzeug 940 zwischen dem Fahrzeug 200 und dem anderen Fahrzeug befindet. Eine andere Beschränkung ist bei der Sonne 920 ersichtlich, wodurch der Bereich der PoD-Karte 905 beispielsweise infolge einer Blendung oder einer anderen beleuchtungsbezogenen Umgebungsbedingung verringert wird. Eine andere Beschränkung ist links des Fahrzeugs 200 ersichtlich, wo die PoD-Karte 905 im Allgemeinen mit dem Rand der Straße 930 übereinstimmt. Diese Beschränkung kann beispielsweise auf dem Vorhandensein einer Barriere, eines Gebäudes oder einer anderen Beschränkung beruhen. Es ist zu verstehen, dass diese beispielhafte Karte nur als Beispiel vorgesehen ist und dass die spezifischen Winkel, bei denen die PoD-Karte 905 eingestellt wird, die Größe oder Form der PoD-Karte 905, die Faktoren, welche die PoD-Karte 905 beeinflussen, usw. bei verschiedenen Ausführungsformen verschieden sein können. Zusätzlich können gemäß anderen Ausführungsformen andere Werte verwendet werden, wenngleich der für die PoD-Karten bei diesem Beispiel 900 verwendete Wert als einen beispielhaften Schwellenwert von 75 % aufweisend beschrieben wird. Gemäß einigen Ausführungsformen wird der Schwellenwert auf der Grundlage des Sensortyps, des Objekttyps, mit dem die PoD-Karte assoziiert ist, oder eines anderen Faktors ausgewählt. Gemäß einer Ausführungsform kann der PoD-Wert auf der Grundlage von Anforderungen von Modulen ausgewählt werden, die dem Wahrnehmungssystem 402 vorgeschaltet oder nachgeschaltet sind.
Wie vorstehend erörtert, ist das PVM-Untersystem 820 gemäß einer Ausführungsform dafür ausgelegt, Daten in Bezug auf ein früheres PVM, eine frühere PoD-Karte oder andere Daten bei der Identifikation eines PVMs oder einer PoD-Karte zu verwenden. Solche Daten können in der früheren PVM-Datenbank 825 gespeichert werden. Das Beispiel 900 zeigt zwei solche Beispiele einer früheren PoD-Karte. Insbesondere zeigt das Element 915 eine frühere Online-PoD-Karte für Kraftfahrzeuge mit einer Erkennungswahrscheinlichkeit, die größer als beispielsweise 75 % ist. Hier beschreibt eine frühere „Online“-PoD-Karte eine frühere PoD-Karte, die sich auf eine vorhergehende Berechnung durch das PVM-Untersystem 820 bezieht. Eine solche Karte kann im Speicher des PVM-Untersystems 820, in der früheren PVM-Datenbank 825 oder in beiden gespeichert werden. Gemäß einer Ausführungsform beruhen die Werte der früheren Online-PoD-Karte 915 auf einer Aggregation von Werten von der aktuellen Verwendung des Fahrzeugs 200 über ein gewisses früheres Zeitfenster (beispielsweise über die letzten 5 Minuten der Verwendung) oder über eine gewisse Anzahl von Proben. Gemäß dieser Ausführungsform kann die frühere Online-PoD-Karte 915 auf einem Durchschnitt dieser Werte beruhen, während die Karte 915 gemäß anderen Ausführungsformen auf einem Mittelwert, Medianwert, Maximum oder einer anderen Funktion in Bezug auf die früheren Werte beruhen kann.
Das Element 910 zeigt eine frühere Offline-PoD-Karte für Kraftfahrzeuge mit einer Erkennungswahrscheinlichkeit, die beispielsweise größer als 75 % ist. Hier beschreibt eine frühere „Offline“-PoD-Karte eine PoD-Karte, die in der früheren PVM-Datenbank 825 gespeichert ist und im Fall, dass eine Online-Karte (beispielsweise das Element 915) nicht verfügbar ist, oder falls sich eine Umgebungs- oder Sensorbedingung erheblich geändert hat, so dass es keine ausreichend große Anzahl von Proben zur Erzeugung der Online-Karte 915 gibt, verwendet werden soll. Eine solche Offline-Karte kann als Standard- oder Rückfallkarte betrachtet werden, die bei Nichtvorhandensein der Online-Karte 915 vom PVM-Untersystem 820 zu verwenden ist. Gemäß einer Ausführungsform beziehen sich die Werte in Bezug auf die Offline-Karte 910 auf eine große Anzahl von Durchläufen und können ferner auf gewissen Umgebungsbedingungen in der Art von Wetter, Ort, Tageszeit usw. beruhen. Ähnlich der Online-Karte 915 kann die Karte 910 auf einem Mittelwert, Medianwert, Maximum oder einer anderen Funktion in Bezug auf die früheren Werte beruhen.
Gemäß einer Ausführungsform wird die Karte 905 anfänglich beispielsweise auf der Grundlage der Wahrnehmungsdaten 619, der Sensor-/Umgebungsdaten 840, einer früheren Offline-PoD-Karte 910, eines anderen Faktors und/oder einer Kombination davon erzeugt. Die Karte 905 wird dann auf der Grundlage zusätzlicher Daten in der Art zusätzlicher Wahrnehmungsdaten 619 und/oder zusätzlicher Sensor-/Umgebungsdaten 840 aktualisiert. Mit anderen Worten wird die Karte 905 aktualisiert, wenn zusätzliche Daten empfangen werden. Eine solche Aktualisierung kann periodisch (beispielsweise alle x Zeiteinheiten) oder dynamisch, beispielsweise nur dann, wenn neue Daten empfangen werden, geschehen. Kartengebiete, die nicht aktualisiert werden (beispielsweise Kartengebiete, für die es in den empfangenen Wahrnehmungsdaten 619 oder Sensor-/Umgebungsdaten 840 keine zusätzlichen Daten gibt), können zu einem früheren Wert in der Art eines Werts in der früheren Offline-PoD-Karte 910 oder der früheren Online-PoD-Karte 915 eingestellt werden. Eine solche Verschiebung kann gemäß einer vordefinierten Maßeinheit inkrementell oder dynamisch, beispielsweise in Bezug auf den Mittelpunkt zwischen einem gegenwärtigen Wert und einem früheren Wert, ausgeführt werden. Gemäß einer Ausführungsform kann die PoD durch Kombinieren einer früheren Wahrscheinlichkeit mit neuen Informationen/einer neuen Evidenz iterativ unter Verwendung einer bayesschen Aktualisierung nach Gleichung [1] aktualisiert werden. $P (H | D) = P (D | H) \times P (H) / P (D),$
wobei H das Ereignis des Erkennens eines gewissen Objekts (beispielsweise eines Fußgängers) ist, D Daten/neue Informationen sind, P(D) die Wahrscheinlichkeit ist, dass das beobachtete Ereignis (beispielsweise Regen, Gesamtbeleuchtung) aufgetreten ist (beispielsweise unter Verwendung des Gesamtwahrscheinlichkeitsgesetzes berechnet), P(DIH) die Wahrscheinlichkeit der Daten beim gegebenen Erkennungsereignis ist, P(H) die frühere Wahrscheinlichkeit ist und P(HID) die neue Erkennungswahrscheinlichkeit ist.
Zu 10 zurückkehrend sei bemerkt, dass in Beispiel 1000 eine Verdeckungskarte dargestellt ist. Wie vorstehend erwähnt, wird die Verdeckungskarte durch das PVM-Untersystem 820 erzeugt, und sie zeigt Bereiche, in denen Sensoren 605 des Fahrzeugs 200 durch ein Objekt in der Nähe des Fahrzeugs 200 verdeckt oder blockiert sind. Der Nahbereich des Fahrzeugs 200 weist mehrere Objekte verschiedener Höhen auf, die Verdeckungszonen bilden, wie die eine oder die mehreren niedrigen Verdeckungszonen 1030, die eine oder die mehreren mittleren Verdeckungszonen 1035 und die eine oder die mehreren hohen Verdeckungszonen 1040. Hier werden die Begriffe „niedrig“, „mittel“ und „hoch“ verwendet, um relative Höhen voneinander zu unterscheiden. Gemäß einer Ausführungsform bezieht sich die niedrige Verdeckungszone 1030 auf eine Höhe etwa zwischen dem Bodenniveau und etwa 1 Meter über dem Boden. Die mittlere Verdeckungszone 1035 bezieht sich auf eine Höhe zwischen etwa 1 Meter und 2 Meter über dem Boden. Die hohe Verdeckungszone 1040 bezieht sich auf eine Höhe größer als etwa 2 Meter. Es ist jedoch zu verstehen, dass andere Ausführungsformen mehr oder weniger Verdeckungszonen, Zonen mit anderen Höhenparametern usw. aufweisen.
Die Objekte in der Nähe des Fahrzeugs 200 umfassen einen kleinen Fußgänger 1005 (beispielsweise ein Kind), wodurch eine niedrige Verdeckungszone 1030 erzeugt wird. Die Objekte umfassen ferner einen großen Fußgänger 1010 (beispielsweise einen Erwachsenen) und ein oder mehrere Fahrzeuge in der Art von Limousinen 1020, welche die mittlere Verdeckungszone 1035 umfassen. Die Objekte schließen ferner ein oder mehrere große Fahrzeuge 1015 in der Art eines sich bewegenden Lastwagens, eines Sattelschleppers usw. ein, welche die hohe Verdeckungszone 1040 umfassen.
Es sei bemerkt, dass sich die Verdeckungszonen gemäß einigen Ausführungsformen im Laufe der Zeit ändern können. Beispielsweise ändert sich die von einem großen Fußgänger 1010 erzeugte Verdeckungszone, wie bei 1045 ersichtlich ist, von der mittleren Verdeckungszone 1035 zur hohen Verdeckungszone 1040, wenn die Entfernung vom Fahrzeug 200 zunimmt. Diese Änderung kann durch Faktoren in der Art einer Änderung der Steigung der Straße, des Typs des verdeckten Sensors oder durch einen anderen Faktor hervorgerufen werden. Ähnlich ändert sich die Verdeckungszone von der mittleren Verdeckungszone 1035 zur niedrigen Verdeckungszone 1030, wie bei 1050 ersichtlich ist. Diese Änderung kann dadurch, dass die Straße ansteigt, durch die Form der Limousine 1020 (beispielsweise ist die Verdeckungszone, die durch den Fahrgastraum der Limousine 1020 hervorgerufen wird, von der Verdeckungszone verschieden, die durch die Motorhaube oder den hinteren Abschnitt der Limousine 1020 hervorgerufen wird), den Typ des verdeckten Sensors oder einen anderen Faktor hervorgerufen werden.
11 zeigt einen beispielhaften Prozess 1100, der sich auf die Erzeugung und Verwendung eines PVMs bezieht. Gemäß einigen Ausführungsformen werden eines oder mehrere der mit Bezug auf den Prozess 1100 beschriebenen Elemente (beispielsweise vollständig, teilweise und/oder dergleichen) durch die beispielhafte Sensorpipeline 800 und insbesondere das Wahrnehmungssystem 402 und das PVM-Untersystem 820 aus 8 ausgeführt. Zusätzlich oder alternativ werden gemäß einigen Ausführungsformen ein oder mehrere mit Bezug auf den Prozess 1100 beschriebene Elemente durch eine andere Vorrichtung oder Gruppe von Vorrichtungen getrennt von der beispielhaften Sensorpipeline 800 in der Art einer oder mehrerer der Vorrichtungen aus einer der 1, 2, 3, 4 oder 6 (beispielsweise vollständig, teilweise und/oder dergleichen) ausgeführt.
Gemäß einer Ausführungsform wird in Prozess 1100 bei 1105 wenigstens eine Sensorbedingung in der Art der vorstehend beschriebenen Sensorbedingungen bestimmt. Die Sensorbedingung beruht auf den Sensordaten 606 in Zusammenhang mit wenigstens einer Messung einer Umgebung, wobei die Sensordaten 606 durch wenigstens einen der Sensoren 605 erzeugt werden. Gemäß einer Ausführungsform wird das Element 1105 durch einen oder mehrere Sensordetektoren 810, das PVM-Untersystem 820 oder eine Kombination davon ausgeführt.
In Prozess 1100 wird ferner bei 1110 wenigstens eine Umgebungsbedingung in der Art einer vorstehend beschriebenen Umgebungsbedingung auf der Grundlage der wenigstens einen Messung der Umgebung bestimmt. Die Messung kann beispielsweise auf Umgebungsdaten 802 oder Sensordaten 606 beruhen. Ähnlich dem Element 1105 kann das Element 1110 durch einen oder mehrere Sensordetektoren 810, das PVM-Untersystem 820 oder eine Kombination davon ausgeführt werden.
In Prozess 1100 wird ferner bei 1115 ein PVM auf der Grundlage der wenigstens einen Sensorbedingung, der wenigstens einen Umgebungsbedingung und des Orts des wenigstens einen Fahrzeugs erzeugt. Gemäß einer Ausführungsform wird das Element 1115 durch das PVM-Untersystem 820 ausgeführt und beruhen die Ortsdaten 801 auf vom Lokalisierungssystem 406 bereitgestellten Daten.
In Prozess 1100 wird ferner bei 1120 auf der Grundlage des PVMs eine Fahrstrecke identifiziert, die durch wenigstens ein Fahrzeug zu durchfahren ist. Das Element 1120 kann beispielsweise durch das Planungssystem 404 oder durch das Eingriffsanforderungssystem 630 ausgeführt werden. Gemäß einer Ausführungsform ähnelt die Fahrstrecke der vorstehend beschriebenen Fahrstrecke 520. Gemäß einer anderen Ausführungsform bezieht sich die Fahrstrecke auf ein Manöver in der Art eines MRMs, eine RVA-Anforderung, einen DMO usw., wie vorstehend beschrieben.
12 zeigt einen alternativen beispielhaften Prozess 1200, der sich auf die Erzeugung und Verwendung eines PVMs bezieht. Gemäß einigen Ausführungsformen werden eines oder mehrere der mit Bezug auf den Prozess 1200 beschriebenen Elemente (beispielsweise vollständig, teilweise und/oder dergleichen) durch die beispielhafte Sensorpipeline 800 und insbesondere das Wahrnehmungssystem 402 und das PVM-Untersystem 820 aus 8 ausgeführt. Zusätzlich oder alternativ werden gemäß einigen Ausführungsformen ein oder mehrere mit Bezug auf den Prozess 1200 beschriebene Elemente durch eine andere Vorrichtung oder Gruppe von Vorrichtungen getrennt von der beispielhaften Sensorpipeline 800 in der Art einer oder mehrerer der Vorrichtungen aus einer der 1, 2, 3, 4 oder 6 (beispielsweise vollständig, teilweise und/oder dergleichen) ausgeführt.
In Prozess 1200 werden bei 1205 Sensordaten empfangen. Die Sensordaten sind beispielsweise die von dem einen oder den mehreren Sensoren 605 empfangenen Sensordaten 606.
In Prozess 1200 werden ferner bei 1210 Wahrnehmungsdaten von einer Wahrnehmungspipeline des Fahrzeugs empfangen. Die Wahrnehmungsdaten sind beispielsweise von der einen oder den mehreren Wahrnehmungspipelines 815 empfangene Wahrnehmungsdaten 619.
In Prozess 1200 wird ferner bei 1215 wenigstens eine Sensorbedingung auf der Grundlage der Sensordaten erkannt. Die Sensorbedingung wird durch Sensordetektoren in der Art der Sensordetektoren 810 erkannt und bezieht sich auf eine Sensorbedingung in der Art einer Fehlfunktion, einer Blockage usw., wie vorstehend beschrieben.
In Prozess 1200 wird ferner bei 1220 wenigstens eine Umgebungsbedingung auf der Grundlage der Sensordaten erkannt. Die Umgebungsbedingung ist eine vorstehend beschriebene Umgebungsbedingung und gibt eine Eigenschaft einer Betriebsumgebung des Fahrzeugs an. Gemäß einigen Ausführungsformen kann die Umgebungsbedingung zusätzlich oder alternativ auf Umgebungsdaten 802 beruhen.
In Prozess 1200 wird ferner bei 1225 ein aktuelles PVM für die wenigstens eine Objekterkennung auf der Grundlage des Orts des Fahrzeugs, der wenigstens einen Sensorbedingung und der wenigstens einen Umgebungsbedingung erzeugt. Ähnlich dem Element 1115 beruhen die Ortsdaten auf vom Lokalisierungssystem 406 bereitgestellten Daten.
In Prozess 1200 wird ferner bei 1230 eine Fahrstrecke für das Fahrzeug auf der Grundlage zumindest teilweise der Wahrnehmungsdaten 619 und der PVM-Daten 618 bestimmt. Ähnlich dem Element 1230 kann das Element 1230 beispielsweise vom Planungssystem 404 oder vom Eingriffsanforderungssystem 630 ausgeführt werden. Gemäß einer Ausführungsform ähnelt die Fahrstrecke der Fahrstrecke 520. Gemäß einer anderen Ausführungsform bezieht sich die Fahrstrecke auf ein Manöver in der Art eines MRMs, eine RVA-Anforderung, einen DMO usw., wie vorstehend beschrieben.
Beispielhafte Situationsbeurteilung
13 ist ein Diagramm einer Beurteilungspipeline 1300 gemäß einigen Ausführungsformen. Die Verhaltensanforderungen eines AVs in einem bestimmten Moment unterliegen dem Manöver, welches das AV ausführt, und der aktuellen Umgebung des AVs. Wenn das AV beispielsweise ein „Fahrspur-einer-Schnellstraße-folgend“-Fahrszenario ohne andere verletzbare Straßenbenutzer in der Art von Fußgängern oder Fahrrädern ausführt, gibt es weniger Verhaltensanforderungen als wenn das AV ein „Geparktes-Kraftfahrzeug-Umfahren“-Fahrszenario in einer geschäftigen städtischen Umgebung ausführt. Das Beurteilungssystem 620 wird damit beauftragt, das Manöver zu verstehen, welches das AV in der aktuellen Umgebung ausführt, und zu überprüfen, ob die Verhaltensanforderungen für das aktuelle Fahrszenario erfüllt sind.
Die Beurteilungspipeline 1300 weist das Planungssystem 404, das Beurteilungssystem 620, das Schiedsrichtersystem 625 und das Eingriffsanforderungssystem 630 auf. Wie in 13 dargestellt ist, weist das Beurteilungssystem 620 ein Manöverbeurteilungs-Untersystem 1303 und ein Anomalieerkennungs-Untersystem 1304 auf. Wenngleich dies in 13 nicht explizit dargestellt ist, weist das Planungssystem 404 gemäß einer Ausführungsform das Steuersystem 408 auf oder ist dadurch ersetzt.
Fahrstreckendaten 609 werden vom Planungssystem 404 (und/oder vom Steuersystem 408) auf der Grundlage von Wahrnehmungsdaten, Kartendaten und Lokalisierungsdaten erzeugt. Die Fahrstreckendaten 609 werden in das Manöverbeurteilungs-Untersystem 1303 eingeben. Das Manöverbeurteilungs-Untersystem 1303 nimmt auch aktuelle und künftige Weltzustände für verschiedene Agenten (beispielsweise andere Fahrzeuge) in der Nähe der Fahrstrecke, Kartendaten, eine Zielzuweisung und ein Regelbuch als Eingabe und gibt Erkennungsergebnisse für schlecht definierte Szenarien (beispielsweise Unsicher-Indikator-Daten 616) und eine Nichtbefolgungs-Risikoanalyse (beispielsweise Minimale-Wahrnehmungszone-Daten 611) aus. Gemäß einigen Ausführungsformen werden auch aktualisierte Anforderungen an das Wahrnehmungssystem 402 ausgegeben.
Das Manöverbeurteilungs-Untersystem 1303 erzeugt Minimale-Wahrnehmungszone-Daten 611, die an das Schiedsrichtersystem 625 ausgegeben werden. Gemäß einer Ausführungsform stellt das Manöverbeurteilungs-Untersystem 1303 fest, ob die durch die Fahrstreckendaten 609 angegebene Fahrstrecke in der ODD liegt, und es stellt ihre Befolgung von vordefinierten Verhaltensanforderungen, die Prüfungen der Einhaltung regulatorischer, sicherheitsbezogener und komfortbezogener Regeln einschließen, jedoch nicht darauf beschränkt sind, fest. Beispielsweise kann die Auslösung einer RVA-Anforderung oder eines MRMs während herausfordernder Situationen in der Art einer Fahrspurteilung mit einem Fahrradfahrer vermieden werden, falls das Manöverbeurteilungs-Untersystem 1303 vom AV ausgeführte korrekte Aktionen validieren kann. Gemäß einer anderen Ausführungsform wird diese Bestimmung durch das Schiedsrichtersystem 625 auf der Grundlage einer Ausgabe von Minimale-Wahrnehmungszone-Daten 611 durch das Manöverbeurteilungs-Untersystem 1303 ausgeführt.
Weniger gut verstandene Situationen (beispielsweise ohne vordefinierte Verhaltensanforderungen) werden nur unter Verwendung einer Manövererkennung beurteilt. Beispielsweise kann eine RVA-Anforderung oder ein MRM wünschenswert sein, wenn eine den Verkehr regelnde Person an einer Kreuzung mit einer fehlerhaft funktionierenden Ampel vorhanden ist.
Einige Beispiele einer Manöverbeurteilung umfassen eine Abstandsanalyse und eine Beurteilung interessierender Gebiete, sind jedoch nicht darauf beschränkt. Bei der Abstandsanalyse wird geprüft, ob das Fahrzeug 200 einen sicheren Abstand zu anderen Straßenbenutzern einhält. Wenn das Fahrzeug 200 beispielsweise einen Fahrspurwechsel vornimmt, prüft die Abstandsanalyse, ob das Fahrzeug 200 einen sicheren Abstand zu sich dem Fahrzeug 200 von vorne und von hinten nähernden Fahrzeugen einhält. Die Analyse des interessierenden Gebiets wird verwendet, um die minimal erforderliche Sensorwahrnehmungszone (beispielsweise durch Sensoren abgedeckter Bereich) für das Ausführen eines sicheren Manövers durch das Fahrzeug 200 zu spezifizieren.
Die Erkennungsergebnisse für schlecht definierte Szenarien werden zusammen mit internen Zuständen des Planers/der Steuereinrichtung in das Anomalieerkennungs-Untersystem 1304 eingegeben. Das Anomalieerkennungs-Untersystem 1304 gibt Kontextdaten in der Art von Unsicher-Indikator-Daten 616 für erkannte Anomalien aus. Ein Beispiel einer Anomalieerkennung umfasst das Erkennen ungewöhnlicher Straßenverkehrsszenarien in der Art eines Verkehrsunfalls, einer Baustelle und des Brechens der Präzedenz anderer Straßenbenutzer in der Art eines „unachtsamen Fußgängers“ oder eines Fahrzeugs, das versucht, eine rote Ampel zu überfahren.
Ein anderes Beispiel einer Anomalieerkennung ist eine „Steckengeblieben“-Erkennung, wobei festgestellt wird, ob sich das Fahrzeug 200 in einem nicht auflösbaren Unbeweglichkeitszustand befindet (oder bald in diesen eintreten wird), wie nachstehend beschrieben. Diese Situationen können einen Ferneingriff erfordern, und Kontext in Bezug darauf, weshalb das Fahrzeug 200 unbeweglich ist, kann verwendet werden, um eine geeignete Eingriffsaufgabe festzulegen.
Die Kontextdaten werden in das Eingriffsanforderungssystem 630 eingegeben, das einen geeigneten Eingriff für die erkannte Anomalie auf der Grundlage der Kontextdaten auswählt. Das Eingriffsanforderungssystem 630 initiiert wenigstens einen Eingriff, einschließlich Fern-RVA-Anforderungen, MRM- und DMO-Aufgaben, jedoch ohne Einschränkung auf diese.
14 ist ein Flussdiagramm eines Prozesses 1400 zur Situationsbeurteilung gemäß einigen Ausführungsformen. Der Prozess 1400 kann durch die in 13 dargestellte Beurteilungspipeline 1300 implementiert werden.
Der Prozess 1400 beginnt mit dem Empfang von Eingabedaten bei 1401. Die Eingabedaten umfassen eine Fahrstrecke, Kartendaten, aktuelle/vorhergesagte Zustände eines oder mehrerer Agenten und eine Zielzuweisung für das Fahrzeug (beispielsweise einen Bestimmungsort für das Fahrzeug).
Der Prozess 1400 wird bei 1402 mit der Beurteilung eines Fahrszenarios in Bezug auf das Fahrzeug auf der Grundlage der eingegebenen Daten fortgesetzt.
Der Prozess 1400 wird bei 1403 mit der Feststellung fortgesetzt, ob das Szenario einen definierten Satz von Verhaltensanforderungen aufweist.
In Übereinstimmung damit, dass das Szenario keinen definierten Satz von Verhaltensanforderungen aufweist, wird der Prozess 1400 mit dem Erzeugen von Kontextdaten für ein anomales Ereignis (1404) und dem Zuweisen einer Eingriffsaufgabe bei 1405 fortgesetzt.
In Übereinstimmung damit, dass das Szenario einen definierten Satz von Verhaltensanforderungen aufweist (1403), Feststellen, ob die Fahrstrecke/die Zustände mit dem definierten Satz von Verhaltensanforderungen übereinstimmen (1406), und Bereitstellen einer quantifizierten Metrik des Nichtbefolgungsrisikos (1407).
Beispielhafte Unbeweglichkeitserkennung mit Situationskontext
Wie zuvor erwähnt, ist es möglich, dass ein AV „steckenbleibt“ (beispielsweise während einer längeren Dauer unbeweglich wird), wenn das AV sich einer herausfordernden Situation auf der Straße gegenübersieht. In diesem Fall ist es wünschenswert, den Kontext (beispielsweise den Haltegrund) hinter der Unbeweglichkeit zu verstehen, so dass ein geeigneter Eingriff angefordert oder ausgeführt werden kann. Gemäß dieser Ausführungsform ist es auch wünschenswert, eine situationsabhängige Wartezeit zu identifizieren, bevor festgestellt wird, dass das AV steckengeblieben ist. Bei einem Beispiel können die Wartezeiten, die verwendet werden, bevor festgestellt wird, dass ein Fahrzeug „steckengeblieben“ ist, für verschiedene Situationen in der Art des Wartens an einer roten Ampel, des Wartens, bis Fußgänger einen Zebrastreifen überquert haben, des Wartens, bis unachtsame Fußgänger die Straße überquert haben, oder des Wartens an einer Kreuzung ohne ein Verkehrssignal (beispielsweise einem Allwegehalt) verschieden sein. In Bezug auf die Kreuzung ohne eine Ampel kann die Wartezeit von der Anzahl der anderen Fahrzeuge, die sich an der Kreuzung befinden, abhängen. Ähnlich können gewisse Gründe für eine Unbeweglichkeit unmittelbar so identifiziert werden, dass nicht erwartet wird, dass sie aufgelöst wird, weshalb die Wartezeit vor dem Fordern eines Eingriffs sehr kurz sein kann. Solche Situationen können beispielsweise ein Verkehrsunfall, Fahrbahnteile auf einer beschädigten Straßenoberfläche, Bauarbeiten oder ein illegal geparktes Fahrzeug, dass die Fahrspur blockiert, sein.
Im Allgemeinen können verschiedene Eingriffe für verschiedene der vorstehenden Situationen verwendet werden. Falls beispielsweise eine oder mehrere Fahrspuren einer Straße blockiert sind, kann der Eingriffsmechanismus das Umleiten des Fahrzeugs sein oder dieses aufweisen. Falls nur eine einzige Fahrspur blockiert ist, kann der Eingriffsmechanismus darin bestehen, eine Fahrstrecke für das Umfahren der Blockage bereitzustellen. Falls der Haltegrund das Gewähren von Vorfahrt für ein Kraftfahrzeug, das keine identifizierte Absicht zum Weiterfahren aufweist, ist, kann der Eingriffsmechanismus darin bestehen, die Halterandbedingung am AV zu entfernen. Falls der Haltegrund ähnlich das Gewähren von Vorfahrt für einen Fußgänger auf dem Gehweg, der keine Absicht zum Weitergehen hat, ist, kann der Eingriffsmechanismus darin bestehen, dass der Fußgänger als keine Absicht zum Überqueren aufweisend gelabelt wird.
Auf einer hohen Ebene weisen Ausführungsformen die folgende Technik auf. Es ist zu verstehen, dass diese und andere mit Bezug auf die kontextabhängige Unbeweglichkeitserkennung beschriebene Techniken vom Unbeweglichkeitserkennungssystem 635 und/oder vom Eingriffsanforderungssystem 630 ausgeführt werden können. Gemäß einer anderen Ausführungsform können die hier beschriebenen Techniken zusätzlich oder alternativ durch wenigstens einen anderen Prozessor, ein anderes System oder Untersystem des Fahrzeugs 200 oder ein System, das fern vom Fahrzeug 200 ist, jedoch kommunikativ damit gekoppelt ist, ausgeführt werden. Zuerst werden räumliche, geschwindigkeitsbezogene und Zeitkorridor-Randbedingungen mit Metadaten in Form beschränkender Objektkennungen (beispielsweise Agenten- und Kartenkonstrukten) gebildet. Bei der Technik wird dann auf aktuelle Randbedingungen, die zu einer Geschwindigkeit von Null führen, geprüft. Der Grund für das Anhalten kann auf der Grundlage der Metadaten in Bezug auf diese Randbedingungen abgeleitet werden. Insbesondere kann der Grund für das Anhalten abgeleitet werden, ohne dass die gesamte Datenmenge außerhalb dieser Randbedingungen berücksichtigt werden müsste. Abhängig vom Kontext kann beim Prozess dann ein Zeitablaufmechanismus als Schwelle für das Erkennen eines Steckenbleibens angewendet werden (beispielsweise kann das Fahrzeug vom Zeitpunkt der Unbeweglichkeit an als steckengeblieben angesehen werden, die Unbeweglichkeit wird jedoch erst nach Verstreichen des Zeitablaufmechanismus identifiziert). Gemäß einer Ausführungsform hängt die Schwelle von erwarteten „normalen“ Wartezeiten für einen gegebenen Kontext ab. Gemäß einer anderen Ausführungsform hängt die Schwelle zusätzlich oder alternativ vom Risiko ab, zu lange an einem aktuellen Ort zu bleiben (beispielsweise sollte das Fahrzeug infolge des Risikos des Behinderns des Verkehrs nicht über eine längere Dauer innerhalb einer Kreuzung anhalten). Bei der Technik werden dann Steckenbleibfälle zusammen mit der Dauer und dem Grund für die Beweglichkeit einem Eingriffsanforderungs-Untersystem in der Art des Eingriffsanforderungssystems 630 mitgeteilt.
15 zeigt ein beispielhaftes Blockdiagramm in Bezug auf eine Unbeweglichkeitserkennung mit Situationskontext gemäß verschiedenen Ausführungsformen. Das Beispiel 1500 weist das Unbeweglichkeitserkennungssystem 635 und das Eingriffsanforderungssystem 630 auf.
Das Unbeweglichkeitserkennungssystem 635 ist dafür ausgelegt, Fahrstreckendaten 609 beispielsweise vom Planungssystem 404 zu empfangen. Insbesondere weist das Unbeweglichkeitserkennungssystem 635 ein Randbedingungsprüfungs-Untersystem 1510 auf, das dafür ausgelegt ist, die Daten in Bezug auf die Fahrstrecke 1505 zu empfangen. Die Fahrstrecke 1505 kann angeben, dass das Fahrzeug anhalten soll (beispielsweise unbeweglich werden soll).
Das Randbedingungsprüfungs-Untersystem 1510 ist dafür ausgelegt, wenigstens eine Randbedingung in Bezug auf die Fahrstrecke 1505 zu identifizieren. Beispielsweise können die Randbedingungen eine räumliche Randbedingung, eine Geschwindigkeitsrandbedingung oder eine Zeitkorridor-Randbedingung umfassen. Gemäß einigen Ausführungsformen können die Randbedingungen ferner eine Randbedingung in Bezug auf eine erste Zeit (beispielsweise auf der Grundlage eines in der Randbedingungs-Datenbank 1515 gespeicherten Zeitstempels), zu der das Fahrzeug 200 angehalten wird, die letzte Zeit, zu der das Fahrzeug 200 angehalten wurde, die Dauer, während derer das Fahrzeug 200 gehalten hat, eine Angabe, ob bereits festgestellt wurde, dass das Fahrzeug 200 unbeweglich ist, usw. umfassen.
Allgemeiner können die Randbedingungen in der Art von Geschwindigkeitsrandbedingungen durch Funktionen repräsentiert werden, die ein beschränktes Attribut (beispielsweise Geschwindigkeit (V), Zeit (T) oder lateraler Versatz (D), wodurch indirekt eine Halteentscheidung beeinflusst werden kann, falls das laterale Intervall zwischen dem linken und dem rechten Versatz für das AV zu schmal ist) in Bezug auf die Weglänge (S) beschreiben. Falls die Randbedingung beispielsweise eine lineare Funktion ist, könnte sie durch eine Steigung plus einen Achsenschnittpunkt plus einen gültigen Bereich [Smin, Smax] beschrieben werden.
Auf der Grundlage der identifizierten Randbedingung identifiziert das Randbedingungsprüfungs-Untersystem 1510 den Haltegrund 1520, der ein vorstehend beschriebener Haltegrund sein kann. Die Daten des Haltegrunds 1520 können beispielsweise eine Kennung (beispielsweise ein Label, ein Begrenzungskästchen) eines Objekts, Daten in Bezug auf einen Kartenort (beispielsweise Ort des Fahrzeugs) oder andere Daten umfassen.
Gemäß einer Ausführungsform werden die Haltegrunddaten 613 dem Eingriffsanforderungssystem 630 direkt vom Randbedingungsprüfungs-Untersystem 1510 bereitgestellt. Diese Bereitstellung kann beispielsweise geschehen, wenn sich der Haltegrund auf eine Situation bezieht, von der nicht erwartet wird, dass sie gelöst wird, wie vorstehend beschrieben. Gemäß einer anderen Ausführungsform kann eine solche Bereitstellung geschehen, wenn der Haltegrund als sich auf eine Situation beziehend identifiziert wird, für die ein unmittelbarer Eingriff wünschenswert ist (beispielsweise eine drohende Kollision oder eine andere Situation).
Zusätzlich kann der Haltegrund 1520 einem Zeitablaufschwellengenerator 1525 bereitgestellt werden. Der Zeitablaufschwellengenerator 1525 ist dafür ausgelegt, auf der Grundlage des Haltegrunds 1520 einen Zeitablauf bis zur Anforderung eines Eingriffs zu bestimmen. Insbesondere ist der Zeitablaufschwellengenerator 1525 kommunikativ mit einer Zeitablaufdatenbank 1530 gekoppelt, die dafür ausgelegt ist, Zeitablaufwerte in Bezug auf verschiedene Haltegründe zu speichern. Gemäß einer Ausführungsform sind die verschiedenen Zeitablaufwerte vordefiniert, während gemäß einer anderen Ausführungsform die Zeitablaufdatenbank 1530 Daten speichert, die vom Zeitablaufschwellengenerator 1525 verwendet werden können, um einen Zeitablaufwert auf der Grundlage des Haltegrunds (beispielsweise auf der Grundlage einer Schlangenlänge von Fahrzeugen an einem Allwegehalt, auf der Grundlage der Anzahl der Fußgänger in der Nähe des Fahrzeugs usw.) zu berechnen. Hier ist die Zeitablaufschwelle die Zeitdauer, während derer das Fahrzeug wartet, bevor wenigstens eine Abhilfeaktion in der Art einer Anforderung an einen RVA, eines MRMs, eines Umleitens usw. eingeleitet wird.
Die Zeitablaufschwelle 1535 kann dann einem Unbeweglichkeitszeitgeber 1540 zugeführt werden, der die Zeitdauer, während derer das Fahrzeug unbeweglich ist, verfolgen kann. Falls die Unbeweglichkeitssituation aufgelöst wird, wird die Zeitablaufsequenz aufgehoben und wird der Normalbetrieb des Fahrzeugs wiederaufgenommen. Falls die Unbeweglichkeitssituation jedoch nicht aufgelöst wird und die Unbeweglichkeitszeit die Zeitablaufschwelle erfüllt oder überschreitet, überträgt das Unbeweglichkeitserkennungssystem 635 Auslösesignaldaten 614 zum Eingriffsanforderungssystem 630. Das Eingriffsanforderungssystem 630 ist dafür ausgelegt, auf der Grundlage der Auslösesignaldaten 614 einen Eingriff auszuführen, der die Erzeugung und Übertragung wenigstens einer Eingriffsanforderung 612 aufweist.
Das folgende beispielhafte Skript beschreibt, wie verschiedene Geschwindigkeitsrandbedingungen durch das Randbedingungsprüfungs-Untersystem 1510 und/oder die Randbedingungsdatenbank 1515 analysiert werden können. Es ist zu verstehen, dass das folgende Skript lediglich ein Beispiel ist und sich bei einer anderen Programmiersprache, Datenstruktur, anderen Werten usw. unterscheiden kann.

    enum GESCHWINDIGKEIT(oder RÄUMLICH_ZEITLICH)_RANDBEDINGUNG_TYP
 {
 PROFIL = 0 (Geschwindigkeitsbegrenzung, Wegende oder
       Lateralbeschleunigungsbegrenzungsgeschwindigkeit)
 NÄHE = 1 (nahe an etwas)
 FUSSGÄNGER = 2 (Nähe zu Personen) 



 GENERISCH = 3 (unidentifizierte oder leblose Objekte)
 LOGISCH = 4 (Kreuzung, Zebrastreifen oder andere Straßenregel in Bezug auf Vorfahrt)
 EINFÄDELN = 5 (Fahrspuränderung)
 ... (es könnten alternative oder zusätzliche Kategorien verwendet werden)
 };
    enum RÄUMLlCHE_RANDBEDlNGUNG_TYP
 {
 Fahrspur = 0,
 MehrereFahrspuren = 1, (beispielsweise vollständiges Straßensegment, das benachbarte
       Fahrspuren mit gleicher und/oder entgegengesetzter Richtung aufweist)
 Kreuzung = 2,
 Fahrstrecke = 3, (andere Agenten in der Art von Kraftfahrzeug, Fußgänger usw.)
 ... (es könnten alternative oder zusätzliche Kategorien verwendet werden)
 };
     struct BESCHRÄNKENDE_OBJEKTE{
 bool FahrstreckeExistiert; //!< if FALSE, Fahrstreckelnformation wird ignoriert
 GeschwindigkeitsBegrenzungsFahrstreckelnformation Fahrstreckelnformation;
 bool KartenObjektExistiert; //!< if FALSE, Karteninformation wird ignoriert
 GeschwindigkeitsBegrenzungsKartenlnformation Kartenlnformation;
 };

Fahrstreckelnformation und Karteninformation enthalten minimal eindeutige Kennungen (IDs). Diese IDs werden verwendet, um bei Bedarf weitere detaillierte Attribute nachzuschlagen. Es kann beispielsweise wünschenswert sein, weitere Daten in Bezug auf Fahrstrecke(Objekt/Agent)-Typklassifikationen (Fußgänger, Fahrzeug usw.), Ort, Geschwindigkeit usw. abzurufen. Kartenobjekte werden ähnlich mit eindeutigen Kennungen, geometrischen und relationalen Eigenschaften gespeichert. Einige beispielhafte Kartentypen, die teilweise einen Grund für das Halten eines AVs in KARTEN_TYP enum beschreiben, werden nachfolgend aufgezählt.

    enum KARTEN_TYP
 {
 ZEBRASTREIFEN = 0,
 HALTELINIE = 1,
 KÄSTCHENVERBINDUNG = 2,
 FAHRSPURTEILER = 3,
 ... (es könnten alternative oder zusätzliche Kategorien verwendet werden) 

 };

16 ist ein Flussdiagramm eines beispielhaften Prozesses 1600 in Bezug auf eine Unbeweglichkeitserkennung mit Situationskontext gemäß verschiedenen Ausführungsformen. Insbesondere zeigt 16 ein Beispiel, durch das hier angeführte Konzepte beschrieben werden können. Es ist zu verstehen, dass das nachstehend beschriebene Beispiel nur der Erörterung dient und dass andere Beispiele mehr, weniger oder andere Elemente, Randbedingungen, Schwellen usw. aufweisen. Gemäß einigen Ausführungsformen werden ein oder mehrere der mit Bezug auf den Prozess 1600 beschriebenen Elemente durch das in der Unbeweglichkeitserkennungs-Pipeline 1500 dargestellte System (beispielsweise vollständig, teilweise und/oder dergleichen) ausgeführt. Zusätzlich oder alternativ werden gemäß einigen Ausführungsformen ein oder mehrere mit Bezug auf den Prozess 1600 beschriebene Elemente durch eine andere Vorrichtung oder Gruppe von Vorrichtungen getrennt vom beispielhaften OED-Framework 600 in der Art einer oder mehrerer der Vorrichtungen aus einer der 1, 2, 3 und 4 (beispielsweise vollständig, teilweise und/oder dergleichen) ausgeführt.

In Prozess 1600 wird bei 1605 festgestellt, ob das Fahrzeug 200 anhalten und/oder Vorfahrt gewähren muss. Beispielsweise wird auf der Grundlage einer projizierten Zeit, die das Fahrzeug 200 benötigt, um einen Zebrastreifen zu passieren, verglichen mit der Zeit, die ein sich in der Nähe befindender Fußgänger benötigt, um den Zebrastreifen zu erreichen, festgestellt, ob das Fahrzeug 200 anhalten und dem Fußgänger Vorfahrt gewähren muss. Dadurch wird eine Geschwindigkeitsrandbedingung auferlegt, um eine Geschwindigkeit von null 2 Meter (m) vor dem Zebrastreifen einwärts (entlang dem Weg des AVs gemessen) vorzuschreiben. Diese Randbedingung wird zusammen mit Metadaten, die spezifizieren, dass die Randbedingung durch den bestimmten Zebrastreifen und Fußgänger hervorgerufen wird, zusammen mit den eindeutigen Kennungen der jeweiligen Objekte veröffentlicht. Diese Randbedingung wird für mehrere mit Zeitstempeln versehene Iterationen des Planungssystems 404, des Unbeweglichkeitserkennungssystems 635 oder eines anderen Systems oder Untersystems erneut veröffentlicht.

In Prozess 1600 werden ferner bei 1610 Randbedingungen über jeden Zeitstempel (beispielsweise über jede mit einem Zeitstempel versehene Iteration) untersucht. Insbesondere wird, wenngleich es andere aktive Randbedingungen geben kann, welche die Geschwindigkeit, den räumlichen Versatz usw. beschränken, die auf den Zebrastreifen bezogene Randbedingung als primäre Randbedingung identifiziert, die für die Unbeweglichkeit des Fahrzeugs 200 verantwortlich ist (Null-Geschwindigkeits-Randbedingung an der aktuellen Position aktiv, andere weniger relevante Randbedingungen möglicherweise weiter entlang dem Weg, oder falls aktiv, an der aktuellen Position berechnet, vorgeschrieben durch die Null-Geschwindigkeits-Randbedingung, die so ähnlich von geringerer Relevanz ist). Auf der Grundlage der Metadaten, die einen logischen Randbedingungstyp angeben, einschließlich Daten in Bezug auf einen identifizierten Fußgänger und Zebrastreifen wird dafür gesorgt, dass das Fahrzeug 200 und insbesondere das Randbedingungsprüfungs-Untersystem 1510 den Haltegrund 1520 für die Unbeweglichkeit des aktuellen Zeitstempels kennen.

Der Haltegrund 1520 wird an den Zeitablaufschwellengenerator 1525 ausgegeben, und in Prozess 1600 werden ferner bei 1615 eine oder mehrere Wartezeitschwellen zugewiesen. Insbesondere weist der Zeitablaufschwellengenerator 1525 verschiedenen Haltegründen oder Kategorien von Haltegründen verschiedene Wartezeitschwellen zu. Beispielsweise kann sich eine Wartezeitschwelle für das Gewähren von Vorfahrt an einem Zebrastreifen von einer Wartezeitschwelle, um einem unachtsamen Fußgänger auszuweichen, oder einer anderen Kategorie eines Haltegrunds unterscheiden. Die Wartezeitschwelle 1535 wird zur Verarbeitung an den Unbeweglichkeitszeitgeber 1540 ausgegeben. Wenn der Unbeweglichkeitszeitgeber 1540 den gleichen Haltegrund verfolgt, der über sequenzielle Zeitschritte andauert, vergleicht er gegenwärtig akkumulierte Wartezeiten mit der Wartezeitschwelle. Falls die akkumulierte Wartezeit die Schwelle überschreitet, stellt das Unbeweglichkeitserkennungssystem 635 fest, dass das Fahrzeug „steckengeblieben“ ist. Es kann beispielsweise angenommen werden, dass Benutzer eines Zebrastreifens die Straße langsamer überqueren als unachtsame Fußgänger und daher eine längere Zeitschwelle aufweisen. Andernfalls berücksichtigt das Unbeweglichkeitserkennungssystem 635 als weitere Verfeinerung, falls der Zebrastreifen signalisiert ist, die typische Dauer eines „Gehen/Grün“-Signals und erwartet nicht, dass viel länger als für diese Dauer gewartet wird.

In Prozess 1600 wird ferner bei 1620 eine Eingriffsanforderung in der Art der Eingriffsanforderung 612 erzeugt. Insbesondere wird nach der Feststellung, dass das Fahrzeug steckengeblieben ist, ein Zeitablauf-erfüllt-Auslösesignal 1545 an das Eingriffsanforderungssystem 630 ausgegeben, das eine Eingriffsanforderung 612 erzeugt. Die Eingriffsanforderung 612 kann den Kontext des Haltegrunds (beispielsweise Haltegrunddaten 613) aufweisen, der in diesem Fall eine Angabe aufweist, dass das Fahrzeug an einem identifizierten Zebrastreifen auf einen identifizierten Fußgänger wartet. Dies könnte für den RVA-Betreiber nützlich sein, um ein Überschreiben für den weiteren Fortschritt einzuleiten. Falls der identifizierte Fußgänger beispielsweise auf einem Videostreifen sichtbar ist und anscheinend nicht überqueren möchte (weil er mit einer anderen stationären Person spricht, darauf wartet, in orthogonaler Richtung zu überqueren, oder infolge einer anderen visuellen Angabe), kann der Bediener wählen, die Randbedingung aufzuheben, einen Beschleunigungsbefehl zu senden oder andere Mittel zu verwenden, um das Fahrzeug ungeachtet dessen über den Zebrastreifen zu senden. Ähnlich kann das Wahrnehmungssystem ein nahe gelegenes Zeichen oder einen Postkasten fälschlich als Fußgänger klassifiziert haben, wobei eine ähnliche visuelle Bestätigung und ein Überschreiben verwendet werden könnten. Es sei bemerkt, dass diese Eingriffsmittel ohne den Kontext, dass der Fußgänger am Zebrastreifen die Ursache für die Unbeweglichkeit ist, nicht offensichtlich sein können, und überdies wäre der gewählte Eingriffsmechanismus aus anderen Unbeweglichkeitsgründen verschieden (beispielsweise könnte das Vermeiden eines statischen oder langsamen unachtsamen Fußgängers eine Wegänderung erfordern).

Mit Bezug auf 17 ist 17 ein Flussdiagramm eines alternativen beispielhaften Prozesses 1700 in Bezug auf eine Unbeweglichkeitserkennung mit Situationskontext gemäß verschiedenen Ausführungsformen. Insbesondere zeigt 17 einen Prozess 1700, der sich auf den Unbeweglichkeitszeitgeber 1540 und/oder das Randbedingungsprüfungs-Untersystem 1510 bezieht und dadurch ausgeführt werden kann. Gemäß einigen Ausführungsformen werden eines oder mehrere der mit Bezug auf den Prozess 700 beschriebenen Elemente (beispielsweise vollständig, teilweise und/oder dergleichen) durch die Unbeweglichkeitserkennungs-Pipeline 1500 ausgeführt. Zusätzlich oder alternativ werden gemäß einigen Ausführungsformen ein oder mehrere mit Bezug auf den Prozess 1700 beschriebene Elemente durch eine andere Vorrichtung oder Gruppe von Vorrichtungen getrennt von der Unbeweglichkeitserkennungs-Pipeline 1500 in der Art einer oder mehrerer der Vorrichtungen aus einer der 1, 2, 3 und 4 (beispielsweise vollständig, teilweise und/oder dergleichen) ausgeführt.

In Prozess 1700 wird ferner bei 1705 ein Zustand des Fahrzeugs identifiziert. Bei einer solchen Identifikation wird festgestellt, ob das Fahrzeug bereits zuvor als unbeweglich identifiziert wurde, ob es Daten in Bezug auf existierende Randbedingungen oder einen existierenden Haltegrund gibt usw.

In Prozess 1700 werden ferner bei 1710 existierende Randbedingungen aktualisiert. Insbesondere werden, falls bei 1705 eine existierende Randbedingung identifiziert wird, der eine oder die mehreren Haltegründe, mit denen sie assoziiert ist, bei 1725 geprüft. Falls der Haltegrund wahr ist (beispielsweise falls der Haltegrund noch existiert), wird bei 1730 ein „Zuletzt-gesehen-Zeit“-Feld in Zusammenhang mit der Randbedingung oder dem Haltegrund aktualisiert. Falls der Haltegrund falsch ist (beispielsweise der Haltegrund nicht mehr existiert), wird die Halterandbedingung bei 1735 entfernt, so dass der Unbeweglichkeitszeitgeber in Bezug auf diese spezifische Halterandbedingung oder diesen spezifischen Haltegrund aufgehoben wird.

In Prozess 1700 werden ferner bei 1715 restliche Haltebedingungen identifiziert. Im Prozess wird beispielsweise bei 1740 geprüft, ob es zusätzliche Haltesituationen gibt. Beispielsweise kann das Fahrzeug bei diesem Prozess bereits eine Situation kennen, die eine Unbeweglichkeit des Fahrzeugs erfordert hat (beispielsweise der Fußgänger am Zebrastreifen, wie vorstehend beschrieben). Das Fahrzeug stellt jedoch bei 1740 fest, ob es eine Hinzufügung oder neue Situationen gibt (beispielsweise einen zusätzlichen Fußgänger am Zebrastreifen oder ein Kraftfahrzeug, das kurz davor steht, in eine Kreuzung einzufahren), wodurch bei 1745 eine neue Halterandbedingung erzeugt wird.

In Prozess 1700 wird ferner bei 1720 festgestellt, ob das Fahrzeug unbeweglich oder steckengeblieben ist. Eine solche Identifikation geschieht nach dem Verstreichen der Zeitablaufschwelle 1535 und führt zur Erzeugung eines Auslösesignals 1545 und zur Übertragung von diesem zum Eingriffsanforderungssystem 630.

Mit Bezug auf 18 ist 18 ein Flussdiagramm eines alternativen beispielhaften Prozesses 1800 in Bezug auf eine Unbeweglichkeitserkennung mit Situationskontext gemäß verschiedenen Ausführungsformen. Gemäß einigen Ausführungsformen werden eines oder mehrere der mit Bezug auf den Prozess 1800 beschriebenen Elemente (beispielsweise vollständig, teilweise und/oder dergleichen) durch die Unbeweglichkeitserkennungs-Pipeline 1500 ausgeführt. Zusätzlich oder alternativ werden gemäß einigen Ausführungsformen ein oder mehrere mit Bezug auf den Prozess 1800 beschriebene Elemente durch eine andere Vorrichtung oder Gruppe von Vorrichtungen getrennt von der Unbeweglichkeitserkennungs-Pipeline 1500 in der Art einer oder mehrerer der Vorrichtungen aus einer der 1, 2, 3 und 4 (beispielsweise vollständig, teilweise und/oder dergleichen) ausgeführt.

In Prozess 1800 wird bei 1805 wenigstens eine aktuelle oder künftige Randbedingung für eine Fahrstrecke eines Fahrzeugs in einer Umgebung in Zusammenhang damit, dass das Fahrzeug für einen längeren Zeitraum unbeweglich wird, bestimmt. Wie erwähnt bezieht sich die Randbedingung auf eine räumliche, geschwindigkeitsbezogene oder zeitliche Randbedingung des Fahrzeugs oder eine andere Randbedingung. Die Randbedingung ist eine Randbedingung einer Fahrstrecke, die dazu geführt hat, dass das Fahrzeug unbeweglich geworden ist, oder dazu führen wird, dass es unbeweglich wird.

In Prozess 1800 wird ferner bei 1810 ein Haltegrund für die Unbeweglichkeit des Fahrzeugs 200 auf der Grundlage der Bestimmung der wenigstens einen aktuellen oder künftigen Randbedingung für die Fahrstrecke des Fahrzeugs in der Umgebung bestimmt. Wie erwähnt ist die Haltebedingung ein Grund für die Beweglichkeit. Beispiele von Haltegründen umfassen, dass das Fahrzeug 200 an einer Ampel wartet, dass ein Fußgänger/unachtsamer Fußgänger einen Zebrastreifen überquert, dass ein Fahrzeug an einer ampellosen Kreuzung wartet, einen Unfall, der das Fahrzeug betrifft oder in der Nähe zu diesem auftritt, ein geparktes Fahrzeug, das Ausweichen einem anderen Fahrzeug, das keine Absicht hat, weiterzufahren, oder einen anderen Haltegrund. Gemäß einer Ausführungsform werden beim Bestimmen des Haltegrunds eine erste Zeit und eine letzte Zeit, zu denen das Fahrzeug infolge der wenigstens einen aktuellen oder künftigen Randbedingung unbeweglich geworden ist, identifiziert. Gemäß einer Ausführungsform umfasst der Haltegrund eine Kennung in Zusammenhang mit wenigstens einem Objekt oder eine Kartenrandbedingung.

In Prozess 1800 wird ferner bei 1815 eine Zeitablaufschwelle auf der Grundlage des Haltegrunds identifiziert. Die Zeitablaufschwelle ist der Zeitraum, den ein System des Fahrzeugs (beispielsweise das Eingriffsanforderungssystem 630) wartet, bevor es wenigstens eine Abhilfeaktion zur Adressierung der Unbeweglichkeit einleitet. Gemäß einer Ausführungsform wird in Element 1815 optional auf der Grundlage des Haltegrunds festgestellt, dass der Haltegrund mit einem von einem ersten Satz von Haltegründen und einem zweiten Satz von Haltegründen assoziiert ist. Gemäß dieser Ausführungsform bestehen der erste Satz von Haltegründen aus Haltegründen, bei denen erwartet wird, dass die Beweglichkeit aufgelöst wird, und der zweite Satz von Haltegründen aus Haltegründen, bei denen erwartet wird, dass die Beweglichkeit nicht aufgelöst wird. Die Zeitablaufschwelle wird dann auf der Grundlage davon identifiziert, ob der Haltegrund im ersten Satz von Haltegründen oder im zweiten Satz von Haltegründen liegt. Die Zeitablaufschwelle kann auf einer nominellen Ampelwartezeit, einer nominellen Gehgeschwindigkeit eines Fußgängers oder unachtsamen Fußgängers, der Anzahl der Fahrzeuge vor dem AV, einer nominellen Wartezeit (die in Situationen, in denen nicht erwartet wird, dass die Unbeweglichkeit gelöst wird, kleiner oder gleich einer Sekunde sein kann), einer vorgegebenen Wartezeit usw. beruhen. Gemäß einer Ausführungsform hängt die Zeitablaufschwelle von einem Risiko in Zusammenhang damit, dass das Fahrzeug während eines längeren Zeitraums unbeweglich ist, beispielsweise einem Risiko eines Behinderns von Querverkehr, ab. Die Abhilfeaktion kann das Erzeugen einer neuen Route für das Fahrzeug, das Erzeugen einer neuen Fahrstrecke, wodurch ein angehaltenes Objekt umfahren wird, das Entfernen einer Randbedingung in Bezug auf ein Fahrzeug oder einen Fußgänger, von dem festgestellt wurde, dass es oder er keine Absicht hat, weiterzufahren oder weiterzugehen, dass einem RVA-Assistenten mitgeteilt wird, dass das Fahrzeug unbeweglich ist (zusammen mit einem Grund und/oder einer Dauer der Beweglichkeit), usw. umfassen.

Bei der Technik 1800 wird ferner bei 1820 festgestellt, dass die Zeitablaufschwelle erfüllt ist, wie beispielsweise vorstehend in Bezug auf den Unbeweglichkeitszeitgeber 1540 und die Auslösesignaldaten 614 beschrieben. Bei der Technik 1800 wird ferner bei 1825 auf der Grundlage der Feststellung, dass die Zeitablaufschwelle erfüllt ist, wenigstens eine Abhilfeaktion für das Fahrzeug in der Art einer Eingriffsanforderung 612 eingeleitet.

In der vorhergehenden Beschreibung wurden Aspekte und Ausführungsformen der vorliegenden Offenbarung mit Bezug auf zahlreiche spezifische Einzelheiten, die von Implementation zu Implementation variieren können, beschrieben. Dementsprechend sind die Beschreibung und die Zeichnungen als erläuternd und nicht als einschränkend anzusehen. Der einzige und ausschließliche Indikator des Schutzumfangs der Erfindung und dessen, was von den Anmeldern als der Schutzumfang der Erfindung vorgesehen ist, ist der buchstäbliche und gleichwertige Schutzumfang des Anspruchssatzes, der sich aus dieser Anmeldung ergibt, in der spezifischen Form, in der diese Ansprüche erteilt werden, einschließlich jeder späteren Korrektur. Jegliche Definitionen, die hier ausdrücklich für in diesen Ansprüchen enthaltene Begriffe dargelegt sind, sollen die Bedeutung dieser Begriffe, wie in den Ansprüchen verwendet, bestimmen. Zusätzlich kann, wenn wir den Begriff „ferner umfassend“ in der folgenden Beschreibung oder den folgenden Ansprüchen verwenden, das, was diesem Ausdruck folgt, ein zusätzlicher Schritt oder eine zusätzliche Entität oder ein Unterschritt/eine Unterentität eines zuvor erwähnten Schritts oder einer zuvor erwähnten Entität sein.

Claims

Verfahren, umfassend: Empfangen von Eingangsinformationen mit wenigstens einem Prozessor, wobei die Eingangsinformationen wenigstens eine Fahrstrecke eines Fahrzeugs in einer Umgebung, Karteninformationen, aktuelle vorhergesagte Zustände des Fahrzeugs und wenigstens einen anderen Agenten in der Umgebung und ein dem Fahrzeug zugewiesenes Ziel umfassen, Beurteilen eines das Fahrzeug betreffenden Szenarios auf der Grundlage der Eingangsinformationen mit dem wenigstens einen Prozessor, ansprechend auf die Beurteilung, Feststellen, dass das Szenario wenigstens eine definierte Verhaltensanforderung aufweist oder ein anomales Ereignis ist, mit dem wenigstens einen Prozessor, falls das Szenario wenigstens eine definierte Verhaltensanforderung aufweist: Feststellen, ob die wenigstens eine Fahrstrecke und die aktuellen und vorhergesagten Zustände des wenigstens einen Agenten die wenigstens eine definierte Verhaltensanforderung befolgen, Bereitstellen von Daten, die sich auf ein Nichtbefolgungsrisiko in Bezug auf die wenigstens eine definierte Verhaltensanforderung beziehen, und falls das Szenario ein anomales Ereignis ist: Erzeugen von Unsicher-Indikator-Daten in Bezug auf das Szenario.
Verfahren nach Anspruch 1, ferner umfassend: Planen eines Manövers für das Fahrzeug auf der Grundlage des Nichtbefolgungsrisikos.
Verfahren nach Anspruch 1, wobei das Feststellen, ob die wenigstens eine Fahrstrecke und die aktuellen und vorhergesagten Zustände des wenigstens einen Agenten die wenigstens eine definierte Verhaltensanforderung befolgen, Folgendes umfasst: Prüfen, ob die Fahrstrecke wenigstens eine der Vorschriftsregeln, Sicherheitsregeln oder Fahrgastkomfortregeln erfüllt.
Verfahren nach Anspruch 3, wobei eine definierte Verhaltensanforderung darin besteht, dass das Fahrzeug einen sicheren Abstand zwischen dem Fahrzeug und dem wenigstens einen Agenten einhält, wenn es ein Manöver ausführt.
Verfahren nach Anspruch 3, wobei eine definierte Verhaltensanforderung eine minimale erforderliche Wahrnehmungszone für das Ausführen eines sicheren Manövers durch das Fahrzeug ist.
Verfahren nach Anspruch 3, wobei das anomale Ereignis ein ungewöhnliches Verkehrs- oder Fußgängerszenario, ein Verkehrsunfall, eine Menschenansammlung in der Nähe der wenigstens einen Fahrstrecke oder eine Baustelle in der Nähe der wenigstens einen Fahrstrecke ist oder darin besteht, dass der wenigstens eine Agent eine Präzedenz eines erwarteten Verhaltens des wenigstens einen Agenten bricht.
Verfahren nach Anspruch 3, wobei das anomale Ereignis auf der Grundlage interner Zustände eines Planers oder einer Steuereinrichtung des Fahrzeugs erkannt wird.
System, umfassend: ein Manöverbeurteilungs-Untersystem, das dafür ausgelegt ist, Folgendes auszuführen: Empfangen von Eingangsinformationen, einschließlich wenigstens einer Fahrstrecke eines Fahrzeugs in einer Umgebung, Karteninformationen, aktueller vorhergesagter Zustände des Fahrzeugs und wenigstens eines anderen Agenten in der Umgebung und eines dem Fahrzeug zugewiesenen Ziels, Beurteilen eines Szenarios, welches das Fahrzeug betrifft, auf der Grundlage der Eingangsinformationen, Feststellen, ob das Szenario wenigstens eine definierte Verhaltensanforderung aufweist, ansprechend auf die Beurteilung, falls das Szenario wenigstens eine definierte Verhaltensanforderung aufweist: Feststellen, ob die wenigstens eine Fahrstrecke und die aktuellen und vorhergesagten Zustände des wenigstens einen Agenten die wenigstens eine definierte Verhaltensanforderung befolgen, Bereitstellen von Daten, die sich auf ein Nichtbefolgungsrisiko in Bezug auf die wenigstens eine definierte Verhaltensanforderung beziehen, ein Anomalieerkennungs-Untersystem, das dafür ausgelegt ist, Folgendes auszuführen: Erkennen eines anomalen Ereignistyps, Erzeugen von Unsicher-Indikator-Daten in Bezug auf den Anomalietyp, und ein Eingriffsuntersystem, das dafür ausgelegt ist, Folgendes auszuführen: Zuweisen einer Eingriffsaufgabe zum Fahrzeug auf der Grundlage der Kontextinformationen.
System nach Anspruch 8, ferner umfassend: ein Planeruntersystem, das dafür ausgelegt ist, ein Manöver für das Fahrzeug auf der Grundlage des Nichtbefolgungsrisikos zu planen.
System nach Anspruch 8, wobei das Manöverbeurteilungs-Untersystem ferner dafür ausgelegt ist, zu prüfen, ob die Fahrstrecke wenigstens eine der Vorschriftsregeln, Sicherheitsregeln oder Fahrgastkomfortregeln erfüllt.
System nach Anspruch 8, wobei eine definierte Verhaltensanforderung darin besteht, dass das Fahrzeug einen sicheren Abstand zwischen dem Fahrzeug und dem wenigstens einen Agenten einhält, wenn es ein Manöver ausführt.
System nach Anspruch 8, wobei eine definierte Verhaltensanforderung eine minimale erforderliche Wahrnehmungszone für das Ausführen eines sicheren Manövers durch das Fahrzeug ist.
System nach Anspruch 8, wobei das anomale Ereignis wenigstens eines von einem ungewöhnlichen Verkehrs- oder Fußgängerszenario, einem Verkehrsunfall, einer Menschenansammlung in der Nähe der wenigstens einen Fahrstrecke und einer Baustelle in der Nähe der wenigstens einen Fahrstrecke ist oder darin besteht, dass der wenigstens eine Agent eine Präzedenz eines erwarteten Verhaltens des wenigstens einen Agenten bricht.
System nach Anspruch 8, wobei das anomale Ereignis zumindest teilweise auf der Grundlage wenigstens eines internen Zustands eines Planer- oder Steuereinrichtungs-Untersystems erkannt wird.
Wenigstens ein nichtflüchtiges computerlesbares Medium, das Befehle umfasst, die nach der Ausführung der Befehle durch wenigstens einen Prozessor das Fahrzeug veranlassen, Operationen auszuführen, welche Folgendes umfassen: Empfangen von Eingangsinformationen, einschließlich wenigstens einer Fahrstrecke eines Fahrzeugs in einer Umgebung, Karteninformationen, aktueller vorhergesagter Zustände des Fahrzeugs und wenigstens eines anderen Agenten in der Umgebung und eines dem Fahrzeug zugewiesenen Ziels, Beurteilen eines Szenarios, welches das Fahrzeug betrifft, auf der Grundlage der Eingangsinformationen, ansprechend auf die Beurteilung, Feststellen, dass das Szenario wenigstens eine definierte Verhaltensanforderung aufweist oder ein anomales Ereignis ist, mit dem wenigstens einen Prozessor, falls das Szenario wenigstens eine definierte Verhaltensanforderung aufweist: Feststellen, ob die wenigstens eine Fahrstrecke und die aktuellen und vorhergesagten Zustände des wenigstens einen Agenten die wenigstens eine definierte Verhaltensanforderung befolgen, Bereitstellen von Daten, die sich auf ein Nichtbefolgungsrisiko in Bezug auf die wenigstens eine definierte Verhaltensanforderung beziehen, und falls das Szenario ein anomales Ereignis ist: Erzeugen von Unsicher-Indikator-Daten in Bezug auf das Szenario.
Computerlesbares Medium nach Anspruch 15, ferner umfassend: Planen eines Manövers für das Fahrzeug auf der Grundlage des Nichtbefolgungsrisikos.
Computerlesbares Medium nach Anspruch 15, wobei das Feststellen, ob die wenigstens eine Fahrstrecke und die aktuellen und vorhergesagten Zustände des wenigstens einen Agenten die wenigstens eine definierte Verhaltensanforderung befolgen, Folgendes umfasst: Prüfen, ob die Fahrstrecke wenigstens eine der Vorschriftsregeln, Sicherheitsregeln oder Fahrgastkomfortregeln erfüllt.
Computerlesbares Medium nach Anspruch 17, wobei eine definierte Verhaltensanforderung darin besteht, dass das Fahrzeug einen sicheren Abstand zwischen dem Fahrzeug und dem wenigstens einen Agenten einhält, wenn es ein Manöver ausführt.
Computerlesbares Medium nach Anspruch 17, wobei eine definierte Verhaltensanforderung eine minimale erforderliche Wahrnehmungszone für das Ausführen eines sicheren Manövers durch das Fahrzeug ist.
Computerlesbares Medium nach Anspruch 17, wobei das anomale Ereignis ein ungewöhnliches Verkehrs- oder Fußgängerszenario, ein Verkehrsunfall, eine Menschenansammlung in der Nähe der wenigstens einen Fahrstrecke oder eine Baustelle in der Nähe der wenigstens einen Fahrstrecke ist oder darin besteht, dass der wenigstens eine Agent eine Präzedenz eines erwarteten Verhaltens des wenigstens einen Agenten bricht.
Computerlesbares Medium nach Anspruch 17, wobei das anomale Ereignis auf der Grundlage interner Zustände eines Planers oder einer Steuereinrichtung des Fahrzeugs erkannt wird.