DE112019001421T5

DE112019001421T5 - Systeme und verfahren zum navigieren eines fahrzeugs

Info

Publication number: DE112019001421T5
Application number: DE112019001421.8T
Authority: DE
Inventors: Shai Shalev-Shwartz; Shaked SHAMMAH; Amnon Shashua; Barak Cohen; Zeev ADELMAN; Oded Berberian
Original assignee: Mobileye Vision Technologies Ltd
Current assignee: Mobileye Vision Technologies Ltd
Priority date: 2018-03-20
Filing date: 2019-03-20
Publication date: 2021-02-18
Also published as: US11077845B2; US20190291726A1; JP2023139069A; CN112762951A; US10843690B2; EP3805064A1; CN117022256A; KR102479471B1; CN111278704A; IL269828B1; CN116968732A; JP7110209B2; US20190299984A1; US20210162993A1; KR102337011B1; US11731617B2; EP3828049B1; EP3805063B1; CN112896190A; CN117022257A

Abstract

Ein autonomes System kann die Kontrolle des menschlichen Fahrers über ein Host-Fahrzeug selektiv ablösen. Das System kann ein Bild empfangen, das repräsentativ für eine Umgebung des Host-Fahrzeugs ist, und auf der Grundlage der Analyse des Bildes ein Hindernis in der Umgebung des Host-Fahrzeugs erkennen. Das System kann eine Fahrereingabe an eine mit dem Host-Fahrzeug assoziierte Drossel-, Brems- und/oder Lenksteuerung überwachen. Das System kann bestimmen, ob die Fahrereingabe dazu führen würde, dass das Host-Fahrzeug innerhalb eines Näherungspuffers relativ zum Hindernis navigiert. Wenn die Fahrereingabe nicht dazu führen würde, dass das Host-Fahrzeug innerhalb des Näherungspuffers navigiert, kann das System der Fahrereingabe erlauben, eine korrespondierende Änderung in einem oder mehreren Host-Fahrzeug-Bewegungssteuerungssystemen zu verursachen. Wenn die Fahrereingabe dazu führen würde, dass das Host-Fahrzeug innerhalb des Näherungspuffers navigiert, kann das System verhindern, dass die Fahrereingabe die entsprechende Änderung verursacht.

Description

Querverweise auf verwandte Anmeldungen
Diese Anmeldung beansprucht die Priorität der provisorischen Patentanmeldung Nr. 62/645,479 der Vereinigten Staaten, eingereicht am 20. März 2018; der provisorischen Patentanmeldung Nr. 62/646,579 der Vereinigten Staaten, eingereicht am 22. März 2018; der provisorischen Patentanmeldung Nr. 62/646,579 der Vereinigten Staaten 62/718.554, eingereicht am 14. August 2018; der provisorischen Patentanmeldung Nr. 62/724.355 der Vereinigten Staaten, eingereicht am 29. August 2018; der provisorischen Patentanmeldung Nr. 62/772.366 der Vereinigten Staaten, eingereicht am 28. November 2018; und der provisorischen Patentanmeldung Nr. 62/777.914 der Vereinigten Staaten, eingereicht am 11. Dezember 2018. Alle vorgenannten Anmeldungen werden hier durch Verweis in ihrer Gesamtheit aufgenommen.
HINTERGRUND
Technisches Gebiet
Die vorliegende Offenbarung bezieht sich allgemein auf die autonome Fahrzeugnavigation. Darüber hinaus bezieht sich diese Offenbarung auf Systeme und Verfahren zur Navigation gemäß potentieller Haftungsbeschränkungen bei Unfällen.
Hintergrundinformationen
Mit fortschreitender Technik rückt das Ziel eines vollständig autonomen, straßentauglichen Fahrzeugs in greifbare Nähe. Autonome Fahrzeuge müssen unter Umständen eine Vielzahl von Faktoren berücksichtigen und auf der Grundlage dieser Faktoren angemessene Entscheidungen treffen, um sicher und genau ein gewünschtes Ziel zu erreichen. Beispielsweise muss ein autonomes Fahrzeug möglicherweise visuelle Informationen (z.B. von einer Kamera erfasste Informationen), Informationen von Radar oder Lidar verarbeiten und interpretieren und kann auch Informationen aus anderen Quellen nutzen (z.B. von einem GPS-Gerät, einem Geschwindigkeitssensor, einem Beschleunigungsmesser, einem Aufhängungssensor usw.). Gleichzeitig muss ein autonomes Fahrzeug, um zu einem Ziel zu navigieren, unter Umständen auch seinen Standort innerhalb einer bestimmten Fahrbahn (z.B. einer bestimmten Fahrspur innerhalb einer mehrspurigen Straße) bestimmen, neben anderen Fahrzeugen navigieren, Hindernisse und Fußgänger umfahren, Verkehrssignale und Schilder beachten, an geeigneten Kreuzungen oder Kreuzungspunkten von einer Straße auf eine andere fahren und auf jede andere Situation reagieren, die während des Betriebs des Fahrzeugs auftritt oder sich entwickelt. Darüber hinaus muss das Navigationssystem unter Umständen bestimmte auferlegte Einschränkungen einhalten. In einigen Fällen können sich diese Einschränkungen auf Interaktionen zwischen einem Host-Fahrzeug und einem oder mehreren anderen Objekten, wie z.B. anderen Fahrzeugen, Fußgängern usw., beziehen. In anderen Fällen können sich die Einschränkungen auf Haftungsregeln beziehen, die bei der Implementierung einer oder mehrerer Navigationsaktionen für ein Host-Fahrzeug zu befolgen sind.
Auf dem Gebiet des autonomen Fahrens gibt es zwei wichtige Überlegungen für praktikable autonome Fahrzeugsysteme. Der erste ist eine Standardisierung der Sicherheitsgewährleistung, einschließlich der Anforderungen, die jedes selbstfahrende Auto erfüllen muss, um die Sicherheit zu gewährleisten, und wie diese Anforderungen verifiziert werden können. Der zweite ist die Skalierbarkeit, da technische Lösungen, die zu explodierenden Kosten führen, nicht auf Millionen von Autos skalierbar sind und eine weit verbreitete oder gar nicht so weit verbreitete Einführung von autonomen Fahrzeugen verhindern können. Daher besteht ein Bedarf an einem interpretierbaren, mathematischen Modell für die Sicherheitsgewährleistung und dem Entwurf eines Systems, das die Anforderungen an die Sicherheitsgewährleistung erfüllt und gleichzeitig auf Millionen von Autos skalierbar ist.
ZUSAMMENFASSUNG
Ausführungsformen, die mit der vorliegenden Offenbarung übereinstimmen, stellen Systeme und Verfahren für die autonome Fahrzeugnavigation bereit. Die offengelegten Ausführungsformen können Kameras verwenden, um autonome Fahrzeugnavigationsfunktionen bereitzustellen. In Übereinstimmung mit den offengelegten Ausführungsformen können die offengelegten Systeme beispielsweise eine, zwei oder mehr Kameras beinhalten, die die Umgebung eines Fahrzeugs überwachen. Die offengelegten Systeme können eine Navigationsreaktion bereitstellen, die beispielsweise auf einer Analyse der von einer oder mehreren Kameras aufgenommenen Bilder basiert. Die Navigationsreaktion kann auch andere Daten beinhalten, z.B. GPS-Daten (Global Positioning System), Sensordaten (z.B. von einem Beschleunigungsmesser, einem Geschwindigkeitssensor, einem Aufhängungssensor usw.) und/oder andere Kartendaten.
In einer Ausführungsform kann ein System zur Navigation eines Host-Fahrzeugs mindestens eine Verarbeitungsvorrichtung beinhalten, die so programmiert ist, dass sie mindestens ein Bild empfängt, das repräsentativ für eine Umgebung des Host-Fahrzeugs ist. Das mindestens eine Bild kann von einer Bilderfassungsvorrichtung empfangen werden. Die mindestens eine Verarbeitungsvorrichtung kann so programmiert werden, dass sie basierend auf mindestens einer Fahrstrategie eine geplante Navigationsaktion zur Erreichung eines Navigationsziels des Host-Fahrzeugs bestimmt. Die mindestens eine Verarbeitungsvorrichtung kann ferner so programmiert werden, dass sie das mindestens eine Bild analysiert, um ein Zielfahrzeug in der Umgebung des Host-Fahrzeugs zu identifizieren und eine Folgezustand-Distanz zwischen dem Host-Fahrzeug und dem Zielfahrzeug zu bestimmen, der sich ergeben würde, wenn die geplante Navigationsaktion durchgeführt würde. Die mindestens eine Verarbeitungsvorrichtung kann so programmiert werden, dass sie eine maximale Bremsfähigkeit des Host-Fahrzeugs, eine maximale Beschleunigungsfähigkeit des Host-Fahrzeugs und eine aktuelle Geschwindigkeit des Host-Fahrzeugs bestimmt. Die mindestens eine Verarbeitungsvorrichtung kann auch so programmiert werden, dass sie einen aktuellen Anhalteweg für das Host-Fahrzeug bestimmt, basierend auf der aktuellen maximalen Bremsfähigkeit des Host-Fahrzeugs, der aktuellen maximalen Beschleunigungsfähigkeit des Host-Fahrzeugs und der aktuellen Geschwindigkeit des Host-Fahrzeugs. Die mindestens eine Verarbeitungsvorrichtung kann ferner programmiert werden, um eine aktuelle Geschwindigkeit des Zielfahrzeugs zu bestimmen und eine maximale Bremsfähigkeit des Zielfahrzeugs basierend auf mindestens einer erkannten Charakteristik des Zielfahrzeugs anzunehmen. Die mindestens eine Verarbeitungsvorrichtung kann auch so programmiert werden, dass sie die geplante Navigationsaktion implementiert, wenn der bestimmte aktuelle Anhalteweg für das Host-Fahrzeug kleiner ist als die bestimmte Folgezustand-Distanz, summiert mit einem basierend auf der aktuellen Geschwindigkeit des Zielfahrzeugs und der angenommenen maximalen Bremsfähigkeit des Zielfahrzeugs bestimmten Fahrweg des Zielfahrzeugs.
In einer Ausführungsform kann ein System zur Navigation eines Host-Fahrzeugs mindestens eine Verarbeitungsvorrichtung beinhalten. Die mindestens eine Verarbeitungsvorrichtung kann so programmiert werden, dass sie von einer Bilderfassungsvorrichtung mindestens ein Bild empfängt, das für eine Umgebung des Host-Fahrzeugs repräsentativ ist. Die mindestens eine Verarbeitungsvorrichtung kann auch so programmiert werden, dass sie eine geplante Navigationsaktion bestimmt, um ein Navigationsziel des Host-Fahrzeugs zu erreichen. Die geplante Navigationsaktion kann auf mindestens einer Fahrstrategie basieren. Die mindestens eine Verarbeitungsvorrichtung kann so programmiert werden, dass sie das mindestens eine Bild analysiert, um ein Zielfahrzeug in der Umgebung des Host-Fahrzeugs zu identifizieren. Die mindestens eine Verarbeitungsvorrichtung kann ferner so programmiert werden, dass sie eine Folgezustand-Distanz zwischen dem Host-Fahrzeug und dem Zielfahrzeug bestimmt, die sich ergeben würde, wenn die geplante Navigationsaktion durchgeführt würde. Die mindestens eine Verarbeitungsvorrichtung kann so programmiert werden, dass sie eine aktuelle Geschwindigkeit des Host-Fahrzeugs und eine aktuelle Geschwindigkeit des Zielfahrzeugs bestimmt. Die mindestens eine Verarbeitungsvorrichtung kann so programmiert werden, dass es eine maximale Bremsratenfähigkeit des Zielfahrzeugs basierend auf mindestens einer erkannten Charakteristik des Zielfahrzeugs annimmt. Die mindestens eine Verarbeitungsvorrichtung kann ferner konfiguriert werden, um die geplante Navigationsaktion zu implementieren, wenn für die bestimmte aktuelle Geschwindigkeit des Host-Fahrzeugs und bei einer vorbestimmten submaximalen Bremsrate, die kleiner ist als eine maximale Bremsratenfähigkeit des Host-Fahrzeugs, das Host-Fahrzeug innerhalb eines Anhaltewegs des Host-Fahrzeugs angehalten werden kann, der kleiner ist als die bestimmte Folgezustand-Distanz, summiert mit einer Fahrstrecke des Zielfahrzeugs, die basierend der aktuellen Geschwindigkeit des Zielfahrzeugs und der angenommenen maximalen Bremsratenfähigkeit des Zielfahrzeugs bestimmt wird.
In einer Ausführungsform kann ein System zur Navigation eines Host-Fahrzeugs mindestens eine Verarbeitungsvorrichtung beinhalten. Die mindestens eine Verarbeitungsvorrichtung kann so programmiert werden, dass sie von einer Bilderfassungsvorrichtung mindestens ein Bild empfängt, das repräsentativ für eine Umgebung des Host-Fahrzeugs ist. Die mindestens eine Verarbeitungsvorrichtung kann auch so programmiert werden, dass sie eine geplante Navigationsaktion bestimmt, um ein Navigationsziel des Host-Fahrzeugs zu erreichen. Die geplante Navigationsaktion kann auf mindestens einer Fahrstrategie basieren. Die mindestens eine Verarbeitungsvorrichtung kann so programmiert werden, dass sie das mindestens eine Bild analysiert, um ein Zielfahrzeug in der Umgebung des Host-Fahrzeugs zu identifizieren. Die mindestens eine Verarbeitungsvorrichtung kann ferner so programmiert werden, dass sie eine Folgezustand-Distanz zwischen dem Host-Fahrzeug und dem Zielfahrzeug bestimmt, die sich ergeben würde, wenn die geplante Navigationsaktion durchgeführt würde. Die mindestens eine Verarbeitungsvorrichtung kann so programmiert werden, dass sie eine aktuelle Geschwindigkeit des Host-Fahrzeugs bestimmt. Die mindestens eine Verarbeitungseinrichtung kann so programmiert werden, dass sie eine aktuelle Geschwindigkeit des Zielfahrzeugs bestimmt und eine maximale Bremsratenfähigkeit des Zielfahrzeugs basierend auf mindestens einem erkannten Charakteristik des Zielfahrzeugs annimmt. Die mindestens eine Verarbeitungsvorrichtung kann programmiert werden, um die geplante Navigationsaktion zu implementieren, wenn für die bestimmte aktuelle Geschwindigkeit des Host-Fahrzeuges und für ein vorbestimmtes Bremsratenprofil das Host-Fahrzeug innerhalb eines Anhaltewegs des Host-Fahrzeuges angehalten werden kann, der kürzer ist als die bestimmte Folgezustand-Distanz, summiert mit einer Zielfahrzeug-Fahrstrecke, die basierend auf der aktuellen Geschwindigkeit des Zielfahrzeuges und der angenommenen maximalen Bremsratenfähigkeit des Zielfahrzeuges bestimmt wird, wobei das vorbestimmte Bremsratenprofil progressiv von einer submaximalen Bremsrate zu einer maximalen Bremsrate für das Host-Fahrzeug ansteigt.
In einer Ausführungsform kann ein System zum Bremsen eines Host-Fahrzeugs mindestens eine Verarbeitungsvorrichtung beinhalten, die so programmiert ist, dass sie eine oder mehrere Operationen ausführt. Die mindestens eine Verarbeitungsvorrichtung kann so programmiert sein, dass sie von mindestens einem Sensor eine Ausgabe empfängt, die repräsentativ für eine Umgebung des Host-Fahrzeugs ist. Die mindestens eine Verarbeitungsvorrichtung kann ferner so programmiert werden, dass sie basierend auf der Ausgabe ein Zielfahrzeug in der Umgebung des Host-Fahrzeugs erkennt. Die mindestens eine Verarbeitungsvorrichtung kann so programmiert werden, dass sie eine aktuelle Geschwindigkeit des Host-Fahrzeugs und eine aktuelle Distanz zwischen dem Host-Fahrzeug und dem Zielfahrzeug bestimmt. Basierend auf mindestens der aktuellen Geschwindigkeit des Host-Fahrzeugs und dem aktuellen Abstand zwischen dem Host-Fahrzeug und dem Zielfahrzeug kann der mindestens eine Prozessor so programmiert werden, dass er bestimmt, ob eine Bremsbedingung vorliegt. Wenn festgestellt wird, dass eine Bremsbedingung vorliegt, kann der mindestens eine Prozessor so programmiert werden, dass er die Betätigung einer mit dem Host-Fahrzeug assoziierten Bremseinrichtung gemäß einem vorbestimmten Bremsprofil bewirkt, das einen Abschnitt beinhaltet, der mit einer submaximalen Bremsrate für das Host-Fahrzeug beginnt und progressiv bis zu einer maximalen Bremsrate des Host-Fahrzeugs ansteigt.
In einer Ausführungsform kann ein autonomes System zur selektiven Ablösung der Kontrolle des menschlichen Fahrers über ein Host-Fahrzeug mindestens eine Verarbeitungsvorrichtung beinhalten. Die mindestens eine Verarbeitungsvorrichtung kann so programmiert werden, dass sie von einer Bilderfassungsvorrichtung mindestens ein Bild empfängt, das repräsentativ für eine Umgebung des Host-Fahrzeugs ist, und dass sie mindestens ein Hindernis in der Umgebung des Host-Fahrzeugs basierend auf der Analyse des mindestens einen Bildes erkennt. Die mindestens eine Verarbeitungsvorrichtung kann so programmiert werden, dass sie eine Eingabe des Fahrers in mindestens eine Drosselsteuerung, eine Bremssteuerung oder eine Lenksteuerung des Host-Fahrzeugs überwacht. Die mindestens eine Verarbeitungsvorrichtung kann auch so programmiert werden, dass sie bestimmt, ob die Fahrereingabe dazu führen würde, dass das Host-Fahrzeug innerhalb eines Näherungspuffers relativ zu dem mindestens einen Hindernis navigiert. Wenn die mindestens eine Verarbeitungsvorrichtung bestimmt, dass die Fahrereingabe nicht dazu führen würde, dass das Host-Fahrzeug innerhalb des Näherungspuffers relativ zu dem mindestens einen Hindernis navigiert, kann die mindestens eine Verarbeitungsvorrichtung so programmiert sein, dass die Fahrereingabe eine entsprechende Änderung in einem oder mehreren Bewegungssteuerungssystemen des Host-Fahrzeugs bewirkt. Wenn die mindestens eine Verarbeitungsvorrichtung bestimmt, dass die Fahrereingabe dazu führen würde, dass das Host-Fahrzeug innerhalb des Näherungspuffers relativ zu dem mindestens einen Hindernis navigiert, kann die mindestens eine Verarbeitungsvorrichtung so programmiert sein, dass sie verhindert, dass die Fahrereingabe die entsprechende Änderung in dem einen oder den mehreren Bewegungssteuerungssystemen des Host-Fahrzeugs auslöst.
In einer Ausführungsform kann ein Navigationssystem zur Navigation eines autonomen Host-Fahrzeugs gemäß mindestens einem Navigationsziel des Host-Fahrzeugs mindestens einen Prozessor beinhalten. Der mindestens eine Prozessor kann so programmiert sein, dass er von einem oder mehreren Sensoren eine Sensorausgabe empfängt, die mindestens einen Aspekt der Bewegung des Host-Fahrzeugs relativ zu einer Umgebung des Host-Fahrzeugs anzeigt. Die Sensorausgabe kann zu einer ersten Zeit erzeugt werden, die nach einer Datenerfassungszeit liegt, wenn eine Messung oder Datenerfassung, auf der die Sensorausgabe basiert, erfasst wird, und früher als eine zweite Zeit, zu dem die Sensorausgabe von dem mindestens einen Prozessor empfangen wird. Der mindestens eine Prozessor kann so programmiert sein, dass er für eine Bewegungsvorhersagezeit eine Vorhersage mindestens eines Aspekts der Bewegung des Host-Fahrzeugs erzeugt, die zumindest teilweise auf dem empfangenen Sensorausgabe und einer Schätzung basiert, wie sich der mindestens eine Aspekt der Bewegung des Host-Fahrzeugs über ein Zeitintervall zwischen der Datenerfassungszeit und der Bewegungsvorhersagezeit ändert. Der mindestens eine Prozessor kann so programmiert sein, dass er eine geplante Navigationsaktion für das Host-Fahrzeug bestimmt, die zumindest teilweise auf dem mindestens einen Navigationsziel des Host-Fahrzeugs basiert und auf der generierten Vorhersage des mindestens einen Aspekts der Bewegung des Host-Fahrzeugs basiert. Der mindestens eine Prozessor kann ferner konfiguriert sein, um einen Navigationsbefehl zur Implementierung mindestens eines Teils der geplanten Navigationsaktion zu erzeugen. Der mindestens eine Prozessor kann so programmiert sein, dass er den Navigationsbefehl für mindestens ein Betätigungssystem des Host-Fahrzeugs bereitstellt. Der Navigationsbefehl kann so bereitgestellt werden, dass das mindestens eine Betätigungssystem den Navigationsbefehl zu einer dritten Zeit empfängt, die später als die zweite Zeit und früher oder im Wesentlichen gleich einer Betätigungszeit ist, zu dem eine Komponente des mindestens einen Betätigungssystems auf den empfangenen Befehl antwortet. In einigen Ausführungsformen liegt die Bewegungsvorhersagezeit nach der Datenerfassungszeit und ist früher oder gleich der Betätigungszeit.
In Übereinstimmung mit anderen offengelegten Ausführungsformen können nicht vorübergehende computerlesbare Speichermedien Programmbefehle speichern, die von mindestens einer Verarbeitungsvorrichtung ausführbar sind und jeden der hier beschriebenen Schritte und/oder Verfahren ausführen.
Die vorstehende allgemeine Beschreibung und die folgende detaillierte Beschreibung sind nur beispielhaft und erläuternd und schränken die Ansprüche nicht ein.
Figurenliste
Die begleitenden Zeichnungen, die in dieser Offenbarung enthalten sind und einen Teil davon bilden, illustrieren verschiedene Ausführungsformen der Offenbarung. In den Zeichnungen:

1 ist eine schematische Darstellung eines beispielhaften Systems, das konsistent mit den offenbarten Ausführungsformen ist.
2A ist eine schematische Darstellung eines beispielhaften Fahrzeugs in Seitenansicht, einschließlich eines Systems, das konsistent mit den offenbarten Ausführungsformen ist.
2B ist eine schematische Darstellung des in 2A gezeigten Fahrzeugs und Systems in Draufsicht, die mit den offenbarten Ausführungsformen konsistent ist.
2C ist eine schematische Darstellung einer anderen Ausführungsform eines Fahrzeugs in Draufsicht, einschließlich eines Systems, das mit den offenbarten Ausführungsformen konsistent ist.
2D ist eine schematische Darstellung einer weiteren Ausführungsform eines Fahrzeugs in Draufsicht, einschließlich eines Systems, das mit den offenbarten Ausführungsformen konsistent ist.
2E ist eine schematische Darstellung einer weiteren Ausführungsform eines Fahrzeugs in Draufsicht, einschließlich eines Systems, das mit den offenbarten Ausführungsformen konsistent ist.
2F ist eine schematische Darstellung von beispielhaften Fahrzeugsteuerungssystemen, die mit den offenbarten Ausführungsformen konsistent ist.
3A ist eine schematische Darstellung eines Fahrzeuginnenraums einschließlich eines Rückspiegels und einer Benutzerschnittstelle für ein Fahrzeug-Bildgebungssystem, die mit den offenbarten Ausführungsformen konsistent ist.
3B ist ein Beispiel für eine Kamerahalterung, die so konfiguriert ist, dass sie konsistent mit den offenbarten Ausführungsformen hinter einem Rückspiegel und gegen die Windschutzscheibe eines Fahrzeugs positioniert werden kann.
3C ist eine Darstellung der in 3B gezeigten Kamerahalterung aus einer anderen Perspektive, die mit den offenbarten Ausführungsformen konsistent ist.
3D ist eine Illustration eines Beispiels einer Kamerahalterung, die so konfiguriert ist, dass sie hinter einem Rückspiegel und gegen die Windschutzscheibe eines Fahrzeugs konsistent mit den offenbarten Ausführungsformen positioniert werden kann.
4 ist ein beispielhaftes Blockdiagramm eines Speichers, der so konfiguriert ist, dass er Anweisungen zur Durchführung einer oder mehrerer Operationen speichert, die mit den offenbarten Ausführungsformen konsistent sind.
5A ist ein Flussdiagramm, das einen beispielhaften Prozess zum Auslösen einer oder mehrerer Navigationsreaktionen basierend auf monokularer Bildanalyse konsistent mit offenbarten Ausführungsformen zeigt.
5B ist ein Flussdiagramm, das ein beispielhaftes Verfahren zur Erkennung eines oder mehrerer Fahrzeuge und/oder Fußgänger in einer Reihe von Bildern zeigt, das mit den offenbarten Ausführungsformen konsistent ist.
5C ist ein Flussdiagramm, das ein beispielhaftes Verfahren zur Erkennung von Fahrbahnmarkierungen und/oder Informationen zur Fahrspurgeometrie in einem Satz von Bildern zeigt, das mit den offenbarten Ausführungsformen konsistent ist.
5D ist ein Flussdiagramm, das ein beispielhaftes Verfahren zur Erkennung von Ampeln in einem Satz von Bildern zeigt, das mit den offenbarten Ausführungsformen konsistent ist.
5E ist ein Flussdiagramm, das ein beispielhaftes Verfahren zur Erzeugung einer oder mehrerer Navigationsreaktionen basierend auf einem Fahrzeugweg zeigt, das mit den offenbarten Ausführungsformen konsistent ist.
5F ist ein Flussdiagramm, das ein beispielhaftes Verfahren zur Bestimmung, ob ein führendes Fahrzeug die Fahrspur wechselt, zeigt, das mit den offenbarten Ausführungsformen konsistent ist.
6 ist ein Flussdiagramm, das einen beispielhaften Prozess für das Auslösen einer oder mehrerer Navigationsreaktionen basierend auf einer Stereobildanalyse zeigt, der mit den offenbarten Ausführungsformen konsistent ist.
7 ist ein Flussdiagramm, das einen beispielhaften Prozess zur Verursachung einer oder mehrerer Navigationsreaktionen basierend auf einer Analyse von drei Bildsätzen zeigt, der mit den offenbarten Ausführungsformen konsistent ist.
8 ist eine Blockdiagramm-Darstellung von Modulen, die durch eine oder mehrere speziell programmierte Verarbeitungsvorrichtungen eines Navigationssystems für ein autonomes Fahrzeug konsistent mit den offenbarten Ausführungsformen implementiert werden können.
9 ist ein Graph der Navigationsoptionen, die mit den offenbarten Ausführungsformen konsistent sind.
10 ist ein Graph der Navigationsoptionen, der mit den offenbarten Ausführungsformen konsistent ist.
11A, 11B und 11C stellen eine schematische Darstellung der Navigationsoptionen eines Host-Fahrzeugs in einer Zusammenführungszone bereit, die mit den offenbarten Ausführungsformen konsistent ist.
11D stellt eine diagrammatische Darstellung eines Doppel-Zusammenführungs-Szenarios bereit, das mit den offenbarten Ausführungsformen konsistent ist.
11E stellt einen Optionsgraphen bereit, der in einem mit den offenbarten Ausführungsformen konsistenten Doppel-Zusammenführungs-Szenario potenziell nützlich ist.
12 stellt ein Diagramm eines repräsentativen Bildes bereit, das von einer Umgebung eines Host-Fahrzeuges aufgenommen wurde, zusammen mit möglichen Navigations-Beschränkungen, konsistent mit den offenbarten Ausführungsformen.
13 stellt ein algorithmisches Flussdiagramm zur Navigation eines Fahrzeugs bereit, konsistent mit den offenbarten Ausführungsformen.
14 stellt ein algorithmisches Flussdiagramm zur Navigation eines Fahrzeugs bereit, konsistent mit den offenbarten Ausführungsformen.
15 stellt ein algorithmisches Flussdiagramm für die Navigation eines Fahrzeugs bereit, konsistent mit den offenbarten Ausführungsformen.
16 stellt ein algorithmisches Flussdiagramm zur Navigation eines Fahrzeugs bereit, konsistent mit den offenbarten Ausführungsformen.
17A und 17B stellen eine schematische Darstellung eines Host-Fahrzeugs zur Verfügung, das in einen Kreisverkehr einfährt und das mit den offenbarten Ausführungsformen konsistent ist.
18 stellt ein algorithmisches Flussdiagramm für die Navigation eines Fahrzeugs bereit, konsistent mit den offenbarten Ausführungsformen
19 zeigt ein Beispiel für ein Host-Fahrzeug, das auf einer mehrspurigen Fahrspur fährt, konsistent mit den offenbarten Ausführungsformen.
20A und 20B zeigen Beispiele für das Einschneiden eines Fahrzeugs vor einem anderen Fahrzeug, konsistent mit den offenbarten Ausführungsformen.
21 zeigt ein Beispiel, bei dem ein Fahrzeug einem anderen Fahrzeug folgt, , konsistent mit den offenbarten Ausführungsformen.
22 zeigt ein Beispiel für ein Fahrzeug, das einen Parkplatz verlässt und in eine möglicherweise stark befahrene Straße einfährt, konsistent mit den offenbarten Ausführungsformen.
23 zeigt ein Fahrzeug, das konsistent mit den offenbarten Ausführungsformen auf einer Straße fährt.
24A-24D zeigen vier Beispielszenarien, die konsistent mit den offenbarten Ausführungsformen sind.
25 zeigt ein Beispielszenario, das mit den offenbarten Ausführungsformen konsistent ist.
26 zeigt ein Beispielszenario, das mit den offenbarten Ausführungsformen konsistent ist.
27 zeigt ein Beispielszenario, das mit den offenbarten Ausführungsformen konsistent ist.
28A und 28B veranschaulichen ein Beispiel für ein Szenario, in dem ein Fahrzeug einem anderen Fahrzeug folgt, das mit den offenbarten Ausführungsformen konsistent ist.
29A und 29B veranschaulichen beispielhafte Schuldzuweisung in Szenarien, die konsistent mit den offenbarten Ausführungsformen sind.
30A und 30B veranschaulichen beispielhafte Schuldzuweisungen in Szenarien, die konsistent mit den offenbarten Ausführungsformen sind.
31A-31D veranschaulichen beispielhafte Schuldzuweisungen in driftenden Szenarien, die konsistent mit den offenbarten Ausführungsformen sind.
32A und 32B veranschaulichen beispielhafte Schuldzuweisung in Szenarien des Gegenverkehrs, konsistent mit den offenbarten Ausführungsformen.
33A und 33B veranschaulichen beispielhafte Schuldzuweisung in Gegenverkehrsszenarien, die mit den offenbarten Ausführungsformen konsistent sind.
34A und 34B veranschaulichen beispielhafte Schuldzuweisungen in Routenprioritätsszenarien, die mit den offenbarten Ausführungsformen konsistent sind.
35A und 35B veranschaulichen beispielhafte Schuldzuweisung in Routenprioritätsszenarien, die mit den offenbarten Ausführungsformen konsistent sind.
36A und 36B veranschaulichen beispielhafte Schuldzuweisung in Routenprioritätsszenarien, die mit den offenbarten Ausführungsformen konsistent sind.
37A und 37B veranschaulichen beispielhafte Schuldzuweisung in Routenprioritätsszenarien, die mit den offenbarten Ausführungsformen konsistent sind.
38A und 38B veranschaulichen beispielhafte Schuldzuweisung in Routenprioritätsszenarien, die mit den offenbarten Ausführungsformen konsistent sind.
39A und 39B zeigen beispielhafte Schuldzuweisung in Routenprioritätsszenarien, die mit den offenbarten Ausführungsformen konsistent sind.
40A und 40B veranschaulichen beispielhafte Schuldzuweisung in Ampelszenarien, die konsistent mit den offenbarten Ausführungsformen sind.
41A und 41B veranschaulichen beispielhafte Schuldzuweisung in Ampelszenarien, die konsistent mit den offenbarten Ausführungsformen sind.
42A und 42B veranschaulichen beispielhafte Schuldzuweisung in Ampelszenarien, die konsistent mit den offenbarten Ausführungsformen sind.
43A-43C veranschaulichen beispielhafte Szenarien für ungeschützte Verkehrsteilnehmer (VRUs), konsistent mit offenbarten Ausführungsformen.
44A-44C veranschaulichen beispielhafte Szenarien für ungeschützte Verkehrsteilnehmer (VRUs), konsistent mit offenbarten Ausführungsformen.
45A-45C veranschaulichen beispielhafte Szenarien für ungeschützte Verkehrsteilnehmer (VRUs), konsistent mit offenbarten Ausführungsformen
46A-46D veranschaulichen beispielhafte Szenarien für ungeschützte Verkehrsteilnehmer (VRUs), konsistent mit offenbarten Ausführungsformen.
47A und 47B veranschaulichen Beispielszenarien, in denen ein Fahrzeug einem anderen Fahrzeug folgt, das mit den offenbarten Ausführungsformen konsistent ist.
48 ist ein Flussdiagramm, das einen beispielhaften Prozess für die Navigation eines Host-Fahrzeugs konsistent mit den offenbarten Ausführungsformen zeigt.
49A-49D veranschaulichen Beispielszenarien, in denen ein Fahrzeug einem anderen Fahrzeug folgt, das mit den offenbarten Ausführungsformen konsistent ist.
50 ist ein Flussdiagramm, das einen beispielhaften Prozess für das Bremsen eines Host-Fahrzeugs konsistent mit den offenbarten Ausführungsformen zeigt.
51 ist ein Flussdiagramm, das einen beispielhaften Prozess für die Navigation eines Host-Fahrzeugs konsistent mit den offenbarten Ausführungsformen zeigt.
52A-52D zeigen ein Beispiel für Näherungspuffer für ein Host-Fahrzeug, die mit den offenbarten Ausführungsformen konsistent sind.
53A und 53B enthalten Beispielszenarien, die einen Näherungspuffer beinhalten, der mit den offenbarten Ausführungsformen konsistent ist.
54A und 54B zeigen Beispielszenarien, die einen Näherungspuffer beinhalten, der mit den offenbarten Ausführungsformen konsistent ist.
55 stellt ein Flussdiagramm für die selektive Ablösung der Kontrolle eines menschlichen Fahrers über ein Host-Fahrzeug konsistent mit den offenbarten Ausführungsformen zur Verfügung.
56 ist ein Flussdiagramm, das einen beispielhaften Prozess für die Navigation eines Host-Fahrzeugs konsistent mit den offenbarten Ausführungsformen zeigt.
57A-57C veranschaulichen Beispielszenarien, die mit den offenbarten Ausführungsformen konsistent sind.
58 ist ein Flussdiagramm, das einen beispielhaften Prozess für die Navigation eines Host-Fahrzeugs konsistent mit den offenbarten Ausführungsformen zeigt.

DETAILLIERTE BESCHREIBUNG
Die folgende detaillierte Beschreibung bezieht sich auf die begleitenden Zeichnungen. Wo immer möglich, werden in den Zeichnungen und in der folgenden Beschreibung die gleichen Bezugsnummern verwendet, um auf gleiche oder ähnliche Teile zu verweisen. Während hier mehrere illustrative Ausführungsformen beschrieben werden, sind Änderungen, Anpassungen und andere Implementierungen möglich. Beispielsweise können die in den Zeichnungen dargestellten Komponenten ersetzt, hinzugefügt oder modifiziert werden, und die hier beschriebenen illustrativen Verfahren können durch Ersetzen, Neuordnen, Entfernen oder Hinzufügen von Schritten zu den offenbarten Verfahren modifiziert werden. Dementsprechend beschränkt sich die folgende detaillierte Beschreibung nicht auf die offenbarten Ausführungsformen und Beispiele. Stattdessen wird der angemessene Umfang durch die beigefügten Ansprüche definiert.
Überblick Autonomes Fahrzeug
Wie in dieser Offenbarung durchgängig verwendet, bezieht sich der Begriff „autonomes Fahrzeug“ auf ein Fahrzeug, das in der Lage ist, mindestens eine Navigationsänderung ohne Zutun des Fahrers zu implementieren. Eine „Navigationsänderung“ bezieht sich auf eine Änderung in einem oder mehreren der Bereiche Lenkung, Bremsen oder Beschleunigung/Abbremsung des Fahrzeugs. Um autonom zu sein, muss ein Fahrzeug nicht vollautomatisch sein (z.B. voll betriebsfähig ohne Fahrer oder ohne Fahrereingabe). Vielmehr beinhaltet ein autonomes Fahrzeug solche Anwender, die während bestimmter Zeiträume unter der Kontrolle des Fahrers und während anderer Zeiträume ohne die Kontrolle des Fahrers arbeiten können. Autonome Fahrzeuge können auch Fahrzeuge beinhalten, die nur einige Aspekte der Fahrzeugnavigation steuern, wie z.B. die Lenkung (z.B. die Beibehaltung eines Fahrzeugkurses zwischen Fahrspurbeschränkungen) oder einige Lenkvorgänge unter bestimmten Umständen (aber nicht unter allen Umständen), aber andere Aspekte dem Anwender überlassen (z.B. Bremsen oder Bremsen unter bestimmten Umständen). In einigen Fällen können autonome Fahrzeuge einige oder alle Aspekte der Bremsung, Geschwindigkeitsregelung und/oder Lenkung des Fahrzeugs übernehmen.
Da menschliche Fahrer in der Regel auf visuelle Hinweise und Beobachtungen angewiesen sind, um ein Fahrzeug zu steuern, werden Verkehrsinfrastrukturen entsprechend gebaut, mit Fahrspurenmarkierungen, Verkehrszeichen und Ampeln, die den Fahrern visuelle Informationen bereitstellen. Im Hinblick auf diese Konstruktionscharakteristik von Verkehrsinfrastrukturen kann ein autonomes Fahrzeug eine Kamera und eine Verarbeitungseinheit beinhalten, die die aus der Umgebung des Fahrzeugs aufgenommenen visuellen Informationen analysiert. Die visuelle Information kann z.B. Bilder beinhalten, die Komponenten der Verkehrsinfrastruktur (z.B. Fahrspurenmarkierungen, Verkehrszeichen, Ampeln usw.) darstellen, die von Fahrern und anderen Hindernissen (z.B. andere Fahrzeuge, Fußgänger, Schutt usw.) beobachtet werden können. Darüber hinaus kann ein autonomes Fahrzeug auch gespeicherte Informationen nutzen, z.B. Informationen, die bei der Navigation ein Modell der Umgebung des Fahrzeugs bereitstellen. Beispielsweise kann das Fahrzeug GPS-Daten, Sensordaten (z.B. von einem Beschleunigungsmesser, einem Geschwindigkeitssensor, einem Aufhängungssensor usw.) und/oder andere Kartendaten verwenden, um während der Fahrt Informationen über seine Umgebung bereitzustellen, und das Fahrzeug (wie auch andere Fahrzeuge) kann die Informationen nutzen, um sich selbst auf dem Modell zu lokalisieren. Einige Fahrzeuge können auch in der Lage sein, untereinander zu kommunizieren, Informationen auszutauschen, das Peer-Fahrzeug von Gefahren oder Veränderungen in der Umgebung der Fahrzeuge zu verändern, usw.
Überblick über das System
1 ist eine Blockdiagramm-Darstellung eines Systems 100, das mit den offenbarten Ausführungsformen konsistent ist. System 100 kann je nach den Anforderungen einer bestimmten Implementierung verschiedene Komponenten beinhalten. In einigen Ausführungsformen kann System 100 eine Verarbeitungseinheit 110, eine Bildaufnahmeeinheit 120, einen Positionssensor 130, eine oder mehrere Speichereinheiten 140, 150, eine Kartendatenbank 160, eine Benutzerschnittstelle 170 und einen drahtlosen Transceiver 172 beinhalten. Die Verarbeitungseinheit 110 kann eine oder mehrere Verarbeitungsvorrichtungen beinhalten. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 einen Anwendungsprozessor 180, einen Bildprozessor 190 oder eine andere geeignete Verarbeitungsvorrichtung beinhalten. Ebenso kann die Bildaufnahmeeinheit 120 je nach den Anforderungen einer bestimmten Anwendung eine beliebige Anzahl von Bilderfassungsvorrichtungen und -komponenten beinhalten. In einigen Ausführungsformen kann die Bildaufnahmeeinheit 120 ein oder mehrere Bilderfassungsvorrichtungen (z.B. Kameras, CCDs oder jede andere Art von Bildsensor) beinhalten, wie z.B. die Bilderfassungsvorrichtung 122, die Bilderfassungsvorrichtung 124 und die Bilderfassungsvorrichtung 126. System 100 kann auch eine Datenschnittstelle 128 beinhalten, die die Verarbeitungseinheit 110 kommunikativ mit der Bildaufnahmeeinheit 120 verbindet. Beispielsweise kann die Datenschnittstelle 128 jede drahtgebundene und/oder drahtlose Verbindung oder Verbindungen zur Übertragung der von der Bildaufnahmeeinheit 120 erfassten Bilddaten an die Verarbeitungseinheit 110 beinhalten.
Der drahtlose Transceiver 172 kann ein oder mehrere Vorrichtungen beinhalten, die für den Austausch von Übertragungen über eine Luftschnittstelle zu einem oder mehreren Netzwerken (z. B. zellular, Internet usw.) unter Verwendung einer Funkfrequenz, Infrarotfrequenz, eines Magnetfelds oder eines elektrischen Felds konfiguriert sind. Der drahtlose Transceiver 172 kann jeden bekannten Standard zum Senden und/oder Empfangen von Daten verwenden (z.B. WiFi, Bluetooth®, Bluetooth Smart, 802.15.4, ZigBee usw.). Solche Übertragungen können Kommunikationen vom Host-Fahrzeug zu einem oder mehreren entfernt aufgestellten Servern beinhalten. Solche Übertragungen können auch Kommunikationen (einseitig oder beidseitig) zwischen dem Host-Fahrzeug und einem oder mehreren Zielfahrzeugen in einer Umgebung des Host-Fahrzeugs beinhalten (z.B. zur Erleichterung der Koordination der Navigation des Host-Fahrzeugs im Hinblick auf oder zusammen mit Zielfahrzeugen in der Umgebung des Host-Fahrzeugs), oder sogar eine Broadcast-Übertragung an nicht spezifizierte Empfänger in der Nähe des sendenden Fahrzeugs.
Sowohl der Anwendungsprozessor 180 als auch der Bildprozessor 190 können verschiedene Arten von hardwarebasierten Verarbeitungsvorrichtungen beinhalten. Beispielsweise können sowohl der Anwendungsprozessor 180 als auch der Bildprozessor 190 einen Mikroprozessor, Präprozessoren (z.B. einen Bild-Präprozessor), Grafikprozessoren, eine Zentrale Verarbeitungseinheit (CPU), Unterstützungsschaltungen, digitale Signalprozessoren, integrierte Schaltungen, Speicher oder andere Arten von Vorrichtungen beinhalten, die für die Ausführung von Anwendungen und für die Bildverarbeitung und -analyse geeignet sind. In einigen Ausführungsformen kann der Anwendungsprozessor 180 und/oder der Bildprozessor 190 jede Art von Ein- oder Mehrkernprozessor, Mikrocontroller für mobile Geräte, Zentrale Verarbeitungseinheit usw. beinhalten. Es können verschiedene Verarbeitungsvorrichtungen verwendet werden, einschließlich z.B. Prozessoren, die von Herstellern wie Intel®, AMD® usw. erhältlich sind und verschiedene Architekturen beinhalten können (z.B. x86-Prozessor, ARM® usw.).
In einigen Ausführungsformen kann der Anwendungsprozessor 180 und/oder der Bildprozessor 190 jeden der von Mobileye® erhältlichen Prozessorchips der EyeQ-Serie beinhalten. Diese Prozessorkonstruktionen beinhalten jeweils mehrere Verarbeitungseinheiten mit lokalem Speicher und Befehlssätzen. Solche Prozessoren können Videoeingänge für den Empfang von Bilddaten von mehreren Bildsensoren beinhalten und können auch Videoausgabefunktionen beinhalten. In einem Beispiel verwendet der EyeQ2® die 90nm-Mikron-Technologie, die mit 332Mhz arbeitet. Die Architektur des EyeQ2® besteht aus zwei 32-Bit-RISC-CPUs (MIPS32® 34K® -Kerne) mit Fließkomma-Hyper-Thread, fünf Vision Computing Engines (VCE), drei Vektor-Mikrocode-Prozessoren (VMP®), einem Denali 64-Bit-Mobile DDR-Controller, einem internen 128-Bit-Sonics Interconnect, zwei 16-Bit-Videoeingabe- und 18-Bit-Videoausgabe-Controllern, 16-Kanal-DMA und mehreren Peripheriegeräten. Die MIPS34K-CPU verwaltet die fünf VCEs, drei VMP™ und den DMA, die zweite MIPS34K-CPU und den Mehrkanal-DMA sowie die anderen Peripheriegeräte. Die fünf VCEs, drei VMP® und die MIPS34K-CPU können intensive Bildverarbeitungsberechnungen durchführen, die für Multifunktionsbündel-Anwendungen erforderlich sind. In einem anderen Beispiel kann der EyeQ3®, ein Prozessor der dritten Generation, der sechsmal leistungsfähiger als der EyeQ2® ist, in den offenbarten Ausführungsformen eingesetzt werden. In anderen Beispielen können der EyeQ4® und/oder der EyeQ5® in den offenbarten Ausführungsformen verwendet werden. Natürlich können auch alle neueren oder zukünftigen EyeQ Verarbeitungsvorrichtungen zusammen mit den offenbarten Ausführungsformen verwendet werden.
Jede der hier offenbarten Verarbeitungsvorrichtungen kann so konfiguriert werden, dass sie bestimmte Funktionen ausführt. Die Konfiguration einer Verarbeitungsvorrichtung, wie z.B. eines der beschriebenen EyeQ-Prozessoren oder eines anderen Controllers oder Mikroprozessors, zur Ausführung bestimmter Funktionen kann die Programmierung von computerausführbaren Befehlen beinhalten und die Bereitstellung dieser Befehle an die Verarbeitungsvorrichtung zur Ausführung während des Betriebs der Verarbeitungsvorrichtung. In einigen Ausführungsformen kann das Konfigurieren einer Verarbeitungsvorrichtung das direkte Programmieren der Verarbeitungsvorrichtung mit Architekturbefehlen beinhalten. In anderen Ausführungsformen kann das Konfigurieren einer Verarbeitungsvorrichtung das Speichern ausführbarer Befehle in einem Speicher beinhalten, auf den die Verarbeitungsvorrichtung während des Betriebs zugreifen kann. Beispielsweise kann die Verarbeitungsvorrichtung auf den Speicher zugreifen, um die gespeicherten Befehle während des Betriebs zu erhalten und auszuführen. In beiden Fällen stellt die Verarbeitungsvorrichtung, die so konfiguriert ist, dass sie die hier offengelegten Erfassungs-, Bildanalyse- und/oder Navigationsfunktionen ausführt, ein spezialisiertes hardwarebasiertes System zur Steuerung mehrerer hardwarebasierter Komponenten eines Host-Fahrzeugs dar.
Während 1 zwei separate Verarbeitungsvorrichtungen zeigt, die in der Verarbeitungseinheit 110 enthalten sind, können mehr oder weniger Verarbeitungsvorrichtungen verwendet werden. Beispielsweise kann in einigen Ausführungsformen eine einzige Verarbeitungsvorrichtung verwendet werden, um die Aufgaben von Anwendungsprozessor 180 und Bildprozessor 190 zu erfüllen. In anderen Ausführungsformen können diese Aufgaben von mehr als zwei Verarbeitungsvorrichtungen ausgeführt werden. Ferner kann in einigen Ausführungsformen das System 100 eine oder mehrere der Verarbeitungseinheit 110 beinhalten, ohne andere Komponenten, wie z.B. die Bildaufnahmeeinheit 120, mit einzubeziehen.
Die Verarbeitungseinheit 110 kann verschiedene Arten von Vorrichtungen umfassen. Zum Beispiel kann die Verarbeitungseinheit 110 verschiedene Vorrichtungen beinhalten, wie z.B. einen Controller, einen Bild-Präprozessor, eine Zentrale Verarbeitungseinheit (CPU), Unterstützungsschaltungen, digitale Signalprozessoren, integrierte Schaltungen, Speicher oder andere Arten von Vorrichtungen zur Bildverarbeitung und -analyse. Der Bild-Präprozessor kann einen Videoprozessor zur Erfassung, Digitalisierung und Verarbeitung der Bilder von den Bildsensoren beinhalten. Die CPU kann aus einer beliebigen Anzahl von Mikrocontrollern oder Mikroprozessoren bestehen. Die Unterstützungsschaltungen können eine beliebige Anzahl von Schaltungen sein, die in der Technik allgemein bekannt sind, einschließlich Cache-, Stromversorgungs-, Takt- und Ein-/Ausgabeschaltungen. Der Speicher kann Software speichern, die, wenn sie vom Prozessor ausgeführt wird, den Betrieb des Systems steuert. Der Speicher kann Datenbanken und Bildverarbeitungssoftware beinhalten. Der Speicher kann eine beliebige Anzahl von Direktzugriffsspeichern, Festwertspeichern, Flash-Speichern, Plattenlaufwerken, optischen Speichern, Bandspeichern, Wechselspeichern und anderen Speicherarten umfassen. In einem Fall kann der Speicher von der Verarbeitungseinheit 110 getrennt sein. In einem anderen Fall kann der Speicher in die Verarbeitungseinheit 110 integriert sein.
Jeder Speicher 140, 150 kann Software-Befehle beinhalten, die, wenn sie von einem Prozessor (z.B. Anwendungsprozessor 180 und/oder Bildprozessor 190) ausgeführt werden, den Betrieb verschiedener Aspekte von System 100 steuern können. Diese Speichereinheiten können verschiedene Datenbanken und Bildverarbeitungssoftware sowie ein trainiertes System, wie z.B. ein neuronales Netz oder ein tiefes neuronales Netz, beinhalten. Die Speichereinheiten können Speicher mit wahlfreiem Zugriff, Nur-Lese-Speicher, Flash-Speicher, Plattenlaufwerke, optische Speicher, Bandspeicher, Wechseldatenträger und/oder andere Arten von Speicher beinhalten. In einigen Ausführungsformen können die Speichereinheiten 140, 150 von dem Anwendungsprozessor 180 und/oder dem Bildprozessor 190 getrennt sein. In anderen Ausführungsformen können diese Speichereinheiten in den Anwendungsprozessor 180 und/oder den Bildprozessor 190 integriert sein.
Positionssensor 130 kann jede Art von Vorrichtung beinhalten, die geeignet ist, einen Ort zu bestimmen, der mindestens einer Komponente von System 100 zugeordnet ist. In einigen Ausführungsformen kann der Positionssensor 130 einen GPS-Empfänger beinhalten. Solche Empfänger können die Position und Geschwindigkeit eines Benutzers bestimmen, indem sie Signale verarbeiten, die von Satelliten des globalen Positionierungssystems ausgestrahlt werden. Positionsinformationen vom Positionssensor 130 können dem Anwendungsprozessor 180 und/oder dem Bildprozessor 190 zur Verfügung gestellt werden.
In einigen Ausführungsformen kann das System 100 Komponenten wie z.B. einen Geschwindigkeitssensor (z.B. einen Tachometer) zur Messung der Geschwindigkeit des Fahrzeugs 200 beinhalten. System 100 kann auch einen oder mehrere Beschleunigungsmesser (entweder einachsig oder mehrachsig) zur Messung der Beschleunigungen von Fahrzeug 200 entlang einer oder mehrerer Achsen beinhalten.
Die Speichereinheiten 140, 150 können eine Datenbank oder in anderer Form organisierte Daten beinhalten, die einen Standort bekannter Landmarken angeben. Sensorische Informationen (wie z.B. Bilder, Radarsignal, Tiefeninformationen von Lidar- oder Stereoverarbeitung von zwei oder mehr Bildern) der Umgebung können zusammen mit Positionsinformationen, wie z.B. einer GPS-Koordinate, der Ego-Bewegung des Fahrzeugs usw. verarbeitet werden, um eine aktuelle Position des Fahrzeugs relativ zu den bekannten Landmarken zu bestimmen und die Fahrzeugposition zu verfeinern. Bestimmte Aspekte dieser Technologie sind in einer als REMTM bekannten Lokalisierungstechnologie enthalten, die vom Rechtsinhaber der vorliegenden Anwendung vermarktet wird.
Benutzerschnittstelle 170 kann jegliche Vorrichtung beinhalten, die geeignet ist, Informationen für einen oder mehrere Benutzer des Systems 100 bereitzustellen oder Eingaben von einem oder mehreren Benutzern des Systems 100 zu empfangen. In einigen Ausführungsformen kann die Benutzerschnittstelle 170 Eingabevorrichtungen beinhalten, z.B. einen Touchscreen, ein Mikrofon, eine Tastatur, Zeigergeräte, Schienenräder, Kameras, Knöpfe, Tasten usw. Mit solchen Eingabevorrichtungen kann ein Benutzer in der Lage sein, dem System 100 Informationseingaben oder Befehle bereitzustellen, indem er Anweisungen oder Informationen eingibt, Sprachbefehle bereitstellt, Menüoptionen auf einem Bildschirm mit Hilfe von Schaltflächen, Zeigern oder Blickverfolgungsfunktionen auswählt oder andere geeignete Techniken zur Übermittlung von Informationen an das System 100 anwendet.
Benutzerschnittstelle 170 kann mit einer oder mehreren Verarbeitungsvorrichtungen ausgestattet sein, die so konfiguriert sind, dass sie einem Benutzer Informationen bereitstellen und von ihm empfangen und diese Informationen zur Verwendung z.B. durch den Anwendungsprozessor 180 verarbeiten. In einigen Ausführungsformen können solche Verarbeitungsvorrichtungen Anweisungen für die Erkennung und Verfolgung von Augenbewegungen, den Empfang und die Interpretation von Sprachbefehlen, die Erkennung und Interpretation von Berührungen und/oder Gesten auf einem Touchscreen, die Reaktion auf Tastatureingaben oder Menüauswahlen usw. ausführen. In einigen Ausführungsformen kann die Benutzerschnittstelle 170 eine Anzeige, einen Lautsprecher, eine taktile Vorrichtung und/oder jegliche andere Vorrichtung zur Bereitstellung von Ausgabeinformationen für einen Benutzer beinhalten.
Die Kartendatenbank 160 kann jede Art von Datenbank zur Speicherung von für System 100 nützlichen Kartendaten beinhalten. In einigen Ausführungsformen kann die Kartendatenbank 160 Daten enthalten, die sich auf die Position verschiedener Objekte in einem Referenzkoordinatensystem beziehen, darunter Straßen, Wasserspiele, geographische Merkmale, Geschäfte, Sehenswürdigkeiten, Restaurants, Tankstellen usw. Die Kartendatenbank 160 kann nicht nur die Standorte solcher Objekte speichern, sondern auch Deskriptoren, die sich auf diese Objekte beziehen, einschließlich z.B. Namen, die mit einem der gespeicherten Merkmale verbunden sind. In einigen Ausführungsformen kann die Kartendatenbank 160 zusammen mit anderen Komponenten des Systems 100 physisch lokalisiert sein. Alternativ oder zusätzlich kann die Kartendatenbank 160 oder ein Teil davon entfernt von anderen Komponenten des Systems 100 (z.B. der Verarbeitungseinheit 110) angeordnet sein. In solchen Ausführungsformen können Informationen aus der Kartendatenbank 160 über eine drahtgebundene oder drahtlose Datenverbindung in ein Netzwerk (z.B. über ein zellulares Netzwerk und/oder das Internet usw.) heruntergeladen werden. In einigen Fällen kann die Kartendatenbank 160 ein spärliches Datenmodell enthalten, das polynomische Darstellungen bestimmter Straßenmerkmale (z.B. Fahrspuren) oder Ziel-Trajektorien für das Host-Fahrzeug beinhaltet. Die Kartendatenbank 160 kann auch gespeicherte Darstellungen verschiedener anerkannter Landmarken beinhalten, die zur Bestimmung oder Aktualisierung einer bekannten Position des Host-Fahrzeuges in Bezug auf eine Zieltrajektorie verwendet werden können. Die Darstellungen von Orientierungspunkten können Datenfelder wie Typ des Orientierungspunktes, Position des Orientierungspunktes und andere potenzielle Identifikatoren beinhalten.
Die Bilderfassungsvorrichtungen 122, 124 und 126 können jeweils jede Vorrichtung beinhalten, die geeignet ist, mindestens ein Bild aus einer Umgebung zu erfassen. Darüber hinaus kann eine beliebige Anzahl von Bilderfassungsvorrichtungen verwendet werden, um Bilder zur Eingabe in den Bildprozessor zu erfassen. Einige Ausführungsformen können nur eine einzige Bilderfassungsvorrichtung beinhalten, während andere Ausführungsformen zwei, drei oder sogar vier oder mehr Bilderfassungsvorrichtungen enthalten können. Die Bilderfassungsvorrichtungen 122, 124 und 126 werden unter Bezugnahme auf die nachstehenden 2B-2E näher beschrieben.
Eine oder mehrere Kameras (z.B. die Bilderfassungsvorrichtungen 122, 124 und 126) können Teil eines Sensorblocks sein, der in einem Fahrzeug enthalten ist. Verschiedene andere Sensoren können im Sensorblock enthalten sein, und auf einen oder alle Sensoren kann man sich verlassen, um einen erfassten Navigationszustand des Fahrzeugs zu entwickeln. Zusätzlich zu Kameras (vorwärts, seitwärts, rückwärts usw.) können andere Sensoren wie RADAR, LIDAR und akustische Sensoren in den Sensorblock einbezogen werden. Zusätzlich kann der Sensorblock eine oder mehrere Komponenten beinhalten, die zur Kommunikation und zum Senden/Empfangen von Informationen über die Umgebung des Fahrzeugs konfiguriert sind. Solche Komponenten können z.B. drahtlose Transceiver (RF usw.) beinhalten, die von einer in Bezug auf den Sensor des Host-Fahrzeugs entfernten Quelle Informationen oder jede andere Art von Informationen bezüglich der Umgebung des Host-Fahrzeugs empfangen können. Solche Informationen können Sensorausgabeinformationen oder verwandte Informationen beinhalten, die von anderen Fahrzeugsystemen als dem Host-Fahrzeug empfangen werden. In einigen Ausführungsformen können solche Informationen Informationen beinhalten, die von einem entfernten Computergerät, einem zentralen Server usw. empfangen werden. Darüber hinaus können die Kameras viele verschiedene Konfigurationen annehmen: einzelne Kameraeinheiten, mehrere Kameras, Kamera-Cluster, langes FOV, kurzes FOV, Weitwinkel, Fisheye usw.
System 100 oder verschiedene Komponenten davon können in verschiedene unterschiedliche Plattformen integriert werden. In einigen Ausführungsformen kann System 100 in einem Fahrzeug 200 enthalten sein, wie in 2A dargestellt. Zum Beispiel kann das Fahrzeug 200 mit einer Verarbeitungseinheit 110 und allen anderen Komponenten von System 100 ausgestattet sein, wie oben in Bezug auf 1 beschrieben. Während in einigen Ausführungsformen das Fahrzeug 200 nur mit einer einzigen Bilderfassungsvorrichtung (z.B. Kamera) ausgestattet sein kann, können in anderen Ausführungsformen, wie sie im Zusammenhang mit BILD 2B-2E diskutiert werden, mehrere Bilderfassungsvorrichtungen verwendet werden. So kann z.B. jede der in 2A dargestellten Bilderfassungsvorrichtungen 122 und 124 des Fahrzeugs 200 Teil eines ADAS-Bildgebungssatzes (Advanced Driver Assistance Systems) sein.
Die Bilderfassungsvorrichtungen, die im Fahrzeug 200 als Teil der Bildaufnahmeeinheit 120 enthalten sind, können an jeder geeigneten Stelle positioniert werden. In einigen Ausführungsformen, wie in den 2A-2E und 3A-3C dargestellt, kann die Bilderfassungsvorrichtung 122 in der Nähe des Rückspiegels angeordnet werden. Diese Position kann eine ähnliche Sichtlinie wie die des Fahrers von Fahrzeug 200 bereitstellen, was bei der Bestimmung dessen, was für den Fahrer sichtbar ist und was nicht, hilfreich sein kann. Die Bilderfassungsvorrichtung 122 kann an jeder beliebigen Stelle in der Nähe des Rückspiegels angebracht werden, aber die Anbringung der Bilderfassungsvorrichtung 122 auf der Fahrerseite des Spiegels kann zusätzlich dazu beitragen, Bilder zu erhalten, die das Sichtfeld und/oder die Sichtlinie des Fahrers darstellen.
Es können auch andere Standorte für die Bilderfassungsvorrichtungen der Bildaufnahmeeinheit 120 verwendet werden. Zum Beispiel kann sich die Bilderfassungsvorrichtung 124 an oder in einem Stoßfänger des Fahrzeugs 200 befinden. Ein solcher Standort kann besonders für Bilderfassungsvorrichtungen mit einem großen Sichtfeld geeignet sein. Die Sichtlinie von Bilderfassungsvorrichtungen, die sich an der Stoßstange befinden, kann sich von der des Fahrers unterscheiden, so dass die Bilderfassungsvorrichtung an der Stoßstange und der Fahrer nicht immer die gleichen Objekte sehen. Die Bilderfassungsvorrichtungen (z.B. die Bilderfassungsvorrichtungen 122, 124 und 126) können sich auch an anderen Orten befinden. Beispielsweise können die Bilderfassungsvorrichtungen an oder in einem oder beiden Seitenspiegeln von Fahrzeug 200, auf dem Dach von Fahrzeug 200, auf der Motorhaube von Fahrzeug 200, auf dem Kofferraum von Fahrzeug 200, an den Seiten von Fahrzeug 200, an, hinter oder vor einem der Fenster von Fahrzeug 200 sowie in oder in der Nähe von Beleuchtungskörpern an der Vorder- und/oder Rückseite von Fahrzeug 200 usw. angebracht sein.
Zusätzlich zu den Bilderfassungsvorrichtungen kann Fahrzeug 200 verschiedene andere Komponenten von System 100 beinhalten. Zum Beispiel kann die Verarbeitungseinheit 110 im Fahrzeug 200 entweder integriert mit oder getrennt von einer Motorsteuereinheit (ECU) des Fahrzeugs enthalten sein. Fahrzeug 200 kann auch mit einem Positionssensor 130, wie z.B. einem GPS-Empfänger, ausgestattet sein und kann auch eine Kartendatenbank 160 und die Speichereinheiten 140 und 150 beinhalten.
Wie bereits erwähnt, kann der drahtlose Transceiver 172 Daten über ein oder mehrere Netzwerke (z. B. zellulare Netzwerke, das Internet usw.) empfangen und/oder empfangen. Beispielsweise kann der drahtlose Transceiver 172 vom System 100 gesammelte Daten auf einen oder mehrere Server hochladen und Daten von dem einen oder den mehreren Servern herunterladen. Über den drahtlosen Transceiver 172 kann das System 100 z.B. periodische oder auf Anforderung Aktualisierungen der in der Kartendatenbank 160, im Speicher 140 und/oder im Speicher 150 gespeicherten Daten empfangen. In ähnlicher Weise kann der drahtlose Transceiver 172 beliebige Daten (z.B. von der Bildaufnahmeeinheit 120 erfasste Bilder, vom Positionssensor 130 oder anderen Sensoren, Fahrzeug-Bildgebungssystemen usw. empfangene Daten) vom System 100 und/oder von der Verarbeitungseinheit 110 verarbeitete Daten auf einen oder mehrere Server hochladen.
System 100 kann Daten auf einen Server (z.B. in die Wolke) basierend auf einer Einstellung der Datenschutzstufe hochladen. System 100 kann beispielsweise Datenschutzebenen-Einstellungen beinhalten, um die an den Server gesendeten Datentypen (einschließlich Metadaten), die ein Fahrzeug und/oder einen Fahrer/Eigentümer eines Fahrzeugs eindeutig identifizieren können, zu regulieren oder einzuschränken. Solche Einstellungen können vom Benutzer z.B. über den drahtlosen Transceiver 172 eingestellt, mit den werkseitigen Standardeinstellungen initialisiert oder durch vom drahtlosen Transceiver 172 empfangene Daten initialisiert werden.
In einigen Ausführungsformen kann das System 100 Daten gemäß einem „hohen“ Datenschutzniveau hochladen, und unter Einstellung einer Einstellung kann das System 100 Daten (z.B. Standortinformationen in Bezug auf eine Route, erfasste Bilder usw.) ohne Details über das spezifische Fahrzeug und/oder den Fahrer/Eigentümer übertragen. Wenn z.B. Daten gemäß einer „hohen“ Datenschutzeinstellung hochgeladen werden, kann das System 100 keine Fahrzeug-Identifikationsnummer (VIN) oder den Namen eines Fahrers oder Eigentümers des Fahrzeugs beinhalten und stattdessen Daten, wie z.B. erfasste Bilder und/oder begrenzte Standortinformationen in Bezug auf eine Route übertragen.
Es werden auch andere Datenschutzniveaus in Betracht gezogen. Zum Beispiel kann System 100 Daten nach einem „mittleren“ Datenschutzlevel an einen Server übertragen und zusätzliche Informationen beinhalten, die nicht unter einem „hohen“ Datenschutzlevel enthalten sind, wie z.B. die Marke und/oder das Modell eines Fahrzeugs und/oder eines Fahrzeugtyps (z.B. eines Personenkraftwagens, eines Geländewagens, eines Lastkraftwagens usw.). In einigen Ausführungsformen kann das System 100 Daten entsprechend einem „niedrigen“ Datenschutzlevel hochladen. Bei einem „niedrigen“ Datenschutzniveau kann System 100 Daten hochladen und Informationen beinhalten, die ausreichen, um ein bestimmtes Fahrzeug, einen Eigentümer/Fahrer und/oder einen Teil oder die Gesamtheit einer vom Fahrzeug zurückgelegten Strecke eindeutig zu identifizieren. Solche Daten mit „niedrigem“ Datenschutzniveau können z.B. eine Fahrzeug-Identifizierungsnummer, den Namen des Fahrers/Halters, den Ausgangsort des Fahrzeugs vor der Abfahrt, das beabsichtigte Ziel des Fahrzeugs, die Marke und/oder das Modell des Fahrzeugs, den Fahrzeugtyp usw. beinhalten.
2A ist eine diagrammatische Seitenansicht eines beispielhaften Fahrzeug-Bildgebungssystems, das mit den offenbarten Ausführungsformen konsistent ist. 2B ist eine diagrammatische Draufsichtdarstellung der in 2A gezeigten Ausführungsform. Wie in 2B dargestellt, können die offenbarten Ausführungsformen ein Fahrzeug 200 beinhalten, das in seiner Karosserie ein System 100 mit einer ersten Bilderfassungsvorrichtung 122, die in der Nähe des Rückspiegels und/oder in der Nähe des Fahrers von Fahrzeug 200 positioniert ist, eine zweite Bilderfassungsvorrichtung 124, die auf oder in einem Stoßfängerbereich (z.B. einem der Stoßfängerbereiche 210) von Fahrzeug 200 positioniert ist, und eine Verarbeitungseinheit 110 enthält.
Wie in 2C dargestellt, können die Bilderfassungsvorrichtungen 122 und 124 beide in der Nähe des Rückspiegels und/oder in der Nähe des Fahrers von Fahrzeug 200 positioniert werden. Darüber hinaus sind in den 2B und 2C zwar zwei Bilderfassungsvorrichtungen 122 und 124 dargestellt, aber es ist zu beachten, dass andere Ausführungsformen mehr als zwei Bilderfassungsvorrichtungen beinhalten können. Beispielsweise sind in den in den 2D und 2E gezeigten Ausführungsformen die ersten, zweiten und dritten Bilderfassungsvorrichtungen 122, 124 und 126 im System 100 des Fahrzeug-Bildgebungssystems 200 enthalten.
Wie in 2D dargestellt, kann die Bilderfassungsvorrichtung 122 in der Nähe des Rückspiegels und/oder in der Nähe des Fahrers von Fahrzeug 200 positioniert werden, und die Bilderfassungsvorrichtungen 124 und 126 können auf oder in einem Stoßfängerbereich (z. B. einem der Stoßfängerbereiche 210) von Fahrzeug 200 positioniert werden. Und wie in 2E dargestellt, können die Bilderfassungsvorrichtungen 122, 124 und 126 in der Nähe des Rückspiegels und/oder in der Nähe des Fahrersitzes von Fahrzeug 200 positioniert werden. Die offenbarten Ausführungsformen sind nicht auf eine bestimmte Anzahl und Konfiguration der Bilderfassungsvorrichtungen beschränkt, und die Bilderfassungsvorrichtungen können an jeder geeigneten Stelle innerhalb und/oder am Fahrzeug 200 positioniert werden.
Es ist verständlich, dass die offenbarten Ausführungsformen nicht auf Fahrzeuge beschränkt sind und in anderen Zusammenhängen angewendet werden könnten. Es ist auch zu verstehen, dass offenbarte Ausführungsformen nicht auf einen bestimmten Fahrzeugtyp 200 beschränkt sind und auf alle Fahrzeugtypen einschließlich Personenkraftwagen, Lastkraftwagen, Anhänger und andere Fahrzeugtypen anwendbar sein können.
Die erste Bilderfassungsvorrichtung 122 kann jede geeignete Art von Bilderfassungsvorrichtung beinhalten. Die Bilderfassungsvorrichtung 122 kann eine optische Achse beinhalten. In einem Fall kann die Bilderfassungsvorrichtung 122 einen Aptina M9V024 WVGA-Sensor mit einem globalen Shutter beinhalten. In anderen Ausführungsformen kann die Bilderfassungsvorrichtung 122 eine Auflösung von 1280x960 Pixel bereitstellen und einen Rolling Shutter beinhalten. Die Bilderfassungsvorrichtung 122 kann verschiedene optische Elemente beinhalten. In einigen Ausführungsformen können eine oder mehrere Linsen enthalten sein, z.B. um eine gewünschte Brennweite und ein gewünschtes Sichtfeld für die Bilderfassungsvorrichtung bereitzustellen. In einigen Ausführungsformen kann die Bilderfassungsvorrichtung 122 mit einem 6-mm-Objektiv oder einem 12-mm-Objektiv verbunden sein. In einigen Ausführungsformen kann die Bilderfassungsvorrichtung 122 so konfiguriert sein, dass sie Bilder mit einem gewünschten Sichtfeld (FOV) 202 erfasst, wie in 2D dargestellt. Beispielsweise kann die Bilderfassungsvorrichtung 122 so konfiguriert werden, dass sie ein normales FOV hat, z. B. innerhalb eines Bereichs von 40 Grad bis 56 Grad, einschließlich eines FOV von 46 Grad, 50 Grad, 52 Grad oder mehr. Alternativ kann die Bilderfassungsvorrichtung 122 so konfiguriert werden, dass sie ein schmales FOV im Bereich von 23 bis 40 Grad hat, z. B. 28 Grad FOV oder 36 Grad FOV. Darüber hinaus kann die Bilderfassungsvorrichtung 122 so konfiguriert werden, dass sie ein breites FOV im Bereich von 100 bis 180 Grad aufweist. In einigen Ausführungsformen kann die Bilderfassungsvorrichtung 122 eine Weitwinkel-Stoßfängerkamera oder eine Kamera mit einem FOV von bis zu 180 Grad beinhalten. In einigen Ausführungsformen kann die Bilderfassungsvorrichtung 122 eine Bilderfassungsvorrichtung mit 7,2 Mio. Pixeln und einem Seitenverhältnis von etwa 2:1 (z.B. HxV=3800×1900 Pixel) mit einem horizontalen FOV von etwa 100 Grad sein. Eine solche Bilderfassungsvorrichtung kann anstelle einer Konfiguration mit drei Bilderfassungsvorrichtungen verwendet werden. Aufgrund der erheblichen Objektivverzerrung kann das vertikale FOV einer solchen Bilderfassungsvorrichtung bei Implementierungen, bei denen die Bilderfassungsvorrichtung ein radialsymmetrisches Objektiv verwendet, deutlich unter 50 Grad liegen. Beispielsweise kann ein solches Objektiv möglicherweise nicht radial symmetrisch sein, was ein vertikales FOV von mehr als 50 Grad bei einem horizontalen FOV von 100 Grad ermöglichen würde.
Die erste Bilderfassungsvorrichtung 122 kann eine Vielzahl von ersten Bildern relativ zu einer Szene erfassen, die dem Fahrzeug 200 zugeordnet ist. Jedes aus der Vielzahl der ersten Bilder kann als eine Reihe von Bildabtastzeilen erfasst werden, die mit einem Rolling-Shutter erfasst werden können. Jede Bildabtastzeile kann eine Vielzahl von Pixeln beinhalten.
Die erste Bilderfassungsvorrichtung 122 kann eine Abtastrate haben, die mit der Erfassung jeder der ersten Serie von Bildabtastzeilen verbunden ist. Die Abtastrate kann sich auf eine Rate beziehen, mit der ein Bildsensor Bilddaten erfassen kann, die mit jedem in einer bestimmten Abtastzeile enthaltenen Pixel verbunden sind.
Die Bilderfassungsvorrichtungen 122, 124 und 126 können jede geeignete Art und Anzahl von Bildsensoren beinhalten, einschließlich z.B. CCD-Sensoren oder CMOS-Sensoren. In einer Ausführungsform kann ein CMOS-Bildsensor zusammen mit einem Rolling Shutter verwendet werden, so dass jedes Pixel in einer Reihe einzeln gelesen wird und das Scannen der Zeilen Zeile für Zeile erfolgt, bis ein ganzes Bild erfasst wurde. In einigen Ausführungsformen können die Zeilen nacheinander von oben nach unten relativ zum Einzelbild erfasst werden.
In einigen Ausführungsformen können eine oder mehrere der hier offenbarten Bilderfassungsvorrichtung (z.B. die Bilderfassungsvorrichtung 122, 124 und 126) einen hochauflösenden Bildgeber darstellen und eine Auflösung von mehr als 5M Pixel, 7M Pixel, 10M Pixel oder mehr haben.
Die Verwendung eines Rolling Shutters kann dazu führen, dass Pixel in verschiedenen Reihen zu unterschiedlichen Zeiten belichtet und aufgenommen werden, was zu Schräglagen und anderen Bildartefakten im aufgenommenen Bildrahmen führen kann. Wenn andererseits die Bilderfassungsvorrichtung 122 so konfiguriert ist, dass sie mit einem globalen oder synchronen Shutter arbeitet, können alle Pixel für die gleiche Zeitdauer und während einer gemeinsamen Belichtungsperiode belichtet werden. Infolgedessen stellen die Bilddaten in einem Einzelbild, die von einem System mit globalem Shutter gesammelt werden, eine Momentaufnahme des gesamten FOV (wie z.B. FOV 202) zu einer bestimmten Zeit dar. Im Gegensatz dazu wird bei einer Rolling-Shutter-Anwendung jede Zeile in einem Frame zu unterschiedlichen Zeiten belichtet und die Daten werden zu unterschiedlichen Zeiten erfasst. Daher können bewegte Objekte in einer Bilderfassungsvorrichtung mit einem Rolling Shutter verzerrt erscheinen. Dieses Phänomen wird im Folgenden ausführlicher beschrieben.
Bei der zweiten Bilderfassungsvorrichtung 124 und der dritten Bilderfassungsvorrichtung 126 kann es sich um jede Art von Bilderfassungsvorrichtung handeln. Wie das erste Bilderfassungsvorrichtung 122 kann jedes der Bilderfassungsvorrichtungen 124 und 126 eine optische Achse beinhalten. In einer Ausführungsform kann jedes der Bilderfassungsvorrichtungen 124 und 126 einen Aptina M9V024 WVGA-Sensor mit globalem Shutter beinhalten. Alternativ kann jede der Bilderfassungsvorrichtungen 124 und 126 einen Rolling Shutter beinhalten. Wie die Bilderfassungsvorrichtung 122 können die Bilderfassungsvorrichtungen 124 und 126 so konfiguriert werden, dass sie verschiedene Linsen und optische Elemente beinhalten. In einigen Ausführungsformen können Objektive, die mit den Bilderfassungsvorrichtungen 124 und 126 verbunden sind, FOVs (wie z.B. FOVs 204 und 206) bereitstellen, die gleich oder schmaler sind als ein FOV (wie z.B. FOV 202), das mit der Bilderfassungsvorrichtung 122 verbunden ist. Beispielsweise können die Bilderfassungsvorrichtungen 124 und 126 FOVs von 40 Grad, 30 Grad, 26 Grad, 23 Grad, 20 Grad oder weniger aufweisen.
Die Bilderfassungsvorrichtungen 124 und 126 können eine Vielzahl von zweiten und dritten Bildern relativ zu einer Szene erfassen, die dem Fahrzeug 200 zugeordnet ist. Jedes der Vielzahl von zweiten und dritten Bildern kann als eine zweite und dritte Serie von Bildabtastzeilen erfasst werden, die mit einem Rolling Shutter erfasst werden können. Jede Bildabtastzeile oder -reihe kann eine Vielzahl von Pixeln haben. Die Bilderfassungsvorrichtungen 124 und 126 können zweite und dritte Abtastraten haben, die mit der Erfassung jeder der in der zweiten und dritten Serie enthaltenen Bildabtastzeilen verbunden sind.
Jede Bilderfassungsvorrichtung 122, 124 und 126 kann in jeder geeigneten Position und Ausrichtung relativ zum Fahrzeug 200 positioniert werden. Die relative Positionierung der Bilderfassungsvorrichtungen 122, 124 und 126 kann so gewählt werden, dass die von den Bilderfassungsvorrichtungen erfassten Informationen zusammengeführt werden können. Beispielsweise kann in einigen Ausführungsformen ein FOV (wie FOV 204), das der Bilderfassungsvorrichtung124 zugeordnet ist, teilweise oder vollständig mit einem FOV (wie FOV 202), das der Bilderfassungsvorrichtung 122 zugeordnet ist, und einem FOV (wie FOV 206), das der Bilderfassungsvorrichtung 126 zugeordnet ist, überlappen.
Die Bilderfassungsvorrichtungen 122, 124 und 126 können auf dem Fahrzeug 200 in jeder geeigneten relativen Höhe angebracht werden. In einem Fall kann es einen Höhenunterschied zwischen den Bilderfassungsvorrichtungen 122, 124 und 126 geben, der ausreichende Parallaxeninformationen bereitstellen kann, um eine Stereoanalyse zu ermöglichen. Zum Beispiel befinden sich, wie in 2A gezeigt, die beiden Bilderfassungsvorrichtungen 122 und 124 auf unterschiedlichen Höhen. Es kann auch ein Unterschied in der lateralen Verschiebung zwischen den Bilderfassungsvorrichtungen 122, 124 und 126 bestehen, der zusätzliche Parallaxeninformationen für die Stereoanalyse durch z.B. die Verarbeitungseinheit 110 liefert. Der Unterschied in der lateralen Verschiebung kann mit dx angegeben werden, wie in den 2C und 2D dargestellt. In einigen Ausführungsformen kann zwischen den Bilderfassungsvorrichtung 122, 124 und 126 eine Verschiebung nach vorn oder nach hinten (z.B. Entfernungsverschiebung) bestehen. Beispielsweise kann sich die Bilderfassungsvorrichtung 122 0,5 bis 2 Meter oder mehr hinter der Bilderfassungsvorrichtung 124 und/oder der Bilderfassungsvorrichtung 126 befinden. Diese Art der Verschiebung kann es einer der Bilderfassungsvorrichtungen ermöglichen, potenzielle blinde Flecken der anderen Bilderfassungsvorrichtung(en) abzudecken.
Bilderfassungsvorrichtungen 122 können jede geeignete Auflösungsfähigkeit haben (z.B. Anzahl der dem Bildsensor zugeordneten Pixel), und die Auflösung des Bildsensors (der Bildsensoren), der (die) der Bilderfassungsvorrichtung 122 zugeordnet ist (sind), kann höher, niedriger oder gleich der Auflösung des Bildsensors (der Bildsensoren) sein, der (die) den Bilderfassungsvorrichtungen 124 und 126 zugeordnet ist (sind). In einigen Ausführungsformen können der Bildsensor (die Bildsensoren), der (die) mit der Bilderfassungsvorrichtung 122 und/oder den Bilderfassungsvorrichtungen 124 und 126 verbunden ist (sind), eine Auflösung von 640 x 480, 1024 x 768, 1280 x 960 oder eine andere geeignete Auflösung haben.
Die Bildrate (z.B. die Rate, mit der eine Bilderfassungsvorrichtung einen Satz von Pixeldaten eines Einzelbildes erfasst, bevor sie zur Erfassung der dem nächsten Einzelbild zugeordneten Pixeldaten übergeht) kann steuerbar sein. Die Bildrate der Bilderfassungsvorrichtung 122 kann höher, niedriger oder gleich der Bildrate der Bilderfassungsvorrichtungen 124 und 126 sein. Die mit den Bilderfassungsvorrichtung 122, 124 und 126 verbundene Bildrate kann von einer Vielzahl von Faktoren abhängen, die die zeitliche Abstimmung der Bildrate beeinflussen können. Zum Beispiel kann eines oder mehrere der Bilderfassungsvorrichtungen 122, 124 und 126 eine wählbare Pixelverzögerungszeit beinhalten, die vor oder nach der Erfassung von Bilddaten, die einem oder mehreren Pixeln eines Bildsensors in der Bilderfassungsvorrichtung 122, 124 und/oder 126 zugeordnet sind, auferlegt wird. Im Allgemeinen können Bilddaten, die jedem Pixel entsprechen, gemäß einer Taktrate für das Gerät erfasst werden (z.B. ein Pixel pro Taktzyklus). Zusätzlich können in Ausführungsformen, die einen Rolling-Shutter enthalten, eine oder mehrere der Bilderfassungsvorrichtung 122, 124 und 126 eine wählbare horizontale Austastperiode beinhalten, die vor oder nach der Erfassung von Bilddaten, die einer Reihe von Pixeln eines Bildsensors in der Bilderfassungsvorrichtung 122, 124 und/oder 126 zugeordnet sind, auferlegt wird. Ferner können eine oder mehrere der Bilderfassungsvorrichtungen 122, 124 und/oder 126 eine wählbare vertikale Austastperiode beinhalten, die vor oder nach der Erfassung von Bilddaten, die einem Einzelbild eines Bildsensors in der Bilderfassungsvorrichtung 122, 124 und/oder 126 zugeordnet sind, auferlegt wird.
Diese Timing-Steuerungen können die Synchronisation der Bildraten der Bilderfassungsvorrichtungen 122, 124 und 126 ermöglichen, selbst wenn die Zeilenabtastraten der einzelnen Geräte unterschiedlich sind. Darüber hinaus können, wie weiter unten ausführlicher erörtert wird, diese wählbaren Timing-Steuerungen neben anderen Faktoren (z.B. Bildsensorauflösung, maximale Zeilenabtastraten usw.) die Synchronisation der Bilderfassung von einem Bereich ermöglichen, in dem sich das FOV der Bilderfassungsvorrichtung 122 mit einem oder mehreren FOVs der Bilderfassungsvorrichtungen 124 und 126 überlappt, selbst wenn sich das Sichtfeld der Bilderfassungsvorrichtung 122 von den FOVs der Bilderfassungsvorrichtungen 124 und 126 unterscheidet.
Das Timing der Bildrate in den Bilderfassungsvorrichtungen 122, 124 und 126 kann von der Auflösung der zugehörigen Bildsensoren abhängen. Geht man zum Beispiel von ähnlichen Zeilenabtastraten für beide Geräte aus, wenn ein Gerät einen Bildsensor mit einer Auflösung von 640 x 480 und ein anderes Gerät einen Bildsensor mit einer Auflösung von 1280 x 960 beinhaltet, dann wird mehr Zeit benötigt, um ein Einzelbild mit Bilddaten von dem Sensor mit der höheren Auflösung zu erfassen.
Ein weiterer Faktor, der das Timing der Bilddatenerfassung in den Bilderfassungsvorrichtungen 122, 124 und 126 beeinflussen kann, ist die maximale Zeilenabtastrate. Beispielsweise erfordert die Erfassung einer Reihe von Bilddaten von einem Bildsensor, der in den Bilderfassungsvorrichtungen 122, 124 und 126 enthalten ist, eine gewisse Mindestzeit. Unter der Annahme, dass keine Pixelverzögerungszeiten hinzugefügt werden, hängt diese Mindestzeit für die Erfassung einer Reihe von Bilddaten von der maximalen Zeilenabtastrate für ein bestimmtes Gerät ab. Geräte, die höhere maximale Zeilenabtastraten bieten, haben das Potenzial, höhere Bildraten bereitzustellen als Geräte mit niedrigeren maximalen Zeilenabtastraten. In einigen Ausführungsformen können eine oder mehrere der Bilderfassungsvorrichtungen 124 und 126 eine maximale Zeilenabtastrate aufweisen, die höher ist als die maximale Zeilenabtastrate der Bilderfassungsvorrichtung 122. In einigen Ausführungsformen kann die maximale Zeilenabtastrate der Bilderfassungsvorrichtung 124 und/oder 126 1,25, 1,5, 1,75 oder das 2-fache oder mehr als die maximale Zeilenabtastrate der Bilderfassungsvorrichtung 122 betragen.
In einer anderen Ausführungsform können die Bilderfassungsvorrichtungen 122, 124 und 126 dieselbe maximale Zeilenabtastrate haben, aber die Bilderfassungsvorrichtung 122 kann mit einer Abtastrate betrieben werden, die kleiner oder gleich ihrer maximalen Abtastrate ist. Das System kann so konfiguriert werden, dass ein oder mehrere der Bilderfassungsvorrichtungen 124 und 126 mit einer Zeilenabtastrate betrieben werden, die gleich der Zeilenabtastrate der Bilderfassungsvorrichtung 122 ist. In anderen Fällen kann das System so konfiguriert werden, dass die Zeilenabtastrate der Bilderfassungsvorrichtung 124 und/oder der Bilderfassungsvorrichtung 126 1,25, 1,5, 1,75 oder das Zweifache oder mehr der Zeilenabtastrate der Bilderfassungsvorrichtung 122 beträgt.
In einigen Ausführungsformen können die Bilderfassungsvorrichtungen 122, 124 und 126 asymmetrisch sein. Das heißt, sie können Kameras mit unterschiedlichen Sichtfeldern (FOV) und Brennweiten beinhalten. Die Sichtfelder der Bilderfassungsvorrichtungen 122, 124 und 126 können jeden gewünschten Bereich relativ zu einer Umgebung von z.B. Fahrzeug 200 beinhalten. In einigen Ausführungsformen können eine oder mehrere der Bilderfassungsvorrichtungen 122, 124 und 126 so konfiguriert sein, dass sie Bilddaten aus einer Umgebung vor dem Fahrzeug 200, hinter dem Fahrzeug 200, an den Seiten des Fahrzeugs 200 oder Kombinationen davon erfassen.
Ferner kann die jeder Bilderfassungsvorrichtung zugeordnete Brennweite 122, 124 und/oder 126 wählbar sein (z. B. durch Einbau geeigneter Objektive usw.), so dass jede Vorrichtung Bilder von Objekten in einem gewünschten Entfernungsbereich relativ zum Fahrzeug 200 erfasst. Beispielsweise können in einigen Ausführungsformen die Bilderfassungsvorrichtungen 122, 124 und 126 Bilder von Objekten im Nahbereich in einer Entfernung von wenigen Metern vom Fahrzeug erfassen. Die Bilderfassungsvorrichtungen 122, 124 und 126 können auch konfiguriert werden, um Bilder von Objekten in einer größeren Entfernung vom Fahrzeug (z.B. 25 m, 50 m, 100 m, 150 m oder mehr) zu erfassen. Ferner können die Brennweiten der Bilderfassungsvorrichtungen 122, 124 und 126 so gewählt werden, dass eine Bilderfassungsvorrichtung (z.B. die Bilderfassungsvorrichtung 122) Bilder von Objekten relativ nahe am Fahrzeug (z.B. innerhalb von 10 m oder innerhalb von 20 m) erfassen kann, während die anderen Bilderfassungsvorrichtungen (z.B. die Bilderfassungsvorrichtungen 124 und 126) Bilder von weiter entfernten Objekten (z.B. größer als 20 m, 50 m, 100 m, 150 m usw.) vom Fahrzeug 200 erfassen können.
Einigen Ausführungsformen zufolge kann das FOV einer oder mehrerer Bilderfassungsvorrichtungen 122, 124 und 126 einen weiten Winkel aufweisen. Beispielsweise kann es vorteilhaft sein, ein FOV von 140 Grad zu haben, insbesondere für die Bilderfassungsvorrichtungen 122, 124 und 126, die zur Aufnahme von Bildern des Bereichs in der Nähe des Fahrzeugs 200 verwendet werden können. Zum Beispiel kann die Bilderfassungsvorrichtung 122 verwendet werden, um Bilder des Bereichs rechts oder links vom Fahrzeug 200 zu erfassen, und in solchen Ausführungsformen kann es wünschenswert sein, dass die Bilderfassungsvorrichtung 122 ein breites FOV (z.B. mindestens 140 Grad) hat.
Das zu jeder Bilderfassungsvorrichtung 122, 124 und 126 gehörende Sichtfeld kann von den jeweiligen Brennweiten abhängen. Zum Beispiel nimmt mit zunehmender Brennweite das entsprechende Sichtfeld ab.
Die Bilderfassungsvorrichtungen 122, 124 und 126 können so konfiguriert werden, dass sie über beliebige geeignete Sichtfelder verfügen. In einem bestimmten Beispiel kann die Bilderfassungsvorrichtung 122 ein horizontales FOV von 46 Grad, die Bilderfassungsvorrichtung 124 ein horizontales FOV von 23 Grad und die Bilderfassungsvorrichtung 126 ein horizontales FOV zwischen 23 und 46 Grad haben. In einem anderen Fall kann die Bilderfassungsvorrichtung 122 ein horizontales FOV von 52 Grad, die Bilderfassungsvorrichtung 124 ein horizontales FOV von 26 Grad und die Bilderfassungsvorrichtung 126 ein horizontales FOV zwischen 26 und 52 Grad haben. In einigen Ausführungsformen kann das Verhältnis des FOV der Bilderfassungsvorrichtung 122 zu den FOVs der Bilderfassungsvorrichtung 124 und/oder der Bilderfassungsvorrichtung 126 von 1,5 bis 2,0 variieren. In anderen Ausführungsformen kann dieses Verhältnis zwischen 1,25 und 2,25 variieren.
Das System 100 kann so konfiguriert werden, dass ein Sichtfeld der Bilderfassungsvorrichtung 122 zumindest teilweise oder vollständig mit einem Sichtfeld der Bilderfassungsvorrichtung 124 und/oder der Bilderfassungsvorrichtung 126 überlappt. In einigen Ausführungsformen kann das System 100 so konfiguriert sein, dass die Sichtfelder der Bilderfassungsvorrichtungen 124 und 126 z.B. innerhalb des Sichtfeldes der Bilderfassungsvorrichtung 122 liegen (z.B. schmaler sind als) und eine gemeinsame Mitte mit dem Sichtfeld der Bilderfassungsvorrichtung 122 teilen. In anderen Ausführungsformen können die Bilderfassungsvorrichtungen 122, 124 und 126 benachbarte FOVs erfassen oder eine teilweise Überlappung in ihren FOVs aufweisen. In einigen Ausführungsformen können die Sichtfelder der Bilderfassungsvorrichtungen 122, 124 und 126 so ausgerichtet sein, dass ein Zentrum der schmaleren FOV-Bilderfassungsvorrichtungen 124 und/oder 126 in der unteren Hälfte des Sichtfeldes der breiteren FOV-Vorrichtung 122 liegen kann.
2F ist eine schematische Darstellung beispielhafter Fahrzeugsteuerungssysteme, die mit den offenbarten Ausführungsformen konsistent sind. Wie in 2F angegeben, kann das Fahrzeug 200 das Drosselsystem 220, das Bremssystem 230 und das Lenksystem 240 beinhalten. Das System 100 kann Eingaben (z.B. Steuersignale) an eines oder mehrere von Drosselsystem 220, Bremssystem 230 und Lenksystem 240 über eine oder mehrere Datenverbindungen (z.B. jede drahtgebundene und/oder drahtlose Verbindung oder Verbindungen zur Datenübertragung) bereitstellen. Basierend auf der Analyse von Bildern, die von den Bilderfassungsvorrichtungen 122, 124 und/oder 126 erfasst wurden, kann z.B. System 100 Steuersignale an eines oder mehrere von Drosselsystem 220, Bremssystem 230 und Lenksystem 240 bereitstellen, um Fahrzeug 200 zu steuern (z.B. durch Veranlassung einer Beschleunigung, einer Kurve, einer Fahrspurverschiebung usw.). Ferner kann System 100 Eingaben von einem oder mehreren von Drosselsystem 220, Bremssystem 230 und Lenksystem 24 empfangen, die die Betriebsbedingungen von Fahrzeug 200 anzeigen (z.B. Geschwindigkeit, ob Fahrzeug 200 bremst und/oder abbiegt usw.). Weitere Einzelheiten werden in Verbindung mit den nachstehenden 4-7 bereitgestellt.
Wie in 3A dargestellt, kann Fahrzeug 200 auch eine Benutzerschnittstelle 170 für die Interaktion mit einem Fahrer oder Passagier von Fahrzeug 200 beinhalten. Beispielsweise kann die Benutzerschnittstelle 170 in einer Fahrzeuganwendung einen Touchscreen 320, Knöpfe 330, Tasten 340 und ein Mikrofon 350 beinhalten. Ein Fahrer oder Beifahrer von Fahrzeug 200 kann auch Griffe (z.B. an oder in der Nähe der Lenksäule von Fahrzeug 200, einschließlich z.B. Blinkergriffe), Knöpfe (z.B. am Lenkrad von Fahrzeug 200) und ähnliches zur Interaktion mit dem System 100 verwenden. In einigen Ausführungsformen kann das Mikrofon 350 neben einem Rückspiegel 310 angeordnet sein. In ähnlicher Weise kann sich in einigen Ausführungsformen die Bilderfassungsvorrichtung 122 in der Nähe des Rückspiegels 310 befinden. In einigen Ausführungsformen kann die Benutzerschnittstelle 170 auch einen oder mehrere Lautsprecher 360 beinhalten (z.B. Lautsprecher eines Fahrzeug-Audiosystems). Beispielsweise kann das System 100 verschiedene Benachrichtigungen (z.B. Warnungen) über Lautsprecher 360 bereitstellen.
3B-3D sind Illustrationen einer beispielhaften Kamerahalterung 370, die so konfiguriert ist, dass sie hinter einem Rückspiegel (z.B. Rückspiegel 310) und gegen die Windschutzscheibe eines Fahrzeugs positioniert werden kann, konsistent mit offenbarten Ausführungsformen. Wie in 3B dargestellt, kann die Kamerahalterung 370 die Bilderfassungsvorrichtungen 122, 124 und 126 beinhalten. Die Bilderfassungsvorrichtungen 124 und 126 können hinter einem Blendschutz 380 angebracht werden, der bündig an der Windschutzscheibe des Fahrzeugs anliegen und eine Zusammensetzung aus Film und/oder Antireflexmaterialien beinhalten kann. Zum Beispiel kann der Blendschutz 380 so positioniert werden, dass er sich an der Windschutzscheibe des Fahrzeugs ausrichtet und eine entsprechende Neigung aufweist. In einigen Ausführungsformen kann jede der Bilderfassungsvorrichtungen 122, 124 und 126 hinter dem Blendschutz 380 positioniert werden, wie z.B. in 3D dargestellt. Die offenbarten Ausführungsformen sind nicht auf eine bestimmte Konfiguration der Bilderfassungsvorrichtungen 122, 124 und 126, der Kamerahalterung 370 und des Blendschutzes 380 beschränkt. 3C ist eine Darstellung der Kamerahalterung 370, wie sie in 3B aus einer Frontalperspektive gezeigt wird.
Wie eine fachkundige Person, die in den Genuss dieser Offenbarung kommt, zu schätzen wissen wird, können zahlreiche Variationen und/oder Modifikationen an den oben genannten offenbarten Ausführungsformen vorgenommen werden. Zum Beispiel sind nicht alle Komponenten für den Betrieb von System 100 wesentlich. Ferner kann sich jede Komponente in jedem geeigneten Teil von System 100 befinden, und die Komponenten können in einer Vielzahl von Konfigurationen neu angeordnet werden, wobei die Funktionalität der offengelegten Ausführungsformen bereitgestellt wird. Daher sind die vorstehenden Konfigurationen Beispiele, und unabhängig von den oben diskutierten Konfigurationen kann System 100 eine breite Palette von Funktionen bereitstellen, um die Umgebung von Fahrzeug 200 zu analysieren und Fahrzeug 200 als Reaktion auf die Analyse zu navigieren.
Wie weiter unten ausführlicher diskutiert und konsistent mit verschiedenen offenbarten Ausführungsformen, kann System 100 eine Vielzahl von Merkmalen im Zusammenhang mit autonomem Fahren und/oder Fahrerassistenz-Technologie bereitstellen. Zum Beispiel kann System 100 Bilddaten, Positionsdaten (z.B. GPS-Standortinformationen), Kartendaten, Geschwindigkeitsdaten und/oder Daten von Sensoren, die in Fahrzeug 200 enthalten sind, analysieren. System 100 kann die Daten zur Analyse z.B. von der Bildaufnahmeeinheit 120, dem Positionssensor 130 und anderen Sensoren sammeln. Darüber hinaus kann System 100 die gesammelten Daten analysieren, um zu bestimmen, ob Fahrzeug 200 eine bestimmte Aktion durchführen soll oder nicht, und dann automatisch die bestimmte Aktion ohne menschliches Eingreifen durchführen. Wenn z.B. Fahrzeug 200 ohne menschliches Eingreifen navigiert, kann System 100 automatisch das Bremsen, Beschleunigen und/oder Lenken von Fahrzeug 200 steuern (z.B. durch Senden von Steuersignalen an eines oder mehrere von Drosselsystem 220, Bremssystem 230 und Lenksystem 240). Ferner kann das System 100 die gesammelten Daten analysieren und basierend auf der Analyse der gesammelten Daten Warnungen und/oder Alarme an die Fahrzeuginsassen ausgeben. Weitere Einzelheiten zu den verschiedenen Ausführungsformen, die von System 100 bereitgestellt werden, sind nachstehend aufgeführt.
Vorwärts gerichtetes Mehrfach-Bildgebungssystem
Wie oben erörtert, kann System 100 eine Antriebsunterstützungsfunktionalität bereitstellen, die ein Mehrkamerasystem verwendet. Das Mehrkamerasystem kann eine oder mehrere Kameras verwenden, die in die Vorwärtsrichtung eines Fahrzeugs gerichtet sind. In anderen Ausführungsformen kann das Mehrkamerasystem eine oder mehrere Kameras beinhalten, die zur Seite oder zum Heck eines Fahrzeugs gerichtet sind. In einer Ausführungsform kann z.B. das System 100 ein Zwei-Kamera-Bildgebungssystem verwenden, bei dem eine erste Kamera und eine zweite Kamera (z.B. die Bilderfassungsvorrichtungen 122 und 124) an der Vorderseite und/oder den Seiten eines Fahrzeugs (z.B. Fahrzeug-Bildgebungssystem 200) angeordnet sein können. Andere Kamerakonfigurationen sind konsistent mit den offenbarten Ausführungsformen, und die hier offengelegten Konfigurationen sind Beispiele. Beispielsweise kann System 100 eine Konfiguration einer beliebigen Anzahl von Kameras beinhalten (z.B. eine, zwei, drei, vier, fünf, sechs, sieben, acht usw.). Darüber hinaus kann System 100 „Cluster“ von Kameras beinhalten. Beispielsweise kann ein Cluster von Kameras (einschließlich einer beliebigen Anzahl von Kameras, z.B. eine, vier, acht usw.) relativ zu einem Fahrzeug nach vorn gerichtet sein oder in jede andere Richtung (z.B. nach hinten, zur Seite, in einem Winkel usw.) gerichtet sein. Dementsprechend kann System 100 mehrere Cluster von Kameras beinhalten, wobei jeder Cluster in eine bestimmte Richtung ausgerichtet ist, um Bilder aus einer bestimmten Region der Umgebung eines Fahrzeugs zu erfassen.
Die erste Kamera kann ein Sichtfeld haben, das größer, kleiner oder teilweise überlappend mit dem Sichtfeld der zweiten Kamera ist. Darüber hinaus kann die erste Kamera an einen ersten Bildprozessor angeschlossen werden, um eine monokulare Bildanalyse der von der ersten Kamera bereitgestellten Bilder durchzuführen, und die zweite Kamera kann an einen zweiten Bildprozessor angeschlossen werden, um eine monokulare Bildanalyse der von der zweiten Kamera bereitgestellten Bilder durchzuführen. Die Ausgänge (z.B. verarbeitete Informationen) des ersten und zweiten Bildprozessors können kombiniert werden. In einigen Ausführungsformen kann der zweite Bildprozessor Bilder sowohl von der ersten Kamera als auch von der zweiten Kamera empfangen, um eine Stereo-Analyse durchzuführen. In einer anderen Ausführungsform kann das System 100 ein Bildsystem mit drei Kameras verwenden, wobei jede der Kameras ein anderes Sichtfeld hat. Ein solches System kann daher Entscheidungen auf der Grundlage von Informationen treffen, die von Objekten abgeleitet werden, die sich in unterschiedlichen Distanzen sowohl vor als auch seitlich des Fahrzeugs befinden. Verweise auf die monokulare Bildanalyse können sich auf Fälle beziehen, in denen die Bildanalyse basierend auf Bildern durchgeführt wird, die von einem einzigen Standpunkt aus aufgenommen wurden (z.B. von einer einzigen Kamera). Die Stereo-Analyse kann sich auf Fälle beziehen, in denen die Bildanalyse basierend auf zwei oder mehr Bildern durchgeführt wird, die mit einer oder mehreren Variationen eines Bilderfassungsparameters aufgenommen wurden. Beispielsweise können erfasste Bilder, die für die Durchführung einer Stereo-Analyse geeignet sind, Bilder beinhalten, die aus zwei oder mehr verschiedenen Positionen, aus verschiedenen Blickwinkeln, mit unterschiedlichen Brennweiten, zusammen mit Parallaxeninformationen usw. aufgenommen wurden.
In einer Ausführungsform kann z.B. das System 100 eine Drei-Kamera-Konfiguration mit den Bilderfassungsvorrichtungen 122-126 konfigurieren. In einer solchen Konfiguration kann die Bilderfassungsvorrichtung 122 ein enges Sichtfeld bereitstellen (z.B. 34 Grad oder andere Werte, die aus einem Bereich von etwa 20 bis 45 Grad usw. ausgewählt werden), die Bilderfassungsvorrichtung 124 ein weites Sichtfeld (z.B. 150 Grad oder andere Werte, die aus einem Bereich von etwa 100 bis etwa 180 Grad ausgewählt werden) und die Bilderfassungsvorrichtung 126 ein mittleres Sichtfeld (z.B. 46 Grad oder andere Werte, die aus einem Bereich von etwa 35 bis etwa 60 Grad ausgewählt werden). In einigen Ausführungsformen kann die Bilderfassungsvorrichtung 126 als Haupt- oder Primärkamera fungieren. Bilderfassungsvorrichtungen 122 126 können hinter einem Rückspiegel 310 und im Wesentlichen nebeneinander (z.B. im Abstand von 6 cm) angeordnet sein. Ferner können in einigen Ausführungsformen, wie oben beschrieben, eine oder mehrere Bilderfassungsvorrichtungen 122-126 hinter dem Blendschutz 380 angebracht sein, der bündig mit der Windschutzscheibe des Fahrzeugs 200 abschließt. Eine solche Abschirmung kann dazu dienen, die Auswirkungen von Reflexionen aus dem Fahrzeuginneren auf die Bilderfassungsvorrichtungen 122-126 zu minimieren.
In einer anderen Ausführungsform, wie oben im Zusammenhang mit den 3B und 3C diskutiert, kann die Kamera mit weitem Sichtfeld (z.B. die Bilderfassungsvorrichtung 124 im obigen Beispiel) niedriger montiert sein als die Kameras mit engem und hauptsächlichem Sichtfeld (z.B. die Bilderfassungsvorrichtungen 122 und 126 im obigen Beispiel). Diese Konfiguration kann eine freie Sichtlinie von der Kamera mit weitem Sichtfeld bereitstellen. Um Reflexionen zu verringern, können die Kameras nahe der Windschutzscheibe des Fahrzeugs 200 angebracht werden und Polarisatoren an den Kameras beinhalten, um das reflektierte Licht zu dämpfen.
Ein Drei-Kamera-System kann bestimmte Leistungsmerkmale bereitstellen. Beispielsweise können einige Ausführungsformen die Fähigkeit beinhalten, die Erkennung von Objekten durch eine Kamera basierend auf den Erkennungsergebnissen einer anderen Kamera zu validieren. In der oben beschriebenen Konfiguration mit drei Kameras kann die Verarbeitungseinheit 110 z.B. drei Verarbeitungsvorrichtungen beinhalten (z.B. drei Prozessorchips der EyeQ-Serie, wie oben beschrieben), wobei jede Verarbeitungsvorrichtung der Verarbeitung von Bildern dient, die von einer oder mehreren Bilderfassungsvorrichtungen 122-126 erfasst wurden.
In einem Drei-Kamera-System kann eine erste Verarbeitungsvorrichtung Bilder sowohl von der Hauptkamera als auch von der Kamera mit engem Sichtfeld empfangen und die Bildverarbeitung der Kamera mit engem FOV durchführen, um beispielsweise andere Fahrzeuge, Fußgänger, Fahrspuren, Verkehrszeichen, Ampeln und andere Straßenobjekte zu erkennen. Ferner kann die erste Verarbeitungsvorrichtung eine Pixelabweichung zwischen den Bildern der Hauptkamera und der schmalen Kamera berechnen und eine 3D-Rekonstruktion der Umgebung von Fahrzeug 200 erstellen. Die erste Verarbeitungsvorrichtung kann dann die 3D-Rekonstruktion mit 3D-Kartendaten oder mit 3D-Informationen kombinieren, die auf der Grundlage von Informationen aus einer anderen Kamera berechnet wurden.
Die zweite Verarbeitungsvorrichtung kann Bilder von der Hauptkamera empfangen und eine Bildverarbeitung durchführen, um andere Fahrzeuge, Fußgänger, Fahrspuren, Verkehrszeichen, Ampeln und andere Straßenobjekte zu erkennen. Zusätzlich kann die zweite Verarbeitungsvorrichtung eine Kameraverschiebung berechnen und basierend auf der Verschiebung eine Pixelabweichung zwischen aufeinanderfolgenden Bildern berechnen und eine 3D-Rekonstruktion der Szene erstellen (z.B. eine Struktur aus der Bewegung). Die zweite Verarbeitungsvorrichtung kann die Struktur aus der bewegungsbasierten 3D-Rekonstruktion an die erste Verarbeitungsvorrichtung senden, um sie mit den 3D-Stereobildern zu kombinieren.
Die dritte Verarbeitungsvorrichtung kann Bilder von der breiten FOV-Kamera empfangen und die Bilder verarbeiten, um Fahrzeuge, Fußgänger, Fahrspuren, Verkehrszeichen, Ampeln und andere Straßenobjekte zu erkennen. Die dritte Verarbeitungsvorrichtung kann darüber hinaus zusätzliche Verarbeitungsinstruktionen ausführen, um Bilder zu analysieren, um Objekte zu identifizieren, die sich im Bild bewegen, wie z.B. Fahrzeuge, die die Fahrspur wechseln, Fußgänger usw.
In einigen Ausführungsformen kann die unabhängige Erfassung und Verarbeitung von bildbasierten Informationsströmen die Möglichkeit bieten, Redundanz im System bereitzustellen. Eine solche Redundanz kann z.B. die Verwendung einer ersten Bilderfassungsvorrichtung und der von dieser Vorrichtung verarbeiteten Bilder beinhalten, um Informationen zu validieren und/oder zu ergänzen, die durch die Erfassung und Verarbeitung von Bildinformationen von mindestens einer zweiten Bilderfassungsvorrichtung erhalten wurden.
In einigen Ausführungsformen kann das System 100 zwei Bilderfassungsvorrichtungen (z. B. die Bilderfassungsvorrichtungen 122 und 124) zur Bereitstellung von Navigationshilfe für das Fahrzeug 200 verwenden und eine dritte Bilderfassungsvorrichtung (z. B. die Bilderfassungsvorrichtung 126) einsetzen, um Redundanz bereitzustellen und die Analyse der von den beiden anderen Bilderfassungsvorrichtungen erhaltenen Daten zu validieren. In einer solchen Konfiguration können z.B. die Bilderfassungsvorrichtungen 122 und 124 Bilder für die Stereo-Analyse durch das System 100 zur Navigation von Fahrzeug 200 bereitstellen, während die Bilderfassungsvorrichtung 126 Bilder für die monokulare Analyse durch das System 100 bereitstellen kann, um Redundanz und Validierung von Informationen bereitzustellen, die auf der Grundlage von Bildern erhalten werden, die von der Bilderfassungsvorrichtung 122 und/oder der Bilderfassungsvorrichtung 124 erfasst wurden. Das heißt, die Bilderfassungsvorrichtung 126 (und eine entsprechende Verarbeitungsvorrichtung) kann als ein redundantes Subsystem zur Bereitstellung einer Überprüfung der von den Bilderfassungsvorrichtungen 122 und 124 abgeleiteten Analyse betrachtet werden (z.B. um ein automatisches Notbremssystem (AEB) bereitzustellen). Darüber hinaus kann in einigen Ausführungsformen die Redundanz und Validierung der empfangenen Daten auf der Grundlage von Informationen ergänzt werden, die von einem oder mehreren Sensoren (z.B. Radar, Lidar, akustische Sensoren, Informationen, die von einem oder mehreren Sendeempfängern außerhalb eines Fahrzeugs empfangen werden, usw.) empfangen werden.
Der Fachmann wird erkennen, dass die oben genannten Kamerakonfigurationen, Kameraplatzierungen, Anzahl der Kameras, Kamerastandorte usw. nur Beispiele sind. Diese und andere Komponenten, die in Bezug auf das Gesamtsystem beschrieben sind, können in einer Vielzahl verschiedener Konfigurationen zusammengebaut und verwendet werden, ohne vom Umfang der offenbarten Ausführungsformen abzuweichen. Weitere Einzelheiten zur Verwendung eines Mehrkamerasystems zur Bereitstellung von Fahrerassistenz- und/oder autonomen Fahrzeugfunktionen folgen weiter unten.
4 ist ein beispielhaftes funktionales Blockdiagramm des Speichers 140 und/oder 150, der mit Befehlen zur Durchführung einer oder mehrerer Operationen gespeichert/programmiert werden kann, die mit den offenbarten Ausführungsformen konsistent sind. Obwohl sich die folgenden Ausführungen auf den Speicher 140 beziehen, wird man als Fachmann erkennen, dass Anweisungen im Speicher 140 und/oder 150 gespeichert werden können.
Wie in 4 gezeigt, kann Speicher 140 ein monokulares Bildanalyse-Modul 402, ein Stereobildanalyse-Modul 404, ein Geschwindigkeits- und Beschleunigungs-Modul 406 und ein Navigationsreaktions-Modul 408 speichern. Die offenbarten Ausführungsformen sind nicht auf eine bestimmte Konfiguration des Speichers 140 beschränkt. Darüber hinaus können der Anwendungsprozessor 180 und/oder der Bildprozessor 190 die in einem der Module 402 408, die im Speicher 140 enthalten sind, gespeicherten Befehle ausführen. Fachkundige Leser werden verstehen, dass sich Verweise in den folgenden Diskussionen auf die Verarbeitungseinheit 110 auf Anwendungsprozessor 180 und Bildprozessor 190 einzeln oder gemeinsam beziehen können. Dementsprechend können die Schritte jedes der folgenden Prozesse von einer oder mehreren Verarbeitungsvorrichtungen ausgeführt werden.
In einer Ausführungsform kann das monokulare Bildanalyse-Modul 402 Befehle speichern (z.B. Computer Vision Software), die, wenn sie von der Verarbeitungseinheit 110 ausgeführt werden, eine monokulare Bildanalyse eines Satzes von Bildern durchführen, die von einer der Bilderfassungsvorrichtungen 122, 124 und 126 erfasst wurden. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 Informationen aus einem Satz von Bildern mit zusätzlichen sensorischen Informationen (z.B. Informationen vom Radar) kombinieren, um die monokulare Bildanalyse durchzuführen. Wie in Verbindung mit den nachstehenden 5A-5D beschrieben, kann das monokulare Bildanalyse-Modul 402 Befehle zur Erkennung einer Reihe von Merkmalen innerhalb des Bildsatzes beinhalten, wie z.B. Fahrspuren, Fahrzeuge, Fußgänger, Straßenschilder, Autobahnausfahrten, Ampeln, gefährliche Objekte und jedes andere Merkmal, das mit der Umgebung eines Fahrzeugs zusammenhängt. Basierend auf der Analyse kann das System 100 (z.B. über die Verarbeitungseinheit 110) eine oder mehrere Navigationsreaktionen im Fahrzeug 200 auslösen, wie z.B. ein Abbiegen, eine Fahrspurverschiebung, eine Änderung der Beschleunigung und ähnliches, wie unten in Verbindung mit dem Navigationsreaktions-Modul 408 diskutiert.
In einer Ausführungsform kann das monokulare Bildanalyse-Modul 402 Befehle speichern (z.B. Computer Vision Software), die, wenn sie von der Verarbeitungseinheit 110 ausgeführt werden, eine monokulare Bildanalyse eines Satzes von Bildern durchführen, die von einer der Bilderfassungsvorrichtungen 122, 124 und 126 erfasst wurden. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 Informationen aus einem Satz von Bildern mit zusätzlichen sensorischen Informationen (z.B. Informationen von Radar, Lidar usw.) kombinieren, um die monokulare Bildanalyse durchzuführen. Wie im Zusammenhang mit den nachstehenden 5A-5D beschrieben, kann das monokulare Bildanalyse-Modul 402 Befehle zur Erkennung einer Reihe von Merkmalen innerhalb des Bildsatzes beinhalten, wie z.B. Fahrspuren, Fahrzeuge, Fußgänger, Straßenschilder, Autobahnausfahrten, Ampeln, gefährliche Objekte und jedes andere Merkmal, das mit der Umgebung eines Fahrzeugs zusammenhängt. Basierend auf der Analyse kann das System 100 (z.B. über die Verarbeitungseinheit 110) eine oder mehrere Navigationsreaktionen im Fahrzeug 200 auslösen, wie z.B. eine Kurve, eine Fahrspurverschiebung, eine Änderung der Beschleunigung und ähnliches, wie unten im Zusammenhang mit der Bestimmung einer Navigationsreaktion besprochen.
In einer Ausführungsform kann das Stereobildanalyse-Modul 404 Befehle (wie z.B. Computer Vision Software) speichern, die, wenn sie von der Verarbeitungseinheit 110 ausgeführt werden, eine Stereobildanalyse erster und zweiter Bildsätze durchführen, die durch eine Kombination von Bilderfassungsvorrichtungen erfasst werden, die aus jeder der Bilderfassungsvorrichtungen 122, 124 und 126 ausgewählt werden. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 Informationen aus dem ersten und zweiten Satz von Bildern mit zusätzlichen sensorischen Informationen (z.B. Informationen vom Radar) kombinieren, um die Stereobildanalyse durchzuführen. Beispielsweise kann das Stereobildanalyse-Modul 404 Befehle zur Durchführung der Stereobildanalyse basierend auf einem ersten Satz von Bildern, die von der Bilderfassungsvorrichtung 124 erfasst wurden, und einem zweiten Satz von Bildern, die von der Bilderfassungsvorrichtung 126 erfasst wurden, beinhalten. Wie im Zusammenhang mit 6 unten beschrieben, kann das Stereobildanalyse-Modul 404 Befehle zur Erkennung einer Reihe von Merkmalen innerhalb des ersten und zweiten Bildsatzes beinhalten, wie z.B. Fahrspuren, Fahrzeuge, Fußgänger, Straßenschilder, Autobahnausfahrten, Ampeln, gefährliche Objekte und dergleichen. Basierend auf der Analyse kann die Verarbeitungseinheit 110 eine oder mehrere Navigationsreaktionen im Fahrzeug 200 auslösen, wie z.B. ein Abbiegen, eine Fahrspurverschiebung, eine Änderung der Beschleunigung und ähnliches, wie unten im Zusammenhang mit dem Navigationsreaktions-Modul 408 diskutiert. Darüber hinaus kann die Stereobildanalyse-Modul 404 in einigen Ausführungsformen Techniken implementieren, die mit einem trainierten System (wie z.B. einem neuronalen Netz oder einem tiefen neuronalen Netz) oder einem untrainierten System verbunden sind.
In einer Ausführungsform kann das Geschwindigkeits- und Beschleunigungs-Modul 406 Software speichern, die so konfiguriert ist, dass sie Daten analysiert, die von einem oder mehreren Rechen- und elektromechanischen Geräten in Fahrzeug 200 empfangen werden, die so konfiguriert sind, dass sie eine Änderung der Geschwindigkeit und/oder Beschleunigung von Fahrzeug 200 auslösen. Beispielsweise kann die Verarbeitungseinheit 110 Befehle im Zusammenhang mit dem Geschwindigkeits- und Beschleunigungs-Modul 406 ausführen, um eine Zielgeschwindigkeit für Fahrzeug 200 basierend auf Daten zu berechnen, die von der Ausführung des monokularen Bildanalyse-Moduls 402 und/oder des Stereobildanalyse-Moduls 404 abgeleitet wurden. Solche Daten können z.B. eine Zielposition, -geschwindigkeit und/oder -beschleunigung, die Position und/oder Geschwindigkeit von Fahrzeug 200 relativ zu einem nahegelegenen Fahrzeug, Fußgänger oder Straßenobjekt, Positionsinformationen für Fahrzeug 200 relativ zu Fahrspurmarkierungen der Straße und ähnliches beinhalten. Zusätzlich kann die Verarbeitungseinheit 110 eine Zielgeschwindigkeit für Fahrzeug 200 basierend auf sensorischen Eingaben (z.B. Informationen vom Radar) und Eingaben von anderen Systemen von Fahrzeug 200, wie z.B. Drosselsystem 220, Bremssystem 230 und/oder Lenksystem 240 von Fahrzeug 200, berechnen. Basierend auf der berechneten Zielgeschwindigkeit kann die Verarbeitungseinheit 110 elektronische Signale an das Drosselsystem 220, das Bremssystem 230 und/oder das Lenksystem 240 des Fahrzeugs 200 übertragen, um eine Änderung der Geschwindigkeit und/oder Beschleunigung auszulösen, indem z.B. die Bremse physisch niedergedrückt oder das Gaspedal des Fahrzeugs 200 nachgelassen wird.
In einer Ausführungsform kann das Navigationsreaktions-Modul 408 Software speichern, die von der Verarbeitungseinheit 110 ausführbar ist, um eine gewünschte Navigationsreaktion basierend auf Daten zu bestimmen, die von der Ausführung des monokularen Bildanalyse-Modul 402 und/oder des Stereobildanalyse-Moduls 404 abgeleitet sind. Solche Daten können Positions- und Geschwindigkeitsinformationen beinhalten, die mit nahegelegenen Fahrzeugen, Fußgängern und Straßenobjekten, Zielpositionsinformationen für Fahrzeug 200 und dergleichen in Verbindung stehen. Zusätzlich kann in einigen Ausführungsformen die Navigationsreaktion (teilweise oder vollständig) auf Kartendaten, einer vorbestimmten Position von Fahrzeug 200 und/oder einer Relativgeschwindigkeit oder einer Relativbeschleunigung zwischen Fahrzeug 200 und einem oder mehreren Objekten basieren, die bei der Ausführung von monokularem Bildanalyse-Modul 402 und/oder Stereobildanalyse-Modul 404 erfasst wurden. Das Navigationsreaktions-Modul 408 kann auch eine gewünschte Navigationsreaktion bestimmen, basierend auf sensorischen Eingaben (z.B. Informationen vom Radar) und Eingaben von anderen Systemen des Fahrzeugs 200, wie z.B. Drosselsystem 220, Bremssystem 230 und Lenksystem 240 des Fahrzeugs 200. Basierend auf der gewünschten Navigationsreaktion kann die Verarbeitungseinheit 110 elektronische Signale an das Drosselsystem 220, das Bremssystem 230 und das Lenksystem 240 von Fahrzeug 200 übertragen, um eine gewünschte Navigationsreaktion auszulösen, indem beispielsweise das Lenkrad von Fahrzeug 200 gedreht wird, um eine Drehung um einen vorbestimmten Winkel zu erreichen. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 die Ausgabe des Navigationsreaktions-Moduls 408 (z.B. die gewünschte Navigationsreaktion) als Eingabe für die Ausführung des Geschwindigkeits- und Beschleunigungs-Moduls 406 zur Berechnung einer Geschwindigkeitsänderung des Fahrzeugs 200 verwenden.
Darüber hinaus kann jedes der hier offenbarten Module (z.B. die Module 402, 404 und 406) Techniken implementieren, die mit einem trainierten System (z.B. einem neuronalen Netz oder einem tiefen neuronalen Netz) oder einem untrainierten System assoziiert sind.
5A ist ein Flussdiagramm, das einen beispielhaften Prozess 500A für das Auslösen einer oder mehrerer Navigationsreaktionen basierend auf monokularer Bildanalyse zeigt, konsistent mit offenbarten Ausführungsformen. In Schritt 510 kann die Verarbeitungseinheit 110 eine Vielzahl von Bildern über die Datenschnittstelle 128 zwischen der Verarbeitungseinheit 110 und der Bildaufnahmeeinheit 120 empfangen. Zum Beispiel kann eine in der Bildaufnahmeeinheit 120 enthaltene Kamera (wie z.B. eine Bilderfassungsvorrichtung 122 mit einem Sichtfeld 202) eine Vielzahl von Bildern eines Bereichs vor dem Fahrzeug 200 (oder z.B. zu den Seiten oder dem Heck eines Fahrzeugs) erfassen und sie über eine Datenverbindung (z.B. digital, drahtgebunden, USB, drahtlos, Bluetooth usw.) an die Verarbeitungseinheit 110 übertragen. Die Verarbeitungseinheit 110 kann das monokulare Bildanalyse-Modul 402 ausführen, um die Vielzahl der Bilder in Schritt 520 zu analysieren, wie im Zusammenhang mit den nachstehenden 5B-5D näher beschrieben. Durch die Durchführung der Analyse kann die Verarbeitungseinheit 110 eine Reihe von Merkmalen innerhalb des Bildsatzes erkennen, wie Fahrspurmarkierungen, Fahrzeuge, Fußgänger, Straßenschilder, Autobahnausfahrten, Ampeln und dergleichen.
Die Verarbeitungseinheit 110 kann auch das monokulare Bildanalyse-Modul 402 ausführen, um in Schritt 520 verschiedene Gefahren im Straßenverkehr zu erkennen, wie z.B. Teile eines Lkw-Reifens, umgestürzte Verkehrszeichen, lose Ladung, Kleintiere und ähnliches. Straßengefährdungen können in Struktur, Form, Größe und Farbe variieren, was die Erkennung solcher Gefahren erschweren kann. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 das monokulare Bildanalyse-Modul 402 ausführen, um eine Multi-Frame-Analyse der Vielzahl von Bildern zur Erkennung von Straßengefährdungen durchzuführen. Beispielsweise kann die Verarbeitungseinheit 110 die Kamerabewegung zwischen aufeinanderfolgenden Einzelbildern schätzen und die Pixelabweichungen zwischen den Einzelbildern berechnen, um eine 3D-Karte der Straße zu erstellen. Die Verarbeitungseinheit 110 kann dann die 3D-Karte verwenden, um die Straßenoberfläche sowie die über der Straßenoberfläche vorhandenen Gefahren zu erkennen.
In Schritt 530 kann die Verarbeitungseinheit 110 das Navigationsreaktions-Modul 408 ausführen, um eine oder mehrere Navigationsreaktionen im Fahrzeug 200 zu bewirken, basierend auf der in Schritt 520 durchgeführten Analyse und den oben in Verbindung mit 4 beschriebenen Techniken. Die Navigationsreaktionen können z.B. eine Kurve, eine Fahrspurverschiebung, eine Änderung der Beschleunigung und ähnliches beinhalten. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 Daten verwenden, die aus der Ausführung des Geschwindigkeits- und Beschleunigungs-Moduls 406 abgeleitet wurden, um die eine oder mehrere Navigationsreaktionen zu bewirken. Zusätzlich können mehrere Navigationsreaktionen gleichzeitig, nacheinander oder in einer beliebigen Kombination davon auftreten. Beispielsweise kann die Verarbeitungseinheit 110 das Fahrzeug 200 veranlassen, eine Fahrspur zu wechseln und dann zu beschleunigen, indem sie z.B. sequentiell Steuersignale an das Lenksystem 240 und das Drosselsystem 220 des Fahrzeugs 200 überträgt. Alternativ kann die Verarbeitungseinheit 110 das Fahrzeug 200 zum Bremsen veranlassen, während es gleichzeitig die Fahrspur wechselt, indem sie z.B. gleichzeitig Steuersignale an das Bremssystem 230 und das Lenksystem 240 des Fahrzeugs 200 überträgt.
5B ist ein Flussdiagramm, das einen beispielhaften Prozess 500B zur Erkennung eines oder mehrerer Fahrzeuge und/oder Fußgänger in einem Satz von Bildern zeigt, der mit offenbarten Ausführungsformen konsistent ist. Die Verarbeitungseinheit 110 kann das monokulare Bildanalyse-Modul 402 ausführen, um den Prozess 500B zu implementieren. In Schritt 540 kann die Verarbeitungseinheit 110 einen Satz von Kandidatenobjekten bestimmen, die mögliche Fahrzeuge und/oder Fußgänger repräsentieren. Beispielsweise kann die Verarbeitungseinheit 110 ein oder mehrere Bilder scannen, die Bilder mit einem oder mehreren vorgegebenen Mustern vergleichen und innerhalb jedes Bildes mögliche Stellen identifizieren, die Objekte von Interesse enthalten können (z.B. Fahrzeuge, Fußgänger oder die Abschnitte davon). Die vorgegebenen Muster können so gestaltet sein, dass eine hohe Rate von „falschen Treffern“ und eine niedrige Rate von „Fehlstellen‟ (misses) erreicht wird. Zum Beispiel kann die Verarbeitungseinheit 110 eine niedrige Ähnlichkeitsschwelle mit vorgegebenen Mustern verwenden, um Kandidatenobjekte als mögliche Fahrzeuge oder Fußgänger zu identifizieren. Auf diese Weise kann die Verarbeitungseinheit 110 die Wahrscheinlichkeit verringern, dass ein in Frage kommendes Objekt, das ein Fahrzeug oder einen Fußgänger darstellt, verpasst, d.h. nicht identifiziert, wird.
In Schritt 542 kann die Verarbeitungseinheit 110 die Menge der Kandidatenobjekte filtern, um bestimmte Kandidaten (z. B. irrelevante oder weniger relevante Objekte) basierend auf Klassifizierungskriterien auszuschließen. Solche Kriterien können aus verschiedenen Eigenschaften abgeleitet werden, die mit Objektarten assoziiert sind, die in einer Datenbank gespeichert sind (z.B. einer im Speicher 140 gespeicherten Datenbank). Eigenschaften können Objektform, Abmessungen, Textur, Position (z.B. relativ zum Fahrzeug 200) und ähnliches beinhalten. So kann die Verarbeitungseinheit 110 einen oder mehrere Sätze von Kriterien verwenden, um falsche Kandidaten aus dem Satz von Kandidatenobjekten zurückzuweisen.
In Schritt 544 kann die Verarbeitungseinheit 110 mehrere Einzelbilder analysieren, um zu bestimmen, ob die Objekte in der Menge der in Frage kommenden Kandidatenobjekten Fahrzeuge und/oder Fußgänger darstellen. Beispielsweise kann die Verarbeitungseinheit 110 ein detektiertes Kandidatenobjekt über aufeinanderfolgende Frames verfolgen und Frame-by-Frame-Daten akkumulieren, die mit dem detektierten Objekt assoziiert sind (z.B. Größe, Position relativ zum Fahrzeug 200 usw.). Darüber hinaus kann die Verarbeitungseinheit 110 Parameter für das erkannte Objekt schätzen und die Positionsdaten des Objekts Frame-by-Frame mit einer vorhergesagten Position vergleichen.
In Schritt 546 kann die Verarbeitungseinheit 110 einen Satz von Messungen für die erkannten Objekte konstruieren. Solche Messungen können z.B. Positions-, Geschwindigkeits- und Beschleunigungswerte (relativ zum Fahrzeug 200) beinhalten, die mit den erfassten Objekten assoziiert sind. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 die Messungen basierend auf Schätzverfahren konstruieren, bei denen eine Reihe von zeitbasierten Beobachtungen wie Kalman-Filter oder lineare quadratische Schätzung (LQE) verwendet werden, und/oder basierend auf verfügbaren Modellierungsdaten für verschiedene Objektarten (z.B. Autos, Lastwagen, Fußgänger, Fahrräder, Verkehrszeichen usw.). Die Kalman-Filter können auf einer Messung der Skala eines Objekts basieren, wobei die Skalenmessung proportional zu einer Zeit bis zur Kollision ist (z.B. die Zeit, die das Fahrzeug 200 benötigt, um das Objekt zu erreichen). So kann die Verarbeitungseinheit 110 durch Ausführen der Schritte 540-546 Fahrzeuge und Fußgänger identifizieren, die in der Menge der erfassten Bilder erscheinen, und Informationen (z.B. Position, Geschwindigkeit, Größe) ableiten, die mit den Fahrzeugen und Fußgängern assoziiert sind. Basierend auf der Identifizierung und den abgeleiteten Informationen kann die Verarbeitungseinheit 110 eine oder mehrere Navigationsreaktionen im Fahrzeug 200 auslösen, wie in Verbindung mit 5A oben beschrieben.
In Schritt 548 kann die Verarbeitungseinheit 110 eine optische Flussanalyse eines oder mehrerer Bilder durchführen, um die Wahrscheinlichkeit zu verringern, dass ein „falscher Treffer“ erkannt wird und ein Kandidatenobjekt, das ein Fahrzeug oder einen Fußgänger darstellt, übersehen wird. Die optische Flussanalyse kann sich z.B. auf die Analyse von Bewegungsmustern relativ zum Fahrzeug 200 in einem oder mehreren Bildern beziehen, die mit anderen Fahrzeugen und Fußgängern assoziiert sind und die sich von der Bewegung der Straßenoberfläche unterscheiden. Die Verarbeitungseinheit 110 kann die Bewegung von Kandidatenobjekten berechnen, indem sie die verschiedenen Positionen der Objekte über mehrere Einzelbilder hinweg beobachtet, die zu unterschiedlichen Zeiten aufgenommen wurden. Die Verarbeitungseinheit 110 kann die Positions- und Zeitwerte als Eingaben in mathematische Modelle zur Berechnung der Bewegung der Kandidatenobjekte verwenden. Somit kann die optische Flussanalyse ein weiteres Verfahren zur Erkennung von Fahrzeugen und Fußgängern bereitstellen, die sich in der Nähe von Fahrzeug 200 befinden. Die Verarbeitungseinheit 110 kann die optische Flussanalyse in Kombination mit den Schritten 540-546 durchführen, um Redundanz für die Erkennung von Fahrzeugen und Fußgängern bereitzustellen und die Zuverlässigkeit von System 100 zu erhöhen.
5C ist ein Flussdiagramm, das ein beispielhaftes Verfahren 500C zur Erkennung von Fahrbahnmarkierungen und/oder Fahrspurgeometrieinformationen in einem Satz von Bildern zeigt, die mit offenbarten Ausführungsformen konsistent sind. Die Verarbeitungseinheit 110 kann das monokulare Bildanalyse-Modul 402 ausführen, um den Prozess 500C zu implementieren. In Schritt 550 kann die Verarbeitungseinheit 110 einen Satz von Objekten durch Scannen eines oder mehrerer Bilder erkennen. Um Segmente von Fahrspurmarkierungen, Fahrspurgeometrieinformationen und andere relevante Fahrspuren zu erkennen, kann die Verarbeitungseinheit 110 den Satz von Objekten filtern, um diejenigen auszuschließen, die als irrelevant bestimmt wurden (z. B. kleinere Schlaglöcher, kleine Felsen usw.). In Schritt 552 kann die Verarbeitungseinheit 110 die in Schritt 550 erkannten Segmente zusammenfassen, die zu derselben Fahrspur oder Fahrbahnmarkierung gehören. Basierend auf der Gruppierung kann die Verarbeitungseinheit 110 ein Modell zur Darstellung der erkannten Segmente entwickeln, z.B. ein mathematisches Modell.
In Schritt 554 kann die Verarbeitungseinheit 110 eine Reihe von Messungen konstruieren, die mit den erkannten Segmenten assoziiert sind. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 eine Projektion der detektierten Segmente von der Bildebene auf die Ebene der realen Welt erzeugen. Die Projektion kann unter Verwendung eines Polynoms 3. Grades mit Koeffizienten charakterisiert werden, die den physikalischen Eigenschaften wie Position, Steigung, Krümmung und Krümmungsableitung der erkannten Straße entsprechen. Bei der Erzeugung der Projektion kann die Verarbeitungseinheit 110 Änderungen in der Straßenoberfläche sowie die mit dem Fahrzeug 200 assoziierten Neigungs- und Rollgeschwindigkeiten berücksichtigen. Darüber hinaus kann die Verarbeitungseinheit 110 die Straßenhöhe modellieren, indem sie die auf der Straßenoberfläche vorhandenen Positions- und Bewegungssignale analysiert. Ferner kann die Verarbeitungseinheit 110 die mit Fahrzeug 200 assoziierten Neigungs- und Rollgeschwindigkeiten abschätzen, indem sie eine Reihe von Merkmalspunkten in einem oder mehreren Bildern verfolgt.
In Schritt 556 kann die Verarbeitungseinheit 110 eine Multi-Frame-Analyse durchführen, indem sie beispielsweise die erkannten Segmente über aufeinander folgende Einzelbilder verfolgt und Frame-by-Frame-Daten akkumuliert, die den erkannten Segmenten zugeordnet sind. Da die Verarbeitungseinheit 110 eine Multi-Frame-Analyse durchführt, kann der in Schritt 554 konstruierte Messsatz zuverlässiger werden und mit einem zunehmend höheren Konfidenzniveau assoziiert werden. So kann die Verarbeitungseinheit 110 durch Ausführen der Schritte 550-556 Straßenmarkierungen identifizieren, die innerhalb des Satzes der erfassten Bilder erscheinen, und Informationen zur Fahrspurgeometrie ableiten. Basierend auf der Identifizierung und den abgeleiteten Informationen kann die Verarbeitungseinheit 110 eine oder mehrere Navigationsreaktionen im Fahrzeug 200 hervorrufen, wie in Verbindung mit 5A oben beschrieben.
In Schritt 558 kann die Verarbeitungseinheit 110 zusätzliche Informationsquellen in Betracht ziehen, um ein Sicherheitsmodell für Fahrzeug 200 im Kontext seiner Umgebung weiterzuentwickeln. Die Verarbeitungseinheit 110 kann das Sicherheitsmodell verwenden, um einen Kontext zu definieren, in dem das System 100 die autonome Steuerung von Fahrzeug 200 auf sichere Weise ausführen kann. Zur Entwicklung des Sicherheitsmodells kann die Verarbeitungseinheit 110 in einigen Ausführungsformen die Position und Bewegung anderer Fahrzeuge, die erkannten Straßenränder und Hindernisse und/oder allgemeine Beschreibungen der Straßenform, die aus Kartendaten extrahiert wurden (z.B. Daten aus der Kartendatenbank 160), berücksichtigen. Durch die Berücksichtigung zusätzlicher Informationsquellen kann die Verarbeitungseinheit 110 Redundanz für die Erkennung von Straßenmarkierungen und Fahrspurengeometrie bereitstellen und die Zuverlässigkeit von System 100 erhöhen.
5D ist ein Flussdiagramm, das einen beispielhaften Prozess 500D zur Erkennung von Ampeln in einer Reihe von Bildern zeigt, konsistent mit offenbarten Ausführungsformen. Die Verarbeitungseinheit 110 kann das monokulare Bildanalyse-Modul 402 ausführen, um den Prozess 500D zu implementieren. In Schritt 560 kann die Verarbeitungseinheit 110 den Satz von Bildern scannen und Objekte identifizieren, die an Stellen in den Bildern erscheinen, die wahrscheinlich Ampeln enthalten. Beispielsweise kann die Verarbeitungseinheit 110 die identifizierten Objekte filtern, um einen Satz von Kandidatenobjekten zu konstruieren, wobei diejenigen Objekte ausgeschlossen werden, die wahrscheinlich nicht mit Ampeln übereinstimmen. Die Filterung kann basierend auf verschiedenen Eigenschaften erfolgen, die mit Ampeln assoziiert sind, wie z.B. Form, Abmessungen, Textur, Position (z.B. relativ zum Fahrzeug 200) und ähnliches. Solche Eigenschaften können auf mehreren Beispielen von Ampeln und Verkehrssteuerungssignalen basieren und in einer Datenbank gespeichert werden. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 eine Multi-Frame-Analyse der Menge von Kandidatenobjekten durchführen, die mögliche Ampeln widerspiegeln. Beispielsweise kann die Verarbeitungseinheit 110 die Kandidatenobjekte über aufeinander folgende Einzelbilder verfolgen, die Position der Kandidatenobjekte in der realen Welt schätzen und die Objekte herausfiltern, die sich bewegen (bei denen es sich wahrscheinlich nicht um Ampeln handelt). In einigen Ausführungsformen führt die Verarbeitungseinheit 110 möglicherweise eine Farbanalyse der Kandidatenobjekte durch und identifiziert die relative Position der erkannten Farben, die innerhalb möglicher Ampeln erscheinen.
In Schritt 562 kann die Verarbeitungseinheit 110 die Geometrie einer Kreuzung analysieren. Die Analyse kann auf einer beliebigen Kombination von Faktoren basieren: (i) der Anzahl der Fahrspuren auf beiden Seiten des Fahrzeugs 200, (ii) auf der Straße erkannten Markierungen (z.B. Pfeilmarkierungen) und (iii) Beschreibungen der Kreuzung, die aus Kartendaten extrahiert wurden (z.B. Daten aus der Kartendatenbank 160). Die Verarbeitungseinheit 110 kann die Analyse unter Verwendung von Informationen durchführen, die aus der Ausführung des monokularen Bildanalyse-Moduls 402 stammen. Darüber hinaus kann die Verarbeitungseinheit 110 eine Korrespondenz zwischen den in Schritt 560 erfassten Ampeln und den Fahrspuren bestimmen, die in der Nähe des Fahrzeugs 200 erscheinen.
Wenn sich Fahrzeug 200 der Kreuzung nähert, kann die Verarbeitungseinheit 110 in Schritt 564 das mit der analysierten Kreuzungsgeometrie und den erkannten Ampeln assoziierte Konfidenzniveau aktualisieren. Beispielsweise kann die geschätzte Anzahl der Ampeln, die an der Kreuzung erscheinen, im Vergleich zu der tatsächlich an der Kreuzung auftretenden Anzahl das Konfidenzniveau beeinflussen. Basierend auf dem Konfidenzniveau kann die Verarbeitungseinheit 110 also die Kontrolle an den Fahrer von Fahrzeug 200 delegieren, um die Sicherheitsbedingungen zu verbessern. Durch Ausführen der Schritte 560-564 kann die Verarbeitungseinheit 110 Ampeln identifizieren, die innerhalb des Satzes der erfassten Bilder erscheinen, und Informationen zur Geometrie der Kreuzung analysieren. Basierend auf der Identifizierung und der Analyse kann die Verarbeitungseinheit 110 eine oder mehrere Navigationsreaktionen im Fahrzeug 200 hervorrufen, wie in Verbindung mit 5A oben beschrieben.
5E ist ein Flussdiagramm, das einen beispielhaften Prozess 500E zur Erzeugung einer oder mehrerer Navigationsreaktionen im Fahrzeug 200 basierend auf einem Fahrzeugweg zeigt, der mit den offenbarten Ausführungsformen konsistent ist. In Schritt 570 kann die Verarbeitungseinheit 110 einen anfänglichen Fahrzeugweg konstruieren, der mit Fahrzeug 200 assoziiert ist. Der Fahrzeugweg kann unter Verwendung einer in Koordinaten (x, z) ausgedrückten Punktmenge dargestellt werden, und die Distanz d_i zwischen zwei Punkten in der Punktmenge kann im Bereich von 1 bis 5 Metern liegen. In einer Ausführungsform kann die Verarbeitungseinheit 110 den anfänglichen Fahrzeugweg unter Verwendung von zwei Polynomen, wie z.B. linkes und rechtes Straßenpolynom, konstruieren. Die Verarbeitungseinheit 110 kann den geometrischen Mittelpunkt zwischen den beiden Polynomen berechnen und jeden Punkt, der in dem resultierenden Fahrzeugweg enthalten ist, um eine vorbestimmte Korrespondenz (z.B. eine intelligente Fahrspurverschiebung), falls vorhanden, verschieben (eine Verschiebung von Null kann der Fahrt in der Mitte einer Fahrspur entsprechen). Der Versatz kann in einer Richtung senkrecht zu einem Segment zwischen zwei beliebigen Punkten auf dem Fahrzeugweg erfolgen. In einer anderen Ausführungsform kann die Verarbeitungseinheit 110 ein Polynom und eine geschätzte Fahrspurbreite verwenden, um jeden Punkt des Fahrzeugweges um die Hälfte der geschätzten Fahrspurbreite plus eine vorbestimmte Verschiebung (z.B. eine intelligente Fahrspurverschiebung) zu versetzen.
In Schritt 572 kann die Verarbeitungseinheit 110 den in Schritt 570 konstruierten Fahrzeugweg aktualisieren. Die Verarbeitungseinheit 110 kann den in Schritt 570 konstruierten Fahrzeugweg mit einer höheren Auflösung rekonstruieren, so dass der Abstand d_k zwischen zwei Punkten in der den Fahrzeugweg darstellenden Punktmenge kleiner als die oben beschriebene Distanz di ist. Zum Beispiel kann die Distanz d_k in den Bereich von 0,1 bis 0,3 Meter fallen. Die Verarbeitungseinheit 110 kann den Fahrzeugweg mit Hilfe eines Parabolic-Spline-Algorithmus rekonstruieren, der einen kumulativen Abstandsvektor S entsprechend der Gesamtlänge des Fahrzeugwegs (d.h. basierend auf der den Fahrzeugweg repräsentierenden Punktmenge) ergeben kann.
In Schritt 574 kann die Verarbeitungseinheit 110 einen Vorausschau-Punkt (ausgedrückt in Koordinaten als (x_l, z_l)) basierend auf dem in Schritt 572 konstruierten aktualisierten Fahrzeugweg bestimmen. Die Verarbeitungseinheit 110 kann den Vorausschau-Punkt aus dem kumulativen Distanzvektor S extrahieren, und der Vorausschau-Punkt kann mit einer Vorausschau-Distanz und einer Vorausschau-Zeit assoziiert werden. Die Vorausschau-Distanz, die eine Untergrenze von 10 bis 20 Metern haben kann, kann als Produkt aus der Geschwindigkeit des Fahrzeugs 200 und der Vorausschau-Zeit berechnet werden. Wenn zum Beispiel die Geschwindigkeit des Fahrzeugs 200 abnimmt, kann auch die vorausschauende Distanz abnehmen (z.B. bis sie die untere Grenze erreicht). Die Vorausschauzeit, die zwischen 0,5 und 1,5 Sekunden liegen kann, kann umgekehrt proportional zur Verstärkung eines oder mehrerer Regelkreise sein, die mit der Verursachung einer Navigationsreaktion im Fahrzeug 200 assoziiert sind, wie z.B. der Steuerkursfehler-Verfolgungsregelkreis. Zum Beispiel kann die Verstärkung des Steuerkursfehler-Verfolgungsregelkreises von der Bandbreite eines Gierratenregelkreises, eines Lenkaktuatorregelkreises, der Fahrzeugquerdynamik und ähnlichem abhängen. Je höher also die Verstärkung des Steuerkursfehler-Verfolgungsregelkreises ist, desto geringer ist die Vorausschauzeit.
In Schritt 576 kann die Verarbeitungseinheit 110 einen Kursfehler und einen Gierratenbefehl basierend auf dem in Schritt 574 bestimmten Vorausschau-Punkt bestimmen. Die Verarbeitungseinheit 110 kann den Steuerkursfehler bestimmen, indem sie den Arkustangens des Vorausschau-Punktes berechnet, z.B. arctan (x_l/z_l). Die Verarbeitungseinheit 110 kann den Giergeschwindigkeitsbefehl als das Produkt aus dem Kursfehler und einer hohen Regelverstärkung bestimmen. Die hochpegelige Regelverstärkung kann gleich sein: (2 / Vorausschauzeit), wenn die Vorausschau-Distanz nicht an der unteren Grenze liegt. Andernfalls kann die Regelverstärkung auf hoher Ebene gleich sein: (2 * Geschwindigkeit des Fahrzeugs 200 / Vorausschau-Distanz).
5F ist ein Flussdiagramm, das einen beispielhaften Prozess 500F zur Bestimmung, ob ein führendes Fahrzeug die Fahrspur wechselt, in Übereinstimmung mit den offenbarten Ausführungsformen zeigt. In Schritt 580 kann die Verarbeitungseinheit 110 Navigationsinformationen bestimmen, die mit einem führenden Fahrzeug assoziiert sind (z.B. ein Fahrzeug, das vor Fahrzeug 200 fährt). Zum Beispiel kann die Verarbeitungseinheit 110 die Position, die Geschwindigkeit (z.B. Richtung und Geschwindigkeit) und/oder die Beschleunigung des führenden Fahrzeugs bestimmen, indem sie die im Zusammenhang mit den obigen 5A und 5B beschriebenen Techniken anwendet. Die Verarbeitungseinheit 110 kann auch ein oder mehrere Straßenpolynome, einen Vorausschau-Punkt (assoziiert mit Fahrzeug 200) und/oder eine Schneckenspur (z.B. eine Reihe von Punkten, die einen vom führenden Fahrzeug zurückgelegten Weg beschreiben) bestimmen, indem sie die oben in Verbindung mit 5E beschriebenen Techniken anwendet.
In Schritt 582 kann die Verarbeitungseinheit 110 die in Schritt 580 bestimmten Navigationsinformationen analysieren. In einer Ausführungsform kann die Verarbeitungseinheit 110 die Distanz zwischen einer Schneckenspur und einem Straßenpolynom (z.B. entlang der Spur) berechnen. Wenn die Varianz dieser Distanz entlang der Spur einen vorgegebenen Schwellenwert überschreitet (z.B. 0,1 bis 0,2 Meter auf einer geraden Straße, 0,3 bis 0,4 Meter auf einer mäßig gekrümmten Straße und 0,5 bis 0,6 Meter auf einer Straße mit scharfen Kurven), kann die Verarbeitungseinheit 110 bestimmen, dass das führende Fahrzeug wahrscheinlich die Fahrspur wechselt. In dem Fall, dass mehrere Fahrzeuge erkannt werden, die vor dem Fahrzeug 200 fahren, kann die Verarbeitungseinheit 110 die jedem Fahrzeug zugeordneten Schneckenspuren vergleichen. Basierend auf dem Vergleich kann die Verarbeitungseinheit 110 bestimmen, dass ein Fahrzeug, dessen Schneckenspur nicht mit den Schneckenspuren der anderen Fahrzeuge übereinstimmt, wahrscheinlich die Fahrspur wechselt. Die Verarbeitungseinheit 110 kann zusätzlich die Krümmung der Schneckenspur (assoziiert mit dem führenden Fahrzeug) mit der erwarteten Krümmung des Straßenabschnitts vergleichen, in dem das führende Fahrzeug fährt. Die erwartete Krümmung kann aus Kartendaten (z.B. Daten aus der Kartendatenbank 160), aus Straßenpolynomen, aus den Schneckenspuren anderer Fahrzeuge, aus dem Vorwissen über die Straße und ähnlichem extrahiert werden. Wenn der Unterschied zwischen der Krümmung der Schneckenspur und der erwarteten Krümmung des Straßensegments einen vorgegebenen Schwellenwert überschreitet, kann die Verarbeitungseinheit 110 bestimmen, dass das führende Fahrzeug wahrscheinlich die Fahrspur wechselt.
In einer anderen Ausführungsform kann die Verarbeitungseinheit 110 die momentane Position des führenden Fahrzeugs mit dem Vorausschau-Punkt (assoziiert mit Fahrzeug 200) über einen bestimmten Zeitraum (z.B. 0,5 bis 1,5 Sekunden) vergleichen. Wenn der Abstand zwischen der momentanen Position des führenden Fahrzeugs und dem Vorausschau-Punkt während einer bestimmten Zeitspanne variiert und die kumulative Summe der Variation einen vorgegebenen Schwellenwert überschreitet (z.B. 0,3 bis 0,4 Meter auf einer geraden Straße, 0,7 bis 0,8 Meter auf einer mäßig kurvigen Straße und 1,3 bis 1,7 Meter auf einer Straße mit scharfen Kurven), kann die Verarbeitungseinheit 110 bestimmen, dass das führende Fahrzeug wahrscheinlich die Fahrspur wechselt. In einer anderen Ausführungsform kann die Verarbeitungseinheit 110 die Geometrie der Schneckenspur analysieren, indem sie die entlang der Spur zurückgelegte seitliche Distanz mit der erwarteten Krümmung der Schneckenspur vergleicht. Der erwartete Krümmungsradius kann entsprechend der Berechnung bestimmt werden: (δ_z ² + δ_x ²) / 2 / (δ_x), wobei δ_x die seitlich zurückgelegte Distanz und δ_z die in Längsrichtung zurückgelegte Distanz darstellt. Wenn die Differenz zwischen der zurückgelegten seitlichen Distanz und der erwarteten Krümmung einen vorgegebenen Schwellenwert überschreitet (z.B. 500 bis 700 Meter), kann die Verarbeitungseinheit 110 bestimmen, dass das führende Fahrzeug wahrscheinlich die Fahrspur wechselt. In einer anderen Ausführungsform kann die Verarbeitungseinheit 110 die Position des führenden Fahrzeugs analysieren. Wenn die Position des führenden Fahrzeugs ein Straßenpolynom verdeckt (z.B. wenn das führende Fahrzeug über dem Straßenpolynom liegt), kann die Verarbeitungseinheit 110 bestimmen, dass das führende Fahrzeug wahrscheinlich die Fahrspur wechselt. Für den Fall, dass die Position des führenden Fahrzeugs so ist, dass ein anderes Fahrzeug vor dem führenden Fahrzeug erkannt wird und die Schneckenspuren der beiden Fahrzeuge nicht parallel sind, kann die Verarbeitungseinheit 110 bestimmen, dass das (nähere) führende Fahrzeug wahrscheinlich die Fahrspur wechselt.
In Schritt 584 kann die Verarbeitungseinheit 110 basierend auf der in Schritt 582 durchgeführten Analyse bestimmen, ob das führende Fahrzeug 200 die Fahrspur wechselt oder nicht. Beispielsweise kann die Verarbeitungseinheit 110 die Bestimmung basierend auf einem gewichteten Durchschnitt der in Schritt 582 durchgeführten Einzelanalysen bestimmen. Nach einem solchen Schema kann beispielsweise einer Entscheidung der Verarbeitungseinheit 110, dass das führende Fahrzeug wahrscheinlich die Fahrspur wechselt, basierend auf einer bestimmten Art von Analyse, der Wert „1“ zugewiesen werden (und „0“, um eine Bestimmung darzustellen, dass das führende Fahrzeug wahrscheinlich nicht die Spur wechselt). Den verschiedenen in Schritt 582 durchgeführten Analysen können unterschiedliche Gewichte zugewiesen werden, und die offenbarten Ausführungsformen sind nicht auf eine bestimmte Kombination von Analysen und Gewichten beschränkt. Darüber hinaus kann die Analyse in einigen Ausführungsformen auf ein trainiertes System zurückgreifen (z.B. ein System für maschinelles Lernen oder tiefes Lernen), das z.B. auf der Grundlage eines am aktuellen Standort aufgenommenen Bildes einen zukünftigen Weg vor dem aktuellen Standort eines Fahrzeugs abschätzen kann.
6 ist ein Flussdiagramm, das einen beispielhaften Prozess 600 zur Erzeugung einer oder mehrerer Navigationsreaktionen basierend auf Stereo-Analyse zeigt, konsistent mit offenbarten Ausführungsformen. In Schritt 610 kann die Verarbeitungseinheit 110 eine erste und zweite Vielzahl von Bildern über die Datenschnittstelle 128 empfangen. Beispielsweise können die in der Bildaufnahmeeinheit 120 enthaltenen Kameras (wie die Bilderfassungsvorrichtungen 122 und 124 mit Sichtfeldern 202 und 204) eine erste und zweite Vielzahl von Bildern eines Bereichs vor dem Fahrzeug 200 erfassen und über eine digitale Verbindung (z.B. USB, drahtlos, Bluetooth usw.) an die Verarbeitungseinheit 110 übertragen. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 die erste und zweite Vielzahl von Bildern über zwei oder mehr Datenschnittstellen empfangen. Die offenbarten Ausführungsformen sind nicht auf bestimmte Datenschnittstellenkonfigurationen oder Protokolle beschränkt.
In Schritt 620 kann die Verarbeitungseinheit 110 das Stereobildanalyse-Modul 404 ausführen, um eine Stereobildanalyse der ersten und zweiten Vielzahl von Bildern durchzuführen, um eine 3D-Karte der Straße vor dem Fahrzeug zu erstellen und Merkmale innerhalb der Bilder zu erkennen, wie Fahrspuren, Fahrzeuge, Fußgänger, Straßenschilder, Autobahnausfahrten, Ampeln, Gefahrenquellen und Ähnliches. Die Stereobildanalyse kann in ähnlicher Weise durchgeführt werden wie die oben im Zusammenhang mit 5A-5D beschriebenen Schritte. Zum Beispiel kann die Verarbeitungseinheit 110 das Stereobildanalyse-Modul 404 ausführen, um Kandidatenobjekte (z.B. Fahrzeuge, Fußgänger, Straßenmarkierungen, Ampeln, Straßenhindernisse usw.) innerhalb der ersten und zweiten Vielzahl von Bildern zu erkennen, eine Teilmenge der Kandidatenobjekte basierend auf verschiedenen Kriterien herauszufiltern und eine Multi-Frame-Analyse durchzuführen, Messungen zu konstruieren und ein Konfidenzniveau für die verbleibenden Kandidatenobjekte zu bestimmen. Bei der Durchführung der obigen Schritte kann die Verarbeitungseinheit 110 Informationen sowohl aus der ersten als auch aus der zweiten Vielzahl von Bildern berücksichtigen, anstatt Informationen aus einem Satz von Bildern allein. Beispielsweise kann die Verarbeitungseinheit 110 die Unterschiede in den Daten auf Pixelebene (oder anderen Datenteilsätzen aus den beiden Strömen der erfassten Bilder) für ein Kandidatenobjekt analysieren, das sowohl in der ersten als auch in der zweiten Vielzahl von Bildern erscheint. Als weiteres Beispiel kann die Verarbeitungseinheit 110 eine Position und/oder Geschwindigkeit eines Kandidatenobjekts (z.B. relativ zu Fahrzeug 200) schätzen, indem sie beobachtet, dass das Objekt in einem der Vielzahl von Bildern erscheint, aber nicht in dem anderen oder relativ zu anderen Unterschieden, die relativ zu Objekten bestehen können, die in den beiden Bildströmen erscheinen. Beispielsweise können Position, Geschwindigkeit und/oder Beschleunigung relativ zu Fahrzeug 200 basierend auf Trajektorien, Positionen, Bewegungscharakteristiken usw. von Merkmalen bestimmt werden, die mit einem Objekt assoziiert sind, das in einem oder beiden Bildströmen erscheint.
In Schritt 630 kann die Verarbeitungseinheit 110 das Navigationsreaktions-Modul 408 ausführen, um eine oder mehrere Navigationsreaktionen im Fahrzeug 200 basierend auf der in Schritt 620 durchgeführten Analyse und den oben in Verbindung mit 4 beschriebenen Techniken zu bewirken. Navigationsreaktionen können z.B. ein Abbiegen, eine Fahrspurverschiebung, eine Änderung der Beschleunigung, eine Änderung der Geschwindigkeit, Bremsen und ähnliches beinhalten. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 Daten verwenden, die von der Ausführung des Geschwindigkeits- und Beschleunigungs-Moduls 406 abgeleitet wurden, um die ein oder mehreren Navigationsreaktionen zu bewirken. Außerdem können mehrere Navigationsreaktionen gleichzeitig, nacheinander oder in einer beliebigen Kombination davon auftreten.
7 ist ein Flussdiagramm, das einen beispielhaften Prozess 700 zur Verursachung einer oder mehrerer Navigationsreaktionen basierend auf einer Analyse von drei Bildsätzen zeigt, die mit offenbarten Ausführungsformen konsistent sind. In Schritt 710 kann die Verarbeitungseinheit 110 eine erste, zweite und dritte Vielzahl von Bildern über die Datenschnittstelle 128 empfangen. Beispielsweise können Kameras, die in der Bildaufnahmeeinheit 120 enthalten sind (wie die Bilderfassungsvorrichtungen 122, 124 und 126 mit Sichtfeldern 202, 204 und 206), eine erste, zweite und dritte Vielzahl von Bildern eines Bereichs vor und/oder seitlich des Fahrzeugs 200 erfassen und über eine digitale Verbindung (z.B. USB, drahtlos, Bluetooth usw.) an die Verarbeitungseinheit 110 übertragen. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 die erste, zweite und dritte Vielzahl von Bildern über drei oder mehr Datenschnittstellen empfangen. So kann z.B. jede der Bilderfassungsvorrichtungen 122, 124, 126 über eine assoziierte Datenschnittstelle verfügen, um Daten an die Verarbeitungseinheit 110 zu übermitteln. Die offenbarten Ausführungsformen sind nicht auf bestimmte Datenschnittstellenkonfigurationen oder Protokolle beschränkt.
In Schritt 720 kann die Verarbeitungseinheit 110 die erste, zweite und dritte Vielzahl von Bildern analysieren, um Merkmale innerhalb der Bilder zu erkennen, wie Fahrspurmarkierungen, Fahrzeuge, Fußgänger, Straßenschilder, Autobahnausfahrten, Ampeln, Gefahren im Straßenverkehr und ähnliches. Die Analyse kann in ähnlicher Weise wie die oben in Verbindung mit den 5A-5D und 6 beschriebenen Schritte durchgeführt werden. Zum Beispiel kann die Verarbeitungseinheit 110 eine monokulare Bildanalyse (z.B. durch Ausführung des monokularen Bildanalyse-Moduls 402 und basierend auf den in Verbindung mit den obigen 5A-5D beschriebenen Schritten) für jedes der ersten, zweiten und dritten Vielzahl von Bildern durchführen. Alternativ kann die Verarbeitungseinheit 110 eine Stereobildanalyse (z.B. über die Ausführung des Stereobildanalyse-Moduls 404 und basierend auf den Schritten, die in Verbindung mit 6, oben, beschrieben sind) an der ersten und zweiten Vielzahl von Bildern, der zweiten und dritten Vielzahl von Bildern und/oder der ersten und dritten Vielzahl von Bildern durchführen. Die verarbeiteten Informationen, die mit der Analyse der ersten, zweiten und/oder dritten Vielzahl von Bildern korrespondieren, können kombiniert werden. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 eine Kombination von monokularen und Stereobildanalysen durchführen. Beispielsweise kann die Verarbeitungseinheit 110 eine monokulare Bildanalyse (z.B. durch Ausführung des monokularen Bildanalyse-Moduls 402) für die erste Vielzahl von Bildern und eine Stereobildanalyse (z.B. durch Ausführung des Stereobildanalyse-Moduls 404) für die zweite und dritte Vielzahl von Bildern durchführen. Die Konfiguration der Bilderfassungsvorrichtungen 122, 124 und 126 - einschließlich ihrer jeweiligen Standorte und Sichtfelder 202, 204 und 206 - kann die Arten von Analysen beeinflussen, die an der ersten, zweiten und dritten Vielzahl von Bildern durchgeführt werden. Die offenbarten Ausführungsformen sind nicht auf eine bestimmte Konfiguration der Bilderfassungsvorrichtungen 122, 124 und 126 oder die Arten von Analysen, die an der ersten, zweiten und dritten Vielzahl von Bildern durchgeführt werden, beschränkt.
In einigen Ausführungsformen kann die Verarbeitungseinheit 110 Tests auf dem System 100 basierend auf den in den Schritten 710 und 720 erfassten und analysierten Bildern durchführen. Solche Tests können einen Indikator für die Gesamtleistung von System 100 für bestimmte Konfigurationen der Bilderfassungsvorrichtungen 122, 124 und 126 bereitstellen. Zum Beispiel kann die Verarbeitungseinheit 110 den Anteil der „falschen Treffer“ (z.B. Fälle, in denen System 100 die Anwesenheit eines Fahrzeugs oder Fußgängers falsch bestimmt hat) und der „Fehlstellen“ bestimmen.
In Schritt 730 kann die Verarbeitungseinheit 110 eine oder mehrere Navigationsreaktionen im Fahrzeug 200 basierend auf Informationen verursachen, die aus zweien der ersten, zweiten und dritten Vielzahl von Bildern abgeleitet wurden. Die Auswahl von zweien aus der ersten, zweiten und dritten Vielzahl von Bildern kann von verschiedenen Faktoren abhängen, wie z.B. von der Anzahl, Art und Größe der in jedem der Vielzahl von Bildern erkannten Objekte. Die Verarbeitungseinheit 110 kann die Auswahl auch auf der Grundlage der Bildqualität und Auflösung, des effektiven Sichtfeldes, das sich in den Bildern widerspiegelt, der Anzahl der aufgenommenen Einzelbilder, des Ausmaßes, in dem ein oder mehrere Objekte von Interesse tatsächlich in den Einzelbildern erscheinen (z.B. der Prozentsatz der Einzelbilder, in denen ein Objekt erscheint, der Anteil des Objekts, der in jedem dieser Einzelbilder erscheint, usw.), und ähnlichem treffen.
In einigen Ausführungsformen kann die Verarbeitungseinheit 110 Informationen auswählen, die von zweien der ersten, zweiten und dritten Vielzahl von Bildern abgeleitet sind, indem sie bestimmt, inwieweit Informationen, die von einer Bildquelle abgeleitet sind, mit Informationen, die von anderen Bildquellen abgeleitet sind, konsistent sind. Beispielsweise kann die Verarbeitungseinheit 110 die verarbeiteten Informationen kombinieren, die von jeder der Bilderfassungsvorrichtungen 122, 124 und 126 abgeleitet wurden (sei es durch monokulare Analyse, Stereo-Analyse oder eine Kombination aus beiden), und visuelle Indikatoren bestimmen (z.B. Fahrspurmarkierungen, ein erkanntes Fahrzeug und dessen Position und/oder Weg, eine erkannte Ampel usw.), die über die von jeder der Bilderfassungsvorrichtungen 122, 124 und 126 erfassten Bilder konsistent sind. Die Verarbeitungseinheit 110 kann auch Informationen ausschließen, die über die erfassten Bilder hinweg inkonsistent sind (z.B. ein Fahrzeug, das die Fahrspur wechselt, ein Fahrspurmodell, das ein Fahrzeug anzeigt, das zu nahe an Fahrzeug 200 heranfährt, usw.). So kann die Verarbeitungseinheit 110 Informationen, die aus zweien der ersten, zweiten und dritten Vielzahl von Bildern abgeleitet wurden, basierend auf der Bestimmung konsistenter und inkonsistenter Informationen auswählen.
Navigationsreaktionen können z.B. eine Kurve, eine Fahrspurverschiebung, eine Änderung der Beschleunigung und ähnliches beinhalten. Die Verarbeitungseinheit 110 kann die eine oder mehrere Navigationsreaktionen basierend auf der in Schritt 720 durchgeführten Analyse und den oben in Verbindung mit 4 beschriebenen Techniken verursachen. Die Verarbeitungseinheit 110 kann auch Daten verwenden, die von der Ausführung des Geschwindigkeits- und Beschleunigungs-Moduls 406 abgeleitet wurden, um die eine oder mehreren Navigationsreaktionen hervorzurufen. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 die eine oder mehrere Navigationsreaktionen basierend auf einer relativen Position, relativen Geschwindigkeit und/oder relativen Beschleunigung zwischen Fahrzeug 200 und einem Objekt, das in einem der ersten, zweiten und dritten Vielzahl von Bildern erfasst wurde, verursachen. Mehrere Navigationsreaktionen können gleichzeitig, nacheinander oder in einer beliebigen Kombination davon auftreten.
Reinforcement Learning und trainierte Navigationssysteme
In den folgenden Abschnitten wird das autonome Fahren zusammen mit Systemen und Verfahren zur Realisierung der autonomen Steuerung eines Fahrzeugs behandelt, unabhängig davon, ob diese Steuerung vollständig autonom (ein selbstfahrendes Fahrzeug) oder teilweise autonom (z. B. ein oder mehrere Fahrerassistenzsysteme oder -funktionen) erfolgt. Wie in 8 dargestellt, kann die Aufgabe des autonomen Fahrens in drei Hauptmodule unterteilt werden, einschließlich eines Erfassungsmoduls 801, eines Fahrstrategie-Moduls 803 und eines Steuermoduls 805. In einigen Ausführungsformen können die Module 801, 803 und 805 in der Speichereinheit 140 und/oder Speichereinheit 150 des Systems 100 gespeichert sein, oder die Module 801, 803 und 805 (oder die Abschnitte davon) können entfernt vom System 100 gespeichert werden (z.B. in einem Server, auf den das System 100 z.B. über den drahtlosen Transceiver 172 zugreifen kann). Darüber hinaus kann jedes der hier offenbarten Module (z.B. die Module 801, 803 und 805) Techniken implementieren, die mit einem trainierten System (z.B. einem neuronalen Netzwerk oder einem tiefen neuronalen Netzwerk) oder einem untrainierten System assoziiert sind.
Das Erfassungsmodul 801, das mit der Verarbeitungseinheit 110 implementiert werden kann, kann verschiedene Aufgaben im Zusammenhang mit der Erfassung eines Navigationszustands in der Umgebung eines Host-Fahrzeugs übernehmen. Solche Aufgaben können auf Eingaben von verschiedenen Sensoren und Sensorsystemen beruhen, die mit dem Host-Fahrzeug assoziiert sind. Diese Eingaben können Bilder oder Bildströme von einer oder mehreren Bordkameras, GPS-Positionsinformationen, Beschleunigungsmesserausgänge, Benutzerrückmeldungen oder Benutzereingaben in eine oder mehrere Benutzerschnittstellen, Radar, Lidar usw. beinhalten. Die Erfassung, die Daten von Kameras und/oder anderen verfügbaren Sensoren zusammen mit Karteninformationen beinhalten kann, kann gesammelt, analysiert und zu einem „erfassten Zustand“ formuliert werden, der Informationen beschreibt, die aus einer Szene in der Umgebung des Host-Fahrzeugs extrahiert wurden. Der erfasste Zustand kann Informationen über Zielfahrzeuge, Fahrspurmarkierungen, Fußgänger, Ampeln, Straßengeometrie, Fahrspurform, Hindernisse, Distanzen zu anderen Objekten/Fahrzeugen, Relativgeschwindigkeiten, Relativbeschleunigungen und andere potenzielle erfasste Informationen beinhalten. Ein überwachtes maschinelles Lernen kann implementiert werden, um eine Ausgabe des Erfassungszustands basierend auf den erfassten Daten zu erzeugen, die dem Erfassungsmodul 801 bereitgestellt werden. Die Ausgabe des Erfassungsmoduls kann einen erfassten Navigations-„Zustand“ des Host-Fahrzeugs darstellen, der an das Fahrstrategie-Modul 803 weitergeleitet werden kann.
Während ein erfasster Zustand basierend auf Bilddaten entwickelt werden kann, die von einer oder mehreren Kameras oder Bildsensoren empfangen werden, die mit einem Host-Fahrzeug assoziiert sind, kann ein erfasster Zustand für die Verwendung in der Navigation unter Verwendung jedes geeigneten Sensors oder jeder geeigneten Sensorkombination entwickelt werden. In einigen Ausführungsformen kann der erfasste Zustand ohne Rückgriff auf erfasste Bilddaten entwickelt werden. Tatsächlich kann jedes der hier beschriebenen Navigationsprinzipien sowohl auf erfasste Zustände anwendbar sein, die auf der Grundlage erfasster Bilddaten entwickelt wurden, als auch auf erfasste Zustände, die mit anderen, nicht bildbasierten Sensoren entwickelt wurden. Der erfasste Zustand kann auch durch Quellen außerhalb des Host-Fahrzeugs bestimmt werden. Beispielsweise kann ein erfasster Zustand ganz oder teilweise auf der Grundlage von Informationen entwickelt werden, die aus vom Host-Fahrzeug entfernten Quellen stammen (z.B. auf der Grundlage von Sensorinformationen, verarbeiteten Zustandsinformationen usw., die von anderen Fahrzeugen, von einem zentralen Server oder von jeder anderen Informationsquelle, die für einen Navigationszustand des Host-Fahrzeugs relevant ist, gemeinsam genutzt werden).
Das Fahrstrategie-Modul 803, das weiter unten ausführlicher besprochen wird und mit der Verarbeitungseinheit 110 implementiert werden kann, kann eine gewünschte Fahrstrategie implementieren, um über eine oder mehrere Navigationsreaktionen des Host-Fahrzeugs als Reaktion auf den wahrgenommenen Navigationszustand zu entscheiden. Wenn keine anderen Agenten (z.B. Zielfahrzeuge oder Fußgänger) in der Umgebung des Host-Fahrzeugs vorhanden sind, kann die Eingabe des erfassten Zustands in das Fahrstrategie-Modul 803 relativ einfach gehandhabt werden. Die Aufgabe wird komplexer, wenn der erfasste Zustand Verhandlungen mit einem oder mehreren anderen Agenten erfordert. Die Technologie, die verwendet wird, um den Output des Fahrstrategie-Moduls 803 zu erzeugen, kann Reinforcement Learning beinhalten (wird weiter unten ausführlicher besprochen). Die Ausgabe des Fahrstrategie-Moduls 803 kann mindestens eine Navigationsaktion für das Host-Fahrzeug beinhalten und kann eine gewünschte Beschleunigung (die sich in eine aktualisierte Geschwindigkeit für das Host-Fahrzeug übersetzen kann), eine gewünschte Gierrate für das Host-Fahrzeug, eine gewünschte Trajektorie und andere mögliche gewünschte Navigationsaktionen beinhalten.
Basierend auf der Ausgabe des Fahrstrategie-Moduls 803 kann das Steuermodul 805, das auch mit der Verarbeitungseinheit 110 implementiert werden kann, Steuerbefehle für einen oder mehrere Aktoren oder gesteuerte Geräte entwickeln, die mit dem Host-Fahrzeug assoziiert sind. Solche Aktuatoren und Vorrichtungen können ein Gaspedal, eine oder mehrere Lenksteuerungen, eine Bremse, einen Signalgeber, eine Anzeige oder jegliche andere Aktuatoren oder Vorrichtungen beinhalten, die als Teil eines mit einem Host-Fahrzeug assoziierten Navigationsvorgangs gesteuert werden können. Aspekte der Steuerungstheorie können verwendet werden, um die Ausgabe des Steuermoduls 805 zu erzeugen. Das Steuermodul 805 kann für die Entwicklung und Ausgabe von Befehlen an steuerbare Komponenten des Host-Fahrzeugs verantwortlich sein, um die gewünschten Navigationsziele oder Anforderungen des Fahrstrategie-Moduls 803 zu implementieren.
Um auf das Fahrstrategie-Modul 803 zurückzukommen: In einigen Ausführungsformen kann ein durch Reinforcement Learning geschultes System zur Implementierung des Fahrstrategie-Moduls 803 verwendet werden. In anderen Ausführungsformen kann Fahrstrategie-Modul 803 ohne einen maschinellen Lernansatz implementiert werden, indem spezifizierte Algorithmen verwendet werden, um „manuell“ auf die verschiedenen Szenarien einzugehen, die während der autonomen Navigation auftreten können. Ein solcher Ansatz ist zwar praktikabel, kann jedoch zu einer zu simplen Fahrstrategie führen und die Flexibilität eines auf maschinellem Lernen basierenden trainierten Systems vermissen lassen. Ein trainiertes System kann zum Beispiel besser mit komplexen Navigationszuständen umgehen und besser bestimmen, ob ein Taxi parkt oder anhält, um einen Fahrgast aufzunehmen oder abzusetzen; bestimmen, ob ein Fußgänger beabsichtigt, die Straße vor dem Host-Fahrzeug zu überqueren; unerwartetes Verhalten anderer Fahrer durch Abwehrhaltung ausgleichen; in dichtem Verkehr mit Zielfahrzeugen und/oder Fußgängern verhandeln; entscheiden, wann bestimmte Navigationsregeln ausgesetzt oder andere Regeln ergänzt werden sollen; unerkannte, aber erwartete Bedingungen vorhersehen (z.B. ob ein Fußgänger hinter einem Auto oder einem Hindernis hervortritt); usw. Ein auf Reinforcement Learning basierendes trainiertes System kann auch besser geeignet sein, einen kontinuierlichen und hochdimensionalen Zustandsraum zusammen mit einem kontinuierlichen Aktionsraum anzusprechen.
Das Training des Systems mit Hilfe von Reinforcement Learning kann das Erlernen einer Fahrstrategie beinhalten, um von erfassten Zuständen auf Navigationsaktionen abzubilden. Eine Fahrstrategie ist eine Funktion π : S → A, wobei S eine Menge von Zuständen ist und A ⊂ ℝ² der Aktionsraum ist (z.B., gewünschte Geschwindigkeit, Beschleunigung, Gierbefehle usw.). Der Zustandsraum ist S = S_s × S_p, wobei S_s der erfasste Zustand ist und S_p ist eine zusätzliche Information über den durch die Richtlinie gespeicherten Zustand. In diskreten Zeitintervallen arbeitend kann, zur Zeit t, der aktuelle Zustand s_t ∈ S beobachtet werden, und die Strategie kann angewendet werden um eine gewünschte Aktion zu erhalten, a_t = π (s_t).
Das System kann trainiert werden, indem es verschiedenen Navigationszuständen ausgesetzt wird, wobei das System die Richtlinie anwendet und eine Belohnung bereitstellt (basierend auf einer Belohnungsfunktion, die das gewünschte Navigationsverhalten belohnt). Basierend auf dem Belohnungsfeedback kann das System die Richtlinie „lernen“ und wird in der Erzeugung erwünschter Navigationsaktionen trainiert. Zum Beispiel kann das Lernsystem den aktuellen Zustand s_t ∈ S beobachten und für eine Aktion a_t ∈ A entscheiden basierend auf einer Strategie $π : S \to ⅅ (A) .$
Basierend auf der entschiedenen Aktion (und Implementierung der Aktion), geht die Umgebung in den nächsten Zustand s_t+1 ∈ S zur Beobachtung durch das Lernsystem über. Für jede in Reaktion auf den beobachteten Zustand entwickelte Aktion , ist die Rückmeldung an das Lernsystem ein Belohnungssignal r₁,r_2,... .
Das Ziel von Reinforcement Learning (RL) ist es, eine Richtlinie π zu finden. Es wird üblicherweise angenommen, dass es zur Zeit t eine Belohnungsfunktion r_t gibt, die die momentane Qualität des Zustandes s_t und des Ergreifens der Aktion a_t misst. Das Ergreifen der Aktion a_t zur Zeit t wirkt sich jedoch auf die Umwelt und damit auf den Wert der zukünftigen Staaten aus. Folglich sollte bei der Entscheidung über die zu ergreifenden Maßnahmen nicht nur die aktuelle Belohnung berücksichtigt werden, sondern auch zukünftige Belohnungen. In einigen Fällen sollte das System eine bestimmte Maßnahme ergreifen, auch wenn sie mit einer Belohnung verbunden ist, die niedriger ist als eine andere verfügbare Option, wenn das System feststellt, dass in Zukunft eine größere Belohnung realisiert werden kann, wenn die niedrigere Belohnungsoption jetzt ergriffen wird. Um dies zu formalisieren, ist zu beachten, dass eine Richtlinie, π, und ein Anfangszustand, s, eine Verteilung über ℝ^T induziert, wobei die Wahrscheinlichkeit eines Vektors (r₁, ... , r_T) die Wahrscheinlichkeit ist, dass die Belohnungen r₁, ... , r_T, beobachtet werden, wenn der Agent im Zustand s₀ = s beginnt und von dort aus der Richtlinie π folgt. Der Wert des Anfangszustands s kann wie folgt definiert werden:
$V^{π} (s) = [\sum_{t = 1}^{T} r_{t} | s_{0} = s, \forall t \geq 1, a_{t} = π (s_{t})] .$
Anstatt den Zeithorizont zu beschränken auf T, können die zukünfigen Belohnungen herabgesetzt werden um zu definieren, für ein festes γ ∈ (0, 1): $V^{π} (s) = [\sum_{t = 1}^{\infty} γ^{t} r_{t} | s_{0} = s, \forall t \geq 1, a_{t} = π (s_{t})] .$
Auf jeden Fall ist die optimale Strategie die Lösung von $\underset{π}{argmax} [V^{π} (s)]$
wobei die Erwartung über den Anfangszustand s ist.
Es gibt mehrere mögliche Methoden für die Ausbildung des Fahrstrategie-Systems. Zum Beispiel kann ein Imitationsansatz (z.B. Klonen von Verhalten) verwendet werden, bei dem das System von Zustands-/Aktionspaaren lernt, wobei die Aktionen diejenigen sind, die von einem guten Agenten (z.B. einem Menschen) als Reaktion auf einen bestimmten beobachteten Zustand ausgewählt würden. Angenommen, ein menschlicher Fahrer wird beobachtet. Durch diese Beobachtung könnten viele Beispiele für die Form (s_t, a_t), bei der s_t der Zustand und a_t die Aktion des menschlichen Fahrers ist, gewonnen, beobachtet und als Grundlage für das Training des Fahrstrategie-Systems verwendet werden. Beispielsweise kann das überwachte Lernen zum Erlernen einer Strategie π verwendet werden, so dass π(s_t) ≈ a_t. Es gibt viele potenzielle Vorteile dieses Ansatzes. Erstens ist es nicht erforderlich, eine Belohnungsfunktion zu definieren. Zweitens wird das Lernen beaufsichtigt und findet offline statt (es besteht keine Notwendigkeit, den Agenten im Lernprozess anzuwenden). Ein Nachteil dieses Verfahrens besteht darin, dass verschiedene menschliche Fahrer, und sogar dieselben menschlichen Fahrer, in ihren strategischen Entscheidungen nicht deterministisch sind. Daher ist das Erlernen einer Funktion, für die ∥π(s_t) - a_t∥ sehr klein ist, oft nicht durchführbar. Und selbst kleine Fehler können sich im Laufe der Zeit akkumulieren und zu großen Fehlern führen.
Eine weitere Technik, die eingesetzt werden kann, ist das strategiebasierte Lernen. Hier kann die Strategie in parametrischer Form ausgedrückt und direkt mit einer geeigneten Optimierungstechnik (z.B. stochastischer Gradientenabstieg) optimiert werden. Der Ansatz ist die direkte Lösung des in $\underset{π}{argmax} [V^{π} (s)]$
gegebenen Problems. Es gibt natürlich viele Möglichkeiten, das Problem zu lösen. Ein Vorteil dieses Ansatzes ist, dass er das Problem direkt angeht und daher oft zu guten praktischen Ergebnissen führt. Ein potenzieller Nachteil besteht darin, dass er oft ein „auf die Strategie bezogenes“ Training erfordert, d.h. das Lernen von π ist ein iterativer Prozess, bei dem wir bei Iteration j eine nicht perfekte Strategie haben, π_j, und um die nächste Strategie π_j zu entwickeln, müssen wir mit der Umwelt interagieren und gleichzeitig auf der Grundlage von π_j handeln.
Das System kann auch durch wertbasiertes Lernen (Lernen von Q- oder V-Funktionen) trainiert werden. Angenommen, es kann eine gute Annäherung an die optimale Wertfunktion V* gelernt werden. Eine optimale Strategie kann konstruiert werden (z.B. durch Verlassen auf die Bellman-Gleichung). Einige Versionen des wertbasierten Lernens können offline implementiert werden (als „Off-Policy“-Training bezeichnet). Einige Nachteile des wertbasierten Ansatzes können sich aus seiner starken Abhängigkeit von Markovschen Annahmen und der erforderlichen Approximation einer komplizierten Funktion ergeben (es kann schwieriger sein, die Wertfunktion zu approximieren als die Strategie direkt zu approximieren).
Eine weitere Technik kann modellbasiertes Lernen und Planen beinhalten (Lernen der Wahrscheinlichkeit von Zustandsübergängen und Lösung des Optimierungsproblems, um das optimale V zu finden). Kombinationen dieser Techniken können auch verwendet werden, um das lernende System zu trainieren. Bei diesem Ansatz kann die Dynamik des Prozesses gelernt werden, nämlich die Funktion, die (s_t, a_t) annimmt und eine Verteilung über den nächsten Zustand s_t+1 ergibt. Sobald diese Funktion gelernt ist, kann das Optimierungsproblem gelöst werden, um die Strategie π zu finden, deren Wert optimal ist. Dies wird „Planung“ genannt. Ein Vorteil dieses Ansatzes kann darin bestehen, dass der Lernteil überwacht wird und offline durch Beobachtung von Tripletts (s_t, a_t, s_t+1) angewendet werden kann. Ein Nachteil dieses Ansatzes kann, ähnlich wie beim „Imitations“-Ansatz, darin bestehen, dass sich kleine Fehler im Lernprozess akkumulieren und zu unzureichend funktionierenden Strategien führen können.
Ein weiterer Ansatz für das Training von Fahrstrategie-Modul 803 kann die Zerlegung der Fahrstrategiefunktion in semantisch sinnvolle Komponenten beinhalten. Dies ermöglicht die manuelle Implementierung von Teilen der Strategie, was die Sicherheit der Strategie gewährleisten kann, und die Implementierung anderer Teile der Strategie unter Verwendung von Techniken des Reinforcement Learning, was die Anpassungsfähigkeit an viele Szenarien, ein menschenähnliches Gleichgewicht zwischen defensivem/aggressivem Verhalten und eine menschenähnliche Verhandlung mit anderen Fahrern ermöglichen kann. Aus technischer Sicht kann ein Reinforcement Learning-Ansatz mehrere Methoden kombinieren und ein durchführbares Trainingsverfahren bieten, bei dem der größte Teil des Trainings entweder mit aufgezeichneten Daten oder einem selbstkonstruierten Simulator durchgeführt werden kann.
In einigen Ausführungsformen kann sich die Ausbildung des Fahrstrategie-Moduls 803auf einen „Optionen“-Mechanismus stützen. Betrachten Sie zur Veranschaulichung ein einfaches Szenario einer Fahrstrategie für eine zweispurige Autobahn. In einem direkten RL-Ansatz ist eine Strategie π, die den Zustand in A ⊂ ℝ² abbildet, wobei die erste Komponente von π(s) der gewünschte Beschleunigungsbefehl und die zweite Komponente von π(s) die Gierrate ist. In einem modifizierten Ansatz können die folgenden Strategien erstellt werden:
Strategie der automatischen Geschwindigkeitsregelung (ACC), ^OACC : S → A: Diese Strategie gibt immer eine Gierrate von 0 aus und verändert die Geschwindigkeit nur so, dass ein reibungsloses und unfallfreies Fahren möglich ist.
ACC+Links Strategie, ^OL : S → A: Der longitudinale Befehl dieser Strategie ist derselbe wie der Befehl des ACC. Die Gierrate ist eine einfache Implementierung der Zentrierung des Fahrzeugs zur Mitte der linken Fahrspur hin, wobei eine sichere Querbewegung gewährleistet ist (z.B. nicht nach links fahren, wenn sich auf der linken Seite ein Auto befindet).
ACC+Rechts Strategie, ^OR : S → A: so wie O_L, aber das Fahrzeug kann in der Mitte der rechten Fahrspur zentriert sein.
Diese Strategien können als „Optionen“ bezeichnet werden. Ausgehend von diesen „Optionen“ kann eine Strategie erlernt werden, die Optionen auswählt, π_o : S → O, wobei O die Menge der verfügbaren Optionen ist. In einem Fall, O = {^OACC, ^OL, ^OR}. Die Optionen-Auswahl-Strategie, π_ο, definiert eine tatsächliche Strategie, π : S → A, indem gesetzt wird, für jedes s, π(s) = o_π
o(s)(s).
In der Praxis kann die Strategiefunktion in einen Optionsgraphen 901 zerlegt werden, wie in 9 dargestellt. Ein weiteres Beispiel für den Optionsgraphen 1000 ist in 10 dargestellt. Der Optionsgraph kann einen hierarchischen Satz von Entscheidungen darstellen, der als gerichteter azyklischer Graph (DAG) organisiert ist. Es gibt einen speziellen Knoten, den Wurzelknoten 903 des Graphen. Dieser Knoten hat keine Eingangsknoten. Der Entscheidungsprozess durchläuft den Graphen, ausgehend vom Wurzelknoten, bis er einen „Blatt“-Knoten erreicht, der sich auf einen Knoten bezieht, der keine ausgehenden Entscheidungslinien hat. Wie in 9 dargestellt, können Blattknoten beispielsweise die Knoten 905, 907 und 909 beinhalten. Beim Auftreffen auf einen Blattknoten kann das Fahrstrategie-Modul 803 die Beschleunigungs- und Lenkbefehle ausgeben, die mit einer gewünschten Navigationsaktion assoziiert sind, die mit dem Blattknoten verbunden ist.
Interne Knoten, wie z.B. die Knoten 911, 913 und 915, können zur Implementierung einer Strategie führen, die ein Kind aus den verfügbaren Optionen auswählt. Die Menge der verfügbaren Kinder eines internen Knotens beinhaltet alle Knoten, die über Entscheidungslinien mit einem bestimmten internen Knoten assoziiert sind. Beispielsweise beinhaltet der interne Knoten 913, der in 9 als „Zusammenführen“ bezeichnet wird, drei untergeordnete Knoten 909, 915 und 917 („Bleiben“, „Rechts überholen“ bzw. „Links überholen“), die jeweils durch eine Entscheidungslinie mit dem Knoten 913 verbunden sind.
Flexibilität des Entscheidungsfindungssystems kann dadurch gewonnen werden, dass die Knoten in die Lage versetzt werden, ihre Position in der Hierarchie des Optionsgraphen anzupassen. Beispielsweise kann es jedem der Knoten erlaubt werden, sich selbst als „kritisch“ zu deklarieren. Jeder Knoten kann eine Funktion „ist kritisch“ implementieren, die „wahr“ ausgibt, wenn sich der Knoten in einem kritischen Abschnitt seiner Strategie-Implementierung befindet. Beispielsweise kann sich ein Knoten, der für eine Übernahme verantwortlich ist, als „kritisch“ deklarieren, wenn er sich mitten in einem Manöver befindet. Dies kann die Menge der verfügbaren Kinder eines Knotens u einschränken, die alle Knoten v beinhalten können, die Kinder des Knotens u sind und für die es einen Pfad von v zu einem Blattknoten gibt, der durch alle als kritisch bezeichneten Knoten verläuft. Ein solcher Ansatz kann einerseits die Deklaration des gewünschten Pfades auf dem Graphen in jedem Zeitschritt ermöglichen, während andererseits die Stabilität einer Strategie erhalten bleiben kann, insbesondere während der Implementierung der kritischen Abschnitte der Strategie.
Durch die Definition eines Optionsgraphen kann das Problem des Erlernens der Fahrstrategie π : S → A in ein Problem der Definition einer Strategie für jeden Knoten des Graphen zerlegt werden, wobei die Strategie an internen Knoten aus den verfügbaren Kinderknoten ausgewählt werden sollte. Für einige der Knoten kann die jeweilige Strategie manuell implementiert werden (z.B. durch Algorithmen vom Typ Wenn-dann-Algorithmus, die eine Reihe von Aktionen als Reaktion auf einen beobachteten Zustand spezifizieren), während für andere die Strategien unter Verwendung eines trainierten Systems implementiert werden können, das durch Reinforcement Learning aufgebaut wurde. Die Wahl zwischen manuellen oder trainierten/gelernten Ansätzen kann von Sicherheitsaspekten, die mit der Aufgabe assoziiert sind, und von ihrer relativen Einfachheit abhängen. Die Optionsgraphen können so konstruiert sein, dass einige der Knoten einfach zu implementieren sind, während andere Knoten sich auf trainierte Modelle stützen können. Ein solcher Ansatz kann den sicheren Betrieb des Systems gewährleisten.
Die folgende Diskussion stellt weitere Details zur Rolle des Optionsgraphen aus 9 innerhalb des Fahrstrategie-Moduls 803 bereit. Wie oben erörtert, ist die Eingabe in das Fahrstrategie-Modul ein „erfasster Zustand“, der z.B. die Umgebungskarte zusammenfasst, wie sie von verfügbaren Sensoren erhalten wird. Die Ausgabe des Fahrstrategie-Moduls 803 ist ein Satz von Wünschen (optional, zusammen mit einem Satz harter Beschränkungen), die eine Trajektorie als Lösung eines Optimierungsproblems definieren.
Wie oben beschrieben, stellt der Optionsgraph einen hierarchischen Satz von Entscheidungen dar, der als DAG organisiert ist. Es gibt einen speziellen Knoten, der als „Wurzel“ des Graphen bezeichnet wird. Der Wurzelknoten ist der einzige Knoten, der keine eingehenden Kanten (z.B. Entscheidungslinien) aufweist. Der Entscheidungsprozess durchläuft den Graphen, beginnend mit dem Wurzelknoten, bis er einen „Blatt“-Knoten erreicht, d.h. einen Knoten, der keine ausgehenden Kanten hat. Jeder interne Knoten sollte eine Strategie implementieren, die ein Kind unter seinen verfügbaren Kindern auswählt. Jeder Blattknoten sollte eine Strategie implementieren, die basierend auf dem gesamten Pfad von der Wurzel bis zum Blatt eine Reihe von Wünschen definiert (z.B. eine Reihe von Navigationszielen für das Host-Fahrzeug). Der Satz von Wünschen, zusammen mit einem Satz harter Beschränkungen, die direkt basierend auf dem erfassten Zustand definiert werden, stellt ein Optimierungsproblem dar, dessen Lösung die Trajektorie für das Fahrzeug ist. Die harten Beschränkungen können verwendet werden, um die Sicherheit des Systems weiter zu erhöhen, und die Wünsche können dazu verwendet werden, Fahrkomfort und ein menschenähnliches Fahrverhalten des Systems bereitzustellen. Die Trajektorie, die als Lösung des Optimierungsproblems bereitgestellt wird, definiert wiederum die Befehle, die den Lenk-, Brems- und/oder Motoraktuatoren zur Verfügung gestellt werden sollen, um die Trajektorie zu erreichen.
Um auf 9 zurückzukommen: Der Optionsgraph 901 stellt einen Optionsgraphen für eine zweispurige Autobahn dar, einschließlich mit ineinander übergehenden Fahrspuren (was bedeutet, dass an einigen Stellen eine dritte Fahrspur entweder in die rechte oder in die linke Fahrspur der Autobahn übergeht). Der Wurzelknoten 903 entscheidet zunächst, ob sich das Host-Fahrzeug in einem einfachen Straßenszenario befindet oder sich einem Zusammenführungsszenario nähert. Dies ist ein Beispiel für eine Entscheidung, die basierend auf dem Erfassungszustand implementiert werden kann. Der Knoten 911 der ebenen Straße beinhaltet drei untergeordnete Knoten: Bleiben-Knoten 909, Überholen des linken Knotens 917 und Überholen des rechten Knotens 915. Bleiben bezieht sich auf eine Situation, in der das Host-Fahrzeug in der gleichen Fahrspur weiterfahren möchte. Der Bleiben-Knoten ist ein Blattknoten (keine ausgehenden Kanten/Linien). Deshalb definiert der Bleiben-Knoten eine Reihe von Wünschen. Der erste Wunsch, den er definiert, kann die gewünschte seitliche Position beinhalten - z.B. so nah wie möglich an der Mitte der aktuellen Fahrspur. Es kann auch der Wunsch bestehen, sanft zu navigieren (z.B. innerhalb vordefinierter oder zulässiger Beschleunigungsmaxima). Der Bleiben-Knoten kann auch festlegen, wie das Host-Fahrzeug auf andere Fahrzeuge reagieren soll. Zum Beispiel kann der Bleiben-Knoten erfasste Zielfahrzeuge überprüfen und jedem eine semantische Bedeutung zuweisen, die in Komponenten der Trajektorie übersetzt werden kann.
Den Zielfahrzeugen können in einer Umgebung des Host-Fahrzeugs verschiedene semantische Bedeutungen zugewiesen werden. Zum Beispiel kann die semantische Bedeutung in einigen Ausführungsformen eine der folgenden Bezeichnungen beinhalten: 1) nicht relevant: zeigt an, dass das erfasste Fahrzeug in der Szene derzeit nicht relevant ist; 2) nächste Fahrspur: zeigt an, dass sich das erfasste Fahrzeug in einer benachbarten Fahrspur befindet und ein angemessener Versatz relativ zu diesem Fahrzeug beibehalten werden sollte (der genaue Versatz kann im Optimierungsproblem berechnet werden, das die Trajektorie unter Berücksichtigung der Wünsche und harten Beschränkungen konstruiert und möglicherweise fahrzeugabhängig sein kann - das Bleiben-Blatt des Optionsgraphen legt den semantischen Art des Zielfahrzeugs fest, der den Wunsch relativ zum Zielfahrzeug definiert); 3) Vorfahrt gewähren: das Host-Fahrzeug wird versuchen, dem erfassten Zielfahrzeug Vorfahrt zu gewähren, indem es z.B. die Geschwindigkeit reduziert (insbesondere wenn das Host-Fahrzeug bestimmt, dass das Zielfahrzeug wahrscheinlich in die Fahrspur des Host-Fahrzeugs einschneidet); 4) Vorfahrt nehmen: das Host-Fahrzeug wird versuchen, die Vorfahrt zu nehmen, indem es z.B. die Geschwindigkeit erhöht; 5) folgen: das Host-Fahrzeug wünscht eine ruhige Fahrt nach diesem Zielfahrzeug; 6) links/rechts überholen: dies bedeutet, dass das Host-Fahrzeug einen Spurwechsel auf die linke oder rechte Fahrspur einleiten möchte. Überholen linker Knoten 917 und Überholen rechter Knoten 915 sind interne Knoten, die noch keine Wünsche definieren.
Der nächste Knoten im Optionsgraphen 901 ist der Abstand-Auswählen-Knoten 919. Dieser Knoten kann für die Auswahl eines Abstands zwischen zwei Zielfahrzeugen in einer bestimmten Fahrspur verantwortlich sein, in die das Host-Fahrzeug einfahren möchte. Durch Auswahl eines Knotens der Form IDj für einen Wert von j gelangt das Host-Fahrzeug zu einem Blatt, das einen Wunsch für das Problem der Trajektorienoptimierung angibt, z.B. möchte das Host-Fahrzeug ein Manöver durchführen, um den ausgewählten Abstand zu erreichen. Ein solches Manöver kann zunächst das Beschleunigen/Bremsen in der aktuellen Fahrspur und dann das Fahren auf die Zielspur zu einem geeigneten Zeitpunkt beinhalten, um in den gewählten Abstand einzufahren. Wenn der Abstand-Auswählen-Knoten 919 keine geeignete Lücke finden kann, bewegt er sich zum Abbruchknoten 921, der den Wunsch definiert, zur Mitte der aktuellen Fahrspur zurückzukehren und das Überholen abzubrechen.
Bei der Rückkehr zum Zusammenführungsknoten 913, wenn sich das Host-Fahrzeug einer Zusammenführung nähert, hat es mehrere Optionen, die von einer bestimmten Situation abhängen können. Zum Beispiel fährt, wie in 11A dargestellt, das Host-Fahrzeug 1105 auf einer zweispurigen Straße, ohne dass andere Zielfahrzeuge erkannt werden, weder auf den primären Fahrspuren der zweispurigen Straße noch auf der Zusammenführungsspur 1111. In dieser Situation kann das Fahrstrategie-Modul 803 bei Erreichen des Zusammenführungsknotens 913 den Bleiben-Knoten 909 wählen. Das heißt, es kann wünschenswert sein, auf der aktuellen Fahrspur zu bleiben, wenn keine Zielfahrzeuge als auf die Fahrbahn einfahrend erkannt werden.
In 11B ist die Situation etwas anders. Hier nimmt das Host-Fahrzeug 1105 ein oder mehrere Zielfahrzeuge 1107 wahr, die von der Zusammenführungsspur 1111 in die Haupt-Fahrbahn 1112 einfahren. In dieser Situation kann sich das Fahrstrategie-Modul 803, sobald es auf den Zusammenführungsknoten 913 trifft, dazu entschließen, ein Linksüberholmanöver einzuleiten, um die Zusammenführungssituation zu vermeiden.
In 11C trifft das Host-Fahrzeug 1105 auf ein oder mehrere Zielfahrzeuge 1107, die von der Zusammenführungsspur 1111 in die Haupt-Fahrbahn 1112 einfahren. Das Host-Fahrzeug 1105 erfasst auch Zielfahrzeuge 1109, die auf einer Fahrspur fahren, die an die Fahrspur des Host-Fahrzeugs angrenzt. Das Host-Fahrzeug detektiert auch ein oder mehrere Zielfahrzeuge 1110, die auf derselben Fahrspur wie das Host-Fahrzeug 1105 fahren. In dieser Situation kann das Fahrstrategie-Modul 803 entscheiden, die Geschwindigkeit des Host-Fahrzeugs 1105 so anzupassen, dass es dem Zielfahrzeug 1107 nachgibt und vor dem Zielfahrzeug 1115 fährt. Dies kann z.B. erreicht werden, indem man zum Abstand-Auswählen-Knoten 919 fortschreitet, der wiederum einen Abstand zwischen ID0 (Fahrzeug 1107) und ID1 (Fahrzeug 1115) als den entsprechenden Zusammenführungsabstand auswählt. In einem solchen Fall definiert der entsprechende Abstand der Zusammenführungssituation das Ziel für ein Optimierungsproblem des Trajektorienplaners.
Wie oben besprochen, können sich Knoten des Optionsgraphen als „kritisch“ deklarieren, wodurch sichergestellt werden kann, dass die gewählte Option die kritischen Knoten durchläuft. Formal kann jeder Knoten eine Funktion IsCritical implementieren. Nach der Durchführung eines Vorwärtsdurchlaufs durch den Optionsgraphen von der Wurzel zu einem Blatt und der Lösung des Optimierungsproblems des Trajektorienplaners kann ein Rückwärtsdurchlauf vom Blatt zurück zur Wurzel durchgeführt werden. Entlang dieses Rückwärtsdurchlaufs kann die IsCritical-Funktion aller Knoten im Durchlauf aufgerufen werden, und eine Liste aller kritischen Knoten kann gespeichert werden. Im Vorwärtspfad, der der nächsten Korrespondenz entspricht, kann das Fahrstrategie-Modul 803 aufgefordert werden, einen Pfad vom Wurzelknoten zu einem Blatt zu wählen, der durch alle kritischen Knoten verläuft.
11A-11C können verwendet werden, um einen potenziellen Nutzen dieses Ansatzes aufzuzeigen. Beispielsweise wäre es in einer Situation, in der eine Überholaktion eingeleitet wird und das Fahrstrategie-Modul 803 auf dem Blatt ankommt, das IDk entspricht, nicht wünschenswert, z.B. den Bleiben-Knoten 909 zu wählen, wenn das Host-Fahrzeug sich mitten im Überholmanöver befindet. Um eine solche Sprunghaftigkeit zu vermeiden, kann sich der IDj-Knoten als kritisch bezeichnen. Während des Manövers kann der Erfolg des Trajektorienplaners überwacht werden, und die Funktion IsCritical gibt einen „True“-Wert zurück, wenn das Überholmanöver wie beabsichtigt voranschreitet. Mit diesem Ansatz kann sichergestellt werden, dass das Überholmanöver im nächsten Zeitrahmen fortgesetzt wird (anstatt vor Abschluss des ursprünglich gewählten Manövers zu einem anderen, möglicherweise inkonsistenten Manöver zu springen). Wenn andererseits die Überwachung des Manövers anzeigt, dass das gewählte Manöver nicht wie beabsichtigt voranschreitet, oder wenn das Manöver unnötig oder unmöglich geworden ist, kann die Funktion IsCritical einen „False“-Wert zurückgeben. Dies kann es dem Abstand-Auswählen-Knoten ermöglichen, im nächsten Zeitrahmen einen anderen Abstand auszuwählen oder das Überholmanöver ganz abzubrechen. Dieser Ansatz kann einerseits die Deklaration des gewünschten Pfades auf dem Optionendiagramm bei jedem Zeitschritt ermöglichen, während er andererseits dazu beitragen kann, die Stabilität der Strategie in kritischen Teilen der Ausführung zu fördern.
Harte Beschränkungen, auf die im Folgenden näher eingegangen wird, lassen sich von Navigationswünschen unterscheiden. Beispielsweise können harte Beschränkungen ein sicheres Fahren gewährleisten, indem sie eine zusätzliche Filterebene einer geplanten Navigationsaktion anwenden. Die implizierten harten Beschränkungen, die eher manuell programmiert und definiert werden können als durch die Verwendung eines trainierten Systems, das auf Reinforcement Learning aufbaut, lassen sich aus dem erfassten Zustand bestimmen. In einigen Ausführungsformen kann das trainierte System jedoch lernen, die anwendbaren harten Beschränkungen anzuwenden und zu befolgen. Ein solcher Ansatz kann dazu beitragen, dass Fahrstrategie-Modul 803 zu einer ausgewählten Aktion gelangt, die bereits mit den anwendbaren harten Beschränkungen übereinstimmt, wodurch ausgewählte Aktionen reduziert oder eliminiert werden können, die möglicherweise später modifiziert werden müssen, um den anwendbaren harten Beschränkungen zu entsprechen. Dennoch können als redundante Sicherheitsmaßnahme harte Beschränkungen auf die Ausgabe des Fahrstrategie-Moduls 803 angewendet werden, selbst wenn das Fahrstrategie-Modul 803 darauf trainiert wurde, vorgegebene harte Beschränkungen zu berücksichtigen.
Es gibt viele Beispiele für potenzielle harte Beschränkungen. Zum Beispiel kann eine harte Beschränkung in Verbindung mit einer Leitplanke an einer Straßenkante definiert werden. In keiner Situation darf das Host-Fahrzeug die Leitplanke passieren dürfen. Eine solche Regel induziert eine harte Beschränkung für die Trajektorie des Host-Fahrzeugs. Ein weiteres Beispiel für eine harte Beschränkung kann eine Fahrbahnunebenheit (z.B. eine Geschwindigkeitskontrollunebenheit) beinhalten, die eine harte Einschränkung der Fahrgeschwindigkeit vor der Unebenheit und beim Überfahren der Unebenheit bewirken kann. Harte Beschränkungen können als sicherheitskritisch angesehen werden und können daher manuell definiert werden, anstatt sich ausschließlich darauf zu verlassen, dass ein trainiertes System die Beschränkungen während des Trainings lernt.
Im Gegensatz zu harten Beschränkungen kann das Ziel von Wünschen sein, komfortables Fahren zu ermöglichen oder zu erreichen. Wie oben diskutiert, kann ein Beispiel für einen Wunsch das Ziel beinhalten, das Host-Fahrzeug an einer seitlichen Position innerhalb einer Fahrspur zu positionieren, die der Mitte der Fahrspur des Host-Fahrzeugs entspricht. Ein weiterer Wunsch kann die Angabe eines Abstands beinhalten, in den das Fahrzeug passen soll. Es ist zu beachten, dass es nicht erforderlich ist, dass das Host-Fahrzeug genau in der Mitte der Fahrspur steht, sondern dass der Wunsch, so nah wie möglich an dieser Fahrspur zu sein, sicherstellen kann, dass das Host-Fahrzeug dazu neigt, auch bei Abweichungen von der Fahrspurmitte in die Mitte der Fahrspur zu wandern. Wünsche sind möglicherweise nicht sicherheitskritisch. In einigen Ausführungsformen erfordern Wünsche möglicherweise Verhandlungen mit anderen Fahrern und Fußgängern. Ein Ansatz für die Konstruktion der Wünsche kann sich auf den Optionsgraphen stützen, und die zumindest in einigen Knoten des Graphen implementierte Strategie kann auf Reinforcement Learning basieren.
Für die Knoten des Optionsgraphen 901 oder 1000, die als Knoten implementiert sind, die basierend auf dem Lernen trainiert werden, kann der Trainingsprozess eine Zerlegung des Problems in eine überwachte Lernphase und eine Phase des Reinforcement Learning beinhalten. In der überwachten Lernphase kann eine differenzierbare Zuordnung von (s_t, a_t) zu ŝ_t+1 gelernt werden, so dass ŝ_t+1 ≈ s_t+1. Dies kann dem „modellbasierten“ Reinforcement Learning ähnlich sein. In der Vorwärtsschleife des Netzwerks kann ŝ_t+1 jedoch durch den tatsächlichen Wert von s_t+1 ersetzt werden, wodurch das Problem der Fehlerakkumulation beseitigt wird. Die Rolle der Vorhersage von ŝ_t+1 besteht darin, Botschaften aus der Zukunft zurück in vergangene Handlungen zu propagieren. In diesem Sinne kann der Algorithmus eine Kombination aus „modellbasiertem“ Reinforcement Learning und „strategiebasiertem Lernen“ sein.
Ein wichtiges Element, das in einigen Szenarien bereitgestellt werden kann, ist ein differenzierbarer Pfad von zukünftigen Verlusten/Belohnungen zurück zu Entscheidungen über Aktionen. Bei der Optionsgraphenstruktur ist die Implementierung von Optionen, die Sicherheitseinschränkungen beinhalten, normalerweise nicht differenzierbar. Um dieses Problem zu überwinden, kann die Wahl eines Kindes in einem gelernten Strategieknoten stochastisch sein. Das heißt, ein Knoten kann einen Wahrscheinlichkeitsvektor p ausgeben, der die Wahrscheinlichkeiten zuordnet, die bei der Auswahl jedes der Kinder des bestimmten Knotens verwendet werden. Nehmen wir an, dass ein Knoten k Kinder hat, und seien a⁽¹⁾, ..., a^(k) die Aktionen des Pfades von jedem Kind zu einem Blatt. Die resultierende vorhergesagte Aktion ist daher $\hat{a} = \sum_{i = 1}^{k} p_{i} a^{(i)},$
In der Praxis kann eine Aktion a als a⁽ⁱ⁾ für i ~ p gewählt werden, und die Differenz zwischen a und â kann als additives Rauschen bezeichnet werden.
Für das Training von ŝ_t+1 gegeben s_t, a_t kann überwachtes Lernen zusammen mit realen Daten verwendet werden. Für das Training kann die Strategie der Knotenpunkt-Simulatoren verwendet werden. Später kann die Feinabstimmung einer Strategie unter Verwendung realer Daten durchgeführt werden. Zwei Konzepte können die Simulation realistischer machen. Erstens kann durch Imitation eine anfängliche Strategie unter Verwendung des Paradigmas des „Klonens von Verhalten“ und unter Verwendung großer realer Datensätze erstellt werden. In einigen Fällen können die resultierenden Agenten geeignet sein. In anderen Fällen bilden die resultierenden Agenten zumindest sehr gute anfängliche Strategien für die anderen Agenten auf den Straßen. Zweitens kann mit Hilfe des Selbstspiels unsere eigene Strategie zur Ergänzung des Trainings eingesetzt werden. Beispielsweise kann eine Strategie basierend auf einem Simulator trainiert werden, wenn die anderen Agenten (Autos/Fußgänger) eine erste Implementierung erfahren haben. Einige der anderen Agenten können durch die neue Strategie ersetzt werden, und der Prozess kann wiederholt werden. Infolgedessen kann sich die Strategie weiter verbessern, da sie auf eine größere Vielfalt anderer Agenten mit unterschiedlichem Entwicklungsstand reagieren sollte.
Darüber hinaus kann das System in einigen Ausführungsformen einen Multi-Agenten-Ansatz implementieren. Beispielsweise kann das System Daten aus verschiedenen Quellen und/oder Bilder, die aus verschiedenen Winkeln erfasst wurden, berücksichtigen. Darüber hinaus können einige offenbarte Ausführungsformen Energieeinsparungen bereitstellen, da die Vorwegnahme eines Ereignisses, das nicht direkt das Host-Fahrzeug betrifft, aber eine Auswirkung auf das Host-Fahrzeug haben kann, in Betracht gezogen werden kann, oder sogar die Vorwegnahme eines Ereignisses, das zu unvorhersehbaren Umständen führen kann, an denen andere Fahrzeuge beteiligt sind (z.B. kann das Radar das führende Fahrzeug „durchschauen“ und ein unvermeidbares oder sogar mit hoher Wahrscheinlichkeit eintretendes Ereignis, das sich auf das Host-Fahrzeug auswirkt, vorwegnehmen).
Trainiertes System mit auferlegten Navigations-Beschränkungen
Im Zusammenhang mit dem autonomen Fahren ist ein wichtiges Anliegen, wie sichergestellt werden kann, dass eine erlernte Strategie eines ausgebildeten Navigationsnetzes sicher ist. In einigen Ausführungsformen kann das Fahrstrategie-System unter Verwendung von Beschränkungen trainiert werden, so dass die vom trainierten System ausgewählten Aktionen möglicherweise bereits anwendbare Sicherheitsrestriktionen berücksichtigen. Darüber hinaus kann in einigen Ausführungsformen eine zusätzliche Sicherheitsebene bereitgestellt werden, indem die ausgewählten Aktionen des trainierten Systems durch eine oder mehrere harte Beschränkung(en) geleitet werden, die durch eine bestimmte wahrgenommene Szene in der Umgebung des Host-Fahrzeugs impliziert sind. Ein solcher Ansatz kann sicherstellen, dass die vom Host-Fahrzeug ausgeführten Aktionen auf diejenigen beschränkt sind, die als den geltenden Beschränkungen genügend bestätigt wurden.
Im Kern kann das Navigationssystem einen auf einer Strategiefunktion basierenden Lernalgorithmus beinhalten, der einen beobachteten Zustand auf eine oder mehrere gewünschte Aktionen abbildet. In einigen Implementierungen ist der Lernalgorithmus ein deep learning-Algorithmus. Die gewünschten Aktionen können mindestens eine Aktion beinhalten, von der erwartet wird, dass sie eine erwartete Belohnung für ein Fahrzeug maximiert. Während in einigen Fällen die vom Fahrzeug tatsächlich ausgeführte Aktion einer der gewünschten Korrespondenzen entsprechen kann, kann in anderen Fällen die tatsächlich ausgeführte Aktion auf der Grundlage des beobachteten Zustands, einer oder mehrerer gewünschter Aktionen und nicht gelernter, harter Beschränkungen (z.B. Sicherheitseinschränkungen) bestimmt werden, die der lernenden Navigationsmaschine auferlegt werden. Diese Beschränkungen können Sperrzonen beinhalten, die verschiedene Arten von erkannten Objekten umgeben (z.B. Zielfahrzeuge, Fußgänger, feststehende Objekte am Straßenrand oder in der Fahrbahn, sich bewegende Objekte am Straßenrand oder in der Fahrbahn, Leitplanken usw.). In einigen Fällen kann die Größe der Zone basierend auf einer erkannten Bewegung (z.B. Geschwindigkeit und/oder Richtung) eines erkannten Objekts variieren. Andere Beschränkungen können eine maximale Fahrgeschwindigkeit beim Passieren innerhalb der Einflusszone eines Fußgängers, eine maximale Abbremsung (um den Abstand eines Zielfahrzeugs hinter dem Host-Fahrzeug zu berücksichtigen), einen obligatorischen Halt an einem erkannten Zebrastreifen oder Bahnübergang usw. beinhalten.
Harte Beschränkungen, die in Verbindung mit einem durch maschinelles Lernen trainierten System verwendet werden, können ein Maß an Sicherheit beim autonomen Fahren bieten, das möglicherweise ein Maß an Sicherheit übertrifft, das auf der Basis der Leistung des trainierten Systems allein verfügbar ist. Beispielsweise kann das maschinelle Lernsystem unter Verwendung eines gewünschten Satzes von Beschränkungen als Trainingsrichtlinien trainiert werden, und daher kann das trainierte System als Reaktion auf einen wahrgenommenen Navigationszustand eine Aktion auswählen, die die Einschränkungen der anwendbaren Navigationsreaktionen berücksichtigt und einhält. Das trainierte System verfügt jedoch immer noch über eine gewisse Flexibilität bei der Auswahl von Navigationsaktionen, und daher kann es zumindest einige Situationen geben, in denen eine vom trainierten System ausgewählte Aktion die relevanten Beschränkungen der Navigation nicht strikt einhält. Um zu verlangen, dass eine ausgewählte Aktion sich strikt an relevante Beschränkungen für die Navigation hält, kann die Ausgabe des trainierten Systems daher mit einer nicht maschinellen Lernkomponente außerhalb des Lern-/Trainingsrahmens kombiniert, verglichen, gefiltert, angepasst, modifiziert usw. werden, die eine strikte Anwendung relevanter Beschränkungen für die Navigation garantiert.
Die folgende Diskussion liefert zusätzliche Details zum trainierten System und zu den potenziellen Vorteilen (insbesondere aus einer Sicherheitsperspektive), die sich aus der Kombination eines trainierten Systems mit einer algorithmischen Komponente außerhalb des trainierten/lernenden Rahmens ergeben können. Wie diskutiert, kann das Reinforcement Learning Ziel nach Strategien durch stochastischen Gradientenaufstieg optimiert werden. Das Ziel (z.B. die erwartete Belohnung) kann definiert werden als $\bar{s} \sim P_{0} R (\bar{s}) .$
Ziele, die Erwartungen beinhalten, können in Szenarien des maschinellen Lernens verwendet werden. Ein solches Ziel, das nicht durch Beschränkungen für die Navigation gebunden ist, kann jedoch keine Aktionen zurückgeben, die streng an diese Beschränkungen gebunden sind. Betrachtet man z.B. eine Belohnungsfunktion, bei der R(s̅) = -r für Trajektorien, die ein seltenes „Ecken“-Ereignis darstellen, das vermieden werden muss (z.B. wie ein Unfall), und $R (\bar{s}) \in | - 1, 1 |$
für die übrigen Trajektorien, kann ein Ziel für das Lernsystem darin bestehen, zu lernen, ein Überholmanöver durchzuführen. Normalerweise würde in einer unfallfreien Trajektorie R(s̅) erfolgreiche, glatte Übernahmen belohnen und das Verbleiben in einer Fahrspur ohne Abschluss der Übernahme bestrafen - daher Bereich [-1, 1]. Wenn eine Sequenz, s̅, einen Unfall darstellt, sollte die Belohnung, -r, eine ausreichend hohe Strafe bereitstellen, um von einem solchen Ereignis abzuschrecken. Die Frage ist, welchen Wert die Belohnung r haben sollte, um unfallfreies Fahren zu gewährleisten.
Es ist zu beachten, dass der Effekt eines Unfalls auf $[R (\bar{s})]$
der additive Term -pr ist, wobei p die Wahrscheinlichkeitsmasse von Trajektorien mit einem Unfallereignis ist. Wenn dieser Term vernachlässigbar ist, d.h. p << 1/r, dann kann das lernende System eine Strategie bevorzugen, die einen Unfall durchführt (oder im Allgemeinen eine rücksichtslose Fahrstrategie verfolgt), um das Überholmanöver öfter erfolgreich durchzuführen, als eine Strategie, die defensiver wäre auf Kosten der Tatsache, dass einige Überholmanöver nicht erfolgreich durchgeführt werden. Mit anderen Worten: Wenn die Wahrscheinlichkeit von Unfällen höchstens p betragen soll, dann muss r so festgelegt werden, dass r » 1/p. Es kann wünschenswert sein, p extrem klein zu machen(z.B. in der Größenordnung von p = 10^-9). Daher sollte r groß sein. Bei Strategiegradient, kann der Gradient von $[R (\bar{s})]$
geschätzt werden. Das folgende Lemma zeigt, dass die Varianz der Zufallsvariable R(s̅) mit pr² wächst, was größer als r ist für r » 1/p. Daher kann es schwierig sein, das Ziel zu schätzen, und seinen Gradienten zu schätzen kann sogar noch schwieriger sein.
Lemma: Sei π₀ eine Strategie und seien p und r Skalare, so dass die Wahrscheinlichkeit p, R(s̅) = -r erhalten wird, und mit Wahrscheinlichkeit 1 - p haben wir $R (\bar{s}) \in [- 1, 1]$
erhalten. Dann: $V a r [R (\bar{s})] \geq p r^{2} - {(p r + (1 - p))}^{2} = (p - p^{2}) r^{2} - 2 p (1 - p) r - {(1 - p)}^{2} \approx p r^{2}$
wobei die letzte Annäherung hält für den Fall r ≥ 1/p.
Diese Diskussion zeigt, dass ein Ziel der Form $[R (\bar{s})]$
möglicherweise nicht funktionale Sicherheit garantiert ohne ein Varianzproblem zu verursachen. Das Verfahren der Baseline-Subtraktion zur Varianzreduktion bietet möglicherweise keine ausreichende Lösung für das Problem, da sich das Problem von einer hohen Varianz von R(s̅) auf eine ebenso hohe Varianz der Baseline-Konstanten verlagern würde, deren Schätzung ebenfalls unter numerischen Instabilitäten leiden würde. Wenn die Wahrscheinlichkeit eines Unfalls p beträgt, sollten außerdem im Durchschnitt mindestens 1/p-Sequenzen beprobt werden, bevor ein Unfallereignis festgestellt wird. Dies impliziert eine untere Grenze von 1/p Stichproben von Sequenzen für einen lernenden Algorithmus, der auf die Minimierung von $[R (\bar{s})]$
abzielt. Die Lösung dieses Problems kann eher durch den hier beschriebenen Architekturentwurf als durch numerische Konditionierungstechniken gefunden werden. Der Ansatz hier basiert auf der Vorstellung, dass harte Beschränkung außerhalb des Lernrahmens eingebracht werden sollten. Mit anderen Worten, die Strategiefunktion kann in einen erlernbaren Teil und einen nicht erlernbaren Teil zerlegt werden. Formal kann die Strategiefunktion strukturiert werden als $π_{0} = π^{(T)} \circ π_{θ}^{(D)}, π_{θ}^{(D)}$
den (agnostischen) Zustandsraum auf eine Menge von Wünschen abbildet (z.B. gewünschte Navigationsziele, usw.), während π^(T) die Wünsche auf eine Trajektorie abbildet (die bestimmen können, wie sich das Fahrzeug in einem kurzen Bereich bewegen sollte). Die Funktion $π_{θ}^{(D)}$
ist verantwortlich für den Fahrkomfort und für strategische Entscheidungen, wie z.B. welche anderen Fahrzeuge überholt oder weichen müssen und welche Position das Host-Fahrzeug innerhalb seiner Fahrspur einnehmen soll, usw. Die Abbildung vom empfundenen Navigationszustand auf die Wünsche ist eine Strategie $π_{θ}^{(D)}$
die aus Erfahrung gelernt werden kann, indem eine erwartete Belohnung maximiert wird. Die Wünsche, die durch $π_{θ}^{(D)}$
produziert werden können in eine Kostenfunktion über Fahrtrajektorien übersetzt werden. Die Funktion π^(T), nicht eine gelernte Funktion, kann implementiert werden, indem eine Trajektorie gefunden wird, die die Kosten minimiert, die harten Beschränkungen der funktionalen Sicherheit unterliegen. Diese Zerlegung kann die funktionale Sicherheit gewährleisten und gleichzeitig ein komfortables Fahren bereitstellen.
Eine Navigationssituation mit doppelter Zusammenführung, wie sie in 11D dargestellt ist, stellt ein Beispiel zur weiteren Veranschaulichung dieser Konzepte bereit. Bei einer doppelten Zusammenführung nähern sich die Fahrzeuge dem Zusammenführungsbereich 1130 sowohl von der linken als auch von der rechten Seite. Und von jeder Seite kann ein Fahrzeug, wie z.B. Fahrzeug 1133 oder Fahrzeug 1135, entscheiden, ob es in Fahrspuren auf der anderen Seite des Zusammenführungsbereichs 1130 zusammengeführt werden soll. Die erfolgreiche Durchführung einer doppelten Zusammenführung bei starkem Verkehrsaufkommen kann erhebliches Verhandlungsgeschick und Erfahrung erfordern und kann bei einem heuristischen oder Brute-Force-Ansatz durch Aufzählung aller möglichen Trajektorien, die von allen Agenten vor Ort genommen werden könnten, schwierig auszuführen sein. In diesem doppelten Zusammenführungsbeispiel kann eine Menge von Wünschen, D , die für das doppelte Zusammenführungsmaneuver passend ist, definiert werden. D kann das Kartesische Produkt der folgenden Mengen sein: $D = [0, v_{max}] \times L \times {g, t, o}^{n}$
wobei [0, v_max] die gewünschte Zielgeschwindigkeit des Fahrzeugs ist, L = {1, 1.5, 2, 2.5, 3, 3.5, 4} istdie gewünschte seitliche Position in Fahrspureinheiten, wobei ganze Zahlen eine Fahrspurmitte und gebrochene Zahlen die Fahrspurbegrenzungen bezeichnen, und {g, t, o} sind Klassifizierungskennzeichen, die jedem der n anderen Fahrzeuge zugeordnet sind. Den anderen Fahrzeugen kann „g“ zugeordnet werden, wenn das Host-Fahrzeug dem anderen Fahrzeug nachgeben soll, „t“, wenn das Host-Fahrzeug relativ zum anderen Fahrzeug nachgeben soll, oder „o“, wenn das Host-Fahrzeug eine versetzte Distanz relativ zum anderen Fahrzeug einhalten soll.
Unten ist eine Beschreibung wie eine Menge von Wünschen, $(v, l, c_{1}, \dots, c_{n}) \in D,$
in eine Kostenfunktion über Fahrtrajektorien übersetzt werden kann. Eine Fahrtrajektorie kann dargestellt werden durch $(x_{1}, y_{1}), \dots, (x_{k}, y_{k}), wobei (x_{i}, y_{i})$
die (laterale, longitudinale) Position des Host-Fahrzeugs (in ich-zentrierten Einheiten) zur Zeit T · i ist. In einigen Experimenten ist T = 0.1sec und k = 10. Natürlich können auch andere Werte gewählt werden. Die einer Trajektorie zugewiesenen Kosten können eine gewichtete Summe der Einzelkosten beinhalten, die der gewünschten Geschwindigkeit, der seitlichen Position und der jedem der anderen n Fahrzeuge zugewiesenen Bezeichnung zugeordnet sind.
Gegeben eine gewünschte Geschwindigkeit v ∈ [0, v_max], die Kosten einer mit der Geschwindigkeit assoziierten Trajektorie ist $\sum_{i = 2}^{k} {(v - ‖ (x_{i}, y_{i}) - (x_{i - 1}, y_{i - 1}) ‖ / τ)}^{2} .$
Gegeben die gewünschte seitliche Position, l ∈ L, sind die mit der gewünschten seitlichen Position assoziierten Kosten $\sum_{i = 2}^{k} d i s t (x_{i}, y_{i}, l)$
wobei dist(x, y, 1) die Distnaz von dem Punkt (x , y) bis zur Fahrspurposition l sind. Betreffend die Kosten aufgrund anderer Fahrzeuge, wobei jedes andere Fahrzeug $(x_{l}^{'}, y_{l}^{'}), \dots, (x_{k}^{'}, y_{k}^{'})$
kann das andere Fahrzeug in egozentrischen Einheiten des Host-Fahrzeugs darstellen, und i kann der früheste Punkt sein, für den es j gibt, so dass die Distanz zwischen (x_i, y_i) und (x'_j, y'_j) klein ist. Wenn es einen solchen Punkt nicht gibt, dann kann i gesetzt werden als i = ∞. Wenn ein anderes Fahrzeug als „nachgebend“ eingestuft wird, kann es wünschenswert sein, dass τi > τj + 0.5 , was bedeutet, dass das Host-Fahrzeug mindestens 0,5 Sekunden nach Ankunft des anderen Fahrzeugs am Schnittpunkt der Trajektorie am selben Punkt eintrifft. Eine mögliche Formel zur Umsetzung der obigen Beschränkung in Kosten ist ${[τ (j - i) + 0.5]}_{+ .}$
Ebenso kann es, wenn ein anderes Auto als „Mitnahmefahrzeug“ klassifiziert wird, wünschenswert sein, dass τj > τi + 0.5, was in die Kosten ${[τ (i - j) + 0.5]}_{+}$
übersetzt werden kann. Wenn ein anderes Fahrzeug als „versetzt“ klassifiziert wird, kann es wünschenswert sein, dass i = ∞, was bedeutet, dass sich die Trajektorie des Host-Fahrzeugs und die Trajektorie des versetzten Fahrzeugs nicht schneiden. Diese Bedingung kann in Kosten übersetzt werden, indem man in Bezug auf die Distanz zwischen den Trajektorien bestraft.
Die Zuweisung einer Gewichtung für jede dieser Kosten kann dem Trajektorienplaner eine einzige Zielfunktion bereitstellen, π^(T) . Dem Ziel können Kosten hinzugefügt werden, die ein reibungsloses Fahren fördern. Und um die funktionale Sicherheit der Trajektorie zu gewährleisten, können harte Beschränkung zum Ziel hinzugefügt werden. Zum Beispiel, (x_i, y_i) kann verboten sein, sich außerhalb der Fahrbahn zu befinden, und (x_i, y_i) kann verboten sein, in der Nähe von (x'_j, y'_j) zu sein für irgendeinen Trajektorienpunkt (x'_j, y'_j) eines anderen Fahrzeugs, wenn |i - j| klein ist.
Zusammenfassend lässt sich die Strategie, π^θ, in eine Abbildung vom agnostischen Zustand auf eine Reihe von Wünschen und eine Abbildung von den Wünschen auf eine tatsächliche Trajektorie zerlegen. Die letztere Abbildung basiert nicht auf strategiebasiertem Lernen und kann durch die Lösung eines Optimierungsproblems implementiert werden, dessen Kosten von den Wünschen abhängen und dessen harte Beschränkungen die funktionale Sicherheit der Strategie garantieren können.
Die folgende Diskussion beschreibt die Abbildung vom agnostischen Zustand auf die Menge der Wünsche. Wie oben beschrieben, kann ein System, das allein auf Reinforcement Learning angewiesen ist, um der funktionalen Sicherheit zu entsprechen, eine hohe und schwerfällige Varianz der Belohnung R(s) erleiden. Dieses Ergebnis kann vermieden werden, indem das Problem in eine Abbildung vom (agnostischen) Zustandsraum auf einen Satz von Wünschen zerlegt wird, wobei Iterationen mit Strategiegradienten verwendet werden, gefolgt von einer Abbildung auf eine tatsächliche Trajektorie, die kein auf maschinellem Lernen basierendes trainiertes System beinhaltet.
Aus verschiedenen Gründen kann die Entscheidungsfindung weiter in semantisch sinnvolle Komponenten zerlegt werden. Zum Beispiel kann die Größe von D groß und sogar kontinuierlich sein. In dem oben beschriebenen Szenario der doppelten Zusammenführung in Bezug auf 11D, $D = [0, v_{max}] \times L \times {g, t, o}^{n}) .$
Zusätzlich kann der Gradientenschätzer den Begriff $\sum_{t = 1}^{T} \nabla_{θ} π_{θ} (a_{t} | s_{t})$
mit einbeziehen. In einem solchen Ausdruck kann die Varianz mit dem Zeithorizont T wachsen. In einigen Fällen kann der Wert von T etwa 250 betragen, was hoch genug sein kann, um eine signifikante Varianz zu erzeugen. Angenommen, die Abtastrate liegt im Bereich von 10 Hz und der Zusammenführungsbereich 1130 beträgt 100 Meter, kann die Vorbereitung für die Zusammenführung etwa 300 Meter vor dem Zusammenführungsbereich beginnen. Wenn sich das Host-Fahrzeug mit 16 Metern pro Sekunde (etwa 60 km pro Stunde) bewegt, dann kann der Wert von T für eine Episode etwa 250 betragen.
Um auf das Konzept eines Optionsgraphen zurückzukommen, wird in 11E ein Optionsgraph gezeigt, der repräsentativ für das in 11D dargestellte Szenario der doppelten Zusammenführung sein kann. Wie bereits erörtert, kann ein Optionsgraph eine hierarchische Gruppe von Entscheidungen darstellen, die als gerichteter azyklischer Graph (DAG) organisiert ist. Es kann einen speziellen Knoten im Graphen geben, den „Wurzel“-Knoten 1140, der möglicherweise der einzige Knoten ist, der keine Eingangskanten (z.B. Entscheidungslinien) hat. Der Entscheidungsprozess kann den Graphen, ausgehend vom Wurzelknoten, durchlaufen, bis er einen „Blatt“-Knoten erreicht, d.h. einen Knoten, der keine ausgehenden Kanten hat. Jeder interne Knoten kann eine Strategiefunktion implementieren, die ein Kind aus seinen verfügbaren Kindern auswählt. Es kann eine vordefinierte Abbildung von der Menge der Überquerungen über den Optionsgraphen auf die Menge der Wünsche, D, geben. Mit anderen Worten, eine Überquerung auf dem Optionsgraphen kann automatisch in einen Wunsch in D übersetzt werden. Gegeben einen knoten, v, in dem Graphen, kann ein Parametervektor θ_v die Strategie der Wahl eines Kinds von v spezifizieren. Wenn θ die Verkettung aller θ_v ist, dann kann $π_{θ}^{(D)}$
definiert werden durch das Durchqueren von der Wurzel des Graphen bis zu einem Blatt, wobei bei jedem Knoten v eine durch θ_v definierte Strategie verwendet wird um einen Kindknoten zu wählen.
Im Diagramm 1139 der doppelten Zusammenführungsoptionen in 11E kann der Wurzelknoten 1140 zunächst entscheiden, ob sich das Host-Fahrzeug innerhalb des Zusammenführungsbereichs (z. B. Bereich 1130 in 11D) befindet oder ob sich das Host-Fahrzeug stattdessen dem Zusammenführungsbereich nähert und sich auf eine mögliche Zusammenführung vorbereiten muss. In beiden Fällen muss das Host-Fahrzeug unter Umständen entscheiden, ob es die Fahrspur wechselt (z.B. nach links oder rechts) oder ob es in der aktuellen Fahrspur bleibt. Wenn das Host-Fahrzeug beschlossen hat, die Fahrspur zu wechseln, muss das Host-Fahrzeug unter Umständen entscheiden, ob die Bedingungen geeignet sind, weiterzufahren und das Spurwechselmanöver durchzuführen (z.B. am „Los“-Knoten 1142). Wenn es nicht möglich ist, die Fahrspur zu wechseln, kann das Host-Fahrzeug versuchen, auf die gewünschte Fahrspur zu „schieben“ (z.B. am Knoten 1144 als Teil einer Verhandlung mit Fahrzeugen in der gewünschten Fahrspur), indem es darauf abzielt, auf der Fahrspurmarkierung zu sein. Alternativ kann sich das Host-Fahrzeug dafür entscheiden, in der gleichen Fahrspur zu „bleiben“ (z.B. am Knoten 1146). Ein solches Verfahren kann die seitliche Position für das Host-Fahrzeug auf natürliche Weise bestimmen. Zum Beispiel,
Dies kann die Bestimmung der gewünschten seitlichen Position auf eine natürliche Weise ermöglichen. Wenn das Host-Fahrzeug z.B. die Fahrspur von Fahrspur 2 auf Fahrspur 3 wechselt, kann der „Los“-Knoten die gewünschte seitliche Position auf 3, der „Bleiben‟-Knoten die gewünschte seitliche Position auf 2 und der „Drücken‟-Knoten die gewünschte seitliche Position auf 2,5 setzen. Als nächstes kann das Host-Fahrzeug entscheiden, ob die „gleiche“ Geschwindigkeit beibehalten (Knoten 1148), „beschleunigt“ (Knoten 1150) oder „verzögert“ (Knoten 1152) werden soll. Als nächstes kann das Host-Fahrzeug in eine „kettenartige“ Struktur 1154 eintreten, die über die anderen Fahrzeuge fährt und deren semantische Bedeutung auf einen Wert in der Menge {g, t, o} setzt. Dieser Prozess kann die Wünsche relativ zu den anderen Fahrzeugen setzen. Die Parameter aller Knoten in dieser Kette können gemeinsam genutzt werden (ähnlich wie bei rekurrenten neuronalen Netzwerken).
Ein potenzieller Nutzen der Optionen ist die Interpretierbarkeit der Ergebnisse. Ein weiterer potenzieller Nutzen besteht darin, dass man sich auf die zerlegbare Struktur der Menge D verlassen kann und daher die Strategie an jedem Knoten aus einer kleinen Anzahl von Möglichkeiten auswählen kann. Zusätzlich kann die Struktur eine Verringerung der Varianz des Strategiegradientenschätzers ermöglichen.
Wie oben diskutiert, kann die Länge einer Episode im Szenario der doppelten Zusammenführung etwa T = 250 Schritte betragen. Ein solcher Wert (oder jeder andere geeignete Wert in Abhängigkeit von einem bestimmten Navigationsszenario) kann genügend Zeit bereitstellen, um die Folgen der Aktionen des Host-Fahrzeugs zu erkennen (wenn das Host-Fahrzeug z.B. beschließt, als Vorbereitung auf die Zusammenführung die Fahrspur zu wechseln, wird das Host-Fahrzeug den Nutzen erst nach erfolgreichem Abschluss der Zusammenführung erkennen). Auf der anderen Seite muss das Host-Fahrzeug aufgrund der Fahrdynamik Entscheidungen in einer Frequenz treffen, die schnell genug ist (z.B. 10 Hz im oben beschriebenen Fall).
Das Optionendiagramm kann auf mindestens zwei Arten eine Verringerung des Effektivwertes von T ermöglichen. Erstens kann bei Entscheidungen auf höherer Ebene eine Belohnung für Entscheidungen auf niedrigerer Ebene definiert werden, wobei kürzere Episoden berücksichtigt werden können. Wenn z.B. das Host-Fahrzeug bereits einen „Fahrspurwechsel“ und den „Los“-Knoten gewählt hat, kann eine Strategie für die Zuweisung einer semantischen Bedeutung der Fahrzeuge erlernt werden, indem Episoden von 2-3 Sekunden betrachtet werden (was bedeutet, dass T zu 20 - 30 statt 250 wird). Zweitens muss das Host-Fahrzeug bei Entscheidungen auf hoher Ebene (z.B. ob es die Fahrspur wechseln oder in der gleichen Spur bleiben soll) möglicherweise nicht alle 0,1 Sekunden eine Entscheidung treffen. Stattdessen ist das Host-Fahrzeug möglicherweise in der Lage, entweder Entscheidungen mit einer geringeren Häufigkeit zu treffen (z.B. jede Sekunde) oder eine „Optionsbeendigungsfunktion“ zu implementieren, und dann kann die Steigung erst nach jeder Beendigung der Option berechnet werden. In beiden Fällen kann der effektive Wert von T um eine Größenordnung kleiner sein als sein ursprünglicher Wert. Alles in allem kann der Schätzer an jedem Knoten von einem Wert von T abhängen, der um eine Größenordnung kleiner als die ursprünglichen 250 Schritte ist, was sich sofort in eine kleinere Varianz übertragen kann.
Wie oben diskutiert, können harte Beschränkungen ein sichereres Fahren fördern, und es kann mehrere verschiedene Arten von Beschränkungen geben. Beispielsweise können statische harte Beschränkung direkt aus dem Erfassungszustand heraus definiert werden. Diese können Fahrbahnschwellen, Geschwindigkeitsbegrenzungen, Straßenkrümmungen, Kreuzungen usw. in der Umgebung des Host-Fahrzeugs beinhalten, die eine oder mehrere Beschränkungen für Geschwindigkeit, Kurs, Beschleunigung, Bremsen (Abbremsen) usw. des Fahrzeugs beinhalten können. Statische harte Beschränkungen können auch einen semantischen Freiraum beinhalten, in dem es dem Host-Fahrzeug verboten ist, den Freiraum zu verlassen und sich z.B. zu nahe an physischen Hindernissen zu bewegen. Statische harte Beschränkungen können auch Manöver einschränken (z.B. verbieten), die verschiedenen Aspekten einer kinematischen Bewegung des Fahrzeugs nicht entsprechen, z.B. kann eine statische harte Beschränkung verwendet werden, um Manöver zu verbieten, die dazu führen könnten, dass das Host-Fahrzeug umkippt, rutscht oder anderweitig die Kontrolle verliert.
Harte Beschränkung können auch mit Fahrzeugen assoziiert sein. Zum Beispiel kann eine Beschränkung angewendet werden, die verlangt, dass ein Fahrzeug einen Längsabstand zu anderen Fahrzeugen von mindestens einem Meter und einen seitlichen Abstand von mindestens 0,5 Metern zu anderen Fahrzeugen einhalten muss. Beschränkungen können auch so angewendet werden, dass das Host-Fahrzeug die Aufrechterhaltung eines Kollisionskurses mit einem oder mehreren anderen Fahrzeugen vermeidet. Zum Beispiel kann eine Zeit τ ein Maß für die Zeit basierend auf einer bestimmten Szene sein. Die vorhergesagten Trajektorien des Host-Fahrzeugs und eines oder mehrerer anderer Fahrzeuge können von einer aktuellen Zeit bis zu einer Zeit τ. Wo sich die beiden Trajektorien schneiden, $(t_{i}^{a}, t_{i}^{l})$
kann die Ankunftszeit und die Abfahrtszeit von Fahrzeug i zum Kreuzungspunkt darstellen. Das bedeutet, dass jedes Fahrzeug an dem Punkt ankommt, an dem ein erster Teil des Fahrzeugs den Kreuzungspunkt passiert, und dass eine gewisse Zeit benötigt wird, bevor der letzte Teil des Fahrzeugs den Kreuzungspunkt passiert. Diese Zeitspanne trennt die Ankunftszeit von der Abfahrtszeit. Angenommen, dass $t_{1}^{a} < t_{2}^{a}$
(d.h., dass die Ankunftszeit von Fahrzeug 1 kleiner ist als die Ankunftszeit von Fahrzeug 2), dann wollen wir sicherstellen, dass Fahrzeug 1 den Kreuzungspunkt verlassen hat, bevor Fahrzeug 2 ankommt. Andernfalls würde es zu einer Kollision kommen. Daher kann eine harte Beschränkung so implementiert werden, dass $t_{1}^{l} > t_{2}^{a} .$
Um sicherzustellen, dass Fahrzeug 1 und Fahrzeug 2 einander nicht um einen minimalen Betrag verfehlen, kann darüber hinaus eine zusätzliche Sicherheitsmarge erzielt werden, indem eine Pufferzeit in die Beschränkung einbezogen wird (z.B. 0,5 Sekunden oder ein anderer geeigneter Wert). Eine harte Beschränkung, die sich auf vorhergesagte Trajektorien von zwei Fahrzeugen an Kreuzungen bezieht, kann ausgedrückt werden als $t_{1}^{l} > t_{2}^{a} + 0.5.$
Die Zeitspanne τ, über die die Trajektorien des Host-Fahrzeugs und eines oder mehrerer anderer Fahrzeuge verfolgt werden, kann variieren. In Kreuzungsszenarien jedoch, bei denen die Geschwindigkeiten geringer sein können, kann τ länger sein, und τ kann so definiert werden, dass ein Host-Fahrzeug in weniger als τ Sekunden in die Kreuzung ein- und ausfährt.
Das Anwenden harter Beschränkungen auf Fahrzeugtrajektorien erfordert natürlich, dass die Trajektorien dieser Fahrzeuge vorhergesagt werden. Für das Host-Fahrzeug kann die Vorhersage der Trajektorie relativ einfach sein, da das Host-Fahrzeug im Allgemeinen bereits eine beabsichtigte Trajektorie zu einer bestimmten Zeit versteht und diese auch plant. Im Vergleich zu anderen Fahrzeugen kann die Vorhersage ihrer Trajektorien weniger einfach sein. Bei anderen Fahrzeugen kann sich die Basisberechnung zur Bestimmung der vorhergesagten Trajektorien auf die aktuelle Geschwindigkeit und den aktuellen Kurs der anderen Fahrzeuge stützen, die z.B. aufgrund der Analyse eines Bildstroms bestimmt werden, der von einer oder mehreren Kameras und/oder anderen Sensoren (Radar, Lidar, Akustik usw.) an Bord des Host-Fahrzeugs aufgenommen wurde.
Es kann jedoch einige Ausnahmen geben, die das Problem vereinfachen oder zumindest zusätzliches Vertrauen in eine für ein anderes Fahrzeug vorhergesagte Trajektorie bereitstellen können. Beispielsweise können bei strukturierten Straßen, auf denen Fahrspuren angegeben sind und auf denen möglicherweise Vorfahrtsregeln existieren, die Trajektorien anderer Fahrzeuge zumindest teilweise auf der Position der anderen Fahrzeuge relativ zu den Fahrspuren und auf der Grundlage geltender Vorfahrtsregeln basieren. Daher kann in einigen Situationen, in denen es beobachtete Fahrspurstrukturen gibt, davon ausgegangen werden, dass Fahrzeuge auf der nächsten Fahrspur die Fahrspurbegrenzungen respektieren werden. Das heißt, das Host-Fahrzeug kann davon ausgehen, dass ein nächstspuriges Fahrzeug in seiner Fahrspur bleiben wird, es sei denn, es gibt beobachtete Anzeichen (z.B. eine Signalleuchte, starke seitliche Bewegung, Bewegung über eine Fahrspurbegrenzung), die darauf hinweisen, dass das nächstspurige Fahrzeug in die Fahrspur des Host-Fahrzeugs einschneidet.
Auch andere Situationen können Hinweise auf die erwarteten Trajektorien anderer Fahrzeuge liefern. Beispielsweise kann an Stoppschildern, Ampeln, Kreisverkehren usw., an denen das Host-Fahrzeug Vorfahrt haben kann, davon ausgegangen werden, dass andere Fahrzeuge diese Vorfahrt respektieren werden. Wenn also keine Anzeichen für einen Regelbruch beobachtet werden, kann davon ausgegangen werden, dass andere Fahrzeuge eine Trajektorie befahren, die die Vorfahrtsrechte des Host-Fahrzeugs respektiert.
Harte Beschränkungen können auch in Bezug auf Fußgänger in einer Umgebung des Host-Fahrzeugs angewendet werden. Zum Beispiel kann eine Pufferdistanz in Bezug auf Fußgänger festgelegt werden, so dass es dem Host-Fahrzeug untersagt ist, näher als die vorgeschriebene Pufferdistanz in Bezug auf jeden beobachteten Fußgänger zu fahren. Die Pufferdistanz für Fußgänger kann jede geeignete Distanz sein. In einigen Ausführungsformen kann die Pufferdistanz mindestens einen Meter relativ zu einem beobachteten Fußgänger betragen.
Ähnlich wie bei Fahrzeugen können harte Beschränkungen auch in Bezug auf die Relativbewegung zwischen Fußgängern und dem Host-Fahrzeug angewendet werden. Beispielsweise kann die Trajektorie eines Fußgängers (basierend auf Fahrtrichtung und Geschwindigkeit) relativ zur projizierten Trajektorie des Host-Fahrzeugs überwacht werden. Bei einer bestimmten Fußgängertrajektorie kann t(p) bei jedem Punkt p auf der Trajektorie die Zeit darstellen, die der Fußgänger benötigt, um den Punkt p zu erreichen. Um den erforderlichen Pufferabstand von mindestens 1 Meter zum Fußgänger einzuhalten, muss entweder t(p) größer sein als die Zeit, die das Host-Fahrzeug den Punkt p erreichen wird (mit einer ausreichenden Zeitdifferenz, so dass das Host-Fahrzeug vor dem Fußgänger um mindestens einen Meter an ihm vorbeifährt), oder t(p) muss kleiner sein als die Zeit, die das Host-Fahrzeug den Punkt p erreichen wird (z.B, wenn das Host-Fahrzeug bremst, um dem Fußgänger Platz zu machen). Im letztgenannten Beispiel kann die harte Beschränkung jedoch erfordern, dass das Host-Fahrzeug den Punkt p zu einer ausreichend späteren Zeit als der Fußgänger erreicht, so dass das Host-Fahrzeug hinter dem Fußgänger vorbeifahren und den erforderlichen Pufferabstand von mindestens einem Meter einhalten kann. Natürlich kann es Ausnahmen von der harten Beschränkung für Fußgänger geben. Wenn beispielsweise das Host-Fahrzeug Vorfahrt hat oder wenn die Geschwindigkeit sehr niedrig ist und es keine Anzeichen dafür gibt, dass der Fußgänger dem Host-Fahrzeug nicht nachgibt oder anderweitig auf das Host-Fahrzeug zusteuert, kann die harte Beschränkung für Fußgänger gelockert werden (z.B. auf einen kleineren Pufferabstand von mindestens 0,75 Meter oder 0,50 Meter).
In einigen Beispielen können Beschränkungen gelockert werden, wenn bestimmt wird, dass nicht alle erfüllt werden können. Zum Beispiel in Situationen, in denen eine Straße zu schmal ist, um den gewünschten Abstand (z.B. 0,5 Meter) von beiden Bordsteinkanten oder von einem Bordstein und einem geparkten Fahrzeug zu lassen, können eine oder mehrere Beschränkungen gelockert werden, wenn mildernde Umstände vorliegen. Wenn sich beispielsweise keine Fußgänger (oder andere Gegenstände) auf dem Bürgersteig befinden, kann man bei einem Abstand von 0,1 Metern zu einem Bordstein langsam vorgehen. In einigen Ausführungsformen können Beschränkungen gelockert werden, wenn dies die Benutzererfahrung verbessert. Um zum Beispiel ein Schlagloch zu vermeiden, können Beschränkungen gelockert werden, damit ein Fahrzeug näher an den Rand der Fahrspur, eines Bordsteins oder eines Fußgängers heranfahren kann, als dies normalerweise erlaubt wäre. Darüber hinaus werden bei der Bestimmung, welche Beschränkungen gelockert werden sollen, in einigen Ausführungsformen die Beschränkungen gewählt, von denen angenommen wird, dass sie die geringsten negativen Auswirkungen auf die Sicherheit haben. Zum Beispiel kann eine Beschränkung, die sich darauf bezieht, wie nahe das Fahrzeug an die Bordsteinkante oder an eine Betonbarriere heranfahren darf, gelockert werden, bevor die Beschränkung, die sich auf die Nähe zu anderen Fahrzeugen bezieht, gelockert wird. In einigen Ausführungsformen können Beschränkungen für Fußgänger als letzte gelockert werden, oder sie können in manchen Situationen nie gelockert werden.
12 zeigt ein Beispiel für eine Szene, die während der Navigation eines Host-Fahrzeugs erfasst und analysiert werden kann. Ein Host-Fahrzeug kann z.B. ein Navigationssystem (z.B. System 100), wie oben beschrieben, beinhalten, das von einer Kamera (z.B. mindestens einer der Bilderfassungsvorrichtung 122, der Bilderfassungsvorrichtung 124 und der Bilderfassungsvorrichtung 126), die dem Host-Fahrzeug zugeordnet ist, eine Vielzahl von Bildern, die repräsentativ für eine Umgebung des Host-Fahrzeugs sind, empfangen kann. Die in 12 gezeigte Szene ist ein Beispiel für eines der Bilder, die zur Zeit t aus der Umgebung eines Host-Fahrzeugs, das auf der Fahrspur 1210 entlang einer vorhergesagten Trajektorie 1212 fährt, aufgenommen werden können. Das Navigationssystem kann mindestens eine Verarbeitungsvorrichtung beinhalten (z.B. einschließlich irgendeiner der oben beschriebenen EyeQ-Prozessoren oder anderer Vorrichtungen), die speziell programmiert ist, um die Vielzahl von Bildern zu empfangen und die Bilder zu analysieren, um eine auf die Szene reagierende Aktion zu bestimmen. Konkret kann die mindestens eine Verarbeitungsvorrichtung das Erfassungsmodul 801, das Fahrstrategie-Modul 803 und das Steuermodul 805 implementieren, wie in 8 dargestellt. Das Erfassungsmodul 801 kann für die Erfassung und Ausgabe der von den Kameras gesammelten Bildinformationen verantwortlich sein und diese Informationen in Form eines identifizierten Navigationszustands an das Fahrstrategie-Modul 803 bereitstellen, das ein trainiertes Navigationssystem darstellen kann, das durch Techniken des maschinellen Lernens, wie überwachtes Lernen, Reinforcement Learning usw., trainiert wurde. Basierend auf den Informationen über den Navigationszustand, die dem Fahrstrategie-Modul 803 durch das Erfassungsmodul 801 bereitgestellt werden, kann das Fahrstrategie-Modul 803 (z.B. durch Implementierung des oben beschriebenen Optionsgraphen-Ansatzes) eine gewünschte Navigationsaktion zur Ausführung durch das Host-Fahrzeug als Reaktion auf den identifizierten Navigationszustand erzeugen.
In einigen Ausführungsformen kann die mindestens eine Verarbeitungsvorrichtung die gewünschte Navigationsaktion direkt in Navigationsbefehle übersetzen, z.B. mit Hilfe des Steuermoduls 805. In anderen Ausführungsformen können jedoch harte Beschränkungen angewandt werden, so dass die gewünschte Navigationsaktion, die vom Fahrstrategie-Modul 803 bereitgestellt wird, gegen verschiedene vorgegebene Navigationsbeschränkungen getestet wird, die durch die Szene und die gewünschte Navigationsaktion impliziert sein können. Wenn beispielsweise das Fahrstrategie-Modul 803 eine gewünschte Navigationsaktion ausgibt, die das Host-Fahrzeug veranlassen würde, der Trajektorie 1212 zu folgen, kann diese Navigationsaktion relativ zu einer oder mehreren harten Beschränkungen getestet werden, die mit verschiedenen Aspekten der Umgebung des Host-Fahrzeugs assoziiert sind. Beispielsweise kann ein aufgenommenes Bild 1201 einen Bordstein 1213, einen Fußgänger 1215, ein Zielfahrzeug 1217 und ein stationäres Objekt (z.B. eine umgestürzte Kiste) in der Szene zeigen. Jede dieser Beschränkungen kann mit einer oder mehreren harten Beschränkung(en) assoziiert werden. Zum Beispiel kann Bordstein 1213 mit einer statischen Beschränkung assoziiert sein, die dem Host-Fahrzeug untersagt, in den Bordstein zu fahren oder am Bordstein vorbei auf einen Bürgersteig 1214 zu fahren. Bordstein 1213 kann auch mit einer Straßensperrenumhüllung assoziiert werden, die eine Distanz (z.B. eine Pufferzone) definiert, die sich von (z.B. um 0,1 Meter, 0,25 Meter, 0,5 Meter, 1 Meter usw.) weg und entlang des Bordsteins erstreckt, was eine Nicht-Navigationszone für das Host-Fahrzeug definiert. Natürlich können statische Beschränkungen auch mit anderen Arten von Straßenbegrenzungen assoziiert werden (z.B. Leitplanken, Betonpfeiler, Verkehrskegel, Pylone oder jede andere Art von Straßenbegrenzungen).
Es ist zu beachten, dass Distanzen und Entfernungen durch jedes geeignete Verfahren bestimmt werden können. Beispielsweise können in einigen Ausführungsformen Entfernungsinformationen durch bordeigene Radar- und/oder Lidarsysteme bereitgestellt werden. Alternativ oder zusätzlich können Entfernungsinformationen aus der Analyse eines oder mehrerer Bilder abgeleitet werden, die aus der Umgebung des Host-Fahrzeugs aufgenommen wurden. Beispielsweise kann die Anzahl der Pixel eines in einem Bild dargestellten erkannten Objekts bestimmt und mit bekannten Gesichtsfeld- und Brennweitengeometrien der Bilderfassungsvorrichtungen verglichen werden, um Maßstab und Distanzen zu bestimmen. Geschwindigkeiten und Beschleunigungen können z.B. durch die Beobachtung von Maßstabsänderungen zwischen Objekten von Bild zu Bild über bekannte Zeitintervalle bestimmt werden. Diese Analyse kann die Richtung der Bewegung auf das Host-Fahrzeug zu oder von diesem weg anzeigen, zusammen mit der Geschwindigkeit, mit der sich das Objekt vom Host-Fahrzeug entfernt oder auf dieses zubewegt. Die Kreuzungsgeschwindigkeit kann durch die Analyse der Änderung der X-Koordinatenposition eines Objekts von einem Bild zum anderen über bekannte Zeiträume bestimmt werden.
Fußgänger 1215 kann mit einer Fußgänger-Hülle assoziiert werden, die eine Pufferzone 1216 definiert. In einigen Fällen kann eine harte Beschränkung das Host-Fahrzeug daran hindern, innerhalb einer Distanz von 1 Meter vom Fußgänger 1215 (in jeder Richtung relativ zum Fußgänger) zu navigieren. Fußgänger 1215 kann auch den Ort einer Fußgängereinflusszone 1220 definieren. Eine solche Einflusszone kann mit einer Beschränkung assoziiert werden, die die Geschwindigkeit des Host-Fahrzeugs innerhalb der Einflusszone begrenzt. Die Einflusszone kann sich 5 Meter, 10 Meter, 20 Meter usw. Vom Fußgänger 1215 aus erstrecken. Jede Abstufung der Einflusszone kann mit einer anderen Geschwindigkeitsbegrenzung assoziiert werden. Zum Beispiel kann das Host-Fahrzeug innerhalb einer Zone von 1 Meter bis 5 Meter vom Fußgänger 1215 entfernt auf eine erste Geschwindigkeit (z.B. 10 mph, 20 mph, usw.) begrenzt werden, die geringer sein kann als eine Geschwindigkeitsbegrenzung in einer Fußgängereinflusszone, die sich von 5 Meter bis 10 Meter erstreckt. Jede Abstufung für die verschiedenen Stufen der Einflusszone kann verwendet werden. In einigen Ausführungsformen kann die erste Stufe schmaler als von 1 Meter bis 5 Meter sein und sich nur von 1 Meter bis 2 Meter erstrecken. In anderen Ausführungsformen kann sich die erste Stufe der Einflusszone von 1 Meter (die Grenze der Sperrzone um einen Fußgänger) bis zu einer Distanz von mindestens 10 Metern erstrecken. Eine zweite Stufe wiederum kann sich von 10 Metern bis zu einer Entfernung von mindestens etwa 20 Metern erstrecken. Die zweite Stufe kann mit einer maximalen Fahrgeschwindigkeit des Host-Fahrzeugs assoziiert werden, die grösser ist als die maximale Fahrgeschwindigkeit der ersten Stufe der Fußgängereinflusszone.
Eine oder mehrere Beschränkungen für stationäre Objekte können auch durch die erkannte Szene in der Umgebung des Host-Fahrzeugs impliziert sein. Zum Beispiel kann in Bild 1201 die mindestens eine Verarbeitungsvorrichtung ein stationäres Objekt, wie z.B. Box 1219 in der Fahrbahn, erkennen. Erkannte stationäre Objekte können verschiedene Objekte beinhalten, wie z. B. mindestens einen Baum, einen Mast, ein Straßenschild oder ein Objekt in einer Fahrbahn. Dem erkannten stationären Objekt können eine oder mehrere vordefinierte Beschränkungen für die Navigation zugeordnet werden. Solche Beschränkungen können z.B. eine stationäre Objekthülle beinhalten, wobei die stationäre Objekthülle eine Pufferzone um das Objekt herum definiert, innerhalb der die Navigation des Host-Fahrzeugs verboten werden kann. Mindestens ein Abschnitt der Pufferzone kann sich über eine vorbestimmte Distanz von einem Rand des detektierten stationären Objekts erstrecken. Zum Beispiel kann in der durch Bild 1201 dargestellten Szene eine Pufferzone von mindestens 0,1 Meter, 0,25 Meter, 0,5 Meter oder mehr mit Box 1219 assoziiert werden, so dass das Host-Fahrzeug mindestens eine gewisse Distanz (z.B. die Distanz der Pufferzone) rechts oder links von der Box vorbeifährt, um eine Kollision mit dem detektierten stationären Objekt zu vermeiden.
Die vordefinierten harten Beschränkungen können auch eine oder mehrere Zielfahrzeug-Beschränkungen beinhalten. Beispielsweise kann ein Zielfahrzeug 1217 in Bild 1201 erkannt werden. Um sicherzustellen, dass das Host-Fahrzeug nicht mit dem Zielfahrzeug 1217 kollidiert, können eine oder mehrere harte Beschränkung(en) verwendet werden. In einigen Fällen kann eine Hüllkurve des Zielfahrzeugs mit einer einzigen Pufferzonen-Distanz assoziiert werden. Beispielsweise kann die Pufferzonen-Distanz durch eine Distanz von 1 Meter definiert werden, die das Zielfahrzeug in allen Richtungen umgibt. Die Pufferzone kann einen Bereich definieren, der sich vom Zielfahrzeug um mindestens einen Meter erstreckt und in den das Host-Fahrzeug nicht einfahren darf.
Die Hülle, die das Zielfahrzeug 1217 umgibt, muss jedoch nicht durch eine feste Pufferdistanz definiert werden. In einigen Fällen können die vordefinierten harten Beschränkungen, die mit Zielfahrzeugen (oder anderen beweglichen Objekten, die in der Umgebung des Host-Fahrzeugs detektiert werden) assoziiert werden, von der Orientierung des Host-Fahrzeugs relativ zum detektierten Zielfahrzeug abhängen. Zum Beispiel kann in einigen Fällen eine Pufferzonen-Distanz in Längsrichtung (z.B. eine Distanz, die sich vom Zielfahrzeug in Richtung Front oder Heck des Host-Fahrzeugs erstreckt - wie in dem Fall, dass das Host-Fahrzeug auf das Zielfahrzeug zufährt) mindestens einen Meter betragen. Eine seitliche Pufferzonen-Distanz (z.B. eine, die sich vom Zielfahrzeug zu beiden Seiten des Host-Fahrzeugs erstreckt - z.B. wenn das Host-Fahrzeug in der gleichen oder entgegengesetzten Richtung wie das Zielfahrzeug fährt, so dass eine Seite des Host-Fahrzeugs an einer Seite des Zielfahrzeugs vorbeifährt) kann mindestens 0,5 Meter betragen.
Wie oben beschrieben, können durch die Erkennung eines Zielfahrzeugs oder eines Fußgängers in der Umgebung des Host-Fahrzeugs auch andere Beschränkungen impliziert sein. Beispielsweise können die vorhergesagten Trajektorien des Host-Fahrzeugs und des Zielfahrzeugs 1217 berücksichtigt werden, und wo sich die beiden Trajektorien kreuzen (z.B. am Kreuzungspunkt 1230), kann eine harte Beschränkung $t_{1}^{l} > t_{2}^{a} oder t_{1}^{l} > t_{2}^{a} + 0.5$
erfordern, wobei das Host-Fahrzeug Fahrzeug 1 und das Zielfahrzeug 1217 Fahrzeug 2 ist. In ähnlicher Weise kann die Trajektorie des Fußgängers 1215 (basierend auf Fahrtrichtung und Geschwindigkeit) relativ zur projizierten Trajektorie des Host-Fahrzeugs überwacht werden. Bei einer bestimmten Fußgängertrajektorie mit jedem Punkt p auf der Trajektorie stellt t(p) die Zeit dar, die der Fußgänger benötigt, um den Punkt p (d.h. Punkt 1231 in 12) zu erreichen. Um den erforderlichen Pufferabstand von mindestens 1 Meter zum Fußgänger einzuhalten, muss entweder t(p) größer sein als die Zeit, die das Host-Fahrzeug den Punkt p erreichen wird (mit einer ausreichenden Zeitdifferenz, so dass das Host-Fahrzeug mindestens einen Meter vor dem Fußgänger vorbeifährt), oder t(p) muss kleiner sein als die Zeit, die das Host-Fahrzeug den Punkt p erreichen wird (z.B. wenn das Host-Fahrzeug bremst, um dem Fußgänger auszuweichen). Im letzteren Beispiel erfordert die harte Beschränkung jedoch, dass das Host-Fahrzeug den Punkt p zu einer ausreichenden Zeit später als der Fußgänger erreicht, so dass das Host-Fahrzeug hinter dem Fußgänger vorbeifahren und den erforderlichen Pufferabstand von mindestens einem Meter einhalten kann.
Es können auch andere harte Beschränkungen angewendet werden. Zum Beispiel kann zumindest in einigen Fällen eine maximale Verzögerungsrate des Host-Fahrzeuges verwendet werden. Eine solche maximale Verzögerungsrate kann basierend auf einer erfassten Distanz zu einem Zielfahrzeug, das dem Host-Fahrzeug folgt, bestimmt werden (z.B. unter Verwendung von Bildern, die von einer nach hinten gerichteten Kamera aufgenommen wurden). Die harten Beschränkungen können einen obligatorischen Halt an einem erkannten Zebrastreifen oder einem Bahnübergang oder andere harte Beschränkungen beinhalten.
Wenn die Analyse einer Szene in einer Umgebung des Host-Fahrzeugs zeigt, dass eine oder mehrere vordefinierte Beschränkungen für die Navigation impliziert sein könnten, können diese Beschränkungen relativ zu einer oder mehreren geplanten Navigationsaktionen für das Host-Fahrzeug auferlegt werden. Wenn die Analyse einer Szene beispielsweise ergibt, dass Fahrstrategie-Modul 803 eine gewünschte Navigationsaktion zurückgibt, kann diese gewünschte Navigationsaktion gegen eine oder mehrere implizierte Beschränkungen getestet werden. Wenn bestimmt wird, dass die gewünschte Navigationsaktion gegen irgendeinen Aspekt der implizierten Beschränkungen verstößt (z.B. wenn die gewünschte Navigationsaktion das Host-Fahrzeug innerhalb einer Distanz von 0,7 Metern zum Fußgänger 1215 bringen würde, wobei eine vordefinierte harte Beschränkung erfordert, dass das Host-Fahrzeug mindestens 1,0 Meter vom Fußgänger 1215 entfernt bleibt), dann kann mindestens eine Änderung der gewünschten Navigationsaktion basierend auf einer oder mehreren vordefinierten Beschränkungen vorgenommen werden. Wenn die gewünschte Navigationsaktion auf diese Weise angepasst wird, kann eine tatsächliche Navigationsaktion für das Host-Fahrzeug bereitgestellt werden, die den Beschränkungen entspricht, die durch eine bestimmte, in der Umgebung des Host-Fahrzeugs erkannte Szene bedingt sind.
Nach der Bestimmung der tatsächlichen Navigationsaktion für das Host-Fahrzeug kann diese Navigationsaktion implementiert werden, indem mindestens eine Einstellung eines Navigations-Aktuators des Host-Fahrzeugs als Reaktion auf die bestimmte tatsächliche Navigationsaktion für das Host-Fahrzeug veranlasst wird. Ein solcher Navigations-Aktuator kann mindestens einen Lenkmechanismus, eine Bremse oder ein Gaspedal des Host-Fahrzeugs beinhalten.
Priorisierte Beschränkungen
Wie oben beschrieben, können bei einem Navigationssystem verschiedene harte Beschränkungen angewendet werden, um den sicheren Betrieb eines Host-Fahrzeugs zu gewährleisten. Die Beschränkungen können unter anderem einen minimalen sicheren Fahrabstand in Bezug auf einen Fußgänger, ein Zielfahrzeug, eine Straßensperre oder ein detektiertes Objekt, eine maximale Fahrgeschwindigkeit beim Passieren innerhalb einer Einflusszone eines detektierten Fußgängers oder eine maximale Verzögerungsrate für das Host-Fahrzeug beinhalten. Diese Beschränkungen können mit einem trainierten System auferlegt werden, das basierend auf maschinellem Lernen trainiert wurde (überwacht, Reinforcement Learning oder eine Kombination), aber sie können auch bei nicht trainierten Systemen nützlich sein (z.B. solche, die Algorithmen verwenden, um direkt auf erwartete Situationen zu reagieren, die sich in Szenen aus der Umgebung eines Host-Fahrzeugs ergeben).
In beiden Fällen kann es eine Hierarchie von Beschränkungen geben. Mit anderen Worten, einige Beschränkungen für die Navigation können Vorrang vor anderen Beschränkungen haben. Wenn also eine Situation eintritt, in der eine Navigationsaktion nicht verfügbar ist, die dazu führt, dass alle implizierten Beschränkungen erfüllt werden, kann das Navigationssystem die verfügbare Navigationsaktion bestimmen, die die Beschränkungen mit der höchsten Priorität zuerst erreicht. Beispielsweise kann das System das Fahrzeug veranlassen, einem Fußgänger zuerst auszuweichen, selbst wenn die Navigation zum Ausweichen des Fußgängers zu einer Kollision mit einem anderen Fahrzeug oder einem auf einer Straße erkannten Objekt führen würde. In einem anderen Beispiel kann das System das Fahrzeug veranlassen, auf einen Bordstein aufzufahren, um einem Fußgänger auszuweichen.
13 stellt ein Flussdiagramm zur Verfügung, das einen Algorithmus zur Implementierung einer Hierarchie von implizierten Beschränkungen bereitstellt, die basierend auf der Analyse einer Szene in der Umgebung eines Host-Fahrzeugs bestimmt wurden. Beispielsweise kann im Schritt 1301 mindestens eine dem Navigationssystem zugeordnete Verarbeitungsvorrichtung (z.B. ein EyeQ-Prozessor usw.) von einer am Host-Fahrzeug montierten Kamera eine Vielzahl von Bildern empfangen, die repräsentativ für eine Umgebung des Host-Fahrzeugs sind. Durch Analyse eines Bildes oder mehrerer Bilder, die repräsentativ für eine Umgebung des Host-Fahrzeugs in Schritt 1303 sind, kann ein Navigationszustand, der dem Host-Fahrzeug zugeordnet ist, identifiziert werden. Zum Beispiel kann ein Navigationszustand anzeigen, dass das Host-Fahrzeug auf einer zweispurigen Straße 1210 fährt, wie in 12 dargestellt, dass ein Zielfahrzeug 1217 sich durch eine Kreuzung vor dem Host-Fahrzeug bewegt, dass ein Fußgänger 1215 darauf wartet, die Straße zu überqueren, auf der das Host-Fahrzeug fährt, dass ein Objekt 1219 vor ihm in der Fahrspur des Host-Fahrzeugs vorhanden ist, neben verschiedenen anderen Merkmalen der Szene.
In Schritt 1305 können eine oder mehrere Navigations-Beschränkung(en) bestimmt werden, die durch den Navigationszustand des Host-Fahrzeugs impliziert ist/sind. Beispielsweise kann die mindestens eine Verarbeitungsvorrichtung nach der Analyse einer Szene in der Umgebung des Host-Fahrzeugs, die durch ein oder mehrere aufgenommene Bilder repräsentiert wird, eine oder mehrere Navigations-Beschränkungen bestimmen, die durch Objekte, Fahrzeuge, Fußgänger usw. Impliziert sind, die durch die Bildanalyse der aufgenommenen Bilder erkannt wurden. In einigen Ausführungsformen kann die mindestens eine Verarbeitungsvorrichtung mindestens eine erste vordefinierte Navigations-Beschränkung und eine zweite vordefinierte Navigations-Beschränkung, die durch den Navigationszustand impliziert ist, bestimmen, wobei sich die erste vordefinierte Navigations-Beschränkung von der zweiten vordefinierten Navigations-Beschränkung unterscheiden kann. Beispielsweise kann sich die erste Navigations-Beschränkung auf ein oder mehrere Zielfahrzeuge beziehen, die in der Umgebung des Host-Fahrzeugs erfasst werden, und die zweite Navigations-Beschränkung kann sich auf einen Fußgänger beziehen, der in der Umgebung des Host-Fahrzeugs erfasst wird.
In Schritt 1307 kann die mindestens eine Verarbeitungsvorrichtung eine Priorität bestimmen, die mit in Schritt 1305 identifizierten Beschränkungen assoziiert ist. In dem beschriebenen Beispiel kann die zweite vordefinierte Navigations-Beschränkung, die sich auf Fußgänger bezieht, eine höhere Priorität haben als die erste vordefinierte Navigations-Beschränkung, die sich auf Zielfahrzeuge bezieht. Während Prioritäten, die mit Navigations-Beschränkungen assoziiert sind, auf der Grundlage verschiedener Faktoren bestimmt oder zugewiesen werden können, kann in einigen Ausführungsformen die Priorität einer Navigations-Beschränkung mit ihrer relativen Bedeutung aus der Sicherheitsperspektive zusammenhängen. Während es zum Beispiel wichtig sein kann, dass alle implementierten Navigations-Beschränkungen in möglichst vielen Situationen befolgt oder erfüllt werden, können einige Beschränkungen mit größeren Sicherheitsrisiken assoziiert sein als andere und können daher höhere Prioritäten erhalten. Beispielsweise kann eine Navigations-Beschränkung, die verlangt, dass das Host-Fahrzeug einen Abstand von mindestens 1 Meter zu einem Fußgänger einhalten muss, eine höhere Priorität haben als eine Beschränkung, die verlangt, dass das Host-Fahrzeug einen Abstand von mindestens 1 Meter zu einem Zielfahrzeug einhalten muss. Dies kann darauf zurückzuführen sein, dass eine Kollision mit einem Fußgänger schwerwiegendere Folgen haben kann als eine Kollision mit einem anderen Fahrzeug. Ebenso kann die Einhaltung eines Abstands zwischen dem Host-Fahrzeug und einem Zielfahrzeug eine höhere Priorität haben als eine Beschränkung, die das Host-Fahrzeug verpflichtet, einer Box auf der Straße auszuweichen, weniger als eine bestimmte Geschwindigkeit über eine Bodenwelle zu fahren oder die Insassen des Host-Fahrzeugs nicht mehr als einer maximalen Beschleunigung auszusetzen.
Während Fahrstrategie-Modul 803 darauf ausgelegt ist, die Sicherheit durch die Erfüllung von Navigations-Beschränkungen zu maximieren, die durch eine bestimmte Szene oder einen bestimmten Navigationszustand impliziert sind, kann es in einigen Situationen physisch unmöglich sein, jede implizierte Beschränkung zu erfüllen. In solchen Situationen kann die Priorität jeder implizierten Beschränkung verwendet werden, um zu bestimmen, welche der implizierten Beschränkungen zuerst erfüllt werden sollte, wie in Schritt 1309 gezeigt. Um mit dem obigen Beispiel fortzufahren, kann in einer Situation, in der es nicht möglich ist, sowohl die Beschränkung für den Abstand von Fußgängern als auch die Beschränkung für den Abstand zum Zielfahrzeug zu erfüllen, sondern nur eine der Beschränkungen, die höhere Priorität der Beschränkung für den Abstand von Fußgängern dazu führen, dass diese Beschränkung erfüllt wird, bevor versucht wird, einen Abstand zum Zielfahrzeug beizubehalten. So kann in normalen Situationen die mindestens eine Verarbeitungsvorrichtung basierend auf dem identifizierten Navigationszustand des Host-Fahrzeugs eine erste Navigationsaktion für das Host-Fahrzeug bestimmen, die sowohl die erste vordefinierte Beschränkung als auch die zweite vordefinierte Beschränkung erfüllt, wobei sowohl die erste vordefinierte Beschränkung als auch die zweite vordefinierte Beschränkung erfüllt werden können, wie in Schritt 1311 gezeigt. In anderen Situationen jedoch, in denen nicht alle implizierten Beschränkungen erfüllt werden können, kann die mindestens eine Verarbeitungsvorrichtung basierend auf dem identifizierten Navigationszustand eine zweite Navigationsaktion für das Host-Fahrzeug bestimmen, die die zweite vordefinierte Beschränkung erfüllt (d.h. die Beschränkung mit höherer Priorität), aber die erste vordefinierte Beschränkung nicht erfüllt (mit einer niedrigeren Priorität als die zweite Beschränkung), wobei die erste vordefinierte Beschränkung und die zweite vordefinierte Beschränkung nicht beide erfüllt werden können, wie in Schritt 1313 gezeigt.
Um die bestimmten Navigations-Aktionen für das Host-Fahrzeug zu implementieren, kann die mindestens eine Verarbeitungsvorrichtung in Schritt 1315 als Reaktion auf die bestimmte erste Navigations-Aktion oder die bestimmte zweite Navigations-Aktion für das Host-Fahrzeug mindestens eine Einstellung eines Navigations-Aktuators des Host-Fahrzeugs bewirken. Wie im vorhergehenden Beispiel kann das Navigations-Aktuator mindestens eines von einem Lenkmechanismus, einer Bremse oder einem Gaspedal beinhalten.
Lockerung von Randebedingungen
Wie oben diskutiert, können aus Sicherheitsgründen Navigations-Beschränkungen auferlegt werden. Die Beschränkungen können u.a. einen minimalen sicheren Fahrabstand zu einem Fußgänger, einem Zielfahrzeug, einer Straßensperre oder einem detektierten Objekt, eine maximale Fahrgeschwindigkeit beim Passieren innerhalb einer Einflusszone eines detektierten Fußgängers oder eine maximale Abbremsrate für das Host-Fahrzeug beinhalten. Diese Beschränkungen können in einem lernenden oder nicht lernenden Navigationssystem auferlegt werden. In bestimmten Situationen können diese Beschränkungen gelockert werden. Wenn z.B. das Host-Fahrzeug in der Nähe eines Fußgängers abbremst oder anhält und dann langsam weiterfährt, um die Absicht zu vermitteln, den Fußgänger zu überholen, kann aus den erfassten Bildern eine Reaktion des Fußgängers erkannt werden. Wenn die Reaktion des Fußgängers darin besteht, still zu bleiben oder sich nicht mehr zu bewegen (und/oder wenn Blickkontakt mit dem Fußgänger wahrgenommen wird), kann man davon ausgehen, dass der Fußgänger die Absicht des Navigationssystems erkennt, an dem Fußgänger vorbeizugehen. In solchen Situationen kann das System eine oder mehrere vordefinierte Beschränkung(en) lockern und eine weniger strenge Beschränkung implementieren (z.B. dem Fahrzeug erlauben, innerhalb von 0,5 Metern Abstand zu einem Fußgänger zu navigieren, anstatt innerhalb einer strengeren 1-Meter-Grenze).
14 stellt ein Flussdiagramm für die Implementierung der Steuerung des Host-Fahrzeugs basierend auf der Lockerung einer oder mehrerer Navigations-Beschränkungen zur Verfügung. In Schritt 1401 kann die mindestens eine Verarbeitungsvorrichtung von einer dem Host-Fahrzeug zugeordneten Kamera eine Vielzahl von Bildern empfangen, die repräsentativ für eine Umgebung des Host-Fahrzeugs sind. Die Analyse der Bilder in Schritt 1403 kann die Identifizierung eines mit dem Host-Fahrzeug assoziierten Navigationszustands ermöglichen. In Schritt 1405 kann der mindestens eine Prozessor mit dem Navigationszustand des Host-Fahrzeugs assoziierte Navigations-Beschränkungen bestimmen. Die Navigations-Beschränkungen können eine erste vordefinierte Beschränkung beinhalten, die durch mindestens einen Aspekt des Navigationszustands impliziert ist. In Schritt 1407 kann die Analyse der Vielzahl von Bildern das Vorhandensein von mindestens einem Navigations-Beschränkungs-Lockerungsfaktor aufdecken.
Ein Navigations-Beschränkungs-Lockerungsfaktor kann jeden geeigneten Indikator dafür beinhalten, dass eine oder mehrere Navigations-Beschränkungen in mindestens einem Aspekt ausgesetzt, geändert oder anderweitig gelockert werden können. In einigen Ausführungsformen kann der mindestens eine Navigations-Randbedigungs-Lockerungsfaktor eine (auf einer Bildanalyse basierende) Bestimmung beinhalten, dass die Augen eines Fußgängers in Richtung des Host-Fahrzeugs blicken. In solchen Fällen kann mit größerer Sicherheit davon ausgegangen werden, dass der Fußgänger das Host-Fahrzeug wahrnimmt. Infolgedessen kann das Konfidenzniveau höher sein, dass der Fußgänger keine unerwarteten Aktionen ausführt, die den Fußgänger veranlassen, sich in einen Fahrzeugweg des Host-Fahrzeugs zu bewegen. Es können auch andere Lockerungsfaktoren für Beschränkungen verwendet werden. Zum Beispiel kann der mindestens eine Navigations-Beschränkungs-Lockerungsfaktor Folgendes beinhalten: einen Fußgänger, bei dem festgestellt wurde, dass er sich nicht bewegt (z.B. ein Fußgänger, von dem angenommen wird, dass er sich mit geringerer Wahrscheinlichkeit in einen Weg des Host-Fahrzeugs bewegt); oder einen Fußgänger, bei dem festgestellt wurde, dass er sich verlangsamt. Der Navigations-Beschränkungs-Lockerungsfaktor kann auch kompliziertere Aktionen beinhalten, wie z.B. einen Fußgänger, der bestimmt wird, sich nicht zu bewegen, nachdem das Host-Fahrzeug zum Stillstand gekommen ist und dann seine Bewegung wieder aufgenommen hat. In einer solchen Situation kann davon ausgegangen werden, dass der Fußgänger versteht, dass das Host-Fahrzeug Vorfahrt hat, und der zum Stillstand kommende Fußgänger kann die Absicht des Fußgängers suggerieren, dem Host-Fahrzeug nachzugeben. Andere Situationen, in denen eine oder mehrere Beschränkungen gelockert werden können, beinhalten die Art des Bordsteins (z.B. ein niedriger Bordstein oder ein Stein mit einer allmählichen Steigung könnte eine Lockerung der Abstandsbeschränkung ermöglichen), das Fehlen von Fußgängern oder anderen Objekten auf dem Bürgersteig, ein Fahrzeug, dessen Motor nicht läuft, könnte einen lockeren Abstand haben, oder eine Situation, in der ein Fußgänger sich von dem Bereich, auf den das Host-Fahrzeug zufährt, abgewandt ist und/oder sich von ihm entfernt.
Wenn das Vorhandensein eines Navigations-Beschränkungs-Relaxationsfaktors identifiziert wird (z. B. bei Schritt 1407), kann eine zweite Navigations-Beschränkung als Reaktion auf die Erkennung des Lockerungsfaktors der Navigations-Beschränkung bestimmt oder entwickelt werden. Diese zweite Navigations-Beschränkung kann sich von der ersten Navigations-Beschränkung unterscheiden und mindestens ein Merkmal beinhalten, das gegenüber der ersten Navigations-Beschränkung entspannt ist. Die zweite Navigations-Beschränkung kann eine neu generierte Beschränkung basierend auf der ersten Beschränkung enthalten, wobei die neu generierte Beschränkung mindestens eine Modifikation beinhaltet, die die erste Beschränkung in mindestens einer Hinsicht lockert. Alternativ kann die zweite Beschränkung eine vorbestimmte Beschränkung darstellen, die in mindestens einer Hinsicht weniger streng als die erste Navigations-Beschränkung ist. In einigen Ausführungsformen können solche zweiten Beschränkungen nur für die Verwendung in Situationen reserviert sein, in denen ein Lockerungsfaktor der Beschränkung in einer Umgebung des Host-Fahrzeugs identifiziert wird. Unabhängig davon, ob die zweite Beschränkung neu generiert oder aus einem Satz vollständig oder teilweise verfügbarer vorgegebener Beschränkungen ausgewählt wurde, kann die Anwendung einer zweiten Navigations-Beschränkung anstelle einer strengeren ersten Navigations-Beschränkung (die bei fehlender Erkennung relevanter Relaxationsfaktoren der Navigations-Beschränkung angewendet werden kann) als Lockerung der Beschränkung bezeichnet und in Schritt 1409 durchgeführt werden.
Wenn in Schritt 1407 mindestens ein Beschränkungs-Lockerungsfaktor erkannt wird und mindestens eine Beschränkung in Schritt 1409 gelockert wurde, kann in Schritt 1411 eine Navigations-Beschränkung für das Host-Fahrzeug bestimmt werden. Die Navigationsaktion für das Host-Fahrzeug kann auf dem identifizierten Navigationszustand basieren und die zweite Navigations-Beschränkung erfüllen. Die Navigationsaktion kann in Schritt 1413 implementiert werden, indem mindestens eine Anpassung eines Navigations-Aktuators des Host-Fahrzeugs als Reaktion auf die bestimmte Navigationsaktion veranlasst wird.
Wie oben erörtert, kann die Verwendung von Navigations-Beschränkungen und gelockerten Navigations-Beschränkungen bei Navigationssystemen eingesetzt werden, die trainiert (z.B. durch maschinelles Lernen) oder untrainiert sind (z.B. Systeme, die so programmiert sind, dass sie mit vorgegebenen Aktionen auf bestimmte Navigationszustände reagieren). Wenn trainierte Navigationssysteme verwendet werden, kann die Verfügbarkeit von gelockerten Navigations-Beschränkungen für bestimmte Navigationssituationen einen Moduswechsel von einer trainierten Systemreaktion zu einer untrainierten Systemreaktion darstellen. Beispielsweise kann ein trainiertes Navigationsnetzwerk eine ursprüngliche Navigationsaktion für das Host-Fahrzeug bestimmen, basierend auf der ersten Navigations-Beschränkung. Die vom Fahrzeug ausgeführte Aktion kann sich jedoch von der Navigationsaktion unterscheiden, die die erste Navigations-Beschränkung erfüllt. Vielmehr kann die ergriffene Aktion die entspanntere zweite Beschränkung erfüllen und eine Aktion sein, die von einem nicht trainierten System entwickelt wurde (z.B. als Reaktion auf die Erkennung einer bestimmten Bedingung in der Umgebung des Host-Fahrzeugs, wie z.B. das Vorhandensein eines Navigations-Beschränkungs-Lockerungsfaktors).
Es gibt viele Beispiele für Navigations-Beschränkungen, die als Reaktion auf die Erkennung eines Lockerungsfaktors einer Beschränkung in der Umgebung des Host-Fahrzeugs gelockert werden können. Wenn z.B. eine vordefinierte Navigations-Beschränkung eine Pufferzone enthält, die mit einem erfassten Fußgänger assoziiert ist, und mindestens ein Abschnitt der Pufferzone sich über eine Distanz von dem erfassten Fußgänger erstreckt, kann eine gelockerte Navigations-Beschränkung (entweder neu entwickelt, aus dem Speicher aus einem vorbestimmten Satz abgerufen oder als eine entspannte Version einer bereits bestehenden Beschränkung erzeugt) eine andere oder modifizierte Pufferzone beinhalten. Die andere oder modifizierte Pufferzone kann beispielsweise eine Distanz relativ zum Fußgänger aufweisen, die geringer ist als die ursprüngliche oder nicht modifizierte Pufferzonen-Distanz relativ zum erfassten Fußgänger. Infolgedessen kann es dem Host-Fahrzeug angesichts der gelockerten Beschränkung gestattet sein, näher an einen erfassten Fußgänger heran zu fahren, wenn in der Umgebung des Host-Fahrzeugs ein angemessener Lockerungsfaktor der Beschränkung festgestellt wird.
Eine Lockerung einer Navigations-Beschränkung kann eine reduzierte Breite in einer Pufferzone beinhalten, die, wie oben erwähnt, mit mindestens einem Fußgänger assoziiert ist. Die Lockerung kann jedoch auch eine verringerte Breite in einer Pufferzone beinhalten, die einem Zielfahrzeug, einem erfassten Objekt, einer Straßenrandbarriere oder einem anderen Objekt, das in der Umgebung des Host-Fahrzeugs erfasst wird, zugeordnet ist.
Die mindestens eine gelockerte Charakteristik kann auch andere Arten von Modifikationen in Navigations-Beschränkung-Charakteristiken beinhalten. Beispielsweise kann die gelockerte Charakteristik eine Erhöhung der Geschwindigkeit beinhalten, die mit mindestens einer vordefinierten Navigations-Beschränkung assoziiert ist. Die gelockerte Charakteristik kann auch eine Erhöhung einer maximal zulässigen Abbremsung/Beschleunigung beinhalten, die mit mindestens einer vordefinierten Navigations-Beschränkung assoziiert ist.
Während Beschränkungen in bestimmten Situationen, wie oben beschrieben, gelockert werden können, können in anderen Situationen Navigations-Beschränkungen gelockert werden. Beispielsweise kann ein Navigationssystem in einigen Situationen bestimmen, dass die Bedingungen eine Erweiterung einer normalen Reihe von Navigations-Beschränkungen rechtfertigen. Eine solche Erweiterung kann das Hinzufügen neuer Beschränkungen zu einem vordefinierten Satz von Beschränkungen oder die Anpassung eines oder mehrerer Aspekte einer vordefinierten Beschränkung beinhalten. Die Hinzufügung oder Anpassung kann zu einer konservativeren Navigation in Bezug auf den vordefinierten Satz von Beschränkungen führen, die unter normalen Fahrbedingungen gelten. Bedingungen, die eine Erweiterung der Beschränkung erfordern, können Sensorausfälle, ungünstige Umgebungsbedingungen (Regen, Schnee, Nebel oder andere Bedingungen, die mit eingeschränkter Sicht oder reduzierter Fahrzeugtraktion assoziiert sind) usw. beinhalten.
15 stellt ein Flussdiagramm für die Implementierung der Steuerung des Host-Fahrzeugs basierend auf der Erweiterung einer oder mehrerer Navigations-Beschränkung(en) zur Verfügung. In Schritt 1501 kann die mindestens eine Verarbeitungsvorrichtung von einer dem Host-Fahrzeug zugeordneten Kamera eine Vielzahl von Bildern empfangen, die repräsentativ für eine Umgebung des Host-Fahrzeugs sind. Die Analyse der Bilder in Schritt 1503 kann die Identifizierung eines mit dem Host-Fahrzeug assoziierten Navigationszustands ermöglichen. In Schritt 1505 kann der mindestens eine Prozessor mit dem Navigationszustand des Host-Fahrzeugs assoziierte Navigations-Beschränkungen bestimmen. Die Navigations-Beschränkungen können eine erste vordefinierte Beschränkung beinhalten, die durch mindestens einen Aspekt des Navigationszustands impliziert ist. In Schritt 1507 kann die Analyse der Vielzahl von Bildern das Vorhandensein von mindestens einem Navigations-Beschränkungs-Erweiterungsfaktor aufdecken.
Eine implizierte Navigationsbeschränkung kann jede der oben diskutierten Navigationsbeschränkungen (z.B. in Bezug auf 12) oder jede andere geeignete Navigationsbeschränkung beinhalten. Ein Navigations-Beschränkungs-Erweiterungsfaktor kann jeden Indikator beinhalten, dass eine oder mehrere Navigationsbeschränkungen in mindestens einem Aspekt ergänzt/erweitert werden können. Eine Ergänzung oder Erweiterung von Navigationsbeschränkungen kann auf einer Pro-Beschränkungs-Basis durchgeführt werden (z.B. durch Hinzufügen neuer Navigationsbeschränkungen zu einem vorbestimmten Satz von Beschränkungen) oder kann auf einer Pro-Beschränkungs-Basis durchgeführt werden (z.B. durch Modifizieren einer bestimmten Beschränkung, so dass die modifizierte Beschränkung restriktiver ist als die ursprüngliche, oder durch Hinzufügen einer neuen Beschränkung, die einer vorbestimmten Korrespondenz entspricht, wobei die neue Beschränkung in mindestens einem Aspekt restriktiver ist als die entsprechende Beschränkung). Zusätzlich oder alternativ dazu kann sich die Ergänzung oder Erweiterung von Navigations-Beschränkungen auf eine Auswahl aus einem Satz von vorbestimmten Beschränkungen basierend auf einer Hierarchie beziehen. Beispielsweise kann ein Satz erweiterter Beschränkungen für die Auswahl verfügbar sein, basierend darauf, ob ein Navigations-Beschränkungs-Erweiterungsfaktor in der Umgebung des Host-Fahrzeugs oder relativ zu diesem erkannt wird. Unter normalen Bedingungen, bei denen kein Erweiterungsfaktor erkannt wird, können die implizierten Navigations-Beschränkungs-Erweiterungsfaktoren aus den für normale Bedingungen geltenden Beschränkungen abgeleitet werden. Wenn andererseits ein oder mehrere Erweiterungsfaktoren für eine oder mehrere Beschränkungen erkannt werden, können die implizierten Beschränkungen aus erweiterten Beschränkungen gezogen werden, die entweder generiert oder relativ zu dem einen oder den mehreren Erweiterungsfaktoren vordefiniert wurden. Die erweiterten Beschränkungen können in mindestens einem Aspekt restriktiver sein als entsprechende Beschränkungen, die unter normalen Bedingungen anwendbar sind.
In einigen Ausführungsformen kann der mindestens eine Navigations-Beschränkungs-Erweiterungsfaktor eine Erkennung (z.B. basierend auf einer Bildanalyse) des Vorhandenseins von Eis, Schnee oder Wasser auf einer Straßenoberfläche in der Umgebung des Host-Fahrzeugs beinhalten. Eine solche Bestimmung kann z.B. auf der Erkennung folgender Faktoren basieren: Bereiche mit einem höheren Reflexionsgrad als für trockene Fahrbahnen erwartet (z.B. als Hinweis auf Eis oder Wasser auf der Fahrbahn); weiße Bereiche auf der Fahrbahn als Hinweis auf Schnee; Schatten auf der Fahrbahn, die mit dem Vorhandensein von Längsgräben (z.B. Reifenspuren im Schnee) auf der Fahrbahn konsistent sind; Wassertröpfchen oder Eis-/Schneepartikel auf einer Windschutzscheibe des Host-Fahrzeugs; oder jeder andere geeignete Indikator für das Vorhandensein von Wasser oder Eis/Schnee auf einer Fahrbahnoberfläche.
Der mindestens eine Navigations-Beschränkungs-Erweiterungsfaktor kann auch die Erfassung von Partikeln auf der Außenfläche einer Windschutzscheibe des Host-Fahrzeugs beinhalten. Solche Partikel können die Bildqualität einer oder mehrerer mit dem Host-Fahrzeug assoziierter Bilderfassungsvorrichtungen beeinträchtigen. Während die Erfassung von Partikeln auf einer Windschutzscheibe des Host-Fahrzeugs beschrieben wird, was für hinter der Windschutzscheibe des Host-Fahrzeugs angebrachte Kameras relevant ist, kann die Erfassung von Partikeln auf anderen Oberflächen (z.B. einer Linse oder Linsenabdeckung einer Kamera, einer Scheinwerferlinse, einer hinteren Windschutzscheibe, einer Rücklichtlinse oder jeder anderen Oberfläche des Host-Fahrzeugs, die für eine dem Host-Fahrzeug zugeordnete Bilderfassungsvorrichtung sichtbar ist (oder von einem Sensor erfasst wird), auch das Vorhandensein eines Navigations-Beschränkungs-Erweiterungs-Faktors anzeigen.
Der Navigations-Beschränkungs-Erweiterungsfaktor kann auch als ein Attribut eines oder mehrerer Bilderfassungsvorrichtungen erkannt werden. So kann z.B. eine erkannte Verringerung der Bildqualität eines oder mehrerer Bilder, die von einer dem Host-Fahrzeug zugeordneten Bilderfassungsvorrichtung (z.B. einer Kamera) aufgenommen wurden, ebenfalls einen Navigations-Beschränkungs-Erweiterungsfaktor darstellen. Eine Verminderung der Bildqualität kann mit einem Hardware-Fehler oder teilweisen Hardware-Fehler assoziiert sein, der mit der Bilderfassungsvorrichtung oder einer mit der Bilderfassungsvorrichtung assoziierten Baugruppe zusammenhängt. Ein solcher Rückgang der Bildqualität kann auch durch Umgebungsbedingungen verursacht werden. Zum Beispiel kann das Vorhandensein von Rauch, Nebel, Regen, Schnee usw. in der Luft in der Umgebung des Host-Fahrzeuges ebenfalls zu einer verminderten Bildqualität in Bezug auf die Straße, Fußgänger, Zielfahrzeuge usw. beitragen, die in einer Umgebung des Host-Fahrzeuges vorhanden sein können.
Der Navigations-Beschränkungs-Erweiterungsfaktor kann sich auch auf andere Aspekte des Host-Fahrzeugs beziehen. Beispielsweise kann der Erweiterungsfaktor der Navigations-Beschränkungs-Erweiterungsfaktoren in einigen Situationen einen erkannten Ausfall oder Teilausfall eines Systems oder Sensors beinhalten, der mit dem Host-Fahrzeug assoziiert ist. Ein solcher Erweiterungsfaktor kann z.B. die Erkennung eines Ausfalls oder Teilausfalls eines Geschwindigkeitssensors, GPS-Empfängers, Beschleunigungsmessers, einer Kamera, eines Radars, eines Lidars, von Bremsen, Reifen oder jedes anderen mit dem Host-Fahrzeug assoziierten Systems beinhalten, der die Fähigkeit des Host-Fahrzeugs, relativ zu den mit einem Navigationszustand des Host-Fahrzeugs verbundenen Navigationsbeschränkungen zu navigieren, beeinträchtigen kann.
Wenn das Vorhandensein eines Navigations-Beschränkungs-Erweiterungsfaktors festgestellt wird (z. B. bei Schritt 1507), kann als Reaktion auf die Feststellung des Beschränkungs-Erweiterungsfaktors eine zweite Navigations-Beschränkung bestimmt oder entwickelt werden. Diese zweite Navigationsbeschränkung kann sich von der ersten Navigationsbeschränkung unterscheiden und kann mindestens eine gegenüber der ersten Navigationsbeschränkung erweiterte Charakteristik beinhalten. Die zweite Navigationsbeschränkung kann restriktiver sein als die erste Navigationsbeschränkung, da die Erfassung eines Beschränkungs-Erweiterungsfaktors in der Umgebung des Host-Fahrzeugs oder assoziiert mit dem Host-Fahrzeug darauf hindeuten kann, dass das Host-Fahrzeug mindestens eine gegenüber den normalen Betriebsbedingungen reduzierte Navigationsfähigkeit aufweist. Solche reduzierten Fähigkeiten können eine verminderte Traktion auf der Fahrbahn (z.B. Eis, Schnee oder Wasser auf der Fahrbahn; verminderter Reifendruck usw.), Sehbehinderungen (z.B. Regen, Schnee, Staub, Rauch, Nebel usw., die die Qualität des aufgenommenen Bildes vermindern), eine verminderte Detektionsfähigkeit (z.B. Sensorausfall oder teilweiser Ausfall, verminderte Sensorleistung usw.) oder jede andere Verminderung der Navigationsfähigkeit des Host-Fahrzeugs als Reaktion auf einen erkannten Navigationszustand beinhalten.
Wenn in Schritt 1507 mindestens ein Beschränkungs-Erweiterungsfaktor festgestellt wird und in Schritt 1509 mindestens eine Beschränkung erweitert wurde, kann in Schritt 1511 eine Navigations-Beschänkung für das Host-Fahrzeug bestimmt werden. Die Navigationsaktion für das Host-Fahrzeug kann auf dem identifizierten Navigationszustand basieren und die zweite Navigations-Beschränkung (d.h. die erweiterte Beschränkung) erfüllen. Die Navigationsaktion kann in Schritt 1513 implementiert werden, indem mindestens eine Einstellung eines Navigations-Aktuators des Host-Fahrzeugs als Reaktion auf die bestimmte Navigationsaktion veranlasst wird.
Wie diskutiert, kann die Verwendung von Navigations-Beschränkungen und erweiterten Navigations-Beschränkungen bei Navigationssystemen eingesetzt werden, die trainiert (z.B. durch maschinelles Lernen) oder untrainiert sind (z.B. Systeme, die so programmiert sind, dass sie als Reaktion auf bestimmte Navigationszustände mit vorgegebenen Aktionen reagieren). Wenn trainierte Navigationssysteme verwendet werden, kann die Verfügbarkeit erweiterter Navigations-Beschränkungen für bestimmte Navigationssituationen einen Moduswechsel von einer trainierten Systemreaktion zu einer untrainierten Systemreaktion darstellen. Beispielsweise kann ein trainiertes Navigationsnetzwerk eine ursprüngliche Navigationsaktion für das Host-Fahrzeug bestimmen, basierend auf der ersten Navigations-Beschränkung. Die vom Fahrzeug ausgeführte Aktion kann sich jedoch von der Navigationsaktion, die die erste Navigationsbeschränkung erfüllt, unterscheiden. Vielmehr kann die ergriffene Aktion die erweiterte zweite Navigationsbeschränkung erfüllen und eine Aktion sein, die von einem nicht trainierten System entwickelt wurde (z.B. als Reaktion auf die Erkennung einer bestimmten Bedingung in der Umgebung des Host-Fahrzeugs, wie z.B. das Vorhandensein eines Navigations-Beschränkungs-Erweiterungs-Faktors).
Es gibt viele Beispiele für Navigations-Beschränkungen, die als Reaktion auf die Erkennung eines Beschränkungs-Erweiterungsfaktors in der Umgebung des Host-Fahrzeugs generiert, ergänzt oder erweitert werden können. Wenn beispielsweise eine vordefinierte Navigationsbeschränkung eine Pufferzone beinhaltet, die einem erfassten Fußgänger, Objekt, Fahrzeug usw. zugeordnet ist, und mindestens ein Abschnitt der Pufferzone sich über eine Distanz von dem erfassten Fußgänger/Objekt/Fahrzeug erstreckt, kann eine erweiterte Navigationsbeschränkung (entweder neu entwickelt, aus dem Speicher aus einem vorbestimmten Satz abgerufen oder als erweiterte Version einer bereits bestehenden Beschränkung generiert) eine andere oder modifizierte Pufferzone beinhalten. Zum Beispiel kann die andere oder modifizierte Pufferzone eine Distanz relativ zum Fußgänger/Objekt/Fahrzeug haben, die größer ist als die ursprüngliche oder unmodifizierte Pufferzone relativ zum erkannten Fußgänger/Objekt/Fahrzeug. Infolgedessen kann das Host-Fahrzeug angesichts der erweiterten Beschränkung gezwungen sein, weiter vom erkannten Fußgänger/Objekt/Fahrzeug entfernt zu navigieren, wenn in der Umgebung des Host-Fahrzeugs oder relativ zum Host-Fahrzeug ein geeigneter Navigations-Beschränkungs-Erweiterungsfaktor erkannt wird.
Die mindestens eine erweiterte Charakteristik kann auch andere Arten von Modifikationen von Merkmalen der Navigations-Beschränkungen beinhalten. Beispielsweise kann das erweiterte Merkmal eine Verringerung der Geschwindigkeit beinhalten, die mit mindestens einer vordefinierten Navigations-Beschränkung assoziiert ist. Die erweiterte Charakteristik kann auch eine Verringerung einer maximal zulässigen Abbremsung/Beschleunigung beinhalten, die mit mindestens einer vordefinierten Navigations-Beschränkung assoziiert ist.
Navigation basierend auf langfristiger Planung
In einigen Ausführungsformen kann das offenbarte Navigationssystem nicht nur auf einen erkannten Navigationszustand in einer Umgebung des Host-Fahrzeugs reagieren, sondern auch eine oder mehrere Navigationsaktionen basierend auf einer langfristigen Planung bestimmen. Beispielsweise kann das System die potenziellen Auswirkungen einer oder mehrerer Navigationsaktionen, die als Optionen für die Navigation in Bezug auf einen erkannten Navigationszustand zur Verfügung stehen, auf zukünftige Navigationszustände berücksichtigen. Die Berücksichtigung der Auswirkungen verfügbarer Aktionen auf künftige Zustände kann das Navigationssystem in die Lage versetzen, Navigationsaktionen nicht nur auf der Grundlage eines aktuell erfassten Navigationszustands, sondern auch auf der Grundlage einer langfristigen Planung zu bestimmen. Navigation unter Verwendung von Techniken der langfristigen Planung kann besonders dann anwendbar sein, wenn eine oder mehrere Belohnungsfunktionen vom Navigationssystem als Technik zur Auswahl von Navigationsaktionen aus den verfügbaren Optionen verwendet werden. Mögliche Belohnungen können im Hinblick auf die verfügbaren Navigationsaktionen analysiert werden, die als Reaktion auf einen erkannten, aktuellen Navigationszustand des Host-Fahrzeugs durchgeführt werden können. Darüber hinaus können die potenziellen Belohnungen jedoch auch in Bezug auf Aktionen analysiert werden, die als Reaktion auf künftige Navigationszustände durchgeführt werden können, die sich voraussichtlich aus den verfügbaren Aktionen zu einem aktuellen Navigationszustand ergeben werden. Infolgedessen kann das offenbarte Navigationssystem in einigen Fällen als Reaktion auf einen erkannten Navigationszustand eine Navigationsreaktion auswählen, auch wenn die ausgewählte Navigationsaktion unter den verfügbaren Aktionen, die als Reaktion auf den aktuellen Navigationszustand durchgeführt werden können, möglicherweise nicht die höchste Belohnung ergibt. Dies kann insbesondere dann der Fall sein, wenn das System bestimmt, dass die ausgewählte Aktion zu einem zukünftigen Navigationszustand führen kann, der eine oder mehrere potenzielle Navigationsaktionen hervorruft, die höhere Belohnungen bieten als die ausgewählte Aktion oder, in einigen Fällen, eine der verfügbaren Aktionen im Verhältnis zu einem aktuellen Navigationszustand. Das Prinzip kann einfacher ausgedrückt werden, indem man jetzt eine weniger günstige Aktion ausführt, um in der Zukunft höhere Belohnungsoptionen zu erhalten. So kann das offenbar zur langfristigen Planung fähige Navigationssystem eine suboptimale kurzfristige Aktion wählen, wenn die langfristige Vorhersage darauf hinweist, dass ein kurzfristiger Verlust an Belohnung zu langfristigen Belohnungsgewinnen führen kann.
Im Allgemeinen können autonome Fahranwendungen eine Reihe von Planungsproblemen mit sich bringen, bei denen das Navigationssystem über sofortige Aktionen entscheiden kann, um ein längerfristiges Ziel zu optimieren. Wenn ein Fahrzeug beispielsweise an einem Kreisverkehr mit einer Zusammenführungssituation konfrontiert wird, kann das Navigationssystem einen sofortigen Beschleunigungs- oder Bremsbefehl beschließen, um die Navigation in den Kreisverkehr einzuleiten. Während die unmittelbare Reaktion auf den erkannten Navigationszustand am Kreisverkehr einen Beschleunigungs- oder Bremsbefehl umfassen kann, der auf den erkannten Zustand reagiert, ist das langfristige Ziel eine erfolgreiche Zusammenführung, und die langfristige Auswirkung des gewählten Befehls ist der Erfolg/Fehlschlag der Zusammenführung. Das Planungsproblem kann durch Zerlegung des Problems in zwei Phasen angegangen werden. Erstens kann überwachtes Lernen zur Vorhersage der nahen Zukunft basierend auf der Gegenwart angewendet werden (vorausgesetzt, der Prädiktor ist in Bezug auf die Darstellung der Gegenwart differenzierbar). Zweitens kann eine vollständige Trajektorie des Agenten unter Verwendung eines wiederkehrenden neuronalen Netzes modelliert werden, wobei unerklärliche Faktoren als (additive) Eingangsknoten modelliert werden. Dies kann es ermöglichen, Lösungen für das langfristige Planungsproblem zu bestimmen, indem überwachte Lerntechniken und direkte Optimierung über das rekurrierende neuronale Netz verwendet werden. Ein solcher Ansatz kann auch das Erlernen robuster Strategien ermöglichen, indem kontradiktorische Elemente der Umgebung einbezogen werden.
Zwei der grundlegendsten Elemente autonomer Antriebssysteme sind Erfassen und Planung. Beim Erfassen geht es darum, eine kompakte Darstellung des aktuellen Zustands der Umwelt zu finden, während es bei der Planung darum geht, zu entscheiden, welche Maßnahmen zu ergreifen sind, um zukünftige Ziele zu optimieren. Überwachte Techniken des maschinellen Lernens sind nützlich für die Lösung von Erfassungsproblemen. Algorithmische Rahmenwerke des maschinellen Lernens können auch für den Planungsteil verwendet werden, insbesondere Rahmenwerke des Reinforcement Learning (RL), wie die oben beschriebenen.
RL kann in einer Folge von aufeinander folgenden Runden durchgeführt werden. In Runde t kann der Planer (auch bekannt als der Agent oder Fahrstrategie-Modul 803) einen Zustand s_t ∈ S beobachten, , der den Agenten und die Umwelt repräsentiert. Er soll sich dann für eine Aktion a_t ∈ A entscheiden. Nach Durchführung der Aktion erhält der Agent eine sofortige Belohnung, r_t ∈ R, und wird in einen neuen Zustand bewegt, s_t+1. Als Beispiel kann das Host-Fahrzeug ein adaptives Geschwindigkeitsregelungssystem (ACC) beinhalten, bei dem das Fahrzeug autonom eine Beschleunigung/Bremsung implementieren sollte, um eine angemessene Distanz zu einem vorausfahrenden Fahrzeug einzuhalten und gleichzeitig eine ruhige Fahrt zu gewährleisten. Der Zustand kann modelliert werden als Paar $s_{t} = (x_{t}, v_{t}) \in ℝ^{2},$
die Distanz zum vorausfahrenden Fahrzeug ist und v_t die Geschwindigkeit des Host-Fahrzeugs relativ zu der Geschwindigkeit des vorausfahrendenFahrzeugs ist. Die Aktion a_t ∈ ℝ wird der Beschleunigungsbefehl (wobei das Host-Fahrzeug verlangsamt, wenn a_t < 0). Die Belohnung kann eine Funktionsein, die abhängt von |a_t| (was die Laufruhe des Fahrens wiederspiegelt) und von s_t (dies spiegelt wider, dass das Host-Fahrzeug einen sicheren Abstand zum vorausfahrenden Fahrzeug einhält). Das Ziel des Planers ist es, die kumulative Belohnung zu maximieren (vielleicht bis zu einem Zeithorizont oder einer diskontierten Summe zukünftiger Belohnungen). Um dies zu erreichen, kann sich der Planer auf eine Strategie , π : S→A stützen, die einen Zustand auf eine Aktion abbildet.
Überwachtes Lernen (SL) kann als ein Sonderfall von RL betrachtet werden, bei dem s_t aus einer Verteilung über S gesampelt wird, und die Belohnungsfunktion hat die r_t = -l(a_t, y_t), wobei l eine Verlustfunktion ist, und der Lerner den Wert beobachtet von y_t, der der (möglicherweise verrauschte) Wert der optimalen Aktion ist, die zu ergreifen ist, wenn der Zustand s_t beobachtet wird. Es kann mehrere Unterschiede zwischen einem allgemeinen RL-Modell und einem spezifischen Fall von SL geben, und diese Unterschiede können das allgemeine RL-Problem schwieriger machen.
In einigen SL-Situationen haben die Handlungen (oder Vorhersagen) des Lernenden möglicherweise keine Auswirkungen auf die Umwelt. Mit anderen Worten, s_t+1 und a_t sind unabhängig. Dies kann zwei wichtige Auswirkungen haben. Erstens, in SL, kann eine Stichprobe (s₁ ,y₁), • • • , (s_m, y_m) im Vorhinein gesammelt werden, und erst dann kann die Suche nach einer Strategie (oder einem Prädiktor) beginnen, die eine gute Genauigkeit in Bezug auf die Stichprobe aufweist. Im Gegensatz dazu ist bei RL der Zustand s_t+1 üblicherweise abhängig von der gewählten Aktion (und auch den vorherigen Zustand), was wiederum von der Strategie abhängt, die der Aktion zugrunde liegt. Dadurch wird der Prozess der Datengenerierung mit dem Lernprozess der Strategie verknüpft. Zweitens, weil Aktionen die Umwelt in SL nicht beeinflussen, ist der Beitrag der Wahl von a_t auf die Performance von π lokal. Konkret, a_t wirkt sich nur auf den Wert der unmittelbaren Belohnung aus. Im Gegensatz dazu können in der RL Maßnahmen, die in Runde t ergriffen werden, langfristige Auswirkungen auf die Belohnungswerte in zukünftigen Runden haben.
In SL kann das Wissen um die „richtige“ Antwort, y_t, zusammen mit der Form der Belohnung, r_t= -l(a_t, y_t) volles Wissen über die Belohnung für alle möglichen Wahlmöglichkeiten von a_t zur Verfügung stellen, was die Berechnung der Ableitung der Belohnung in Bezug auf a_t ermöglichen kann. Im Gegensatz dazu kann bei RL ein „One-Shot“-Wert der Belohnung alles sein, was bei einer bestimmten Wahl der ergriffenen Maßnahmen beobachtet werden kann. Dies kann als „Banditen“-Feedback bezeichnet werden. Dies ist einer der wichtigsten Gründe für die Notwendigkeit der „Erkundung“ als Teil der langfristigen Navigationsplanung, denn wenn in RLbasierten Systemen nur „Banditen“-Feedback verfügbar ist, weiß das System möglicherweise nicht immer, ob die ergriffene Maßnahme die beste war.
Viele RL-Algorithmen beruhen, zumindest teilweise, auf dem mathematisch eleganten Modell eines Markov-Entscheidungsprozesses (MDP). Die Markov'sche Annahme ist, dass die Verteilung von s_t+1 voll bestimmt ist, gegeben s_t und a_t. Daraus ergibt sich eine geschlossene Form des Ausdrucks für die kumulative Belohnung einer bestimmten Strategie im Hinblick auf die stationäre Verteilung des MDP über die Zustände. Die stationäre Verteilung einer Strategie kann als Lösung für ein lineares Programmierungsproblem ausgedrückt werden. Daraus ergeben sich zwei Familien von Algorithmen: 1) die Optimierung in Bezug auf das Ursprungsproblem, die als Suche nach Strategien bezeichnet werden kann, und 2) die Optimierung in Bezug auf ein duales Problem, dessen Variablen als Wertfunktion, V^π bezeichnet werden. Die Wertfunktion bestimmt die erwartete kumulative Belohnung, wenn das MDP vom Anfangszustand, s, ausgeht und von dort die Aktionen gemäß π gewählt werden. Eine verwandte Größe ist die Zustands-Aktionswert-Funktion, Q^π (s, a), die die kumulative Belohnung unter der Annahme eines Starts vom Zustand, s, einer unmittelbar gewählten Aktion a_t und von dort an Aktionen, die gemäß π gewählt sind, bestimmt. Die Q Funktion kann zu einer Charakterisierung der optimalen Strategie führen (unter Verwendung der Bellman's Gleichung). Insbesondere kann die Q Funktion zeigen, dass die optimale Strategie eine deterministische Funktion von S zu A ist (in der Tat kann sie als eine „gierige“ Strategie in Bezug auf die optimale Q-Funktion charakterisiert werden).
Ein potenzieller Vorteil des MDP-Modells besteht darin, dass es mit Hilfe der Q-Funktion eine Kopplung der Zukunft in die Gegenwart ermöglicht. Da sich beispielsweise ein Host-Fahrzeug jetzt im Zustand s befindet, kann der Wert von Q^π (s, a) einen Effekt einer Durchführung von Aktion a in der Zukunft anzeigen. Daher kann die Q-Funktion ein lokales Maß für die Qualität einer Aktion a bereitstellen, wodurch das RL-Problem einem SL-Szenario ähnlicher wird.
Viele RL-Algorithmen approximieren die V-Funktion oder die Q-Funktion auf die eine oder andere Weise. Wertiterationsalgorithmen, z.B. der Q-Lernalgorithmus, können sich auf die Tatsache stützen, dass die V- und Q-Funktionen der optimalen Strategie Fixpunkte einiger Anwender sein können, die aus der Bellman-Gleichung abgeleitet sind. Akteurskritische Strategie-Iterationsalgorithmen zielen darauf ab, eine Strategie auf iterative Weise zu lernen, wobei bei einer Iteration t der „Kritiker“ Q^πt schätzt und basierend auf dieser Schätzung der „Handelnde“ seine Strategie anpasst.
Trotz der mathematischen Eleganz von MDPs und der Bequemlichkeit, zur Q-Funktionsdarstellung zu wechseln, kann dieser Ansatz mehrere Einschränkungen haben. Zum Beispiel kann in manchen Fällen nur eine ungefähre Vorstellung von einem Markovschen Verhaltenszustand gefunden werden. Darüber hinaus kann der Übergang von Zuständen nicht nur von der Handlung des Agenten, sondern auch von den Handlungen anderer Akteure in der Umgebung abhängen. Während beispielsweise im oben erwähnten ACC-Beispiel die Dynamik des autonomen Fahrzeugs markovianisch sein kann, kann der nächste Zustand vom Verhalten des Fahrers des anderen Fahrzeugs abhängen, das nicht unbedingt markovianisch ist. Eine mögliche Lösung für dieses Problem ist die Verwendung von teilweise beobachteten MDPs, bei denen angenommen wird, dass es einen Markovschen Zustand gibt, aber eine Beobachtung, die entsprechend dem verborgenen Zustand verteilt ist, das ist, was man sehen kann.
Ein direkterer Ansatz könnte spieltheoretische Verallgemeinerungen von MDPs in Betracht ziehen (z.B. das Rahmenwerk der Stochastischen Spiele). Tatsächlich können Algorithmen für MDPs auf Multi-Agenten-Spiele verallgemeinert werden (z.B. das Minimax-Q-Lernen oder das Nash-Q-Lernen). Andere Ansätze können eine explizite Modellierung der anderen Spieler und Algorithmen zum Verschwinden des Bedauern-Lernens beinhalten. Das Lernen in einer Multi-Agenten-Situation kann komplexer sein als in einer Einzel-Agenten-Situation.
Eine zweite Einschränkung der Q-Funktionsdarstellung kann sich durch das Abweichen von einer tabellarischen Einstellung ergeben. Die tabellarische Einstellung ist dann gegeben, wenn die Anzahl der Zustände und Aktionen gering ist und Q daher als Tabelle mit |S| Zeilen und |A| Spalten ausgedrückt werden kann. Wenn jedoch die natürliche Darstellung von S und A euklidische Räume beinhaltet und die Zustands- und Aktionsräume diskretisiert sind, kann die Anzahl der Zustände/Aktionen in der Dimension exponentiell sein. In solchen Fällen ist es möglicherweise nicht praktikabel, eine tabellarische Darstellung zu verwenden. Stattdessen kann die Q-Funktion durch eine Funktion aus einer parametrischen Hypothesenklasse approximiert werden (z.B. neuronale Netze einer bestimmten Architektur). Zum Beispiel kann ein deep-Q-network (DQN)-Lernalgorithmus verwendet werden. Im DQN kann der Zustandsraum kontinuierlich sein, aber der Aktionsraum kann eine kleine diskrete Menge bleiben. Es mag Ansätze für den Umgang mit kontinuierlichen Aktionsräumen geben, aber sie können sich auf eine Annäherung an die Q-Funktion stützen. In jedem Fall kann die Q-Funktion kompliziert und rauschempfindlich sein und daher schwierig zu erlernen sein.
Ein anderer Ansatz könnte darin bestehen, das RL-Problem mit Hilfe eines rekursiven neuronalen Netzes (RNN) anzugehen. In einigen Fällen kann das RNN mit den Konzepten der Multi-Agenten-Spiele und der Robustheit gegenüber gegnerischen Umgebungen aus der Spieltheorie kombiniert werden. Außerdem kann es sich bei diesem Ansatz um einen Ansatz handeln, der sich nicht explizit auf eine Markovsche Annahme stützt.
Im Folgenden wird ein Ansatz für die Navigation durch Planung auf der Grundlage von Vorhersagen näher beschrieben. Bei diesem Ansatz kann davon ausgegangen werden, dass der Zustandsraum, S, eine Teilmenge von $ℝ^{d}$
ist, und der Zustandsraum, A, eine Teilmenge von R^k ist. Dies kann in vielen Anwendungen eine natürliche Darstellung sein. Wie oben bereits festgestellt: Es kann zwei wesentliche Unterschiede zwischen RL und SL geben: (1) Da sich vergangene Handlungen auf zukünftige Belohnungen auswirken, müssen Informationen aus der Zukunft möglicherweise in die Vergangenheit zurück propagiert werden; und (2) die „Banditen“-Natur der Belohnungen kann die Abhängigkeit zwischen (Zustand, Aktion) und Belohnung verwischen, was den Lernprozess erschweren kann.
Als erster Schritt in der Herangehensweise kann die Beobachtung gemacht werden, dass es interessante Probleme gibt, bei denen die Banditennatur von Belohnungen kein Problem darstellt. Zum Beispiel kann der Belohnungswert (wie weiter unten ausführlicher erörtert wird) für die ACC-Anwendung im Hinblick auf den aktuellen Zustand und die Aktion differenziert werden. Selbst wenn die Belohnung in einer „Banditen“-Manier gewährt wird, ist in der Tat das Problem des Erlernens einer differenzierbaren Funktion, r̂(s, a), so dass r̂(s_t, a_t) ≈r_t, kann ein relativ unkompliziertes SL-Problem sein (z.B. ein eindimensionales Regressionsproblem). Daher kann der erste Schritt des Ansatzes darin bestehen, entweder die Belohnung zu definieren als eine Funktion, r̂(s_t, a), die differenzierbar ist in Bezug auf s und a_, oder einen Regressions-Lernalgorithmus zu verwenden, um eine differenzierbare Funktion, r̂ , zu lernen der zumindest einen gewissen Regressionsverlust über eine Probe minimiert, wobei der Instanzvektor $(s_{t}, a_{t}) \in ℝ^{d} \times ℝ^{k}$
ist und das Zielskalar r_t ist. In einigen Situationen können zur Erstellung eines Trainingssets Elemente der Erkundung verwendet werden.
Um die Verbindung zwischen Vergangenheit und Zukunft zu thematisieren, kann eine ähnliche Idee verwendet werden. Nehmen wir zum Beispiel eine differenzierbare Funktion N̂ (s, a) gelernt werden kann, so dass N̂(s_t, a_t) ≈ s_t+1. Das Erlernen einer solchen Funktion kann als SL-Problem charakterisiert werden. N̂ kann als Prädiktor für die nahe Zukunft angesehen werden. Als nächstes kann eine Strategie, die von S nach A abbildet als parametrische Funktion π_θ: S → A beschrieben werden. Wenn man π_θ als neuronales Netz ausdrückt, kann den Ausdruck einer Episode der Ausführung des Agenten für T Runden unter Verwendung eines rekursiven neuronalen Netzes (RNN) ermöglichen, wobei der nächste Zustand definiert ist als s_t+1 = N̂(s_t, a_t) + v_t. Hier kann v_t ∈ ℝ^d definiert werden als die Umwelt und kann unvorhersehbare Aspekte der nahen Zukunft zum Ausdruck bringen. Die Tatsache, dass s_t+l von s_t abhängt und a_t in einer differenzierbaren Weise kann eine Verbindung zwischen zukünftigen Belohnungswerten und vergangenen Handlungen ermöglichen. Ein Parametervektor der Strategiefunktion, π_θ, kann durch Backpropagation über das resultierende RNN gelernt werden. Es ist zu beachten, dass explizite probabilistische Annahmen nicht auferlegt werden müssen auf v_t. Insbesondere muss keine Markovian-Beziehung erforderlich sein. Stattdessen kann man sich auf das wiederkehrende Netzwerk verlassen, um „genug“ Informationen zwischen Vergangenheit und Zukunft zu verbreiten. Intuitiv kann N̂(s_t, a_t) den vorhersagbaren Teil der nahen Zukunft beschreiben, während v_t die nicht vorhersagbaren Teile ausdrücken kann, die durch das Verhalten anderer Akteure in der Umwelt entstehen können. Das lernende System sollte eine Strategie lernen, die gegenüber dem Verhalten anderer Akteure robust ist. Wenn ∥v_t∥ groß ist, Kann die Verbindung zwischen vergangenen Handlungen und zukünftigen Belohnungswerten zu verrauscht sein, um eine sinnvolle Strategie zu erlernen. Wenn die Dynamik des Systems explizit und transparent zum Ausdruck gebracht wird, kann die Einbeziehung von Vorkenntnissen erleichtert werden. Zum Beispiel kann Vorwissen das Problem der Definition von N^̂ vereinfachen.
Wie oben erörtert, kann das lernende System von der Robustheit gegenüber einer gegnerischen Umgebung profitieren, wie z.B. der Umgebung eines Host-Fahrzeuges, die mehrere andere Fahrer beinhalten kann, die sich unerwartet verhalten können. In einem Modell, das keine probabilistischen Annahmen für v_t auferlegt, können Umgebungen in Betracht gezogen werden, in denen v_t in einer gegnerischen Weise ausgewählt wird. In einigen Fällen können Beschränkungen für µ_t auferlegt werden, andernfalls kann der Gegner das Planungsproblem schwierig oder sogar unmöglich machen. Eine natürliche Beschränkung kann darin bestehen, zu verlangen, dass ∥µ_t∥ durch eine Konstante begrenzt ist.
Robustheit gegenüber gegnerischen Umgebungen kann bei autonomen Fahranwendungen nützlich sein. µ_t in einer gegnerischen Weise zu wählen kann sogar den Lernprozess beschleunigen, da es das lernende System auf eine robuste optimale Strategie ausrichten kann. Zur Veranschaulichung dieses Konzepts kann ein einfaches Spiel verwendet werden. Der Zustand ist s_t ∈ ℝ die Aktion ist a_t ∈ ℝ, und die unmittelbare Verlustfunktion ist 0.1 |a_t|+[|s_t|-2]+, wobei [x]₊ = max{x,0} die ReLU (rectified linear unit) Funktion ist. Der nächste Zustand ist s_t+1 = s_t + a_t + v_t, wobei v_t ∈ [-0.5, 0.5] für die Umgebung in einer gegnerischen Weise gewählt wird. Hier kann die optimale Strategie als zweischichtiges Netzwerk geschrieben werden mit ReLU:a_t=-[s_t-1.5]₊ +[-s_t-1.5]_+. Es ist zu beobachten, dass wenn |s_t| ∈ (1.5, 2], Die optimale Aktion kann einen größeren unmittelbaren Verlust haben als die Aktion a = 0. Daher kann das System für die Zukunft planen und darf sich nicht nur auf den unmittelbaren Verlust verlassen. Es ist zu beachten, dass die Ableitung des Verlustes in Bezug auf a_t 0.1 sign (a^t) ist, und die Ableitung in Bezug auf s_t ist 1 [|st|≥ 2] sign (s_t). In einer Situation, in der s_t ∈ (1.5, 2], würde die gegnerische Wahl von v_t gesetzt werden als v_t = 0.5 und, daher, es könnte einen Nicht-Null-Verlust in der Runde t + 1 geben, immer wenn a_t > .5 - s_t. In solchen Fällen kann die Ableitung des Verlustes direkt zurückwirken auf a_t. Somit kann die gegnerische Wahl von v_t dem Navigationssystem helfen um in Fällen, in denen die Wahl von a_t suboptimal ist, eine von Null abweichende Rückausbreitungsbotschaft zu erhalten. Eine solche Beziehung kann dem Navigationssystem bei der Auswahl der aktuellen Aktionen basierend auf der Erwartung helfen, dass eine solche aktuelle Aktion (selbst wenn diese Aktion zu einer suboptimalen Belohnung oder sogar zu einem Verlust führen würde) in der Zukunft Gelegenheiten für optimalere Aktionen bereitstellen wird, die zu höheren Belohnungen führen.
Ein solcher Ansatz kann auf praktisch jede Navigationssituation angewendet werden, die auftreten kann. Im Folgenden wird der auf ein Beispiel angewandte Ansatz beschrieben: die adaptive Geschwindigkeitsregelung (ACC). Bei der ACC-Problematik kann das Host-Fahrzeug versuchen, einen angemessenen Abstand zu einem vorausfahrenden Zielfahrzeug einzuhalten (z.B. 1,5 Sekunden zum Zielfahrzeug). Ein weiteres Ziel kann es sein, so ruhig wie möglich zu fahren und dabei den gewünschten Abstand einzuhalten. Ein Modell, das diese Situation darstellt, kann wie folgt definiert werden. Der Zustandsraum ist ℝ³, und der Aktionsraum ist R. Die erste Koordinate des Zustands ist die Geschwindigkeit des Zielfahrzeugs, die zweite Koordinate ist die Geschwindigkeit des Host-Fahrzeugs, und die letzte Koordinate ist die Distanz zwischen Host-Fahrzeug und Zielfahrzeug (z.B. Standort des Host-Fahrzeugs minus Standort des Zielfahrzeugs entlang der Straßenkurve). Die vom Host-Fahrzeug zu ergreifende Maßnahme ist die Beschleunigung und kann als a_t bezeichnet werden. Die Quantität τ kann den Zeitunterschied zwischen aufeinander folgenden Runden bezeichnen. Während T auf jede geeignete Menge eingestellt werden kann, in einem Beispiel, T soll 0.1 Sekunden sein. Position, s_t, kann angegeben werden als $s_{t} = (v_{t}^{target}, v_{t}^{host}, x_{t}),$
und die (unbekannte) Beschleunigung des target Zielfahrzeugs kann bezeichnet werden als $a_{t}^{target} .$
Die gesamte Dynamik des Systems kann beschrieben werden durch: $\begin{array}{l} v_{t}^{target} = [v_{t - 1}^{target} + τ a_{t - 1}^{target}] + \\ v_{t}^{host} = [v_{t - 1}^{host} + τ a_{t - 1}] + \\ x_{t} = [x_{t - 1} + τ (v_{t - 1}^{target} - v_{t - 1}^{host})] + \end{array}$
Dies kann als Summe von zwei Vektoren beschrieben werden: $\begin{matrix} s_{t} = ({[s_{t - 1} [0] + τ a_{t - 1}^{target}]}_{+}, {[s_{t - 1} [1] + τ a_{t - 1}]}_{+}, {[s_{t - 1} [2] + τ (s_{t - 1} [0] - s_{t - 1} [1])]}_{+}) \\ = \underset{N (s_{t - 1}, a_{t})}{\underset{︸}{(s_{t - 1} [0], {[s_{t - 1} [1] + τ a_{t - 1}]}_{+}, {[s_{t - 1} [2] + τ (s_{t - 1} [0] - s_{t - 1} [1])]}_{+})}} + \underset{v_{t}}{\underset{︸}{({[s_{t - 1} [0] + τ a_{t - 1}^{target}]}_{+} - s_{t - 1} [0],0,0)}} \end{matrix}$
Der erste Vektor ist der vorhersagbare Teil, und der zweite Vektor ist der unvorhersagbare Teil. Die Belohnung für die Runde t ist wie folgt definiert: $- r_{t} = 0.1 | a_{t} | + {[| x_{t} / x_{t}^{*} - 1 | - 0.3]}_{+} where x_{t}^{*} = max {1,1.5 v_{t}^{host}}$
Der erste Term kann zu einer Strafe für Beschleunigungen ungleich Null führen, wodurch ein ruhiges Fahrverhalten gefördert wird. Der zweite Term hängt vom Verhältnis zwischen der Distanz zum Zielwagen, x_t, und der gewünschten Distanz, $x_{t}^{*},$
ab, was als das Maximum zwischen einer Distanz von 1 Meter und einer Pausendistanz von 1,5 Sekunden definiert ist. In einigen Fällen kann dieses Verhältnis genau 1 betragen, aber solange dieses Verhältnis innerhalb von [0,7, 1,3] liegt, kann die Strategie auf Strafen verzichten, die dem Host-Fahrzeug einen gewisse Spielraum in der Fahrstrategie erlauben kann - eine Charakteristik, die für die Erzielung einer ruhigen Fahrstrategie wichtig sein kann.
Durch die Implementierung des oben beschriebenen Ansatzes kann das Navigationssystem des Host-Fahrzeuges (z.B. durch den Betrieb des Fahrstrategie-Moduls 803 innerhalb der Verarbeitungseinheit 110 des Navigationssystems) eine Auswahl von Aktionen als Reaktion auf einen beobachteten Zustand treffen. Die ausgewählte Aktion kann nicht nur auf der Analyse von Belohnungen basieren, die mit den verfügbaren Antwortaktionen in Bezug auf einen erfassten Navigationszustand assoziiert sind, sondern auch auf der Betrachtung und Analyse zukünftiger Zustände, möglicher Aktionen als Reaktion auf die zukünftigen Zustände und Belohnungen, die mit den möglichen Aktionen assoziiert sind.
16 veranschaulicht einen algorithmischen Ansatz zur Navigation basierend auf Detektion und langfristiger Planung. Beispielsweise kann in Schritt 1601 die mindestens eine Verarbeitungsvorrichtung 110 des Navigationssystems für das Host-Fahrzeug eine Vielzahl von Bildern empfangen. Diese Bilder können Szenen erfassen, die repräsentativ für eine Umgebung des Host-Fahrzeugs sind, und können von jeder der oben beschriebenen Bilderfassungsvorrichtungen (z.B. Kameras, Sensoren usw.) geliefert werden. Die Analyse eines oder mehrerer dieser Bilder in Schritt 1603 kann die mindestens eine Verarbeitungsvorrichtung 110 in die Lage versetzen, einen aktuellen Navigationszustand zu identifizieren, der mit dem Host-Fahrzeug assoziiert ist (wie oben beschrieben).
In den Schritten 1605, 1607 und 1609 können verschiedene potenzielle Navigationsaktionen bestimmt werden, die auf den erfassten Navigationszustand reagieren. Diese potentiellen Navigationsaktionen (z.B. eine erste Navigationsaktion durch eine N-te verfügbare Navigationsaktion) können basierend auf dem erfassten Zustand und den Fernzielen des Navigationssystems bestimmt werden (z.B. eine Zusammenführung zu vollenden, einem führenden Fahrzeug gleichmäßig zu folgen, ein Zielfahrzeug zu überholen, einem Objekt auf der Fahrbahn auszuweichen, einem erkannten Stoppschild auszuweichen, einem einfahrenden Zielfahrzeug auszuweichen oder jede andere Navigationsaktion, die die Navigationsziele des Systems voranbringen kann).
Für jede der bestimmten potenziellen Navigationsaktionen kann das System eine erwartete Belohnung bestimmen. Die erwartete Belohnung kann nach einer der oben beschriebenen Techniken bestimmt werden und kann die Analyse einer bestimmten potentiellen Aktion im Verhältnis zu einer oder mehreren Belohnungsfunktionen beinhalten. Die erwarteten Belohnungen 1606, 1608 und 1610 können für jede der in den Schritten 1605, 1607 bzw. 1609 bestimmten potenziellen Navigationsaktionen (z.B. die erste, zweite und N-te) bestimmt werden.
In einigen Fällen kann das Navigationssystem des Host-Fahrzeugs auf der Grundlage von Werten, die mit den erwarteten Belohnungen 1606, 1608 und 1610 assoziiert sind (oder jeder anderen Art von Indikator einer erwarteten Belohnung), aus den verfügbaren potenziellen Aktionen auswählen. Zum Beispiel kann in einigen Situationen die Aktion ausgewählt werden, die die höchste erwartete Belohnung ergibt.
In anderen Fällen, insbesondere wenn das Navigationssystem eine langfristige Planung vornimmt, um Navigationsaktionen für das Host-Fahrzeug zu bestimmen, wählt das System möglicherweise nicht die potenzielle Aktion aus, die die höchste erwartete Belohnung ergibt. Vielmehr kann das System in die Zukunft blicken, um zu analysieren, ob es Möglichkeiten gibt, später höhere Belohnungen zu realisieren, wenn als Reaktion auf einen aktuellen Navigationszustand niedrigere Belohnungsaktionen ausgewählt werden. Beispielsweise kann für einige oder alle der in den Schritten 1605, 1607 und 1609 bestimmten potenziellen Aktionen ein zukünftiger Zustand bestimmt werden. Jeder zukünftige Zustand, der in den Schritten 1613, 1615 und 1617 bestimmt wurde, kann einen zukünftigen Navigationszustand darstellen, dessen Ergebnis auf dem aktuellen Navigationszustand basiert, wie er durch eine entsprechende potenzielle Aktion modifiziert wurde (z.B. die in den Schritten 1605, 1607 und 1609 bestimmten potenziellen Aktionen).
Für jeden der in den Schritten 1613, 1615 und 1617 vorhergesagten zukünftigen Zustände können eine oder mehrere zukünftige Aktionen (als Navigationsreaktionen auf einen bestimmten zukünftigen Zustand) bestimmt und bewertet werden. Bei den Schritten 1619, 1621 und 1623 können z.B. Werte oder jede andere Art von Indikatoren für erwartete Belohnungen, die mit einer oder mehreren der zukünftigen Aktionen assoziiert sind, entwickelt werden (z.B. basierend auf einer oder mehreren Belohnungsfunktionen). Die erwarteten Belohnungen, die mit der einen oder mehreren zukünftigen Aktionen assoziiert sind, können durch den Vergleich von Werten von Belohnungsfunktionen, die mit jeder zukünftigen Aktion assoziiert sind, oder durch den Vergleich anderer Indikatoren, die mit den erwarteten Belohnungen assoziiert sind, bewertet werden.
In Schritt 1625 kann das Navigationssystem für das Host-Fahrzeug eine Navigationsaktion für das Host-Fahrzeug auf der Grundlage eines Vergleichs erwarteter Belohnungen auswählen, und zwar nicht nur auf der Grundlage der in Bezug auf einen aktuellen Navigationszustand identifizierten potenziellen Aktionen (z. B. in den Schritten 1605, 1607 und 1609), sondern auch auf der Grundlage erwarteter Belohnungen, die als Ergebnis potenzieller zukünftiger Aktionen bestimmt werden, die als Reaktion auf vorhergesagte zukünftige Zustände verfügbar sind (z. B. bestimmt in den Schritten 1613, 1615 und 1617). Die Auswahl in Schritt 1625 kann auf der Grundlage der in den Schritten 1619, 1621 und 1623 durchgeführten Options- und Belohnungsanalyse erfolgen.
Die Auswahl einer Navigationsaktion bei Schritt 1625 kann auf einem Vergleich der erwarteten Belohnungen basieren, die nur mit zukünftigen Handlungsoptionen assoziiert sind. In einem solchen Fall kann das Navigationssystem eine Aktion zum aktuellen Zustand allein auf der Grundlage eines Vergleichs der erwarteten Vorteile, die sich aus den Aktionen ergeben, mit möglichen zukünftigen Navigationszuständen auswählen. Beispielsweise kann das System die in Schritt 1605, 1607 oder 1609 identifizierte potenzielle Aktion auswählen, die mit einem höchsten zukünftigen Belohnungswert assoziiert ist, der durch die Analyse in den Schritten 1619, 1621 und 1623 bestimmt wurde.
Die Auswahl einer Navigationsaktion bei Schritt 1625 kann auch nur auf einem Vergleich der aktuellen Handlungsoptionen basieren (wie oben erwähnt). In dieser Situation kann das Navigationssystem die in Schritt 1605, 1607 oder 1609 identifizierte potenzielle Aktion auswählen, die mit der höchsten erwarteten Belohnung, 1606, 1608 oder 1610, assoziiert ist. Eine solche Auswahl kann mit geringer oder gar keiner Berücksichtigung künftiger Navigationszustände oder künftiger erwarteter Belohnungen für Navigationsaktionen erfolgen, die als Reaktion auf erwartete künftige Navigationszustände verfügbar sind.
Andererseits kann in einigen Fällen die Auswahl einer Navigationsaktion bei Schritt 1625 auf einem Vergleich der erwarteten Belohnungen basieren, die sowohl mit zukünftigen als auch mit aktuellen Handlungsoptionen assoziiert sind. Tatsächlich kann dies eines der Prinzipien der Navigation basierend auf langfristiger Planung sein. Zum Beispiel können erwartete Belohnungen für zukünftige Aktionen analysiert werden, um zu bestimmen, ob irgendeine davon die Auswahl einer geringeren Belohnungsaktion als Reaktion auf den aktuellen Navigationszustand rechtfertigt, um eine potentiell höhere Belohnung als Reaktion auf eine nachfolgende Navigationsreaktion zu erzielen, die als Reaktion auf zukünftige Navigationszustände erwartet wird. Als Beispiel kann ein Wert oder ein anderer Indikator für eine erwartete Belohnung 1606 eine höchste erwartete Belohnung unter den Belohnungen 1606, 1608 und 1610 anzeigen. Andererseits kann die erwartete Belohnung 1608 eine niedrigste erwartete Belohnung unter den Belohnungen 1606, 1608 und 1610 anzeigen. Anstatt einfach die in Schritt 1605 bestimmte potentielle Aktion auszuwählen (d.h. die Aktion, die zu der höchsten erwarteten Belohnung 1606 führt), kann die Analyse zukünftiger Zustände, potentieller zukünftiger Aktionen und zukünftiger Belohnungen bei der Auswahl einer Navigationsaktion in Schritt 1625 verwendet werden. In einem Beispiel kann bestimmt werden, dass eine in Schritt 1621 identifizierte Belohnung (als Reaktion auf mindestens eine zukünftige Aktion für einen zukünftigen Zustand, der in Schritt 1615 basierend auf der zweiten, in Schritt 1607 bestimmten potenziellen Aktion bestimmt wurde) höher sein kann als die erwartete Belohnung 1606. Basierend auf diesem Vergleich kann die in Schritt 1607 bestimmte zweite potentielle Aktion statt der in Schritt 1605 bestimmten ersten potentiellen Aktion ausgewählt werden, obwohl die erwartete Belohnung 1606 höher ist als die erwartete Belohnung 1608. In einem Beispiel kann die in Schritt 1605 bestimmte potentielle Navigationsaktion eine Zusammenführung vor einem erkannten Zielfahrzeug beinhalten, während die in Schritt 1607 bestimmte potentielle Navigationsaktion eine Zusammenführung hinter dem Zielfahrzeug beinhalten kann. Während die erwartete Belohnung 1606 für das Zusammenführen vor dem Zielfahrzeug höher sein kann als die erwartete Belohnung 1608, die mit dem Zusammenführen hinter dem Zielfahrzeug assoziiert ist, kann bestimmt werden, dass das Zusammenführen hinter dem Zielfahrzeug zu einem zukünftigen Zustand führen kann, für den es Handlungsoptionen geben kann, die noch höhere potenzielle Belohnungen als die erwartete Belohnung 1606, 1608 oder andere Belohnungen basierend auf verfügbaren Aktionen als Reaktion auf einen aktuellen, erfassten Navigationszustand ergeben.
Die Auswahl aus den möglichen Aktionen in Schritt 1625 kann auf der Grundlage eines geeigneten Vergleichs der erwarteten Belohnungen (oder einer anderen Metrik oder eines Indikators für den Nutzen, der mit einer möglichen Aktion gegenüber einer anderen assoziiert ist) erfolgen. In einigen Fällen kann, wie oben beschrieben, eine zweite potenzielle Aktion einer ersten potenziellen Aktion vorgezogen werden, wenn davon ausgegangen wird, dass die zweite potenzielle Aktion mindestens eine zukünftige Aktion bereitstellen wird, die mit einer erwarteten Belohnung assoziiert ist, die höher ist als die mit der ersten potenziellen Aktion verbundene Belohnung. In anderen Fällen können komplexere Vergleiche angestellt werden. Zum Beispiel können Belohnungen, die mit Handlungsoptionen als Reaktion auf projizierte zukünftige Zustände assoziiert sind, mit mehr als einer erwarteten Belohnung verglichen werden, die mit einer bestimmten potenziellen Aktion assoziiert ist.
In einigen Szenarien können Aktionen und erwartete Belohnungen basierend auf prognostizierten zukünftigen Zuständen die Auswahl einer potentiellen Aktion zu einem aktuellen Zustand beeinflussen, wenn erwartet wird, dass mindestens eine der zukünftigen Aktionen eine Belohnung ergibt, die höher ist als jede der Belohnungen, die als Ergebnis der potentiellen Aktionen zu einem aktuellen Zustand erwartet werden (z.B. erwartete Belohnungen 1606, 1608, 1610, etc.). In einigen Fällen kann die zukünftige Handlungsoption, die die höchste erwartete Belohnung ergibt (z.B. aus den erwarteten Belohnungen, die mit den potentiellen Handlungen zu einem erfassten aktuellen Zustand assoziiert sind, sowie aus den erwarteten Belohnungen, die mit den potentiellen zukünftigen Handlungsoptionen im Verhältnis zu potentiellen zukünftigen Navigationszuständen assoziiert sind), als Leitfaden für die Auswahl einer potentiellen Handlung zu einem aktuellen Navigationszustand verwendet werden. Das heißt, nach der Identifizierung einer zukünftigen Handlungsoption, die die höchste erwartete Belohnung (oder eine Belohnung über einem vorgegebenen Schwellenwert usw.) ergibt, kann in Schritt 1625 die potenzielle Aktion ausgewählt werden, die dazu führen würde, dass der zukünftige Zustand, der mit der identifizierten zukünftigen Aktion assoziiert ist, die höchste erwartete Belohnung ergibt.
In anderen Fällen kann die Auswahl der verfügbaren Aktionen basierend auf bestimmten Unterschieden zwischen den erwarteten Belohnungen erfolgen. Zum Beispiel kann eine zweite potenzielle Aktion, die in Schritt 1607 bestimmt wurde, ausgewählt werden, wenn eine Differenz zwischen einer erwarteten Belohnung, die mit einer in Schritt 1621 bestimmten zukünftigen Aktion assoziiert ist, und der erwarteten Belohnung 1606 größer ist als eine Differenz zwischen der erwarteten Belohnung 1608 und der erwarteten Belohnung 1606 (unter der Annahme von Vorzeichendifferenzen). In einem anderen Beispiel kann eine zweite potenzielle Aktion, die in Schritt 1607 bestimmt wurde, ausgewählt werden, wenn eine Differenz zwischen einer erwarteten Belohnung, die mit einer in Schritt 1621 bestimmten zukünftigen Aktion assoziiert ist, und einer erwarteten Belohnung, die mit einer in Schritt 1619 bestimmten zukünftigen Aktion assoziiert ist, größer ist als eine Differenz zwischen der erwarteten Belohnung 1608 und der erwarteten Belohnung 1606.
Es wurden mehrere Beispiele für die Auswahl aus den möglichen Aktionen zu einem aktuellen Navigationszustand beschrieben. Jede andere geeignete Vergleichstechnik oder jedes andere geeignete Kriterium kann jedoch für die Auswahl einer verfügbaren Aktion durch langfristige Planung auf der Grundlage einer Aktions- und Belohnungsanalyse, die sich auf projizierte künftige Zustände erstreckt, verwendet werden. Während 16 zwei Schichten in der Analyse der langfristigen Planung darstellt (z.B. eine erste Schicht, die die Belohnungen berücksichtigt, die sich aus potentiellen Aktionen bis zu einem aktuellen Zustand ergeben, und eine zweite Schicht, die die Belohnungen berücksichtigt, die sich aus zukünftigen Aktionsoptionen als Reaktion auf projizierte zukünftige Zustände ergeben), kann eine Analyse basierend auf mehreren Schichten möglich sein. Anstatt z.B. die Analyse der langfristigen Planung auf einer oder zwei Schichten zu basieren, könnten drei, vier oder mehr Analyseschichten verwendet werden, um aus den verfügbaren potenziellen Aktionen als Reaktion auf einen aktuellen Navigationszustand auszuwählen.
Nachdem in Schritt 1627 als Reaktion auf einen erfassten Navigationszustand eine Auswahl unter den möglichen Aktionen getroffen wurde, kann der mindestens eine Prozessor mindestens eine Anpassung eines Navigations-Aktuators des Host-Fahrzeugs als Reaktion auf die ausgewählte potenzielle Navigationsaktion veranlassen. Der Navigations-Aktuator kann jede geeignete Vorrichtung zur Steuerung mindestens eines Aspekts des Host-Fahrzeugs beinhalten. Zum Beispiel kann der Navigations-Aktuator mindestens ein Lenkmechanismus, eine Bremse oder ein Gaspedal beinhalten.
Navigation basierend auf der gefolgerten Aggression anderer
Zielfahrzeuge können durch Analyse eines erfassten Bildstroms überwacht werden, um Indikatoren für Fahraggressionen zu bestimmen. Aggression wird hier als ein qualitativer oder quantitativer Parameter beschrieben, es können jedoch auch andere Charakteristiken verwendet werden: wahrgenommener Aufmerksamkeitsgrad (potenzielle Beeinträchtigung des Fahrers, abgelenktes Mobiltelefon, eingeschlafene Personen usw.). In einigen Fällen kann davon ausgegangen werden, dass ein Zielfahrzeug eine defensive Haltung einnimmt, und in einigen Fällen kann bestimmt werden, dass das Zielfahrzeug eine aggressivere Haltung einnimmt. Navigationsaktionen können basierend auf Indikatoren für Aggression ausgewählt oder entwickelt werden. Zum Beispiel kann in einigen Fällen die relative Geschwindigkeit, die relative Beschleunigung, die Zunahme der relativen Beschleunigung, die folgende Distanz usw. relativ zu einem Host-Fahrzeug verfolgt werden, um zu bestimmen, ob das Zielfahrzeug aggressiv oder defensiv ist. Wenn z.B. bestimmt wird, dass das Zielfahrzeug ein Aggressionsniveau aufweist, das einen Schwellenwert überschreitet, kann das Host-Fahrzeug geneigt sein, dem Zielfahrzeug nachzugeben. Ein Aggressionsniveau des Zielfahrzeugs kann auch basierend auf einem bestimmten Verhalten des Zielfahrzeugs relativ zu einem oder mehreren Hindernissen in einem Fahrzeugweg oder in der Nähe des Zielfahrzeugs (z.B. ein führendes Fahrzeug, ein Hindernis auf der Straße, eine Ampel usw.) festgestellt werden.
Zur Einführung in dieses Konzept wird ein Beispielexperiment beschrieben, bei dem das Host-Fahrzeug zu einem Kreisverkehr zusammengeführt wird, in dem ein Navigationsziel darin besteht, den Kreisverkehr zu durchfahren und wieder zu verlassen. Die Situation kann damit beginnen, dass sich das Host-Fahrzeug einer Einfahrt des Kreisels nähert und damit enden, dass das Host-Fahrzeug eine Ausfahrt des Kreisels erreicht (z.B. die zweite Ausfahrt). Der Erfolg kann basierend darauf gemessen werden, ob das Host-Fahrzeug zu jeder Zeit einen sicheren Abstand zu allen anderen Fahrzeugen einhält, ob das Host-Fahrzeug die Route so schnell wie möglich beendet und ob das Host-Fahrzeug eine Strategie der sanften Beschleunigung einhält. In dieser Abbildung können die N_T - Zielfahrzeuge nach dem Zufallsprinzip auf dem Kreisverkehr platziert werden. Um eine Mischung aus gegnerischem und typischem Verhalten mit der Wahrscheinlichkeit p zu modellieren, kann ein Zielfahrzeug mit einer „aggressiven“ Fahrstrategie modelliert werden, so dass das aggressive Zielfahrzeug beschleunigt, wenn das Host-Fahrzeug versucht, vor dem Zielfahrzeug zusammenzufahren. Mit einer Wahrscheinlichkeit von 1-p kann das Zielfahrzeug durch eine „defensive“ Fahrstrategie modelliert werden, so dass das Zielfahrzeug abbremst und das Host-Fahrzeug einfädeln kann. Bei diesem Versuch ist p = 0,5, und dem Navigationssystem des Host-Fahrzeugs werden möglicherweise keine Informationen über die Art der anderen Fahrer bereitgestellt. Die Art der anderen Fahrer kann zu Beginn der Episode nach dem Zufallsprinzip ausgewählt werden.
Der Navigationszustand kann als Geschwindigkeit und Standort des Host-Fahrzeugs (des Agenten) sowie als Standorte, Geschwindigkeiten und Beschleunigungen der Zielfahrzeuge dargestellt werden. Die Beibehaltung der Beobachtungen der Zielbeschleunigung kann wichtig sein, um basierend auf dem aktuellen Zustand zwischen aggressiven und defensiven Fahrern zu unterscheiden. Alle Zielfahrzeuge können sich auf einer eindimensionalen Kurve bewegen, die den Kreisverkehrsweg umreißt. Das Host-Fahrzeug kann sich auf seiner eigenen eindimensionalen Kurve bewegen, die die Kurve der Zielfahrzeuge am Zusammenführungspunkt schneidet, und dieser Punkt ist der Ursprung beider Kurven. Um eine vernünftige Fahrweise zu modellieren, kann der Absolutwert der Beschleunigungen aller Fahrzeuge nach oben durch eine Konstante begrenzt werden. Geschwindigkeiten können auch durch eine ReLU geleitet werden, da Rückwärtsdurchfahrten nicht zulässig sind. Beachten Sie, dass durch das Verbot des Rückwärtsdurchlaufs eine langfristige Planung notwendig werden kann, da der Agent seine vergangenen Handlungen nicht bereuen kann.
Wie oben beschrieben kann der nächste Zustand, s_t+l zerlegt werden in eine Summe aus einem vorhersagbaren Teil, N̂(s_t, a_t), und einem nicht-vorhersagbaren Teil, v_t. Der Ausdruck, N̂(s_t, a_t) kann die Dynamik von Fahrzeugstandorten und -geschwindigkeiten darstellen (die in differenzierbarer Weise gut definiert sein können), während v_t die Beschleunigung der Zielfahrzeuge darstellen kann. Es kann überprüft werden, dass N̂(s_t, a_t) dargestellt werden kann als Kombination von ReLU Funktionen über eine affine Transformation, somit it es differenzierbar in Bezug auf s_t und a_t. Der Vektor v_t kann durch einen Simulator in einer nicht-differenzierbaren Weise definiert werden, und kann für einige Ziele aggressives Verhalten und für andere Ziele defensives Verhalten implementieren. Zwei Einzelbilder aus einem solchen Simulator sind in den 17A und 17B dargestellt. In diesem Beispielexperiment lernte ein Host-Fahrzeug 1701 das Abbremsen, als es sich dem Eingang des Kreisverkehrs näherte. Es lernte auch, aggressiven Fahrzeugen (z.B. den Fahrzeugen 1703 und 1705) nachzugeben und sicher weiterzufahren, wenn es sich vor defensiven Fahrzeugen (z.B. den Fahrzeugen 1706, 1708 und 1710) zusammenschließt. In dem in den 17A und 17B dargestellten Beispiel ist das Navigationssystem des Host-Fahrzeugs 1701 nicht mit der Art der Zielfahrzeuge bereitgestellt. Ob ein bestimmtes Fahrzeug als aggressiv oder defensiv bestimmt wird, wird vielmehr durch Schlussfolgerung basierend auf der beobachteten Position und Beschleunigung z.B. der Zielfahrzeuge bestimmt. In 17A kann das Host-Fahrzeug 1701 basierend auf Position, Geschwindigkeit und/oder relativer Beschleunigung bestimmen, dass das Fahrzeug 1703 eine aggressive Tendenz hat, und daher kann das Host-Fahrzeug 1701 anhalten und warten, bis das Zielfahrzeug 1703 vorbeifährt, anstatt zu versuchen, vor dem Zielfahrzeug 1703 zusammenzufahren. In 17B erkannte das Zielfahrzeug 1701 jedoch, dass das hinter Fahrzeug 1703 fahrende Zielfahrzeug 1710 defensive Tendenzen aufwies (wiederum basierend auf der beobachteten Position, Geschwindigkeit und/oder relativen Beschleunigung von Fahrzeug 1710) und schloss daher eine erfolgreiche Zusammenführung vor Zielfahrzeug 1710 und hinter Zielfahrzeug 1703 ab.
18 stellt ein Flussdiagramm zur Verfügung, das einen Beispielalgorithmus für die Navigation eines Host-Fahrzeugs basierend auf der vorhergesagten Aggression anderer Fahrzeuge darstellt. Im Beispiel von 18 kann auf der Grundlage des beobachteten Verhaltens des Zielfahrzeugs relativ zu einem Objekt in der Umgebung des Zielfahrzeugs auf ein Aggressionsniveau geschlossen werden, das mit mindestens einem Zielfahrzeug assoziiert ist. Zum Beispiel kann im Schritt 1801 mindestens eine Verarbeitungsvorrichtung (z.B. Verarbeitungsvorrichtung 110) des Host-Fahrzeug-Navigationssystems von einer dem Host-Fahrzeug zugeordneten Kamera eine Vielzahl von Bildern empfangen, die repräsentativ für eine Umgebung des Host-Fahrzeugs sind. In Schritt 1803 kann die Analyse eines oder mehrerer der empfangenen Bilder den mindestens einen Prozessor in die Lage versetzen, ein Zielfahrzeug (z.B. Fahrzeug 1703) in der Umgebung des Host-Fahrzeugs 1701 zu identifizieren. In Schritt 1805 kann die Analyse eines oder mehrerer der empfangenen Bilder die mindestens eine Verarbeitungsvorrichtung in die Lage versetzen, in der Umgebung des Host-Fahrzeugs mindestens ein Hindernis für das Zielfahrzeug zu identifizieren. Das Objekt kann Trümmer auf einer Fahrbahn, ein Bremslicht/eine Ampel, einen Fußgänger, ein anderes Fahrzeug (z.B. ein Fahrzeug, das vor dem Zielfahrzeug fährt, ein geparktes Fahrzeug usw.), eine Box auf der Fahrbahn, eine Straßensperre, einen Bordstein oder jede andere Art von Objekt beinhalten, das in der Umgebung des Host-Fahrzeugs angetroffen werden kann. In Schritt 1807 kann die Analyse eines oder mehrerer der empfangenen Bilder die mindestens eine Verarbeitungsvorrichtung in die Lage versetzen, mindestens eine Charakteristik der Navigation des Zielfahrzeugs relativ zu dem mindestens einen identifizierten Hindernis für das Zielfahrzeug zu bestimmen.
Verschiedene Navigationscharakteristiken können verwendet werden, um auf einen Aggressionsgrad eines erkannten Zielfahrzeugs zu schließen, um eine geeignete Navigationsreaktion auf das Zielfahrzeug zu entwickeln. Solche Navigationscharakteristiken können z.B. eine relative Beschleunigung zwischen dem Zielfahrzeug und dem mindestens einen identifizierten Hindernis, eine Entfernung des Zielfahrzeugs von dem Hindernis (z.B. ein Folgeabstand des Zielfahrzeugs hinter einem anderen Fahrzeug) und/oder eine relative Geschwindigkeit zwischen dem Zielfahrzeug und dem Hindernis usw. beinhalten.
In einigen Ausführungsformen können die Navigationscharakteristiken der Zielfahrzeuge basierend auf den Ausgaben von Sensoren bestimmt werden, die dem Host-Fahrzeug zugeordnet sind (z.B. Radar, Geschwindigkeitssensoren, GPS usw.). In einigen Fällen können die Navigationscharakteristiken der Zielfahrzeuge jedoch teilweise oder vollständig basierend auf der Analyse von Bildern einer Umgebung des Host-Fahrzeugs bestimmt werden. Zum Beispiel können Bildanalyseverfahren, die oben und in z.B. dem U.S. Patent Nr. 9,168,868 beschrieben sind, das hier durch Verweis aufgenommen wurde, verwendet werden, um Zielfahrzeuge innerhalb einer Umgebung des Host-Fahrzeugs zu erkennen. Und die Überwachung eines Standortes eines Zielfahrzeugs in den erfassten Bildern über die Zeit und/oder die Überwachung von Standorten in den erfassten Bildern eines oder mehrerer Merkmale, die mit dem Zielfahrzeug assoziiert sind (z.B. Rücklichter, Scheinwerfer, Stoßfänger, Räder usw.), kann eine Bestimmung relativer Distanzen, Geschwindigkeiten und/oder Beschleunigungen zwischen den Zielfahrzeugen und dem Host-Fahrzeug oder zwischen den Zielfahrzeugen und einem oder mehreren anderen Objekten in einer Umgebung des Host-Fahrzeugs ermöglichen.
Ein Aggressionsniveau eines identifizierten Zielfahrzeugs kann aus jeder geeigneten beobachteten Navigationscharakteristik des Zielfahrzeugs oder jeder Kombination von beobachteten Navigationscharakteristiken abgeleitet werden. Beispielsweise kann eine Bestimmung der Aggressivität basierend auf jeder beobachteten Charakteristik und einem oder mehreren vorbestimmten Schwellenwerten oder jeder anderen geeigneten qualitativen oder quantitativen Analyse vorgenommen werden. In einigen Ausführungsformen kann ein Zielfahrzeug als aggressiv angesehen werden, wenn beobachtet wird, dass das Zielfahrzeug dem Host-Fahrzeug oder einem anderen Fahrzeug in einer Entfernung folgt, die kleiner ist als ein vorbestimmter Schwellenwert für die Aggressivität. Andererseits kann ein Zielfahrzeug als defensiv angesehen werden, wenn beobachtet wird, dass es dem Host-Fahrzeug oder einem anderen Fahrzeug in einer Entfernung folgt, die größer als eine vorbestimmte defensive Distanzschwelle ist. Der vorgegebene Schwellenwert für den aggressiven Abstand muss nicht mit dem vorgegebenen Schwellenwert für den defensiven Abstand identisch sein. Zusätzlich kann sowohl der vorgegebene Schwellenwert für die aggressive Distanz als auch der vorgegebene Schwellenwert für die defensive Distanz einen Wertebereich anstelle eines Wertes für eine helle Linie oder beide enthalten. Ferner dürfen weder die vorbestimmte Schwelle für die aggressive Distanz noch die vorbestimmte Schwelle für die defensive Distanz festgelegt werden. Vielmehr können sich diese Werte oder Wertebereiche im Laufe der Zeit verschieben, und es können unterschiedliche Schwellenwerte/Bereiche von Schwellenwerten basierend auf beobachteten Charakteristiken eines Zielfahrzeugs angewendet werden. Beispielsweise können die angewandten Schwellenwerte von einer oder mehreren anderen Charakteristiken des Zielfahrzeugs abhängen. Höhere beobachtete Relativgeschwindigkeiten und/oder Beschleunigungen können die Anwendung größerer Schwellenwerte/Bereiche rechtfertigen. Umgekehrt können niedrigere Relativgeschwindigkeiten und/oder -beschleunigungen, einschließlich Relativgeschwindigkeiten und/oder -beschleunigungen von Null, die Anwendung kleinerer Abstands-Schwellenwerte/Bereiche bei der aggressiv/defensiv Schlussfolgerung rechtfertigen.
Die Aggressiv/Defensiv-Schlussfolgerung kann auch auf relativen Geschwindigkeits- und/oder relativen Beschleunigungsschwellenwerten basieren. Ein Zielfahrzeug kann als aggressiv eingestuft werden, wenn seine beobachtete Relativgeschwindigkeit und/oder seine Relativbeschleunigung in Bezug auf ein anderes Fahrzeug ein vorgegebenes Niveau oder einen vorgegebenen Bereich überschreitet. Ein Zielfahrzeug kann als defensiv eingestuft werden, wenn seine beobachtete Relativgeschwindigkeit und/oder seine Relativbeschleunigung im Verhältnis zu einem anderen Fahrzeug unter einen vorgegebenen Wert oder eine vorgegebene Reichweite fällt.
Während die Bestimmung der Aggressivität/Verteidigung auf der Grundlage jeder beobachteten Navigationscharakteristik allein erfolgen kann, kann die Bestimmung auch von jeder Kombination beobachteter Charakteristiken abhängen. Zum Beispiel kann, wie oben erwähnt, in einigen Fällen ein Zielfahrzeug allein aufgrund der Beobachtung, dass es einem anderen Fahrzeug in einer Entfernung unterhalb einer bestimmten Schwelle oder Entfernung folgt, als aggressiv eingestuft werden. In anderen Fällen kann das Zielfahrzeug jedoch als aggressiv angesehen werden, wenn es sowohl einem anderen Fahrzeug mit weniger als einem vorbestimmten Betrag folgt (der gleich oder anders als der Schwellenwert sein kann, der angewendet wird, wenn die Bestimmung allein auf der Entfernung basiert) und eine relative Geschwindigkeit und/oder eine relative Beschleunigung aufweist, die größer als ein vorbestimmter Betrag oder Bereich ist. In ähnlicher Weise kann ein Zielfahrzeug als defensiv angesehen werden, basierend lediglich auf der Beobachtung, dass es einem anderen Fahrzeug in einer Entfernung folgt, die größer als ein bestimmter Schwellenwert oder eine bestimmte Entfernung ist. In anderen Fällen kann das Zielfahrzeug jedoch als defensiv angesehen werden, wenn es sowohl einem anderen Fahrzeug mit einem größeren als einem vorbestimmten Betrag folgt (der gleich oder anders als der Schwellenwert sein kann, der angewendet wird, wenn die Bestimmung allein auf der Entfernung basiert) und eine relative Geschwindigkeit und/oder eine relative Beschleunigung von weniger als einem vorbestimmten Betrag oder einer vorbestimmten Entfernung hat. System 100 kann ein aggressives/defensives Verhalten zeigen, wenn z.B. ein Fahrzeug eine Beschleunigung oder Abbremsung von mehr als 0,5 G (z.B. einen Ruck von 5 m/s3) aufweist, ein Fahrzeug eine seitliche Beschleunigung von 0,5 G bei einem Fahrspurwechsel oder in einer Kurve hat, ein Fahrzeug ein anderes Fahrzeug veranlasst, eines der oben genannten Dinge zu tun, ein Fahrzeug die Fahrspur wechselt und ein anderes Fahrzeug veranlasst, um mehr als 0,3 G Abbremsung oder einen Ruck von 3 m/s3 nachzugeben, und/oder ein Fahrzeug zwei Fahrspuren ohne anzuhalten wechselt.
Es ist zu verstehen, dass Verweise auf eine Quantität, die einen Bereich überschreitet, darauf hinweisen können, dass die Quantität entweder alle mit dem Bereich assoziierten Werte überschreitet oder in den Bereich fällt. In ähnlicher Weise können Verweise auf eine Quantität, die unter einen Bereich fällt, darauf hinweisen, dass die Quantität entweder unter alle mit dem Bereich assoziierten Werte fällt oder in den Bereich fällt. Während die beschriebenen Beispiele für eine aggressiv/defensiv Schlussfolgerung in Bezug auf Distanz, relative Beschleunigung und relative Geschwindigkeit beschrieben werden, können auch andere geeignete Quantitäten verwendet werden. So kann z.B. eine Berechnung der Zeit bis zur Kollision oder ein beliebiger indirekter Indikator für Entfernung, Beschleunigung und/oder Geschwindigkeit des Zielfahrzeugs verwendet werden. Es ist auch zu beachten, dass, während sich die obigen Beispiele auf die Zielfahrzeuge im Verhältnis zu anderen Fahrzeugen konzentrieren, die aggressiv/defensiv Schlussfolgerung durch Beobachtung der Navigationscharakteristiken eines Zielfahrzeugs im Verhältnis zu jeder anderen Art von Hindernissen (z.B. Fußgänger, Straßensperre, Ampel, Trümmer usw.) gezogen werden kann.
Um auf das in den 17A und 17B gezeigte Beispiel zurückzukommen: Während sich das Host-Fahrzeug 1701 dem Kreisverkehr nähert, kann das Navigationssystem, einschließlich seiner mindestens einen Verarbeitungsvorrichtung, einen Bildstrom von einer dem Host-Fahrzeug zugeordneten Kamera empfangen. Basierend auf der Analyse eines oder mehrerer der empfangenen Bilder kann eines der Zielfahrzeuge 1703, 1705, 1706, 1708 und 1710 identifiziert werden. Darüber hinaus kann das Navigationssystem die Navigationscharakteristiken eines oder mehrerer der identifizierten Zielfahrzeuge analysieren. Das Navigationssystem kann erkennen, dass der Abstand zwischen den Zielfahrzeugen 1703 und 1705 die erste Gelegenheit für eine mögliche Zusammenführung im Kreisverkehr darstellt. Das Navigationssystem kann das Zielfahrzeug 1703 analysieren, um Indikatoren für Aggression zu bestimmen, die mit dem Zielfahrzeug 1703 assoziiert sind. Wenn das Zielfahrzeug 1703 als aggressiv eingestuft wird, kann sich das Host-Fahrzeug-Navigationssystem dafür entscheiden, dem Fahrzeug 1703 den Vortritt zu lassen, anstatt vor dem Fahrzeug 1703 zusammenzufahren. Wenn andererseits das Zielfahrzeug 1703 als defensiv eingestuft wird, kann das Host-Fahrzeug-Navigationssystem versuchen, eine Zusammenführungsaktion vor Fahrzeug 1703 abzuschließen.
Wenn sich das Host-Fahrzeug 1701 dem Kreisverkehr nähert, kann die mindestens eine Verarbeitungsvorrichtung des Navigationssystems die aufgenommenen Bilder analysieren, um Navigationscharakteristiken zu bestimmen, die mit dem Zielfahrzeug 1703 assoziiert sind. Basierend auf den Bildern kann beispielsweise bestimmt werden, dass das Fahrzeug 1703 dem Fahrzeug 1705 in einem Abstand folgt, der einen ausreichenden Abstand für das Host-Fahrzeug 1701 zum sicheren Einfahren bereitstellt. Tatsächlich kann bestimmt werden, dass Fahrzeug 1703 dem Fahrzeug 1705 um eine Distanz folgt, die eine aggressive Distanzschwelle überschreitet, und daher kann das Host-Fahrzeug-Navigationssystem basierend auf diesen Informationen geneigt sein, das Zielfahrzeug 1703 als defensiv zu identifizieren. In einigen Situationen können jedoch mehr als eine Navigationscharakteristik eines Zielfahrzeugs bei der Bestimmung des aggressiven/defensiven Abstands analysiert werden, wie oben beschrieben. Im weiteren Verlauf der Analyse kann das Host-Fahrzeug-Navigationssystem bestimmen, dass, während das Zielfahrzeug 1703 in einer nicht aggressiven Distanz hinter dem Zielfahrzeug 1705 folgt, das Fahrzeug 1703 eine relative Geschwindigkeit und/oder eine relative Beschleunigung in Bezug auf das Fahrzeug 1705 hat, die einen oder mehrere Schwellenwerte überschreitet, die mit aggressivem Verhalten assoziiert sind. Tatsächlich kann das Host-Fahrzeug 1701 bestimmen, dass das Zielfahrzeug 1703 relativ zum Fahrzeug 1705 beschleunigt und den zwischen den Fahrzeugen 1703 und 1705 bestehenden Abstand schließt. Basierend auf einer weiteren Analyse der relativen Geschwindigkeit, Beschleunigung und Distanz (und sogar einer Rate, mit der sich der Abstand zwischen den Fahrzeugen 1703 und 1705 verringert) kann das Host-Fahrzeug 1701 bestimmen, dass sich das Zielfahrzeug 1703 aggressiv verhält. Während also möglicherweise ein ausreichender Abstand vorhanden ist, in den das Host-Fahrzeug sicher hinein navigieren kann, kann das Host-Fahrzeug 1701 erwarten, dass eine Zusammenführung vor dem Zielfahrzeug 1703 zu einem aggressiv navigierenden Fahrzeug direkt hinter dem Host-Fahrzeug führen würde. Weiterhin kann aufgrund des beobachteten Verhaltens durch Bildanalyse oder andere Sensorausgabe erwartet werden, dass das Zielfahrzeug 1703 weiter in Richtung des Host-Fahrzeugs 1701 beschleunigt oder mit einer von Null verschiedenen Relativgeschwindigkeit in Richtung des Host-Fahrzeugs 1701 weiterfährt, wenn das Host-Fahrzeug 1701 vor dem Fahrzeug 1703 zusammenfährt. Eine solche Situation kann aus sicherheitstechnischer Sicht unerwünscht sein und kann auch zu Unbehagen bei den Insassen des Host-Fahrzeugs führen. Aus solchen Gründen kann sich das Host-Fahrzeug 1701 entscheiden, dem Fahrzeug 1703, wie in 17B dargestellt, den Vortritt zu lassen und in den Kreisverkehr hinter dem Fahrzeug 1703 und vor dem Fahrzeug 1710 einzufahren, was aufgrund der Analyse einer oder mehrerer seiner Navigationscharakteristiken als defensiv angesehen wird.
Um zu 18 zurückzukehren, in Schritt 1809 kann die mindestens eine Verarbeitungsvorrichtung des Navigationssystems des Host-Fahrzeugs basierend auf der identifizierten mindestens einen Navigationscharakteristik des Zielfahrzeugs in Bezug auf das identifizierte Hindernis eine Navigationsaktion für das Host-Fahrzeug bestimmen (z.B. Zusammenführung vor Fahrzeug 1710 und hinter Fahrzeug 1703). Zur Implementierung der Navigationsaktion (bei Schritt 1811) kann die mindestens eine Verarbeitungsvorrichtung mindestens eine Einstellung eines Navigations-Aktuators des Host-Fahrzeugs als Reaktion auf die bestimmte Navigationsaktion bewirken. Zum Beispiel kann eine Bremse angewendet werden, um dem Fahrzeug 1703 in 17A auszuweichen, und ein Gaspedal kann zusammen mit der Lenkung der Räder des Host-Fahrzeugs angewendet werden, um das Host-Fahrzeug in den Kreisverkehr hinter Fahrzeug 1703 einzufahren, wie in 17B dargestellt.
Wie in den obigen Beispielen beschrieben, kann die Navigation des Host-Fahrzeugs auf den Navigationscharakteristiken eines Zielfahrzeugs relativ zu einem anderen Fahrzeug oder Objekt basieren. Zusätzlich kann die Navigation des Host-Fahrzeugs allein auf Navigationscharakteristiken des Zielfahrzeugs basieren, ohne besonderen Bezug zu einem anderen Fahrzeug oder Objekt. Zum Beispiel kann in Schritt 1807 von 18 die Analyse einer Vielzahl von Bildern, die aus der Umgebung eines Host-Fahrzeugs aufgenommen wurden, die Bestimmung mindestens einer Navigationscharakteristik eines identifizierten Zielfahrzeugs ermöglichen, die auf ein mit dem Zielfahrzeug assoziiertes Aggressionsniveau hinweist. Die Navigationscharakteristik kann eine Geschwindigkeit, Beschleunigung usw. beinhalten, die in Bezug auf ein anderes Objekt oder Zielfahrzeug nicht referenziert werden muss, um eine aggressiv/defensive Bestimmung vorzunehmen. Beispielsweise können beobachtete Beschleunigungen und/oder Geschwindigkeiten, die mit einem Zielfahrzeug assoziiert sind und einen vorgegebenen Schwellenwert überschreiten oder in einen Wertebereich fallen oder diesen überschreiten, auf aggressives Verhalten hinweisen. Umgekehrt können beobachtete Beschleunigungen und/oder Geschwindigkeiten, die mit einem Zielfahrzeug assoziiert sind und einen vorgegebenen Schwellenwert unterschreiten oder in einen Wertebereich fallen oder diesen überschreiten, auf defensives Verhalten hindeuten.
Natürlich kann in einigen Fällen die beobachtete Navigationscharakteristik (z.B. ein Ort, eine Distanz, eine Beschleunigung usw.) relativ zum Host-Fahrzeug referenziert werden, um die aggressiv/defensive Bestimmung vorzunehmen. Beispielsweise kann eine beobachtete Navigationscharakteristik des Zielfahrzeugs, die auf ein mit dem Zielfahrzeug assoziiertes Aggressionsniveau hinweist, eine Zunahme der relativen Beschleunigung zwischen dem Zielfahrzeug und dem Host-Fahrzeug, eine folgende Entfernung des Zielfahrzeugs hinter dem Host-Fahrzeug, eine relative Geschwindigkeit zwischen dem Zielfahrzeug und dem Host-Fahrzeug usw. beinhalten.
Navigation basierend auf Unfallhaftungsbeschränkung
Wie in den obigen Abschnitten beschrieben, können geplante Navigationsaktionen gegen vorgegebene Beschränkungen getestet werden, um die Einhaltung bestimmter Regeln sicherzustellen. In einigen Ausführungsformen kann dieses Konzept auf Überlegungen zur potenziellen Unfallhaftung ausgedehnt werden. Wie nachstehend erörtert, ist ein primäres Ziel der autonomen Navigation die Sicherheit. Da absolute Sicherheit unmöglich sein kann (z.B. weil ein bestimmtes Host-Fahrzeug unter autonomer Kontrolle die anderen Fahrzeuge in seiner Umgebung nicht kontrollieren kann - es kann nur seine eigenen Aktionen kontrollieren), kann die Verwendung der potentiellen Unfallhaftung als Erwägung bei der autonomen Navigation und sogar als Beschränkung geplanter Aktionen dazu beitragen, sicherzustellen, dass ein bestimmtes autonomes Fahrzeug keine Aktionen ausführt, die als unsicher gelten - z.B. solche, für die das Host-Fahrzeug potentiell unfallhaftpflichtig ist. Wenn das Host-Fahrzeug nur Handlungen vornimmt, die sicher sind und die bestimmt sind, nicht zu einem Unfall zu führen, den das Host-Fahrzeug selbst verschuldet oder zu verantworten hat, dann kann der gewünschte Grad der Unfallvermeidung (z.B. weniger als 10^-9 pro Fahrstunde) erreicht werden.
Die Herausforderungen, die sich aus den meisten aktuellen Ansätzen für autonomes Fahren ergeben, beinhalten einen Mangel an Sicherheitsgarantien (oder zumindest die Unfähigkeit, das gewünschte Sicherheitsniveau bereitzustellen) und auch einen Mangel an Skalierbarkeit. Betrachten Sie die Frage der Gewährleistung eines sicheren Fahrens mit mehreren Agenten. Da die Gesellschaft durch Maschinen verursachte Todesfälle im Straßenverkehr wahrscheinlich nicht tolerieren wird, ist ein akzeptables Sicherheitsniveau für die Akzeptanz von autonomen Fahrzeugen von größter Bedeutung. Auch wenn es ein Ziel sein mag, null Unfälle bereitzustellen, mag dies unmöglich sein, da in der Regel mehrere Agenten an einem Unfall beteiligt sind und man sich Situationen vorstellen kann, in denen sich ein Unfall allein aufgrund der Schuld anderer Agenten ereignet. Zum Beispiel fährt, wie in 19 dargestellt, das Host-Fahrzeug 1901 auf einer mehrspurigen Fahrspur, und während das Host-Fahrzeug 1901 seine eigenen Aktionen in Bezug auf die Zielfahrzeuge 1903, 1905, 1907 und 1909 kontrollieren kann, kann es nicht die Aktionen der es umgebenden Zielfahrzeuge kontrollieren. Infolgedessen kann das Host-Fahrzeug 1901 möglicherweise einen Unfall mit mindestens einem der Zielfahrzeuge nicht vermeiden, wenn beispielsweise das Fahrzeug 1905 auf einem Kollisionskurs mit dem Host-Fahrzeug plötzlich in die Fahrspur des Host-Fahrzeugs einfädelt. Um dieser Schwierigkeit zu begegnen, besteht eine typische Reaktion von Fachleuten für autonome Fahrzeuge darin, auf einen auf statistischen Daten basierenden Ansatz zurückzugreifen, bei dem die Sicherheitsvalidierung mit zunehmender Erfassung von Daten über eine höhere Laufleistung strenger wird.
Um die Problematik eines datengesteuerten Sicherheitsansatzes zu verstehen, sollte man jedoch zunächst berücksichtigen, dass die Wahrscheinlichkeit eines Todesfalls durch einen Unfall pro Stunde (menschliches) Fahren bekanntlich 10^-6 beträgt. Es ist davon auszugehen, dass für eine Gesellschaft, die Maschinen als Ersatz für den Menschen beim Fahren akzeptiert, die Sterblichkeitsrate um drei Größenordnungen reduziert werden sollte, nämlich auf eine Wahrscheinlichkeit von 10^-9 pro Stunde. Diese Schätzung ähnelt der angenommenen Sterblichkeitsrate bei Airbags und aus Luftfahrtnormen. 10^-9 ist zum Beispiel die Wahrscheinlichkeit, dass sich ein Flugzeugflügel in der Luft spontan von einem Flugzeug löst. Versuche, die Sicherheit mit Hilfe eines datengestützten statistischen Ansatzes zu gewährleisten, der zusätzliche Sicherheit mit zunehmender Flugkilometerzahl bereitstellt, sind jedoch nicht praktikabel. Die Datenmenge, die erforderlich ist, um eine Wahrscheinlichkeit von 10^-9 Todesopfern pro Flugstunde zu garantieren, ist proportional zu ihrem Kehrwert (d.h. 10^-9 Stunden Daten), der ungefähr in der Größenordnung von dreißig Milliarden Meilen liegt. Darüber hinaus interagiert ein Multi-Agenten-System mit seiner Umgebung und kann wahrscheinlich nicht offline validiert werden (es sei denn, es steht ein realistischer Simulator zur Verfügung, der das reale menschliche Fahren mit all seinen Reichtümern und Komplexitäten wie rücksichtsloses Fahren emuliert - aber das Problem der Validierung des Simulators wäre noch schwieriger als die Schaffung eines sicheren autonomen Fahrzeug-Agenten). Und jede Änderung der Planungs- und Steuerungssoftware erfordert eine neue Datenerfassung in der gleichen Größenordnung, die eindeutig schwerfällig und unpraktisch ist. Darüber hinaus leidet die Entwicklung eines Systems mit Hilfe von Daten stets an mangelnder Interpretierbarkeit und Erklärbarkeit der ergriffenen Maßnahmen - wenn ein autonomes Fahrzeug (AV) einen Unfall mit Todesfolge hat, müssen wir den Grund dafür kennen. Folglich ist ein modellbasierter Sicherheitsansatz erforderlich, aber die bestehende „funktionale Sicherheit“ und die ASIL-Anforderungen in der Automobilindustrie sind nicht dafür ausgelegt, mit Multi-Agenten-Umgebungen zurechtzukommen.
Eine zweite primäre Herausforderung bei der Entwicklung eines sicheren Fahrmodells für autonome Fahrzeuge ist die Notwendigkeit der Skalierbarkeit. Die Prämisse, die AV zugrunde liegt, geht über den „Aufbau einer besseren Welt“ hinaus und basiert stattdessen auf der Prämisse, dass Mobilität ohne Fahrer zu geringeren Kosten aufrechterhalten werden kann als mit einem Fahrer. Diese Prämisse ist unweigerlich mit dem Begriff der Skalierbarkeit verbunden - im Sinne der Unterstützung der Massenproduktion von AVs (in Millionenhöhe) und, was noch wichtiger ist, der Unterstützung vernachlässigbarer zusätzlicher Kosten, um das Fahren in einer neuen Stadt zu ermöglichen. Daher spielen die Kosten für die Datenverarbeitung und das Erfassen eine Rolle. Wenn AV in Massenproduktion hergestellt werden soll, sind die Kosten für die Validierung und die Fähigkeit, „überall“ und nicht nur in einigen wenigen Städten fahren zu können, ebenfalls eine notwendige Voraussetzung für den Fortbestand eines Unternehmens.
Das Problem der meisten aktuellen Ansätze liegt in einem „Brute-Force“-Gedankenzustand entlang dreier Achsen: (i) die erforderliche „Rechendichte“, (ii) die Art und Weise, wie hochauflösende Karten definiert und erstellt werden, und (iii) die erforderliche Spezifikation von Sensoren. Ein Brute-Force-Ansatz widerspricht der Skalierbarkeit und verschiebt das Gewicht in Richtung einer Zukunft, in der unbegrenztes On-Board-Computing allgegenwärtig ist, in der die Kosten für den Aufbau und die Pflege von HD-Karten vernachlässigbar und skalierbar werden und exotische, hochmoderne Sensoren entwickelt, bis zur Automobilqualität produziert und zu vernachlässigbaren Kosten hergestellt würden. Eine Zukunft, in der sich eine der oben genannten Möglichkeiten verwirklicht, ist in der Tat plausibel, aber die Wahrscheinlichkeit ist gering, dass sich alle oben genannten Möglichkeiten durchsetzen werden. Daher besteht die Notwendigkeit, ein formales Modell bereitzustellen, das Sicherheit und Skalierbarkeit zu einem AV-Programm zusammenfügt, das von der Gesellschaft akzeptiert werden kann und im Sinne der Unterstützung von Millionen von Autos, die überall in den entwickelten Ländern fahren, skalierbar ist.
Die offenbarten Ausführungsformen stellen eine Lösung dar, die das angestrebte Sicherheitsniveau bereitstellen (oder sogar die Sicherheitsziele übertreffen) und auch auf Systeme mit Millionen von autonomen Fahrzeugen (oder mehr) skalierbar sein kann. An der Sicherheitsfront wird ein Modell mit der Bezeichnung „Verantwortungsbewusste Sicherheit“ (RSS) eingeführt, das den Begriff der „Unfallverschuldung“ formalisiert, interpretierbar und erklärbar ist und ein Gefühl der „Verantwortung“ in die Handlungen eines Roboteragenten einbezieht. Die Definition von RSS ist agnostisch gegenüber der Art und Weise, in der sie implementiert wird - was ein Schlüsselmerkmal ist, um das Ziel der Schaffung eines überzeugenden globalen Sicherheitsmodells zu erleichtern. RSS ist motiviert durch die Beobachtung (wie in 19), dass Agenten eine nicht-symmetrische Rolle bei einem Unfall spielen, bei dem typischerweise nur einer der Agenten für den Unfall verantwortlich ist und daher dafür verantwortlich sein soll. Das RSS-Modell beinhaltet auch eine formale Behandlung des „vorsichtigen Fahrens“ unter eingeschränkten Erfassungsbedingungen, bei denen nicht immer alle Agenten sichtbar sind (z.B. aufgrund von Verdeckungen). Ein Hauptziel des RSS-Modells ist es, zu garantieren, dass ein Agent niemals einen Unfall aus seiner „Schuld“ oder für den er verantwortlich ist, macht. Ein Modell kann nur dann nützlich sein, wenn es mit einer effizienten Strategie einhergeht (z.B. einer Funktion, die den „erfassenden Zustand“ auf eine Aktion abbildet), die RSS-konform ist. Beispielsweise könnte eine Aktion, die zum aktuellen Zeitpunkt unschuldig erscheint, zu einem katastrophalen Ereignis in ferner Zukunft führen („Schmetterlingseffekt“). RSS kann nützlich sein, um eine Reihe lokaler Beschränkungen für die kurzfristige Zukunft zu konstruieren, die garantieren (oder zumindest virtuell garantieren) können, dass in Zukunft keine Unfälle als Folge der Aktionen des Host-Fahrzeugs passieren.
Ein weiterer Beitrag befasst sich mit der Einführung einer „semantischen“ Sprache, die aus Einheiten, Maßen und Aktionsraum besteht, sowie mit der Spezifizierung, wie diese in die Planung, das Erfassen und die Ansteuerung der AV einbezogen werden. Um ein Verständnis für die Semantik zu erhalten, ist in diesem Zusammenhang zu überlegen, wie ein Mensch, der Fahrstunden nimmt, angewiesen wird, über eine „Fahrstrategie“ nachzudenken. Diese Befehle sind nicht geometrisch - sie haben nicht die Form „13,7 Meter mit der aktuellen Geschwindigkeit fahren und dann mit einer Geschwindigkeit von 0,8 m/s² beschleunigen“. Stattdessen sind die Befehle semantischer Natur - „Folgen Sie dem Auto vor Ihnen“ oder „Überholen Sie das Auto links von Ihnen“. In der typischen Sprache der menschlichen Fahrstrategie geht es eher um längs- und seitliche Ziele als um geometrische Einheiten von Beschleunigungsvektoren. Eine formale semantische Sprache kann an mehreren Fronten nützlich sein, die mit der rechnerischen Komplexität der Planung zusammenhängen, die nicht exponentiell mit der Zeit und der Anzahl der Agenten skaliert, mit der Art und Weise, in der Sicherheit und Komfort interagieren, mit der Art und Weise, wie die Berechnung des Erfassens definiert wird und mit der Spezifikation der Sensormodalitäten und ihrer Interaktion in einer Fusionsmethodik. Eine Fusionsmethodik (basierend auf der semantischen Sprache) kann sicherstellen, dass das RSS-Modell die erforderliche Wahrscheinlichkeit von 10^-9 Todesopfern pro eine Stunde Fahrzeit erreicht, und zwar bei einer Offline-Validierung über einen Datensatz in der Größenordnung von 10⁵ Stunden Fahrdaten.
In einer Reinforcement Learning-Situation kann z.B. eine Q-Funktion (z.B. eine Funktion, die die langfristige Qualität der Durchführung einer Handlung bewertet a ∈ A, wenn sich der Agent im Zustand s ε S befindet; angesichts einer solchen Q-Funktion kann es eine natürliche Wahl einer Handlung sein, diejenige mit der höchsten Qualität auszuwählen, π(s) = argmaxa Q(s, a))) über einen semantischen Raum definiert werden, in dem die Anzahl der zu einem gegebenen Zeitpunkt zu untersuchenden Trajektorien durch 10⁴ begrenzt ist, unabhängig vom für die Planung verwendeten Zeithorizont. Das Signal-Rausch-Verhältnis in diesem Raum kann hoch sein, so dass effektive maschinelle Lernansätze bei der Modellierung der Q-Funktion erfolgreich sein können. Bei der Berechnung des Erfassens kann die Semantik es ermöglichen, zwischen Fehlern, die die Sicherheit beeinträchtigen, und solchen, die den Fahrkomfort beeinträchtigen, zu unterscheiden. Wir definieren ein PAC-Modell (Probably Approximate Correct (PAC)), in Anlehnung an Valiants PAC-Lernterminologie) für das Erfassen, das an die Q-Funktion gebunden ist, und zeigen, wie Messfehler in einer Weise in die Planung einbezogen werden, die RSS-konform ist und dennoch eine Optimierung des Fahrkomforts ermöglicht. Die Sprache der Semantik kann für den Erfolg bestimmter Aspekte dieses Modells wichtig sein, da andere Standardfehlermaße, wie z.B. Fehler in Bezug auf ein globales Koordinatensystem, möglicherweise nicht mit dem PAC-Erfassungsmodell übereinstimmen. Darüber hinaus kann die semantische Sprache eine wichtige Voraussetzung für die Definition von HD-Karten sein, die unter Verwendung von Erfassungsdaten mit geringer Bandbreite und somit durch Crowdsourcing konstruiert werden können und Skalierbarkeit unterstützen.
Zusammenfassend lässt sich sagen, dass die offenbarten Ausführungsformen ein formales Modell beinhalten können, das wichtige Bestandteile eines AV umfasst: Erfassen, Planen und Handeln. Das Modell kann dazu beitragen, dass aus der Planungsperspektive kein Unfall in der Eigenverantwortung der AV eintritt. Und auch durch ein PAC-erfassendes Modell kann die beschriebene Fusionsmethodik selbst bei Erfassungsfehlern nur eine Offline-Datenerhebung in einer sehr vernünftigen Größenordnung erfordern, um dem beschriebenen Sicherheitsmodell zu entsprechen. Darüber hinaus kann das Modell durch die Sprache der Semantik Sicherheit und Skalierbarkeit miteinander verbinden und so eine vollständige Methodik für eine sichere und skalierbare AV bereitstellen. Abschließend sei darauf hingewiesen, dass die Entwicklung eines akzeptierten Sicherheitsmodells, das von der Industrie und den Aufsichtsbehörden übernommen würde, eine notwendige Voraussetzung für den Erfolg von AV sein kann.
Das RSS-Modell kann im Allgemeinen einer klassischen Erfassungsmethodik für die Robotersteuerung mit Erfassen, Planen und Handeln folgen. Das Erfassungssystem kann für das Erfassen eines aktuellen Zustands der Umgebung eines Host-Fahrzeugs verantwortlich sein. Der Planungsteil, der als „Fahrstrategie“ bezeichnet werden kann und der durch eine Reihe von hartkodierten Befehlen, durch ein trainiertes System (z.B. ein neuronales Netz) oder eine Kombination von Befehlen implementiert werden kann, kann dafür verantwortlich sein, zu bestimmen, was der beste nächste Schritt im Hinblick auf die verfügbaren Optionen zur Erreichung eines Fahrziels ist (z.B. wie man von der linken Fahrspur auf eine rechte Fahrspur wechselt, um eine Autobahn zu verlassen). Der handelnde Abschnitt ist für die Implementierung des Plans verantwortlich (z.B. das System von Aktuatorern und einem oder mehreren Reglern für das Lenken, Beschleunigen und/oder Bremsen usw. eines Fahrzeugs, um eine ausgewählte Navigationsreaktion zu implementieren). Die nachstehend beschriebenen Ausführungsformen konzentrieren sich in erster Linie auf den Erfassungs- und Planungsteil.
Unfälle können auf Erfassungs- oder Planungsfehler zurückzuführen sein. Planung ist ein Multi-Agenten-Projekt, da es andere Verkehrsteilnehmer (Menschen und Maschinen) gibt, die auf Aktionen eines AV reagieren. Das beschriebene RSS-Modell soll u.a. die Sicherheit für den Planungsteil berücksichtigen. Dies kann als Multi-Agenten-Sicherheit bezeichnet werden. In einem statistischen Ansatz kann die Schätzung der Wahrscheinlichkeit von Planungsfehlern „online“ erfolgen. Nämlich müssen nach jeder Aktualisierung der Software Milliarden von Kilometern mit der neuen Version gefahren werden, um ein akzeptables Niveau der Schätzung der Häufigkeit von Planungsfehlern bereitzustellen. Dies ist eindeutig nicht machbar. Als Alternative kann das RSS-Modell eine 100%ige Garantie (oder praktisch 100%ige Garantie) bereitstellen, dass das Planungsmodul keine Fehler macht, die auf die Schuld des AV zurückzuführen sind (der Begriff „Schuld“ ist formal definiert). Das RSS-Modell kann auch ein effizientes Mittel für seine Validierung bereitstellen, das nicht auf Online-Tests angewiesen ist.
Fehler in einem Erfassungssystem sind möglicherweise leichter zu validieren, da das Erfassen unabhängig von den Fahrzeugaktionen sein kann, und daher können wir die Wahrscheinlichkeit eines schweren Erfassungsfehlers mit „Offline“-Daten validieren. Aber selbst das Sammeln von Offline-Daten von mehr als 10^-9 Fahrstunden ist eine Herausforderung. Als Teil der Beschreibung eines offenbarten Erfassungssystems wird ein Fusionsansatz beschrieben, der mit einer wesentlich geringeren Datenmenge validiert werden kann.
Das beschriebene RSS-System kann auch auf Millionen von Autos skalierbar sein. Beispielsweise können die beschriebene semantische Fahrstrategie und die angewandten Sicherheitsbeschränkungen konsistent mit den Anforderungen an das Erfassen und Abbilden sein, die selbst bei der heutigen Technologie auf Millionen von Autos skalierbar sind.
Ein grundlegender Baustein eines solchen Systems ist eine gründliche Sicherheitsdefinition, d.h. ein Mindeststandard, an den sich AV-Systeme unter Umständen halten müssen. Im folgenden technischen Lemma wird gezeigt, dass ein statistischer Ansatz zur Validierung eines AV-Systems selbst für die Validierung einer einfachen Behauptung wie „das System macht N Unfälle pro Stunde“ nicht praktikabel ist. Dies impliziert, dass eine modellbasierte Sicherheitsdefinition das einzig machbare Werkzeug zur Validierung eines AV-Systems ist.
Lemma 1 X sei ein Wahrscheinlichkeitsraum, und A sei ein Ereignis, für das Pr(A) = p₁ < 0.1. Angenommen, wir sampeln $m = \frac{1}{p_{1}}$
i.i.d. Proben aus X, und sei $Z = \sum_{i = 1}^{m} 1_{[x \in A]} .$
Dann $Pr (Z = 0) \geq e^{- 2} .$
Beweis Wir verwenden die Ungleichung 1 - x ≥ e^-2x (bewiesen für Vollständigkeit in Appendix A.1), um zu erhalten $Pr (Z = 0) = {(1 - p_{1})}^{m} \geq e^{- 2 p_{1} m} = e^{- 2} .$
Korollar 1 Angenommen, ein AV-System AV_I verursacht einen Unfall mit kleiner, aber unzureichender Wahrscheinlichkeit p₁. Jede deterministische Validierungsprozedur, die mit 1/p_I Stichproben durchgeführt wird, wird mit konstanter Wahrscheinlichkeit nicht zwischen AV_I und einem anderen AV-System AVo unterscheiden, das niemals Unfälle verursacht.
Um eine Perspektive über die typischen Werte für solche Wahrscheinlichkeiten zu gewinnen, nehmen wir an, wir wünschen eine Unfallwahrscheinlichkeit von 10^-9 pro Stunde, und ein bestimmtes AV-System stellt nur eine Wahrscheinlichkeit von 10^-8 bereit. Selbst wenn das System 10⁸ Fahrstunden erreicht, besteht eine konstante Wahrscheinlichkeit, dass der Validierungsprozess nicht in der Lage sein wird, anzuzeigen, dass das System gefährlich ist.
Schließlich ist zu beachten, dass diese Schwierigkeit dazu dient, ein einzelnes, spezifisches, gefährliches AV-System außer Kraft zu setzen. Eine vollständige Lösung kann nicht als ein einzelnes System betrachtet werden, da neue Versionen, Fehlerbehebungen und Aktualisierungen notwendig sein werden. Jede Änderung, auch nur einer einzigen Codezeile, erzeugt aus der Sicht eines Validators ein neues System. Daher muss eine Lösung, die statistisch validiert wird, dies online über neue Stichproben nach jeder kleinen Korrektur oder Änderung tun, um der Verschiebung in der Verteilung der Zustände Rechnung zu tragen, die das neue System beobachtet und erreicht hat. Es ist nicht möglich, wiederholt und systematisch eine so große Anzahl von Stichproben zu erhalten (und selbst dann mit konstanter Wahrscheinlichkeit nicht zu einer Validierung des Systems zu gelangen).
Darüber hinaus muss jeder statistische Anspruch formalisiert werden, um gemessen werden zu können. Die Behauptung einer statistischen Eigenschaft über die Anzahl der Unfälle, die ein System verursacht, ist wesentlich schwächer als die Behauptung, dass es „sicher fährt“. Um dies zu sagen, muss man formal definieren, was Sicherheit ist.
Absolute Sicherheit ist unmöglich
Eine Handlung a, die von einem Auto c ausgeführt wird, kann als absolut sicher angesehen werden, wenn der Handlung zu einem späteren Zeitpunkt kein Unfall folgen kann. Es zeigt sich, dass es unmöglich ist, absolute Sicherheit zu erreichen, wenn man z.B. einfache Fahrszenarien, wie in dargestellt, beobachtet. Aus der Perspektive des Fahrzeugs 1901 kann keine Handlung sicherstellen, dass keines der umliegenden Fahrzeuge mit ihm kollidiert. Auch die Lösung dieses Problems durch ein Verbot für das autonome Auto, sich in solchen Situationen zu befinden, ist unmöglich. Da jede Autobahn mit mehr als zwei Fahrspuren irgendwann dorthin führen wird, läuft ein Verbot dieses Szenarios auf die Forderung hinaus, in der Garage zu bleiben. Die Auswirkungen mögen auf den ersten Blick enttäuschend erscheinen. Nichts ist absolut sicher. Eine solche Forderung nach absoluter Sicherheit, wie sie oben definiert wurde, kann jedoch zu hart sein, wie die Tatsache zeigt, dass menschliche Fahrer sich nicht an eine Forderung nach absoluter Sicherheit halten. Stattdessen verhalten sich Menschen nach einem Sicherheitsbegriff, der von der Verantwortung abhängt.
Verantwortungsbewusste Sicherheit (RSS)
Ein wichtiger Aspekt, der im absoluten Sicherheitskonzept fehlt, ist die Unsymmetrie der meisten Unfälle - in der Regel ist einer der Fahrer für einen Unfall verantwortlich und muss dafür verantwortlich gemacht werden. Im Beispiel von 19 ist das mittlere Auto 1901 nicht zu beschuldigen, wenn z.B. das linke Auto 1909 plötzlich in ihn hineinfährt. Um die Tatsache zu formalisieren, dass ein Verhalten des AV 1901, das in seiner eigenen Fahrspur bleibt, in Anbetracht seiner Unverantwortlichkeit als sicher angesehen werden kann. Dazu wird ein formales Konzept der „Unfallverschuldung“ oder Unfallverantwortung beschrieben, das als Prämisse für ein sicheres Fahrverhalten dienen kann.
Als ein Beispiel nehmen wir den einfachen Fall zweier Autos c_f, c_r, die mit gleicher Geschwindigkeit hintereinander auf einer geraden Straße fahren. Nehmen wir an, c_f, das vordere Auto bremst plötzlich wegen eines auf der Straße auftauchenden Hindernisses und schafft es, diesem auszuweichen. Unglücklicherweise hält c_r nicht genügend Abstand zu c_f, kann nicht rechtzeitig reagieren und prallt auf die Rückseite von c_f. Es ist klar, dass die Schuld bei c_r liegt; es liegt in der Verantwortung des hinteren Autos, sicheren Abstand zum vorderen Auto zu halten und auf unerwartete, aber vernünftige Bremsungen vorbereitet zu sein.
Betrachten Sie als nächstes eine viel breitere Familie von Szenarien: das Fahren auf einer mehrspurigen Straße, auf der Autos frei die Fahrspur wechseln, in die Wege anderer Autos eingreifen, mit unterschiedlichen Geschwindigkeiten fahren können und so weiter. Um die folgende Diskussion zu vereinfachen, nehmen Sie eine gerade Straße auf einer ebenen Fläche an, bei der die seitlichen Längsachsen die x- bzw. y-Achsen sind. Dies kann unter milden Bedingungen erreicht werden, indem man eine Homomorphie zwischen der tatsächlich gekrümmten Straße und einer geraden Straße definiert. Berücksichtigen Sie zusätzlich einen diskreten Zeitraum. Definitionen können bei der Unterscheidung zwischen zwei intuitiv verschiedenen Fallgruppen helfen: einfache Fälle, in denen kein signifikantes seitliches Manöver durchgeführt wird, und komplexere Fälle, die eine seitliche Bewegung beinhalten.
Definition 1 (Auto-Korridor) Der Korridor eines Autos c ist der Bereich $[c_{x, l e f t,} c_{x, r i g h t}] \times [\pm \infty],$
wobei c_x,left,c_x,right die Positionen der Ecken am weitesten links bzw_. am weitesten Rechts von c sind.
Definition 2 (Schneiden) Ein Auto c₁ (z.B., Auto 2003 in 20A und 20B) schneidet Auto c₀'s (z.B., Auto 2001 in 20A und 20B) Korridor zur Zeit t, wenn er den Korridor von c₀ zum Zeitpunkt t - 1 nicht gekreuzt hat und ihn zur Zeit t kreuzt.
Eine weitere Unterscheidung kann zwischen vorderen und hinteren Teilen des Korridors getroffen werden. Der Begriff „Richtung eines Einschnitts“ kann die Bewegung in Richtung der relevanten Korridorgrenze beschreiben. Diese Definitionen können Fälle mit seitlicher Bewegung definieren. Für den einfachen Fall, in dem dies nicht der Fall ist, wie z.B. der einfache Fall, dass eine Kabine einer anderen folgt, wird der sichere Längsabstand definiert:
Definition 3 (Sicherer Längsabstand) Ein Längsabstand 2101 (21) zwischen einem Auto c_r (Auto 2103) und einem anderen Auto c_f (Auto 2105) das in c_r's frontalem Korridor ist, ist sicher in Bezug auf eine Reaktionszeit p falls für jeden Bremsbefehl a, |a| < a_max,brake, durchgeführt durch c_f, wenn c_r seine maximale Bremse von der Zeit p bis zu einem vollständigen Stopp anwendet, dann nicht mit c_f kollidiert.
Lemma 2 unten berechnet d als eine Funktion der Geschwindigkeiten c_r, c_f, der Reaktionszeiten p, und der maximalen Beschleunigung a_max,brake. Sowohl p als auch a_max,brake sind Konstanten, die durch Regulierung auf einige vernünftige Werte bestimmt werden sollten. In weiteren Beispielen, entweder die Reaktionszeit p oder die maximale Beschleunigung a_max,brake können für ein bestimmtes Fahrzeug oder eine bestimmte Art von Fahrzeug eingestellt werden, oder sie können anhand von Messungen oder anderen Eingabeparametern in Bezug auf den Fahrzeugzustand, den Straßenzustand, die Präferenzen des Benutzers (z.B. Fahrer oder Beifahrer) usw. angepasst/angepasst werden.
Lemma 2 Sei c_r ein Fahrzeug, das auf einer longitudinalen Achse hinter c_f ist. Sei a_max,brake, a_max,accel die maximalen Brems- und Beschleunigungsbefehle, und sei p die Reaktionszeit von c_r's. Seien v_r, v_f die Längsgeschwindigkeiten der Fahrzeuge und seien l_f, l_r ihre Längen. Definiere v_p,max = v_r + p · a_max,_accel, und definiere $T_{r} = p + \frac{v_{p, max}}{a_{max,brake}} und T_{f} = \frac{v_{f}}{a_{max,brake}} .$
Sei L = (l_r+l_f)/2. Dann ist die minimale a_max,brake a_max,brake sichere Längsdistanz für c_r $d_{min} = {\begin{array}{l} L & if T_{r} \leq T_{f} \\ L + T_{f} [(v_{p, max} - v_{f}) + ρ a_{max,brake}] - \frac{ρ^{2} a_{max,brake}}{2} + \frac{(T_{r} - T_{f}) (v_{p, max} - (T_{f} - ρ) a_{max,brake})}{2} & otherwise \end{array}$
Beweis Sei d_t die Geschwindigkeit zur Zeit t. Um einen Unfall zu verhindern, müssen wir d_t > L haben für jedes t. Um d_min zu finden, müssen wir die engste untere Grenze für d₀ finden. Offensichtlich, d₀ muss zumindest L sein. Solange die beiden Autos nicht nach T ≥ ρ Sekunden angehalten haben, beträgt die Geschwindigkeit des vorausfahrenden Autos v_f-Tα_max,brake während c_r's Geschwindigkeit nach oben durch v_ρ,max - (T - ρ) α_max,accel begrenzt sein wird. Der Abstand zwischen den Autos nach T Sekunden wird also nach unten begrenzt durch: $\begin{matrix} d_{T} : = d_{0} + \frac{T}{2} (2 v_{f} - T a_{max,brake}) - [ρ v_{ρ, max} + \frac{T - ρ}{2} (2 v_{ρ, max} - (T - ρ) a_{max,brake})] \\ = d_{0} + T [(v_{f} - v_{ρ, max}) - ρ a_{max,brake}] + \frac{ρ^{2} a_{max,brake}}{2} \end{matrix}$
Es ist zu beachten, dass T_r die Zeit ist, zu der c_r zum Stillstand kommt (eine Geschwindigkeit von 0) und T_f die Zeit, zu der das andere Fahrzeug zum Stillstand kommt. Man beachte, dass α_max,brake(Tr - T_f) = v_ρ,max - v_f + ρα_max,brake, so dass wenn T_r ≤ T_f es ausreicht zu verlangen, dass d₀ > L. Wenn T_r > T_f dann $d_{T_{r}} = d_{0} + T_{f} [(v_{f} - v_{ρ, max}) - ρ α_{max,brake}] + \frac{ρ^{2} α_{max,brake}}{2} - \frac{(T_{r} - T_{f}) (v_{ρ, max} - (T_{f} - ρ) α_{max,brake})}{2} .$
Wenn man verlang, dass d_Tr > L und die Ausdrücke umordnet, ist der Beweis erbracht.
Schließlich wird ein Vergleichsoperator definiert, der Vergleiche mit einem Begriff von „Spielraum“ ermöglicht: Beim Vergleich von Längen, Geschwindigkeiten usw. ist es notwendig, sehr ähnliche Quantitäten als „gleich“ zu akzeptieren. Definition 4 (µ - Vergleich) Der µ-Vergleich von zwei Zahlen a, b ist a > _µb wenn a > b +µ, a < _µb if a < b - µ und a =_µ b If|a - b| ≤ µ.
Die Vergleiche (argmin, argmax, etc.) unten sind µ-Vergleiche für geeignete µs. Angenommen, es hat sich ein Unfall zwischen Autos c₁, c₂. Um zu prüfen, wer an dem Unfall schuld ist, wird der relevante Zeitpunkt definiert, der untersucht werden muss. Dies ist ein Zeitpunkt, der dem Unfall vorausging und intuitiv der „point of no return“ war; danach konnte nichts mehr getan werden, um den Unfall zu verhindern.
Definition 5 (Schuldzuweisungszeit) Die Schuldzuweisungszeit eines Unfalls ist der früheste Zeitpunkt vor dem Unfall, in dem der Unfall stattgefunden hat:

• es gab eine Kreuzung zwischen einem der Autos und dem Korridor des anderen, und
• der Längsabstand war nicht sicher.

Offensichtlich gibt es einen solchen Zeitpunkt, denn im Moment des Unfalls gelten beide Bedingungen. Schuldzuweisungszeiten können in zwei verschiedene Kategorien unterteilt werden:

• - Diejenigen, bei denen es auch zu einem Einschneiden kommt, d.h. sie sind der erste Moment der Kreuzung des einen Autos mit dem Korridor des anderen, und das in einer nicht sicheren Distanz.
• - Diejenigen, bei denen es nicht zu einem Einschneiden kommt, d.h. es gab bereits eine Kreuzung mit dem Korridor in einer sicheren Längsdistanz, und die Distanz hatte sich zur Schuldzuweisungszeit auf unsicher geändert.

Definition 6 (µ-Verlust durch seitliche Geschwindigkeit) Nehmen wir an, dass ein Einschneiden zwischen den Autos c₁, c₂ stattfindet. Wir sagen, dass c₁ µ- Verluste durch seitliche Geschwindigkeiten verliert, wenn seine seitliche Geschwindigkeit in Bezug auf die Richtung des Einschneidens um µ höher ist als die von c₂.
Es ist zu beachten, dass die Richtung der Geschwindigkeit wichtig ist: Zum Beispiel sind Geschwindigkeiten von -1,1 (beide Autos prallen aufeinander) unentschieden, wenn die Geschwindigkeiten jedoch 1,1 + µ/2 betragen, ist derjenige mit positiver Richtung auf das andere Auto schuld. Intuitiv erlaubt uns diese Definition, einem Auto, das seitlich sehr schnell in ein anderes Auto hineinfährt, die Schuld zu geben.
Definition 7 ((µ₁, µ₂)- Gewinnen durch seitliche Position) Nehmen wir an, dass ein Einschneiden zwischen den Autos c₁, c₂ stattfindet. Wir sagen, dass c₁ (µ₁, µ₂) durch die seitliche Position gewinnt, wenn seine seitliche Position in Bezug auf das Zentrum der Fahrspur (das Zentrum, das dem für die Einfahrt relevanten Korridor am nächsten liegt) kleiner als µ1 (im absoluten Wert) und um µ₂ kleiner als das von c₂ ist.
Intuitiv werden wir einem Auto nicht die Schuld geben, wenn es sehr nahe an der Fahrspurmitte (µ₁) und viel näher als das andere Auto (um µ₂) ist.
Definition 8 (Schuldzuweisung) The Schuldzuweisung oder Verantwortlichkeit für einen Unfall zwischen Autos c₁, c₂, ist eine Funktion des Zustandes an der Schuldzuweisungszeit, und ist wie folgt definiert:

• Wenn die Schuldzuweisungszeit keine Einschneidezeit ist, liegt die Schuld beim hinteren Auto.
• Wenn die Schuldzuweisungszeit auch eine Einschneide-Zeit ist, liegt die Schuld bei beiden Autos, es sei den, für eines der Autos, o.B.d.a. c₁, gelten die beiden folgenden Bedingungen, für einige vorbestimmte µs:
- • Es verliert nicht durch seitliche Geschwindigkeit,
- • Es gewinnt durch seitliche Position.

In diesem Fall wird c1 verschont. Mit anderen Worten: Kommt es zu einem unsicheren Einschneiden, sind beide Autos schuld, es sei den, eines der Autos ist nicht (significant) seitlich schneller und befindet sich (significant) näher an der Fahrspurmitte. Auf diese Weise wird das gewünschte Verhalten erfasst: Wenn Sie einem Auto folgen, halten Sie einen Sicherheitsabstand ein, und wenn Sie in einen Korridor eines Autos einschneiden, das lediglich in seiner eigenen Fahrspur fährt, tun Sie dies nur in sicherem Abstand. Ein automatisiertes, controllerbasiertes System zur Einhaltung der oben beschriebenen Sicherheitsrichtlinien sollte nicht zu übermäßig defensive Fahren führen, wie weiter unten diskutiert wird.
Umgang mit eingeschränktem Erfassen
Nach der Betrachtung des Beispiels Autobahn wird in einem zweiten Beispiel ein Problem des eingeschränkten Erfassens behandelt. Eine sehr häufige menschliche Reaktion, wenn sie für einen Unfall verantwortlich gemacht wird, fällt in die Kategorie „aber ich konnte ihn nicht sehen“. Das ist in vielen Fällen wahr. Die menschlichen Erfassungsfähigkeiten sind begrenzt, manchmal aufgrund einer unbewussten Entscheidung, sich auf einen anderen Teil der Straße zu konzentrieren, manchmal aufgrund von Unachtsamkeit und manchmal aufgrund körperlicher Einschränkungen - es ist unmöglich, einen Fußgänger zu sehen, der sich hinter einem geparkten Auto versteckt. Von diesen menschlichen Einschränkungen unterliegen fortschrittliche automatische Erfassungssysteme möglicherweise nur den letztgenannten: Die 360°-Sicht auf die Straße zusammen mit der Tatsache, dass Computer nie unvorsichtig sind, stellt sie über die menschlichen Erfassungsmöglichkeiten. Um auf das Beispiel „aber ich konnte ihn nicht sehen“ zurückzukommen, lautet eine passende Antwort: „Nun, Sie hätten vorsichtiger sein sollen“. Um zu formalisieren, was im Hinblick auf begrenztes Erfassen vorsichtig ist, betrachten Sie das in 22 dargestellte Szenario. Auto 2201 (co) versucht, einen Parkplatz zu verlassen und in eine (möglicherweise) stark befahrene Straße einzubiegen, kann aber nicht sehen, ob sich Autos auf der Straße befinden, weil seine Sicht durch Gebäude 2203 verdeckt wird. Gehen Sie davon aus, dass es sich um eine städtische, enge Straße mit einer Geschwindigkeitsbegrenzung von 30 km/h handelt. Das Verhalten eines menschlichen Fahrers besteht darin, sich langsam auf die Straße zu bewegen und immer mehr Sichtfeld zu erhalten, bis die Einschränkungen beim Erfassen beseitigt sind. Es sollte ein signifikanter Moment in der Zeit definiert werden - das erste Mal, wenn das verdeckte Objekt uns exponiert wird; nach seiner Exposition geht man mit ihm um wie mit jedem anderen Objekt, das man erfassen kann.
Definition 9 (Expositions-Zeit) Die Expositionszeit eines Objekts ist die erste Zeit, zu der wir es sehen.
Definition 10 (Schuldzuweisung wegen unvernünftiger Geschwindigkeit) Nehmen wir an, dass zum Zeitpunkt der Belichtungszeit oder danach, Auto c₁ (Auto 2205) mit einer Geschwindigkeit v > v_limit gefahren ist, und c₀ hat das nicht getan. Dann liegt die Schuld nur bei c₁. Wir sagen, dass c₁ die Schuld hat wegen unvernünftiger Geschwindigkeit.
Diese Erweiterung erlaubt c₀ ein sicheres Verlassen des Parkplatzes. Unter Verwendung unserer früheren verantwortungsbewussten Sicherheitsdefinitionen sowie einer dynamischen v_limit Definition (die die Straßenverhältnisse und die Geschwindigkeitsbegrenzung sowie angemessene Spielräume verwendet) muss lediglich geprüft werden, ob sich das Einschneiden im schlimmsten Fall, wie in der Abbildung dargestellt, in einem sicheren Längsabstand befindet, wobei davon ausgegangen wird, dass c₁ v_limit nicht überschreitet. Intuitiv ermutigt dies c₀ dazu, langsamer und weiter vom Okkluder weg zu fahren, wodurch sich sein Sichtfeld langsam vergrößert und später ein sicheres Einfädeln auf die Straße erlaubt wird.
Nachdem die Definition der Unfallverantwortlichkeit auf diesen grundlegenden Fall des begrenzten Erfassens ausgedehnt wurde, kann eine Familie von Erweiterungen ähnliche Fälle behandeln. Einfache Annahmen darüber, was verdeckt werden kann (ein potenziell schnelles Auto kann zwischen zwei dicht geparkten Autos nicht verdeckt werden, aber ein Fußgänger kann es) und was das schlimmste Manöver ist, das es ausführen kann (die v_limit eines Fußgängers ist viel kleiner als die eines Autos), implizieren Einschränkungen beim Fahren - man muss auf das Schlimmste vorbereitet sein und die Fähigkeit haben, zu reagieren, wenn plötzlich die Zeit der Exposition kommt. Ein ausführlicheres Beispiel in einem städtischen Szenario kann dem Szenario eines Fußgängers entnommen werden, der möglicherweise von einem geparkten Auto verdeckt wird. Die Schuld an Unfällen mit einem Fußgänger kann definiert werden:
Definition 11 (Unfall-mit-Fußgänger-Schuld) Die Unfall-mit-Fußgänger-Schuld ist immer bei dem Auto, es sei denn es gilt eine der folgenden Bedingungen:

• das Auto trifft den Fußgänger mit der Seite des Autos, und die seitliche Geschwindigkeit des Autos ist kleiner als µ, bezogen auf die Richtung des Aufpralls.
• die Geschwindigkeit des Fußgängers zur Expositionszeit oder später war größer als v_limit
• das Auto ist völlig stillstehend.

Informell ist das Auto nur dann nicht schuld, wenn ein Fußgänger in seine Seite rennt, während das Auto nicht schneller als µ in den Fußgänger hineinfährt, oder wenn das Auto angehalten hat, oder wenn der Fußgänger übermenschlich schnell in irgendeine Richtung, nicht unbedingt in die Aufprallrichtung, gelaufen ist.
Auch wenn das beschriebene System keine absolute Sicherheit gewährleistet, kann es zu einem Szenario führen, in dem sich sehr wenige (wenn überhaupt) Unfälle zwischen autonomen Fahrzeugen ereignen. Wenn z.B. alle Autos (und andere Strassenbenutzer) in der Lage sind, erfolgreich zu verifizieren, dass sie aufgrund einer ergriffenen Maßnahme keine Schuldzuweisung für einen Unfall erhalten, können Unfälle ausgeschlossen werden. Per Definition gibt es für jeden Unfall mindestens ein verantwortliches Auto. Wenn also kein Auto eine Handlung vornimmt, für die es für einen daraus resultierenden Unfall verantwortlich sein könnte (gemäß dem oben beschriebenen RSS-Modell), sollte es niemals Unfälle geben, die zu der Art von absoluter Sicherheit oder nahezu absoluter Sicherheit führen, die mit schwerfälligen und unpraktischen statistischen Verfahren angestrebt wird.
Nicht alle Straßen haben eine einfache Struktur. Einige, wie Kreuzungen und Kreisverkehre, enthalten komplexere Situationen sowie verschiedene Vorfahrtsregeln. Nicht alle verdeckten Objekte sind Autos oder Fußgänger, mit Fahrrädern und Motorrädern sind alle legitimen Verkehrsteilnehmer zu berücksichtigen. Die in diesem Abschnitt eingeführten Grundsätze können auf diese zusätzlichen Fälle ausgedehnt werden.
Effizient validierte Bedingungen für verantwortungsbewusste Sicherheit (RSS)
In diesem Abschnitt werden Aspekte der Implementierung von RSS diskutiert. Zu Beginn sei darauf hingewiesen, dass eine Handlung, die jetzt ausgeführt wird, einen Schmetterlingseffekt haben kann, der z.B. nach 10 Minuten Fahrt zu einer Kette von Ereignissen mit einem Unfall führt. Ein „Brüte-Force“-Ansatz, bei dem alle möglichen zukünftigen Ergebnisse überprüft werden, ist nicht nur unpraktisch, sondern wahrscheinlich auch unmöglich. Um diese Herausforderung zu bewältigen, werden nun die oben beschriebenen verantwortungsbewussten Sicherheitsdefinitionen zusammen mit rechnerisch effizienten Verfahren zu ihrer Validierung beschrieben.
Rechnerisch durchführbarer Sicherheitsnachweis.
Das wichtigste mathematische Werkzeug für eine rechnerisch durchführbare Verifikation ist „Induktion“. Um eine Behauptung durch Induktion zu beweisen, beginnt man mit dem Nachweis der Behauptung für einfache Fälle, und dann erweitert jeder Induktionsschritt den Beweis auf immer mehr beteiligte Fälle. Um zu veranschaulichen, wie dieses Induktionswerkzeug für die Verifikation der Sicherheit hilfreich sein kann, betrachten wir noch einmal das einfache Beispiel eines Autos c_r das einem anderen, c_f, folgt (21). Die folgende Beschränkung kann auf die Strategie von c_r angewandt werden. Bei jedem Zeitschritt t kann die Strategie jeden beliebigen Beschleunigungsbefehl auswählen, so dass selbst wenn c_f eine Abbremsung von -a_max anwendet, der resultierende Abstand zwischen c_r und c_f beim nächsten Zeitschritt mindestens der sichere Längsabstand ist (definiert in Definition 3 und Lemma 2). Wenn keine solche Wirkung vorliegt, muss c_r die Abbremsung -a_max anwenden. Das folgende Lemma verwendet die Induktion, um zu beweisen, dass jede Strategie, die sich an die oben genannten Beschränkungen hält, niemals einen Unfall mit c_f verursachen wird.
Lemma 3 Unter den Annahmen der Definition 3, wenn die Strategie von c_r sich an die oben genannten Beschränkungen hält, wird es niemals einen Unfall mit c_f machen.
Beweis Der Beweis ist durch Induktion. Beginnen Sie für die Induktionsbasis mit einem Anfangszustand, in dem die Distanz zwischen den beiden Autos sicher ist (nach Lemma 2). Der Induktionsschritt ist wie folgt. Betrachten Sie den Abstand zwischen c_r und c_f zu einer Zeit t. Wenn es eine Aktion gibt, die zu einem sicheren Abstand führt (auch wenn c_f maximal abbremst), ist alles in Ordnung. Wenn nicht alle Handlungen eine sichere Distanz garantieren können, lassen Sie t' < t die maximale Zeit sein, in der wir eine Handlung vorgenommen haben, die keine maximale Abbremsung war. Nach der Induktionshypothese befanden wir uns zur Zeit t' + 1 in einer sicheren Distanz, und von da an führten wir eine maximale Abbremsung durch. Nach der Definition der sicheren Distanz gab es also von der Zeit t' bis jetzt keinen Crash, womit der Beweis abgeschlossen ist.
Das obige Beispiel veranschaulicht eine allgemeinere Idee: Es gibt ein Notfallmanöver, das im Extremfall von c_r durchgeführt werden kann, um es in einen „sicheren Zustand“ zurück zu führen. Es ist zu beachten, dass die oben beschriebenen Beschränkungen der Strategie von nur einem zukünftigen Zeitschritt abhängen, so dass sie rechnerisch effizient verifiziert werden kann.
Um diese Vorstellungen von ausreichenden lokalen Eigenschaften für RSS zu verallgemeinern, definieren wir zunächst eine Standardstrategie für Notfälle (Default Emergency Policy, DEP) und verwenden sie als Baustein für die Definition einer lokalen Eigenschaft des Handelns, die wir als „vorsichtig“ bezeichnen. Dann wird gezeigt, dass es für RSS ausreicht, nur vorsichtige Befehle auszuführen.
Definition 12 (Standard Notfallstrategie) Die Standard-Notfallstrategie (DEP) ist es, maximale Bremsleistung anzuwenden, und maximalen Kurswechsel in Richtung 0 in Bezug auf die Fahrspur. Die maximale Bremsleistung und die Kursänderung werden von physikalischen Parametern des Autos abgeleitet (und möglicherweise auch von Wetter- und Straßenbedingungen). Definition 13 (Sicherer Zustand) Ein Zustand s ist sicher, wenn die Durchführung von DEP, von dem er ausgeht, nicht zu einem von uns verschuldeten Unfall führt. Wie im einfachen Fall, dass ein Auto einem anderen folgt, definieren wir einen Befehl als vorsichtig, wenn er zu einem sicheren Zustand führt. Definition 14 (Vorsichtiger Befehl) Angenommen, wir sind gerade im Zustand s₀. Ein Befehl a ist vorsichtig, wenn der nächste Zustand, s₁, wird sicher sein in Bezug auf eine Menge A von möglichen Befehlen, dass die anderen Fahrzeuge jetzt durchführen könnten. Die obige Definition hängt von den Worst-Case-Befehlen ab, in der Menge A, die andere Fahrzeuge ausführen könnten. Wir werden die Menge A basierend auf vernünftigen Obergrenzen für die maximale Bremsung/Beschleunigung und spätere seitliche Bewegungen konstruieren.
Das folgende Theorem beweist, wiederum durch Induktion, dass, wenn wir nur vorsichtige Befehle erteilen, es keine von uns verschuldeten Unfälle geben wird. Theorem 1 Nehmen wir an, dass sich c in Zeit 0 in einem sicheren Zustand befindet, und für jeden Zeitschritt gibt c nur vorsichtige Befehle aus, wobei, wenn zu irgendeinem Zeitschritt kein vorsichtiger Befehl existiert, c DEP anwendet. Dann wird c niemals Unfälle verursachen, für die es verantwortlich ist. Beweis Durch Induktion. Die Basis der Induktion ergibt sich aus der Definition eines sicheren Zustandes und Schrittes aus der Definition eines vorsichtigen Befehls.
Ein Vorteil dieses Ansatzes ist, dass es vielleicht nicht notwendig ist, die unendliche Zukunft zu überprüfen, da wir schnell in einen sicheren Zustand zurückkehren und von dort aus sicher weitermachen können. Darüber hinaus sollten wir angesichts der Tatsache, dass wir bei t + 1 erneut planen und somit in der Lage sein werden, DEP durchzuführen, nur den Befehl prüfen, den wir zur Zeit t erteilen, und nicht einen möglichen längeren Plan, den wir vielleicht im Sinn haben - wir können diesen Plan bei t + 1 ändern. Jetzt wird es möglich, eine Lernkomponente in ein System zu integrieren, wenn sie zur Laufzeit durch dieses transparente Modell verifiziert wird. Schließlich impliziert diese lokale Verifikation eine vollständige zukünftige RSS, was unser gewünschtes Ziel ist. Ein Implementierungshindernis besteht darin, dass die Definition der Vorsicht alle Trajektorien umfasst, die ein anderer Agent bis zur t_brake ausführen kann, was selbst bei einer moderaten f_brake ein riesiger Raum ist. Um dieses Problem in Angriff zu nehmen, werden wir als nächstes eine effizient berechenbare Art und Weise entwickeln, um die Vorsicht und damit RSS auf skalierbare Weise zu verifizieren.
Effiziente Vorsichts-Verifikation
Eine erste Beobachtung ist, dass ein Zustand nicht sicher ist, wenn und nur wenn ein bestimmtes Fahrzeug, c̃, existiert, das Befehle aus der Menge A ausführen kann, die zu einem von uns verschuldeten Unfall führen, während wir die DEP ausführen. Daher kann in einer Szene mit einem einzigen Zielfahrzeug mit der Bezeichnung c̃ und im allgemeinen Fall das Verfahren nacheinander für jedes der anderen Fahrzeuge in der Szene ausgeführt werden.
Bei der Betrachtung eines einzelnen Zielfahrzeugs ist eine Aktion a dann und nur dann nicht vorsichtig, wenn es eine Folge von Befehlen für c̃, bezeichnet mit ã₁,..., ãt_brake, alle in der Menge A, gibt, die zu einem von c verschuldeten Unfall führt. Wie bereits bewiesen, gibt es, wenn zur Zeit 0 gilt, dass c̃ sich im frontalen Korridor von c befindet, eine einfache Möglichkeit, die Vorsicht von a zu überprüfen - wir müssen nur verifizieren, dass, selbst wenn c̃ die maximale Bremse für einen Zeitschritt anwendet (und wir a durchführen), die resultierende Distanz in Längsrichtung sicher bleibt. Das nachstehende Lemma gibt eine ausreichende Bedingung für die Vorsicht in den stärker betroffenen Fällen, in denen auch seitliche Manöver in Betracht gezogen werden sollen.
Lemma 4 Angenommen, dass zur Zeit T = 0, c̃ nicht in dem frontalen Korridor von c ist. Dann gibt es, wenn für jedes T ∈ (0, t_brake], kein nicht sicheres Einschneiden mit c's Schuld gibt, dann ist a vorsichtig.
Beweis Angenommen, dass a nicht vorsichtig ist, d.h., es gibt ã₁,..., ãt_brake die zu einem Unfall mit c's Schuld führen. Vor dem Unfall muss es eine Einschneide-Zeit, T, geben. Zuerst nehmen wir an, dass T > 0. Wenn sich dieses Einschneiden in einer sicheren Längsdistanz befand, dann kann es keinen von uns verschuldeten Unfall geben, da DEP durch Abbremsung mit -a_max ausgeführt wird and basierend auf der Definition einer sicheren longitudinalen Distanz (und wir nehmen hier an, dass die Reaktionszeit ρ größer ist als die Zeitauflösung der Schritte). Wenn das Einschneiden nicht sicher war, war es durch die Annahme des Lemmas nicht die Schuld von c, also ist auch der Unfall nicht die Schuld von c.
Schließlich, wenn T < 0, durch die Annahme des Lemmas, befand sich, zum Zeitpunkt des Einschneidens, c̃ im hinteren Korridor von c. Durch Induktion führte c in der Vergangenheit nur sichere Einschneidungen durch, und daher war entweder das Einschneiden sicher oder es war die Schuld von c. In beiden Fällen ist der aktuelle Unfall nicht die Schuld von c.
Im Lichte von Lemma 4 bleibt das Problem der Überprüfung, ob es ein nicht sicheres Einschneiden mit der Schuld von c geben kann. Im Folgenden wird ein effizienter Algorithmus zur Überprüfung der Möglichkeit eines nicht sicheren Einschneidens zur Zeit t vorgestellt. Zur Validierung der gesamten Trajektorie diskretisieren wir das Zeitintervall [0, t_brake] und wenden den Algorithmus auf alle Zeitintervalle an (mit einem etwas grösseren Wert von p in der Definition der sicheren Distanz, um sicherzustellen, dass die Diskretisierung nicht schadet). Sei c̃_diag die Länge einer Diagonale eines minimalen Rechtecks, das c̃ begrenzt. Für jede Zeit t ∈ [0, t_brake], definiere c_length(t) als die longitudinale „Spanne“ von c in der Zeit t, und sei $L (t) = \frac{{\tilde{c}}_{d i a g} + c_{l e n g t h [t]}}{2} .$
Definiere c_width[t] auf ähnliche Weise und $W (t) = \frac{{\tilde{c}}_{d i a g} + c_{w i d t h [t]}}{2} .$
Das folgende Theorem beweist die Richtigkeit des obigen Algorithmus.
Theorem 2 Wenn Algorithmus 1 „nicht durchführbar“ ergibt, dann kann es zur Zeit t kein unsicheres Einschneiden mit der Schuld des Ego-Fahrzeuges geben. Um das Theorem zu beweisen, stützen wir uns auf die folgenden Schlüssel-Lemmata, die die Richtigkeit der beiden Bausteine von Algorithmus 1 beweisen. Wir beginnen mit der longitudinalen Machbarkeit:
Lemma 5 Unter der Notation von Algorithmus 1, wenn das Verfahren zur Überprüfung der longitudinalen Durchführbarkeit mit der Rückmeldung „'nicht durchführbar' abgeschlossen wird, dann kann es zur Zeit t kein unsicheres Einschneiden der Schuld des Ego-Fahrzeuges geben.
Beweis Unter Ignorierung des seitlichen Aspekts eines Einschneidemanövers untersuchen wir die bloße Möglichkeit, dass die longitudinale Distanz zwischen c und c̃ unsicher ist.. Es ist klar, dass die Positionen (ỹ_min, ỹ_max) die Position begrenzen, die c̃ zur Zeit t erreichen kann. Durch die Tatsache [ỹ_min, ỹ_max] ∩ [y[t] - L, y[t] + L] = 0,/, erhalten wir, dass jede longitudinal nicht sichere Distanz, die erreichbar ist, ist ≥ L. Angenommen, dass ỹ_min > y[t] + L, und angenommen durch Widerspruch, dass eine nicht sichere Längsposition und Geschwindigkeit, bezeichnet ỹ_bad [t], υ̃_ybad[t], unter Verwendung von Beschleunigungsbefehlen erreichbar sind, die durch a_y,min, a_y,max begrenzt sind. Durch Definition von ỹ_min, haben wir ỹ_bad[t] > ỹ_min, und somit ist die Distanz zwischen den Autos größer, nämlich ỹ_bad[t] - (y[t]+L) > ỹ_min - (y\t\+L). Da (ỹ_min,υ̃_y[0]+a_y,mint) longitudinal sicher ist in Bezug auf (y[t], υ_y[t]), nach der Definition von longitudinaler Nicht-Sicherheit, folgt daraus, dass die erreichte Geschwindigkeit υ̃_ybad|t] kleiner sein muss als υ̃_y[0] + a_y,mint. Es ist jedoch klar, dass c̃, um eine geringere Geschwindigkeit zu erreichen, eine durchschnittliche Beschleunigung verwenden muss, die geringer ist als a_y,min während des gesamten Zeitfensters [0, t], das steht damit im Widerspruch zu der Tatsache, dass die longitudinale Nicht-Sicherheit durch Befehle erreicht wurde, die durch a_y,min, a_y,max begrenzt sind. Durch die Berücksichtigung eines symmetrischen Arguments für den Fall ỹ_max < y[t] - L, ist der Beweis abgeschlossen.
Als nächstes die seitliche Machbarkeit.
Lemma 6 Unter der Notation von Algorithmus 1 kann es, wenn das Verfahren zur Überprüfung der seitlichen Machbarkeit mit dem Ergebnis „nicht durchführbar“ abgeschlossen wird, kein unsicheres Einschneiden der Schuldzuweisungszeit des Ego-Fahrzeugs zur Zeit t geben.
Beweis Erstens ist es klar, dass es keinen Verlust an Allgemeingültigkeit durch die Annahmen x[t] = 0, x̃[0] ≤ 0 und die betreffend v_x[t] gibt, durch eine einfache Änderung der Koordinaten und Berücksichtigung der Relativgeschwindigkeit. Darüber hinaus ist es mit ähnlichen Argumenten einfach, auf den Fall zu erstrecken, wenn υ̃_x[0] ≤ 0.
Es ist zu beachten, dass die Positionen der am Einschneiden beteiligten Autos, die in unserem Fall (x[t], x[t] - W) sind, ein (µ1, µ2)-Gewinnen durch die seitliche Positions-Eigenschaft implizieren, was sich auf die Schuldzuweisung auswirkt. Durch unsere Annahmen über v_x[t], erhalten wir die maximale seitliche Geschwindigkeit, die c̃ zur Zeit t verwenden kann, unter der Annahme, dass c die Schuld zugewiesen wird, 0 ist: entweder für µ-„Gleichstand“ der seitlichen Geschwindigkeit (in diesem Fall wird c nicht (µ1, µ2)-Gewinnen durch seitliche Position, dies kann ausreichen, um die Schuld auf es zu schieben), oder für µ-Gewinnen seitlicher Geschwindigkeit (für den Fall, dass c (µ1,µ2)-gewinnt durch seitliche Position, dies ist notwendig, um ihm die Schuld zuzuschieben). Es bleibt zu prüfen, ob ein Manöver existiert, das bei v_x[0] startet, endet bei υ̃_x[t] = 0, unter Verwendung seitlicher Beschleunigungen, begrenzt durch a_x,max, mit Endposition x̃[t] ≥ x[t] - W. In Worten: ein Einschneiden, das bei der gewünschten seitlichen Geschwindigkeit endet, 0.
Erinnern wir uns an die Definition t_top = 0.5(t - υ̃_x[0]/a_x,max) des Algorithmus. Angenommen t_top < 0. Dies impliziert, dass die Zeit, die c̃ benötigt, um die seitliche Geschwindigkeit 0 zu erreichen, wenn die maximale seitliche Beschleunigung, nämlich υ̃_x[0]/a_x,max, verwendet wird, kleiner ist als t. Dies impliziert, dass es kein Manöver gibt, das sie ausführen kann, um die gewünschte Geschwindigkeit in der Zeit zu erreichen, und dass es daher kein problematisches Manöver gibt. Wenn also das Verfahren „nicht durchführbar“ ist, weil t_top < 0, gibt es in der Tat keine Machbarkeit für ein nicht-sicheres Einschneiden mit c's Schuld.
Betrachten wir den Fall t_top > 0. Dann gab das Verfahren „nicht durchführbar“ zurück, weil x_max < -W. Betrachten wir eine Familie von seitlichen Geschwindigkeitsprofilen für c̃ in der Zeitspanne [0, t], bezeichnet mit U = {u_a : a > ṽ_x[0]/t) und parametrisiert durch a. Wir definieren für jedes a in ähnlicher Weise wie das im Algorithmus verwendete, t_top(a) := 0.5(t - υ̃_x[0]/a). Es ist zu beachten, dass t_top(a) > 0 für alle a > ṽ_x[0]/t. Wir definieren jetzt das Geschwindigkeitsprofil u_a für alle Zeiten t' 0 [0, t] wie folgt: $u_{a} (t') = {\begin{array}{l} {\tilde{ν}}_{x} [0] + a \cdot t' & t' < t_{t o p} (a) \\ {\tilde{ν}}_{x} [0] + a \cdot (2_{t o p} (a) - t') & t' \geq t_{t o p} (a) \end{array}$
Erstens kann man sehen, dass u_a die Beschränkungen u_a(0) = υ̃_x[0], u_a(t) = υ̃_x[t] erfüllt. Zweitens kann die unter Verwendung von u_a zurückgelegte Strecke berechnet werden, da dies auf die Integration einer stückweise linearen Funktion hinausläuft. Definieren wir die angekommene Position als x̃_u
a, und beachten wir, dass x_max definiert in dem Algorithmus genau $x_{u_{a_{x, m a x}}}$
ist. Drittens ist zu erkennen, dass die zurückgelegte Distanz monoton mit a zunimmt und unbegrenzt ist. Daher: Für jede gewünschte Endposition $x > {\tilde{x}}_{u_{{\tilde{υ}}_{x [0] / t'}}}$
gibt es einen Wert a, für den $x = {\tilde{x}}_{u_{a}} .$
Insbesondere für x = x[t] - W, gibt es einen solchen Wert und wir bezeichnen ihn als a_cut.
Es ist zu beobahten, dass, da x_max, definiert in dem Algorithmus, < x[t] - W ist, wir haben a_cut > a_x,max. Dies ist nicht ausreichend, um zu zeigen, dass kein gültiges Manöver zu einer Position ≥ x[t] - W führen kann; Dies gilt nur für Mitglieder der Familie U. Wir beweisen nun, dass auch außerhalb von U alle Geschwindigkeitsprofile, die eine Endposition x[t] - W erreichen einen Beschleunigungswert von mindestens a_cut auf dem Weg verwenden müssen, was sie ungültig macht, und somit den Beweis abschließt.
Angenommen, ein Geschwindigkeitsprofil u erfüllt die Randbeschränkungen u(0) = υ̃_x[0], u(t) = υ̃_x[t]. Außerdem angenommen, dass es eine endgültige Position x̃_u > x[t] - W erreicht. Wir erhalten also: $\int_{0}^{t} u (τ) d τ \geq \int_{0}^{t} u_{a_{c u t}} (τ) d τ .$
Angenommen u ≥ u_a
cut für alle τ. Insbesondere, u(t_top(a_cut)) ≥ u_a
cut(t_top(a_cut)). Aus dem Mittelwertsatz ergibt sich i 0 [0, t_top(a_cut)] s.t. $u' (ζ) = \frac{u (t_{t o p} (a_{c u t}) - u (0))}{t_{t o p} (a_{c u t})} = \frac{u (t_{t o p} (a_{c u t})) - u_{a_{c u t}} (0)}{t_{t o p} (a_{c u t})} \geq \frac{u_{a_{c u t}} (t_{t o p} (a_{c u t})) - u_{a_{c u t}} (0)}{t_{t o p} (a_{c u t})} = a_{c u t} > a_{x, m a x},$
was eine Nicht-Machbarkeit von u impliziert, da es eine Beschleunigung (das ist u', die Ableitung der Geschwindigkeit) verwendet, die a_x,max überschreitet.
Jetzt, angenommen u ≥ u_a
ut hält nicht für alle τ. Dann, da $\int_{0}^{t} u (τ) d τ \geq \int_{0}^{t} u_{a_{c u t}} (τ) d τ,$
muss es einen Punkt geben, bei dem u > u_a
cut. Wenn solch ein Punkt τ_large in [0,t_top(a_cut)] existiert, dann können wir den Mittelwertsatz leicht auf die gleiche Weise wie oben verwenden, um ζ 0 [0,τ_large] zu erhalten, wo eine zu große Beschleunigung verwendet wird. Wenn solch ein Punkt nur in [t_top(a_cut),t] existiert, wird uns ein ähnliches Argument einen Punkt ζ 0 [τ_large,t] geben, bei dem ein Beschleunigungswert kleiner als -a_x,max verwendet wurde, was den Beweis abschließt. Ausgestattet mit den obigen Lemmata, folgt der Beweis von Theorem 2 unmittelbar.
Sicherheitsverifikation - Verdeckungen
Ähnlich wie beim Umgang mit beobachteten Objekten können wir die Erweiterung für Vorsicht bei verdeckten Objekten definieren, mit einem ähnlichen Satz wie Theorem 1, der beweist, dass Vorsicht impliziert, dass es nie Unfälle mit unserer Schuld gibt.
Definition 15 (Vorsicht in Bezug auf verdeckte Objekte) Ein zur Zeit t erteilter Befehl lautet ist vorsichtig in Bezug auf verdeckte Objekte wenn in dem Fall, dass die Expositionszeit des Objekts t + 1 ist, und wir eine Standard-Notfall-Strategie (Default Emergency Policy,DEP) bei t + 1 befehlen, gibt es keinen von uns verschuldeten Unfall.
Lemma 7 Wenn wir nur vorsichtige Befehle, in Bezug auf verdeckte Objekte und nicht verdeckt Objekte, geben, wird es nie einen Unfall unserer Schuld geben.
Beweis Nehmen wir an, ein von uns verschuldeter Unfall ereignete sich zu einer Zeit t, wobei die Expositionszeit t' ≤ t beträgt. Unter der Annahme der Vorsicht erlaubte uns der Befehl bei t' - 1, eine DEP bei t' zu befehligen, ohne für einen Unfall verantwortlich gemacht zu werden. Da es einen Unfall durch unsere Schuldzuweisungszeit gab, haben wir offenbar zur Zeit t' keinen DEP befohlen. Aber von t' an, wir waren sicher in Bezug auf nicht verdeckte Objekte, daher war der Befehl, den wir gaben, sicher, und es gab keinen Unfall durch unsere Schuld.
Auch hier stellen wir effiziente Möglichkeiten zur Überprüfung der Vorsicht in Bezug auf eine Worst-Case-Annahme über verdeckte Objekte bereit, die eine praktikable, skalierbare RSS erlauben.
Fahrstrategie
Eine Fahrstrategie ist eine Abbildung von einem Erfassungszustand (eine Beschreibung der Welt um uns herum) in einen Fahrbefehl (z.B. der Befehl ist die seitliche und die Längsbeschleunigung für die kommende Sekunde, der bestimmt, wo und mit welcher Geschwindigkeit sich das Auto in einer Sekunde von jetzt an befinden soll). Der Fahrbefehl wird an eine Steuerung weitergeleitet, die das Auto tatsächlich auf die gewünschte Position/Geschwindigkeit bringen soll.
In den vorhergehenden Abschnitten wurden ein formales Sicherheitsmodell und vorgeschlagene Beschränkungen für die von der Fahrstrategie erteilten Befehle, die die Sicherheit garantieren, beschrieben. Die Beschränkungen der Sicherheit sind für Extremfälle ausgelegt. Normalerweise wollen wir diese Beschränkungen gar nicht erst brauchen und möchten eine Fahrstrategie entwickeln, die zu einer komfortablen Fahrt führt. Der Schwerpunkt dieses Abschnitts liegt auf der Frage, wie eine effiziente Fahrstrategie erstellt werden kann, insbesondere eine Strategie, die Rechenressourcen erfordert, die auf Millionen von Autos skaliert werden kann. Diese Diskussion befasst sich vorerst nicht mit der Frage, wie man den Erfassungszustand erhält und einen utopischen Erfassungszustand annimmt, der die Welt um uns herum ohne Einschränkungen getreu abbildet. In späteren Abschnitten wird die Auswirkung von Ungenauigkeiten im Erfassungszustand auf die Fahrstrategie diskutiert.
Das Problem der Definition einer Fahrstrategie wird in der Sprache des Reinforcement Learning (RL) gegossen, wie in den obigen Abschnitten diskutiert. Bei jeder Iteration des RL beobachtet ein Agent einen Zustand, der die Welt beschreibt, bezeichnet als s_t, und soll eine Aktion, bezeichnet a_t, auswählen basierend auf einer Strategiefunktion, π, die Zustände auf Aktionen abbildet. Infolge seines Handelns und anderer Faktoren, die sich seiner Kontrolle entziehen (wie die Handlungen anderer Agenten), ändert sich der Zustand der Welt s_t+1. Wir bezeichnen eine (Zustand, Aktion) Sequenz als s = ((s₁,a₁), (s₂,a₂), ... , (s_len( _s ₎,a_len( _s ₎)). Jede Strategie induziert eine Wahrscheinlichkeitsfunktion über (Zustand, Aktions)-Sequenzen. Diese Wahrscheinlichkeitsfunktion kann durch die Aktionen des Agenten beeinflusst werden, hängt aber auch von der Umgebung ab (und insbesondere davon, wie sich andere Agenten verhalten). Wir bezeichnen als P_π die Wahrscheinlichkeit über (Zustand, Aktion)-Sequenzen, die durch π. Die Qualität einer Strategie wird definiert als $E_{\bar{s} \sim P_{π}} [ρ (\bar{s})],$
wobei p(s) eine Belohnungsfunktion ist, die misst, wie gut die Sequenz s ist. In den meisten Fällen nimmt p(s) die Form $ρ (\bar{s}) = \sum_{t = 1}^{len (\bar{s})} ρ (s_{t}, a_{t}),$
wobei ρ(s, a) eine ugenblickliche Belohnungsfunktion ist, die die unmittelbare Qualität misst, im Zustand s und der Durchführung einer Aktion a zu sein. Der Einfachheit halber halten wir uns an diesen einfacheren Fall.
Um das Problem der Fahrstrategie in die obige RL-Sprache zu gießen, s_t sei eine Darstellung der Straße und der Positionen, Geschwindigkeiten und Beschleunigungen des Ego-Fahrzeugs sowie anderer Verkehrsteilnehmer. Sei a_t ein seitlicher und longitudinaler Beschleunigungsbefehl. Der nächste Zustand, s_t+1, hängt von a_t ab sowie davon, wie sich die anderen Agenten verhalten werden. Die unmittelbare Belohnung, ρ(s_t, a_t), kann von der relativen Position/Geschwindigkeit/Beschleunigung zu anderen Autos, dem Unterschied zwischen unserer Geschwindigkeit und der gewünschten Geschwindigkeit, ob wir der gewünschten Route folgen, ob unsere Beschleunigung angenehm ist usw. abhängen.
Eine Herausforderung bei der Entscheidung, welche Aktion die Strategie zur Zeit t ergreifen sollte, ergibt sich aus der Tatsache, dass man die langfristigen Auswirkungen dieser Aktion auf die Belohnung abschätzen muss. Im Zusammenhang mit der Fahrstrategie kann beispielsweise eine Aktion, die zur Zeit t durchgeführt wird, als eine gute Aktion für die Gegenwart erscheinen (d.h. der Belohnungswert ρ(s_t, a_t) ist gut), aber könnte zu einem Unfall in 5 Sekunden führen (das heißt, der Belohnungswert in 5 Sekunden wäre katastrophal). Wir müssen daher die langfristige Qualität der Durchführung einer Aktion a einschätzen, wenn der Agent in Zustand s ist. Dies wird oft die Q-Funktion genannt, nämlich Q(s, a) sollte die langfristige Qualität der Ausführung einer Aktion a zu Zeit s widerspiegeln. Angesichts einer solchen Q -Funktion ist die natürliche Wahl einer Aktion, diejenige mit der höchsten Qualität auszuwählen, π(s) = argmax_a Q(s, a).
Die unmittelbaren Fragen sind, wie man Q definiert und wie man Q effizient bewertet. Nehmen wir zunächst die (völlig unrealistische) vereinfachende Annahme an, dass s_t+1 eine deterministische Funktion von (s_t, a_t) ist, nämlich, s_t+1 =f(s_t, a_t). Wer mit Markov-Entscheidungsprozessen (MDPs) vertraut ist, wird feststellen, dass diese Annahme noch stärker ist als die Markovsche Annahme von MDPs (d.h., dass s_t+1 ist bedingt unabhängig von der Vergangenheit gegeben (s_t, a_t)). Wie in [5] festgestellt, Selbst die Markovsche Annahme ist für Szenarien mit mehreren Agenten, wie z.B. Autofahren, nicht angemessen, und wir werden die Annahme daher später lockern.
Unter dieser vereinfachenden Annahme, gegeben s_t, für jede Sequenz von Entscheidungen für T Schritte, (a_t, ..., a_t+T), können wir genau die zukünftigen Zustände (s_t+1, ... , s_t+T+1) berechnen sowie die Belohnungswerte für Zeiten t, ..., T. Zusammenfassen all dieser Belohnungswerte in einer einzigen Zahl, z.B. indem man ihre Summe nimmt $\sum_{τ = t}^{T} ρ (s_{τ}, a_{τ}),$
können wir Q(s, a) wie folgt definieren: $Q (s, a) = max_{(a_{t}, \dots, a_{t} + T)} \sum_{τ = t}^{T} ρ (s_{τ}, a_{τ}) s . t . s_{t} = s, a_{t} = a, \forall τ, s_{τ + 1} = f (s_{τ}, a_{τ})$
Das bedeutet, Q(s, a) ist die beste Zukunft, die wir uns erhoffen können, wenn wir uns aktuell im Zustand s befinden und sofort Aktion a durchführen.
Besprechen wir, wie Q berechnet werden kann. Die erste Idee ist, die Menge der möglichen Aktionen, A, in eine endliche Menge A zu diskretisieren, und einfach alle Aktions-Sequenzen in der diskretisierten Menge zu durchlaufen. Dann wird die Laufzeit von der Anzahl der diskreten Aktions-Sequenzen dominiert, |Â|^T. Wenn A 10 seitliche Beschleunigungen und 10 longitudinale Beschleunigungen repräsentiert, erhalten wir 100^T Möglichkeiten, was unmöglich wird sogar für kleine Werte von T. Es gibt zwar Heuristiken zur Beschleunigung der Suche (z.B. Grob-zu-Fein-Suche), aber dieser Brute-Force-Ansatz erfordert eine enorme Rechenleistung.
Der Parameter T wird oft als „Zeithorizont der Planung“ bezeichnet und steuert einen natürlichen Kompromiss zwischen Berechnungszeit und Qualität der Evaluation - je größer T ist, desto besser bewerten wir die aktuelle Aktion (da wir ihre Wirkung explizit tiefer in die Zukunft hinein untersuchen), aber andererseits erhöht ein größeres T die Berechnungszeit exponentiell. Um zu verstehen, warum wir möglicherweise einen großen Wert von T benötigen, betrachten wir ein Szenario, in dem wir uns 200 Meter vor einer Autobahnausfahrt befinden und diese nehmen sollten. Wenn der Zeithorizont lang genug ist, wird die kumulative Belohnung anzeigen, ob wir bei einer Zeit τ zwischen t und t + T auf der Fahrspur der Ausfahrt angekommen sind. Auf der anderen Seite werden wir für einen kurzen Zeithorizont, selbst wenn wir die richtige sofortige Aktion durchführen, nicht wissen, ob sie uns schließlich auf die Fahrspur führt.
Ein anderer Ansatz versucht, Offline-Berechnungen durchzuführen, um eine Approximation von Q, bezeichnet als Q̂, zu konstruieren, und dann während der Online-Durchführung der Strategie Q als Approximation von Q zu verwenden, ohne die Zukunft explizit auszurollen. Eine Möglichkeit, eine solche Annäherung zu konstruieren, besteht darin, sowohl die Aktionsdomäne als auch die Zustandsdomäne zu diskretisieren. Wir bezeichnen diese diskretisierten Mengen als Â, Ŝ. Eine Offline-Berechnung kann den Wert von Q(s, a) für jede (s, a) 0 Ŝ H Â berechnen. Dann, für jedes a 0 Â definieren wir Q(s_t, a) als Q(s, a) für $s = {argmin}_{s0 \hat{S}} ‖ s - s_{t} ‖ .$
Weiterhin, basierend auf der Pionierarbeit von Bellman [2, 3], können wir Q(s, a) für jedes (s, a) 0 Ŝ H Â berechnen, basierend auf dynamischen Programmierverfahren (wie z.B. dem Wertinterterationsalgorithmus) und unter unseren Annahmen is die gesamte Laufzeit in der Größenordnung von T |Â| |Ŝ|. Das Hauptproblem bei diesem Ansatz ist, dass bei jeder vernünftigen Annäherung S extrem groß ist (wegen des Fluchs der Dimensionalität). Tatsächlich sollte der Erfassungszustand 6 Parameter für jedes andere relevante Fahrzeug in diesem Sinne repräsentieren - die Position in Längs- und Seitenrichtung, die Geschwindigkeit und die Beschleunigung. Selbst wenn wir jede Dimension auf nur 10 Werte diskretisieren (eine sehr grobe Diskretisierung), benötigen wir, da wir 6 Dimensionen haben, 10⁶ Zustände, um ein einzelnes Auto zu beschreiben, und 10^6k Zustände, um k Autos zu beschreiben. Dies führt zu unrealistischen Speicheranforderungen für die Speicherung der Werte von Q für jedes (s, a) in S H A.
Ein Ansatz, um mit diesem Fluch der Dimensionalität umzugehen, besteht darin, Q so einzuschränken, dass es aus einer eingeschränkten Klasse von Funktionen (oft als Hypothesenklasse bezeichnet) stammt, wie z.B. lineare Funktionen über manuell bestimmte Merkmale oder tiefe neuronale Netze. Betrachten Sie zum Beispiel ein tiefes neuronales Netz, das Q im Zusammenhang mit Atari-Spielen annähert. Dies führt zu einer ressourceneffizienten Lösung, vorausgesetzt, dass die Klasse von Funktionen, die Q annähern, effizient ausgewertet werden kann. Dieser Ansatz hat jedoch mehrere Nachteile. Erstens ist nicht bekannt, ob die gewählte Klasse von Funktionen eine gute Annäherung an die gewünschte Q-Funktion enthält. Zweitens ist, selbst wenn eine solche Funktion existiert, nicht bekannt, ob die vorhandenen Algorithmen es schaffen, sie effizient zu lernen. Bislang gibt es nicht viele Erfolgsgeschichten über das Erlernen einer Q-Funktion für komplizierte Multi-Agenten-Probleme, wie wir sie beispielsweise beim Autofahren haben. Es gibt mehrere theoretische Gründe, warum diese Aufgabe schwierig ist. Wie im Zusammenhang mit der Markovschen Annahme erwähnt, sind die zugrunde liegenden bestehenden Verfahren problematisch. Ein schwerwiegenderes Problem ist jedoch ein sehr kleines Signal-Rausch-Verhältnis aufgrund der Zeitauflösung der Entscheidungsfindung, wie unten erläutert wird.
Betrachten wir ein einfaches Szenario, in dem ein Fahrzeug die Fahrspur wechseln muss, um in 200 Metern Entfernung eine Autobahnausfahrt zu nehmen, und die Straße derzeit leer ist. Die beste Entscheidung ist, mit dem Fahrspurwechsel zu beginnen. Die Entscheidungen können alle 0,1 Sekunden getroffen werden, so dass zur aktuellen Zeit t der beste Wert von Q(s_t, a) für die Aktion a sein sollte, die zu einer kleinen seitlichen Beschleunigung nach rechts korrespondiert. Betrachten wir die Aktion a' die zu Null seitlicher Beschleunigung korrespondiert. Da es nur einen sehr geringen Unterschied gibt, ob Sie die Fahrspur jetzt oder in 0,1 Sekunden wechseln, sind die Werte von Q(s_t, a) und Q(s_t, a') fast gleich. Mit anderen Worte, es gibt nur einen geringen Vorteil um a statt a' zu wählen. Da wir andererseits eine Funktionsapproximation für Q verwenden und da die Messung des Zustands s_t verrauscht ist, ist es wahrscheinlich, dass unsere Approximation für den Q-Wert verrauscht ist. Dies ergibt ein sehr kleines Signal-Rausch-Verhältnis, was zu einem extrem langsamen Lernen führt, insbesondere bei stochastischen Lernalgorithmen, die für die Approximationsklasse der neuronalen Netze viel verwendet werden. Wie bereits erwähnt, ist dieses Problem jedoch keine Eigenschaft einer bestimmten Funktionsapproximationsklasse, sondern vielmehr inhärent in der Definition der Q-Funktion.
Zusammenfassend lassen sich die verfügbaren Ansätze grob in zwei Lager einteilen. Der erste ist der Brute-Force-Ansatz, der die Suche über viele Aktions-Sequenzen hinweg oder die Diskretisierung des Erfassungszustandsbereichs und das Führen einer riesigen Tabelle im Speicher beinhaltet. Dieser Ansatz kann zu einer sehr genauen Annäherung an Q führen, erfordert jedoch unbegrenzte Ressourcen, entweder in Bezug auf die Rechenzeit oder den Speicher. Der zweite ist ein ressourceneffizienter Ansatz, bei dem wir entweder nach kurzen Aktions-Sequenzen suchen oder eine Funktionsapproximation auf Q anwenden. In beiden Fällen zahlen wir mit einer weniger genauen Approximation von Q, die zu schlechten Entscheidungen führen könnte.
Der hierin beschriebene Ansatz beinhaltet die Konstruktion einer Q-Funktion, die sowohl ressourceneffizient als auch genau ist, nämlich die Abweichung von geometrischen Aktionen und die Anpassung eines semantischen Aktionsraums, wie im nächsten Unterabschnitt beschrieben.
Semantischer Ansatz
Als Grundlage für die offenbarte semantische Herangehensweise können Sie einen Teenager betrachten, der gerade seinen Führerschein erhalten hat. Sein Vater sitzt neben ihm und gibt ihm „Fahrstrategie“-Anweisungen. Diese Anweisungen sind nicht geometrisch - sie haben nicht die Form „13,7 Meter mit der aktuellen Geschwindigkeit fahren und dann mit einer Geschwindigkeit von 0,8 m/s² beschleunigen“. Stattdessen sind die Befehle semantischer Natur - „Folgen Sie dem Auto vor Ihnen“ oder „Überholen Sie schnell das Auto links von Ihnen“. Wir formalisieren eine semantische Sprache für solche Befehle und verwenden sie als semantischen Aktionsraum. Dann definieren wir die Q-Funktion über den semantischen Aktionsraum. Wir zeigen, dass eine semantische Aktion einen sehr langen Zeithorizont haben kann, was uns erlaubt, Q(s, a) abzuschätzen, ohne viele zukünftige semantische Aktionen zu planen. Ja, die Gesamtzahl der semantischen Aktionen ist immer noch gering. Dies erlaubt es uns, eine genaue Schätzung der Q-Funktion zu erhalten und gleichzeitig ressourceneffizient zu sein. Darüber hinaus kombinieren wir, wie wir später zeigen, Lerntechniken, um die Qualitätsfunktion weiter zu verbessern, ohne dass wir aufgrund eines signifikanten Unterschieds zwischen verschiedenen semantischen Aktionen unter einem geringen Signal-Rausch-Verhältnis leiden.
Definieren Sie nun einen semantischen Aktionsraum. Die Hauptidee besteht darin, seitliche und longitudinale Ziele sowie die Aggressivitätslevel, mit dem sie erreicht werden sollen, zu definieren. Seitliche Ziele sind gewünschte Positionen im Fahrspur-Koordinatensystem (z.B. „Mein Ziel ist es, in der Mitte der Fahrspur Nummer 2 zu sein“). Es gibt drei Arten von Längszielen. Das erste ist die relative Position und Geschwindigkeit in Bezug auf andere Fahrzeuge (z.B. „Mein Ziel ist es, hinter Auto Nummer 3 zu sein, mit der gleichen Geschwindigkeit und in einer Entfernung von 2 Sekunden davon“). Das zweite ist ein Geschwindigkeitsziel (z.B. „Fahre mit der für diese Straße erlaubten Geschwindigkeit mal 110%“). Die dritte ist eine Geschwindigkeitsbeschränkung an einer bestimmten Stelle (z.B. bei Annäherung an eine Kreuzung, „Geschwindigkeit 0 an der Stopplinie“, oder beim Passieren einer scharfen Kurve, „Geschwindigkeit von höchstens 60kmh an einer bestimmten Stelle in der Kurve“). Für die dritte Option können wir stattdessen ein „Geschwindigkeitsprofil“ anwenden (wenige diskrete Punkte auf der Strecke und die gewünschte Geschwindigkeit an jedem von ihnen). Eine vernünftige Anzahl von seitlichen Zielen wird durch 16 = 4 × 4 begrenzt (4 Positionen in höchstens 4 relevanten Fahrspuren). Eine vernünftige Anzahl von Längszielen der ersten Art wird durch 8 × 2 × 3 = 48 begrenzt (8 relevante Autos, ob vor oder hinter ihnen, und 3 relevante Distanzen). Eine vernünftige Anzahl absoluter Geschwindigkeitsziele sind 10, und eine vernünftige Obergrenze für die Anzahl der Geschwindigkeitsbeschränkungen ist 2. Um ein gegebenes seitliches oder longitudinales Ziel zu implementieren, müssen wir Beschleunigung und später Abbremsung anwenden (oder umgekehrt). Die Aggressivität beim Erreichen des Ziels ist eine maximale (in absoluten Werten) Beschleunigung/Abbremsung, um das Ziel zu erreichen. Wenn das Ziel und die Aggressivität definiert sind, haben wir eine Formel mit geschlossener Form, um das Ziel unter Verwendung kinematischer Berechnungen zu implementieren. Es bleibt nur noch, die Kombination zwischen den seitlichen und longitudinalen Zielen zu bestimmen (z.B. „beginne mit dem seitlichen Ziel, und genau in der Mitte davon, beginne auch das longitudinale Ziel anzuwenden“). Eine Menge von 5 Mischzeiten und 3 Aggressivitätslevels scheint mehr als ausreichend zu sein. Alles in allem haben wir einen semantischen Aktionsraum erhalten, dessen Größe ≈ 10⁴ beträgt.
Es ist erwähnenswert, dass die variable Zeit, die für die Erfüllung dieser semantischen Aktionen benötigt wird, nicht mit der Häufigkeit des Entscheidungsprozesses übereinstimmt. Um auf die dynamische Welt reagieren zu können, sollten wir Entscheidungen mit einer hohen Frequenz treffen - bei unserer Implementierung alle 100 ms. Im Gegensatz dazu basiert jede solche Entscheidung auf der Konstruktion einer Trajektorie, die eine semantische Aktion erfüllt, die einen viel längeren Zeithorizont (z.B. 10 Sekunden) haben wird. Wir verwenden den längeren Zeithorizont, da er uns hilft, das kurzfristige Präfix der Trajektorie besser einzuschätzen. Im nächsten Unterkapitel wird die Bewertung semantischer Aktionen diskutiert, doch zuvor argumentieren wir, dass semantische Aktionen einen ausreichenden Suchraum induzieren.
Wie oben diskutiert, induziert ein semantischer Aktionsraum eine Teilmenge aller möglichen geometrischen Kurven, deren Größe exponentiell kleiner (in T) ist als die Aufzählung aller möglichen geometrischen Kurven. Die erste unmittelbare Frage ist, ob die Menge der Kurzzeitpräfixe dieses kleineren Suchraums alle geometrischen Befehle enthält, die wir jemals verwenden wollen. Dies ist in der Tat im folgenden Sinne ausreichend. Wenn die Straße frei von anderen Agenten ist, dann gibt es keinen Grund, Änderungen vorzunehmen, außer ein seitliches Ziel und/oder Befehle zur absoluten Beschleunigung und/oder Geschwindigkeitsbeschränkungen für bestimmte Positionen festzulegen. Wenn die Straße andere Agenten enthält, sollten wir vielleicht mit den anderen Agenten über die Vorfahrt verhandeln. In diesem Fall genügt es, relativ zu den anderen Agenten Längsziele zu setzen. Die genaue Implementierung dieser Ziele auf lange Sicht kann variieren, aber die kurzfristigen Präfixe werden sich nicht wesentlich ändern. So erhalten wir eine sehr gute Abdeckung der relevanten kurzfristigen geometrischen Befehle.
Konstruktion einer Bewertungsfunktion für semantische Aktionen
Wir haben eine semantische Menge von Aktionen definiert, bezeichnet durch A^s. Angenommen, dass wir aktuellen in Zustand, s, sind, wir brauchen einen Weg, um die besten a^s 0 A^s zu bestimmen. Um dieses Problem anzugehen, verfolgen wir einen ähnlichen Ansatz wie der Optionsmechanismus von [6]. Die Grundidee besteht darin, sich a^s als eine Meta-Aktion (oder eine Option) vorzustellen. Für jede Wahl einer Meta-Aktion konstruieren wir eine geometrische Trajektorie (s₁, a₁),..., (s_T, a_T) die eine Implementierung der Meta-Aktion darstellt, a^s, darstellt. Dazu müssen wir natürlich wissen, wie andere Agenten auf unsere Aktionen reagieren werden, aber im Moment verlassen wir uns noch auf die (nicht realistische) Annahme, dass s_t+1 = f(s_t, a_t) für eine bekannte deterministische Funktion f. Wir können jetzt $\frac{1}{T} \sum_{t = 1}^{T} ρ (s_{t}, a_{t})$
verwenden als eine gute Annäherung an die Qualität der Ausführung der semantischen Aktion a^s wenn wir in dem Zustand s¹ sind.
Dieser Ansatz kann zu einer wirkungsvollen Fahrstrategie führen. In einigen Situationen kann jedoch eine anspruchsvollere Qualitätsfunktion erforderlich sein. Nehmen wir zum Beispiel an, dass wir einem langsamen Lkw vor einer Fahrspur folgen, wo wir die Ausfahrtsspur nehmen müssen. Eine semantische Option besteht darin, hinter dem Lkw langsam weiterzufahren. Eine andere besteht darin, den Lkw zu überholen, in der Hoffnung, dass wir später wieder auf die Fahrspur zurückkehren und die Ausfahrt rechtzeitig erreichen können. Die zuvor beschriebene Qualitätsmaßnahme berücksichtigt nicht, was passiert, nachdem wir den Lkw überholt haben, und daher werden wir die zweite semantische Aktion nicht wählen, selbst wenn genügend Zeit zum Überholen und zur Rückkehr auf die Fahrspur bleibt. Das maschinelle Lernen kann uns helfen, eine bessere Bewertung der semantischen Aktionen zu konstruieren, die mehr als nur die unmittelbaren semantischen Aktionen berücksichtigt. Wie bereits erörtert, ist das Erlernen einer Q-Funktion über unmittelbare geometrische Aktionen aufgrund des geringen Signal-Rausch-Verhältnisses (des fehlenden Vorteils) problematisch. Dies ist bei der Betrachtung semantischer Aktionen nicht problematisch, sowohl weil es einen großen Unterschied zwischen der Durchführung der verschiedenen semantischen Aktionen gibt, als auch weil der semantische Zeithorizont (wie viele semantische Aktionen wir berücksichtigen) sehr klein ist (in den meisten Fällen wahrscheinlich weniger als drei).
Ein weiterer potenzieller Vorteil der Anwendung des maschinellen Lernens liegt in der Verallgemeinerung: Wir können für jede Straße eine adäquate Menge an Evaluierungsfunktionen festlegen, indem wir die Eigenschaften der Straße manuell überprüfen, was einige Versuche und Fehler erfordern kann. Aber können wir automatisch auf jede Straße verallgemeinern? Hier kann ein Ansatz des maschinellen Lernens, wie oben diskutiert, auf eine große Vielfalt von Straßentypen trainiert werden, um auch auf nicht sichtbare Straßen zu verallgemeinern. Der semantische Aktionsraum gemäß den offenbarten Ausführungsformen erlaubt potentielle Vorteile: semantische Aktionen enthalten Informationen über einen langen Zeithorizont, so dass wir eine sehr genaue Bewertung ihrer Qualität erhalten und gleichzeitig ressourceneffizient arbeiten können.
Die Dynamik der anderen Agenten
Bislang haben wir uns auf die Annahme verlassen, dass s_t+1 eine deterministische Funktion von s_t und a_t ist. Wie bereits betont wurde, ist diese Annahme nicht ganz realistisch, da unsere Aktionen das Verhalten anderer Straßenbenutzer beeinflussen. Wir berücksichtigen zwar einige Reaktionen anderer Agenten auf unsere Aktionen (zum Beispiel nehmen wir an, dass, wenn wir ein sicheres Einschneiden durchführen, das Auto hinter uns seine Geschwindigkeit so anpasst, dass es uns nicht von hinten trifft), aber es ist nicht realistisch anzunehmen, dass wir die gesamte Dynamik anderer Agenten modellieren. Die Lösung für dieses Problem besteht darin, die Entscheidungsfindung mit hoher Frequenz erneut anzuwenden und dadurch unsere Strategie ständig an die Teile der Umgebung anzupassen, die sich unserer Modellierung entziehen. In gewisser Weise kann man sich das als eine Markovisierung der Welt bei jedem Schritt vorstellen.
Erfassen
Dieser Abschnitt beschreibt den Erfassungszustand, der eine Beschreibung der relevanten Informationen der Szene darstellt und die Eingabe für das Fahrstrategie-Modul bildet. Im Großen und Ganzen enthält der Erfassungszustand statische und dynamische Objekte. Bei den statischen Objekten handelt es sich um Fahrspuren, physische Straßenbegrenzungen, Geschwindigkeitsbeschränkungen, Einschränkungen der Vorfahrt und Informationen zu Verdeckungen (z. B. ein Zaun, der einen relevanten Teil einer Zusammenführungsspur verdeckt). Dynamische Objekte sind Fahrzeuge (z.B. Bounding Box, Geschwindigkeit, Beschleunigung), Fußgänger (Bounding Box, Geschwindigkeit, Beschleunigung), Ampeln, dynamische Straßenbegrenzer (z.B. Kegel auf einer Baustelle), temporäre Verkehrszeichen und Polizeiaktivitäten sowie andere Hindernisse auf der Straße (z.B. ein Tier, eine Matratze, die von einem Lastwagen gefallen ist, usw.).
Bei jeder vernünftigen Sensoreinstellung können wir nicht erwarten, den exakten Erfassungszustand, s, zu erhalten. Stattdessen betrachten wir rohe Sensor- und Abbildungsdaten, die wir mit x 0 X bezeichnen, und es gibt ein Erfassungssystem, das x nimmt und einen ungefähren Erfassungszustand erzeugt.
Definition 16 (Erfassungssystem) S bezeichne den Erfassungszustand und X sei die Domäne der rohen Sensor- und Abbildungsdaten. Ein Erfassungssystem ist eine Funktion ŝ : X → S.
Es ist wichtig zu verstehen, wann wir ŝ(x) als eine vernünftige Annäherung an s akzeptieren sollten. Der letztendliche Weg, diese Frage zu beantworten, besteht darin, die Auswirkungen dieser Annäherung auf die Leistung unserer Fahrstrategie im Allgemeinen und auf die Sicherheit im Besonderen zu untersuchen. Im Anschluss an unsere Unterscheidung zwischen Sicherheit und Komfort unterscheiden wir auch hier zwischen dem Erfassen von Fehlern, die zu nicht sicherem Verhalten führen, und dem Erfassen von Fehlern, die sich auf die Komfortaspekte der Fahrt auswirken. Bevor auf die Einzelheiten eingegangen wird, sollte die Art der Fehler, die ein Erfassungssystem machen könnte, erläutert werden:

• Falsch-negativ: Das Erfassungssystem übersieht ein Objekt
• Falsch-positiv: Das Erfassungssystem zeigt ein „geisterhaftes“ Objekt
• Ungenaue Messungen: Das Erfassungssystem erkennt ein Objekt korrekt, schätzt aber seine Position oder Geschwindigkeit falsch ein
• Ungenaue Semantik: Das Erfassungssystem erkennt ein Objekt korrekt, interpretiert aber seine semantische Bedeutung falsch, z.B. die Farbe einer Ampel

Komfort
Erinnern Sie sich, dass wir für eine semantische Aktion a Q(s, a) verwendet haben, um unsere Bewertung von a zu bezeichnen, gegeben dass der aktuelle Erfassungszustand s ist. Unsere Strategie wählt die Aktion π(s) = argmax_a Q(s, a) aus. Wenn wir ŝ(x) statt s einsetzen, dann wäre die ausgewählte semantische Aktion π(ŝ(x)) = argmax_a Q(s(x), a). Wenn π(ŝ(x)) = π(s) dann sollte ŝ(x) als gute Annäherung für s akzeptiert werden. Aber es ist auch gar nicht schlecht, π(ŝ(x)) auszuwählen, so lange die Qualität von π (ŝ(x)) in Bezug auf den wahren Zustand, s, fast optimal ist, nämlich, Q(s, π(ŝ(x))) ≥ Q(s, π(s)) - ε, für einen Parameter ε. Wir sagen, dass ŝ ε-genau in Bezug auf Q ist in so einem Fall. Natürlich können wir nicht erwarten, dass das Erfassungssystem die ganze Zeit ε-genau ist. Wir erlauben daher auch, dass das Erfassungssystem ausfällt, mit einer geringen Wahrscheinlichkeit δ. In so einem Fall sagen wir, dass ŝ ist Wahrscheinlich („Probably“) (mit Wahrscheinlichkeit von mindestens 1 - δ), Ungefähr („Approximately“) (bis zu ε), Korrekt („Correct“), oder kurz PAC (Ausleihen von Valiants PAC-Lernterminologie).
Wir können mehrere (ε, δ) Paare zur Bewertung verschiedener Aspekte des Systems verwenden. Zum Beispiel können wir drei Schwellenwerte wählen, ε₁ < ε₂ < ε₃ zur Darstellung von leichten, mittleren und groben Fehlern, und für jeden davon einen anderen Wert von δ festlegen. Dies führt zu der folgenden Definition.
Definition 17 (PAC Erfassungssystem) Sei ((ε₁, δ₁),..., (ε_k, δ_k)) eine Menge von (Genauigkeit, Vertrauen) Paaren, sei S die Domäne des Erfassungszustands, X die Domäne des rohen Sensors und der Abbildungsdaten und D eine Verteilung über X × S. Sei A ein Aktionsraum, Q : S × A → | eine Qualitätsfunktion, und π : S → A so dass π (s) ∈ argmax_a Q(s, a). Ein Erfassungssystem, ŝ : X → S, ist Probably-Approximately-Correct (PAC) in Bezug auf die oben genannten Parameter, wenn wir für jedes i ∈ {1,..., k} haben, dass P_(x,s)∼D[Q(s,π(ŝ(x)))≥Q(s,π(s))-∈_i]≥1-δ_i.
Hier hängt die Definition von einer Verteilung D über X × S ab. Es ist wichtig zu betonen, dass wir diese Verteilung konstruieren, indem wir Daten vieler menschlicher Fahrer aufzeichnen, aber nicht, indem wir der besonderen Strategie unseres autonomen Fahrzeugs folgen. Letzteres scheint zwar angemessener zu sein, erfordert jedoch eine Online-Validierung, was die Entwicklung des Erfassungssystems unpraktisch macht. Da die Auswirkung jeder vernünftigen Strategie auf D gering ist, können wir durch die Anwendung einfacher Datenerweiterungstechniken eine angemessene Verteilung konstruieren und dann nach jeder größeren Aktualisierung des Erfassungssystems eine Offline-Validierung durchführen. Die Definition stellt eine ausreichende, aber nicht notwendige Bedingung für ein komfortables Fahren mit ŝ zur Verfügung. Sie ist nicht notwendig, weil sie die wichtige Tatsache ignoriert, dass kurzfristige Fehlentscheidungen nur geringe Auswirkungen auf den Fahrkomfort haben. Nehmen wir zum Beispiel an, es befindet sich ein Fahrzeug 100 Meter vor uns, das langsamer als das Host-Fahrzeug ist. Die beste Entscheidung wäre es, jetzt mit der leichten Beschleunigung zu beginnen. Wenn das Erfassungssystem dieses Fahrzeug verfehlt, es aber in der nächsten Zeit (nach 100 Millisekunden) erkennt, dann wird der Unterschied zwischen den beiden Fahrten nicht spürbar sein. Um die Darstellung zu vereinfachen, haben wir dieses Thema vernachlässigt und eine stärkere Bedingung gefordert. Die Anpassung an eine Multi-Frame-PAC-Definition ist konzeptionell einfach, aber technischer.
Als nächstes leiten wir Designprinzipien ab, die sich aus der obigen PAC-Definition ergeben. Es sei daran erinnert, dass wir mehrere Arten von Erfassungsfehlern beschrieben haben. Bei Fehlern der Arten Falsch Negativ, Falsch Positiv und ungenaue Semantik handelt es sich entweder um Fehler an nicht relevanten Objekten (z.B. eine Ampel für Linksabbiegen, wenn wir geradeaus fahren), oder sie werden durch den δ Teil der Definition erfasst. Wir konzentrieren uns daher auf die Art von Fehlern „ungenaue Messungen“, die häufig vorkommen.
Etwas überraschend werden wir zeigen, dass der populäre Ansatz, die Genauigkeit eines Erfassungssystems über die Ego-Genauigkeit zu messen (d.h. durch Messung der Positionsgenauigkeit jedes Objekts in Bezug auf das Host-Fahrzeug) nicht ausreicht, um ein PAC-Erfassungssystem zu gewährleisten. Wir werden dann einen anderen Ansatz vorschlagen, der ein PAC-Erfassungssystem gewährleistet, und zeigen, wie es effizient erreicht werden kann. Wir beginnen mit einigen zusätzlichen Definitionen.
Für jedes Objekt o in der Szene, seien p(o), p̂(o) die Positionen von o in dem Koordinatensystem des Host-Fahrzeug jeweils gemäß s, ŝ(x). Es ist zu beachten, dass die Distanz zwischen o und dem Host-Fahrzeug ||p|| ist. Der additive Fehler von p̂ ist ||p(o) - p̂(o)||. Der relative Fehler von p̂(o), in Bezug auf die Distanz zwischen o und dem Host-Fahrzeug ist der additive Fehler geteilt durch $‖ p (o) ‖, n \ddot{a} mlich \frac{‖ \hat{p} (o) - p (o) ‖}{‖ p (o) ‖} .$
Es ist nicht realistisch zu verlangen, dass der additive Fehler bei weit entfernten Objekten klein ist. Betrachten Sie o in der Tat als ein Fahrzeug in einer Entfernung von 150 Metern vom Host-Fahrzeug, und lassen Sie ∈ von mäßiger Größe sein, sagen wir ∈= 0,1. Für die additive Genauigkeit bedeutet dies, dass wir die Position des Fahrzeugs mit einer Genauigkeit von bis zu 10 cm kennen sollten. Dies ist für preisgünstige Sensoren nicht realistisch. Auf der anderen Seite müssen wir für die relative Genauigkeit die Position bis zu 10% schätzen, was einer Genauigkeit von 15 m entspricht. Dies ist machbar zu erreichen (wie unten beschrieben).
Ein Erfassungssystem, ŝ, positioniert eine Menge von Objekten, O, in einer ∈-egogenauen Weise, wenn für jedes o ∈ O, der (relative) Fehler zwischen p(o) und p̂(o) höchstens ∈ beträgt. Das folgende Beispiel zeigt, dass ein ∈-ego-genauer Erfassungszustand kein PAC-Erfassungssystem in Bezug auf jedes vernünftige Q garantiert. Betrachten wir ein Szenario, in dem das Host-Fahrzeug mit einer Geschwindigkeit von 30 m/s fährt und 150 Meter vor ihm ein gestopptes Fahrzeug steht. Wenn sich dieses Fahrzeug in der Fahrspur des Egos befindet und es keine Möglichkeit gibt, rechtzeitig die Fahrspur zu wechseln, müssen wir jetzt mit einer Abbremsung von mindestens 3 m/s² beginnen (andernfalls werden wir entweder nicht rechtzeitig anhalten oder wir müssen später stark abbremsen). Befindet sich das Fahrzeug dagegen am Straßenrand, brauchen wir keine starke Abbremsung anzuwenden. Nehmen wir an, dass p(o) einer dieser Fälle ist, während p̂(o) der andere Fall ist, und es besteht ein Unterschied von 5 Metern zwischen diesen beiden Positionen. Dann ist der relative Fehler von p̂(o) $\frac{‖ \hat{p} (o) - p (o) ‖}{‖ p (o) ‖} = \frac{5}{150} = \frac{1}{30} \leq 0.034.$
Das heißt, das Erfassungssystem kann für einen ziemlich kleinen Wert von ∈ (weniger als 3,5% Fehler) ∈-ego-genau sein, und dennoch sind die Werte von Q für jede vernünftige Q-Funktion völlig unterschiedlich, da wir zwischen einer Situation, in der wir stark abbremsen müssen, und einer Situation, in der wir nicht stark abbremsen müssen, verwechseln.
Das obige Beispiel zeigt, dass ∈-ego-Genauigkeit nicht garantiert, dass unser Erfassungssystem PAC ist. Ob es eine weitere Eigenschaft gibt, die für ein PAC-Erfassungssystem ausreichend ist, hängt von Q ab. Wir werden eine Familie von Q-Funktionen beschreiben, für die es eine einfache Eigenschaft der Positionierung gibt, die das PAC-Erfassungssystem garantiert. Das Problem der ∈-ego-Genauigkeit besteht darin, dass sie zu semantischen Fehlern führen könnte - im oben genannten Beispiel wurde ŝ zwar ∈-ego-genau mit ∈ < 3,5%, aber das Fahrzeug wurde der richtigen Fahrspur falsch zugeordnet. Um dieses Problem zu lösen, verlassen wir uns auf semantische Einheiten für die seitliche Position.
Definition 18 (semantische Einheiten) Ein Fahrspurzentrum ist eine einfache natürliche Kurve, d.h. sie ist eine differenzierbare, injektive, : [a, b] → |³, bei der für jedes a ≤ t₁ < t₂ ≤ b wir haben, dass die Länge $Length (t_{1}, t_{2}) : = \int_{r = t_{1}}^{t_{2}} | l' (τ) | d τ$
gleich t₂ - t₁ ist. Die Breite der Fahrspur ist eine Funktion w : [a, b] —► |₊. Die Projektion eines Punkts x ε |³ auf die Kurve ist der Punkt auf der Kurve, der am nächsten zu x ist, nämlich der Punkt l(t_x) für t_x = argmin_t∈[a,b] ||l(t) - x||. Die semantische longitudinale Position von x in Bezug auf die Fahrspur ist t_x und die semantische seitliche Position von x in Bezug auf die Fahrspur ist l(t_x)lw(t_x). Semantische Geschwindigkeit und Beschleunigung werden als erste und zweite Ableitung der oben genannten definiert.
Ähnlich wie bei geometrischen Einheiten verwenden wir für semantische longitudinale Distanzen relative Fehler: wenn ŝ eine semantische longitudinale Distanz p̂(o) für ein Objekt induziert, während die wahre Distanz p(o) ist, dann ist der relative Fehler $\frac{| \hat{p} (o) - p (o) |}{max {p (o),1}}$
(wobei sich das Maximum im Nenner auf Fälle bezieht, in denen das Objekt fast die gleiche Distanz in longitudinale Richtung hat (z.B. ein Auto neben uns auf einer anderen Fahrspur). Da die semantischen seitlichen Distanzen klein sind, können wir für sie den additiven Fehler verwenden. Dies führt zu folgender Definition:

Definition 19 (Fehler in semantischen Einheiten) Sei l eine Fahrspurnehmen wir an, dass die semantische longitudinale Distanz des Host-Fahrzeugs in Bezug auf die Fahrspur 0 ist. Sei x ∈ R³ ein Punkt und seien p_lat(x), p_lon(x) die semantischen lateralen und longitudinalen Distanzen zu dem Punkt in Bezug auf die Fahrspur. Seien p̂_lat(x), p̂_lon(x) angenäherte Messungen. Die Distanz zwischen p̂ und p in Bezug auf x ist definiert als $d (\hat{p}, p; x) = max {| {\hat{p}}_{l a t} (x) - p_{l a t} (x) |, \frac{| {\hat{p}}_{l o n} (x) - p_{l o n} (x) |}{max {p_{l o n} (x),1}}}$

Die Distanz der seitlichen und der longitudinalen Geschwindigkeiten wird analog definiert. Ausgestattet mit der obigen Definition sind wir bereit, die Eigenschaft von Q und die korrespondierende hinreichende Bedingung für das PAC-Erfassungssystem zu definieren.
Definition 20 (Semantisch-Lipschitz Q) Eine Q Funktion ist L-semantisch-Lipschitz wenn für jedes a, s, ŝ, |Q(s, a) - Q(ŝ(x), a) | ≤ L max_o d(p̂, p; o), wobei p̂, p die Messungen sind, die durch s, ŝ auf einem Objekt o induziert werden.
Als unmittelbare Folge erhalten wir:

Lemma 8 Wenn Q L-semantisch-Lipschitz ist und ein Erfassungssystem ŝ semantische Messungen produziert, so dass mit Wahrscheinlichkeit von mindestens 1 - δ wir haben d(p, p; o) ≤ 0/L, dann ist ŝ ein PAC Erfassungssystem mit Parametern 0, δ.

Sicherheit
In diesem Abschnitt wird das Potenzial für Erfassungsfehler diskutiert, die zu unerwünschtem Verhalten führen können. Wie bereits erwähnt, ist die Strategie nachweislich sicher in dem Sinne, dass sie nicht zu Unfällen führt, die auf die Schuld des Host-Fahrzeugs zurückzuführen sind. Solche Unfälle können dennoch aufgrund von Hardwarefehlern (z.B. Ausfall aller Sensoren oder Reifenexplosion auf der Autobahn), Softwarefehlern (ein signifikanter Fehler in einigen Modulen) oder einem Erfassungsfehler auftreten. Unser Ziel ist es, dass die Wahrscheinlichkeit solcher Ereignisse extrem gering ist - eine Wahrscheinlichkeit von 10^-9 für einen solchen Unfall pro Stunde. Um diese Zahl einzuordnen: Die durchschnittliche Zahl der Stunden, die ein Fahrer in den USA auf der Straße verbringt, liegt (ab 2016) bei weniger als 300 Stunden. Man müsste also erwartungsgemäß 3,3 Millionen Jahre leben, um einen Unfall zu erleiden, der aus einer dieser Arten von Ereignissen resultiert.
Zunächst definieren wir, was ein sicherheitsrelevanter Erfassungsfehler ist. Erinnern wir uns, dass unsere Strategie bei jedem Schritt den Wert von a auswählt, der Q(s, a) maximiert, nämlich π(s) = argmaxa Q(s, a). Wir gewährleisten die Sicherheit, indem wir Q(s, a) = -∞ für jede Aktion a, die nicht vorsichtig ist (siehe Definition 14), gelten lassen. Daher ist die erste Art von sicherheitskritischen Erfassungsfehlern, wenn unser Erfassungssystem dazu führt, eine nicht sichere Aktion zu wählen. Formal gesehen sagen wir, wenn wir π(ŝ(x)) = argmaxa Q(ŝ(x), a) die Entscheidung nach ŝ treffen lassen, dass ŝ zu einem sicherheitskritischen Fehlschuss führt, wenn Q(s, π(ŝ(x))) = -∞. Die zweite Art des sicherheitskritischen Erfassungsfehlers liegt vor, wenn alle Aktionen gemäß ŝ(x) nicht sicher sind, und wir die Standard-Notfallstrategie anwenden müssen (z.B. starkes Bremsen), während gemäß seine sichere Aktion vorliegt, nämlich maxa Q(s, a) > -∞. Dies ist gefährlich, wenn unsere Geschwindigkeit hoch ist und sich hinter uns ein Auto befindet. Wir nennen einen solchen Fehler ein sicherheitskritisches Gespenst.
Normalerweise wird ein sicherheitskritischer Fehler durch ein falsch-negatives Ergebnis verursacht, während ein sicherheitskritisches Phantom durch ein falsch-positives Ergebnis verursacht wird. Solche Fehler können auch durch signifikante Fehlmessungen verursacht werden, aber in den meisten Fällen sorgt unser Komfortziel dafür, dass wir weit von der Grenze der Sicherheitsdefinitionen entfernt sind, und daher ist es unwahrscheinlich, dass vernünftige Messfehler zu einem sicherheitskritischen Fehler führen. Wie können wir sicherstellen, dass die Wahrscheinlichkeit von sicherheitskritischen Fehlern sehr gering ist, z.B. kleiner als 10^-9 pro Stunde? Wie aus Lemma 1 hervorgeht, müssen wir ohne weitere Annahmen unser System bei mehr als 10^-9 Fahrstunden überprüfen. Dies ist unrealistisch (oder zumindest extrem anspruchsvoll) - es läuft darauf hinaus, das Fahren von 3,3 Millionen Autos über ein Jahr zu erfassen. Darüber hinaus ist der Aufbau eines Systems, das eine so hohe Genauigkeit erreicht, eine große Herausforderung. Eine Lösung sowohl für das Systemdesign als auch für die Validierungsherausforderungen besteht darin, sich auf mehrere Subsysteme zu stützen, von denen jedes unabhängig entwickelt wird und von einer anderen Technologie abhängt, und die Systeme werden so miteinander fusioniert, dass eine Steigerung ihrer individuellen Genauigkeit gewährleistet ist.
Angenommen, wir bauen drei Subsysteme mit den Bezeichnungen s1, s2, s3 (die Erweiterung auf mehr als 3 ist einfach). Jedes Subsystem empfängt a und soll sicher/nicht sicher ausgeben. Aktionen, die die Mehrheit der Subsysteme (in unserem Fall 2) als sicher akzeptiert, werden als sicher betrachtet. Wenn es keine Aktion gibt, die von mindestens 2 Subsystemen als sicher angesehen wird, dann wird die Standardstrategie für Notfälle angewendet. Die Leistung dieses Fusionsschemas wird wie folgt analysiert, basierend auf der folgenden Definition:

Definition 21 (einseitig c-approximativ unabhängig) Zwei Bernoulli-Zufallsvariablen r1, r2 werden als einseitig c-approximativ unabhängig bezeichnet, wenn $ℙ [r_{1} \land r_{2}] \leq c ℙ [r_{1}] ℙ [r_{2}] .$

Für i 0 {1,2,3}, seien $e_{i}^{m}, e_{i}^{g}$
die Bernoulli-Zufallsvariablen, die angeben, ob Subsystem i einen sicherheitskritischen Fehler/Geist ausführt. In ähnlicher Weise bezeichnen e^m, e^g einen sicherheitskritischen Fehler/Ghost des Fusionssystems. Wir stützen uns auf die Annahme, dass für jedes Paar i ≠j die Zufallsvariablen $e_{i}^{m}, e_{i}^{g}$
einseitig c-approximativ unabhängig sind, und dasselbe gilt für $e_{i}^{g}, e_{j}^{g} .$
Bevor wir begründen, warum diese Annahme vernünftig ist, wollen wir zunächst ihre Implikation analysieren. Wir können die Wahrscheinlichkeit von e^m durch: $\begin{matrix} ℙ [e^{m}] = ℙ [e_{1}^{m} \land e_{2}^{m} \land e_{3}^{m}] + \sum_{j = 1}^{3} ℙ [\neg e_{j}^{m} \land \land_{i \neq j} e_{i}^{m}] \\ \leq 3 ℙ [e_{1}^{m} \land e_{2}^{m} \land e_{3}^{m}] + \sum_{j = 1}^{3} ℙ [\neg e_{j}^{m} \land \land_{i \neq j} e_{i}^{m}] \\ = \sum_{j = 1}^{3} ℙ [\land_{i \neq j} e_{j}^{m}] \\ \leq c \sum_{j = 1}^{3} \prod_{i \neq j} ℙ [_{i}^{m}] . \end{matrix}$
Wenn also alle Subsysteme $ℙ [e_{i}^{m}] \leq p$
haben, dann gilt P[e^m] ≤ 3cp². Genau die gleiche Ableitung gilt für die sicherheitskritischen Geisterfehler. Durch Bildung der Vereinigungsmenge der Grenzwerte schließen wir also:

Korollar 2 Nehmen wir an, dass für jedes Paar i ≠j die Zufallsvariablen $e_{i}^{m}, e_{j}^{m}$
einseitig c- approximativ unabhängig sind, und dasselbe gilt für $e_{j}^{g}, e_{j}^{g} .$
Nehmen wir auch an, dass für jedes i, $ℙ [e_{i}^{m}] \leq p und ℙ [e_{i}^{g}] \leq p .$
Dann gilt

ℙ [e^{m} \lor e^{g}] \leq 6 c p^{2} .

Dieses Korollar erlaubt es uns, signifikant kleinere Mengen an Daten zu verwenden, um das Erfassen des Systems zu validieren. Wenn wir z.B. eine sicherheitskritische Fehlerwahrscheinlichkeit von 10⁹ erreichen möchten, genügt es, statt größenordnungsmäßig 10⁹ Beispielen nur größenordnungsmäßig 10⁵ Beispiele zu verwenden und jedes System einzeln zu testen.
Es kann Paare von Sensoren geben, die nicht-korrelierte Fehler aufweisen. Beispielsweise funktioniert Radar unter schlechten Wetterbedingungen gut, kann aber aufgrund nicht relevanter metallischer Objekte ausfallen, im Gegensatz zu einer Kamera, die zwar von schlechtem Wetter betroffen ist, aber wahrscheinlich nicht durch metallische Objekte beeinträchtigt wird. Anscheinend haben Kamera und Lidar gemeinsame Fehlerquellen - z.B. werden beide durch nebliges Wetter, starken Regen oder Schnee beeinträchtigt. Die Art der Fehler für Kamera und Lidar wäre jedoch unterschiedlich - eine Kamera könnte aufgrund schlechten Wetters Objekte verfehlen und das Lidar könnte einen Geist aufgrund von Reflexionen von Partikeln in der Luft erkennen. Da wir zwischen den beiden Arten von Fehlern unterschieden haben, ist die ungefähre Unabhängigkeit wahrscheinlich immer noch gegeben.
Unsere Definition von sicherheitsrelevantem Gespenst erfordert, dass alle Aktionen durch mindestens zwei Sensoren nicht sicher sind. Selbst unter schwierigen Bedingungen (z.B. bei dichtem Nebel) ist dies unwahrscheinlich. Der Grund dafür ist, dass in solchen Situationen Systeme, die von den schwierigen Bedingungen betroffen sind (z.B. das Lidar), ein sehr defensives Fahren diktieren werden, da sie hohe Geschwindigkeiten und spätere seitliche Manöver als nicht sichere Aktionen deklarieren können. Infolgedessen wird das Host-Fahrzeug langsam fahren, und selbst wenn ein Notstopp erforderlich ist, ist es aufgrund der niedrigen Fahrgeschwindigkeit nicht gefährlich. Daher führt unsere Definition zu einer Anpassung des Fahrstils an die Bedingungen der Straße.
Aufbau eines skalierbaren Erfassungssystems
Die Anforderungen an ein Erfassungssystem, sowohl in Bezug auf Komfort als auch auf Sicherheit, wurden beschrieben. Als nächstes wird ein Ansatz zum Aufbau eines Erfassungssystems beschrieben, das diese Anforderungen erfüllt und gleichzeitig skalierbar ist. Es gibt drei Hauptkomponenten des Erfassungssystems. Die erste ist die 360-Grad-Abdeckung der Szene über eine große Reichweite basierend auf Kameras. Die drei Hauptvorteile von Kameras sind: (1) hohe Auflösung, (2) Texturerfassung, (3) Preis. Der niedrige Preis ermöglicht ein skalierbares System. Die Texturerfassung ermöglicht es, die Semantik der Szene zu verstehen, einschließlich Fahrspurmarkierungen, Ampel, Absichten von Fußgängern und mehr. Die hohe Auflösung ermöglicht eine große Reichweite der Erkennung. Darüber hinaus ermöglicht das Erkennen von Fahrspurmarkierungen und Objekten in derselben Domäne eine ausgezeichnete semantische seitliche Genauigkeit. Die beiden Hauptnachteile von Kameras sind: (1) die Informationen sind 2D und die Abschätzung der Längsdistanz ist schwierig, (2) die Empfindlichkeit gegenüber Lichtverhältnissen (tiefstehende Sonne, schlechtes Wetter). Diese Schwierigkeiten überwinden wir mit den beiden nächsten Komponenten unseres Systems.
Die zweite Komponente unseres Systems ist eine semantische, hochauflösende Kartierungstechnologie, die als Road Experience Management (REM) bezeichnet wird (dazu gehört die Navigation auf der Grundlage von für Straßenabschnitte vorherbestimmten und gespeicherten Zieltrajektorien zusammen mit der Fähigkeit, auf der Grundlage der Lage (z.B. in Bildern) von erkannten Landmarken, die in der Umgebung des Host-Fahrzeugs identifiziert wurden, genaue Standorte entlang der Zieltrajektorien zu bestimmen). Ein üblicher geometrischer Ansatz bei der Kartenerstellung besteht darin, eine Wolke von 3D-Punkten (die durch ein Lidar erhalten werden) im Kartenerstellungsprozess aufzuzeichnen und dann die Lokalisierung auf der Karte zu erhalten, indem die vorhandenen Lidar-Punkte mit denen in der Karte abgeglichen werden. Dieser Ansatz hat mehrere Nachteile. Erstens erfordert er einen großen Speicherplatz pro Kilometer Kartendaten, da wir viele Punkte speichern müssen. Dies erfordert eine teure Kommunikationsinfrastruktur. Zweitens sind möglicherweise nicht alle Autos mit Lidar-Sensoren ausgestattet, so dass die Karte nur sehr selten aktualisiert wird. Dies ist problematisch, da es zu Veränderungen auf der Straße kommen kann (Bauzonen, Gefahren) und die „Zeit bis zur Erkennung der Realität“ (time-to-reflect-reality = TTRR) von Lidar-basierten Kartierungslösungen groß ist. Im Gegensatz dazu verfolgt REM einen semantisch basierten Ansatz. Die Idee besteht darin, die große Anzahl von Fahrzeugen zu nutzen, die mit Kameras und mit Software ausgestattet sind, die semantisch bedeutsame Objekte in der Szene erkennt (Fahrspurmarkierungen, Bordsteine, Masten, Ampeln usw.). Heutzutage sind viele neue Autos mit ADAS-Systemen ausgestattet, die für die Erstellung von Karten aus der Masse genutzt werden können. Da die Verarbeitung auf der Fahrzeugseite erfolgt, sollte nur eine kleine Menge semantischer Daten an die Cloud übermittelt werden. Dies erlaubt eine sehr häufige Aktualisierung der Karte auf skalierbare Weise. Darüber hinaus können die autonomen Fahrzeuge die kleinräumigen Kartendaten über bestehende Kommunikationsplattformen (das zellulare Netzwerk) empfangen. Schliesslich kann eine sehr genaue Lokalisierung auf der Karte basierend auf Kameras erreicht werden, ohne dass teure Lidars benötigt werden.
REM kann für verschiedene Zwecke verwendet werden. Erstens gibt es uns eine Vorausschau auf die statische Struktur der Straße (wir können eine Autobahnausfahrt im Voraus planen). Zweitens gibt es uns eine weitere Quelle für genaue Informationen über alle statischen Informationen, die zusammen mit den Kamera-Erkennungen eine robuste Sicht auf den statischen Teil der Welt ergibt. Drittens löst es das Problem des Hebens der 2D-Informationen aus der Bildebene in die 3D-Welt wie folgt. Die Karte beschreibt alle Fahrspuren als Kurven in der 3D-Welt. Die Lokalisierung des Ich-Fahrzeuges auf der Karte ermöglicht es, jedes Objekt auf der Straße trivial von der Bildebene in seine 3D-Position zu heben. Daraus ergibt sich ein Positionierungssystem, das die Genauigkeit in semantischen Einheiten einhält. Eine dritte Komponente des Systems können komplementäre Radar- und Lidarsysteme sein. Diese Systeme können zwei Zwecken dienen. Erstens können sie eine extrem hohe Genauigkeit zur Erweiterung der Sicherheit bieten. Zweitens können sie direkte Messungen von Geschwindigkeit und Distanzen liefern, was den Fahrkomfort weiter verbessert.
Die folgenden Abschnitte beinhalten technische Lemmata und einige praktische Überlegungen zum RSS-System.
Lemma 9 Für alle x 0 [0,0.1], gilt 1 - x > e^-2x.
Beweis Seif (x) = 1 - x - e^-2x. Unser Ziel ist es zu zeigen, dass f(x) ≥ 0 für x 0 [0,0.1]. Man beachte, dass f(0) = 0, sodass der Beweis ausreicht, dass f(x) ≥ 0 im oben genannten Bereich liegt. Explizit ist die Ableitung f(x) = - 1 + 2e^-2x. Demnach ist f'(0) = 1, und die Ableitung ist monoton abnehmend, daher ist es ausreichend zu verifizieren, dass f'(0. 1) > 0, was numerisch leicht zu machen ist, f'(0.1) ≈ 0.637.
Effiziente Verifikation der Vorsicht - verdeckte Objekte
Wie bei den nicht-verdeckten Objekten können wir prüfen, ob der aktuelle Befehl und danach der DEP RSS ist. Dazu prädizieren wir unsere Zukunft bis t_brake, wobei wir von einer Expositionszeit von 1 ausgehen und dann den Befehl DEP geben, was per Definition für Vorsicht ausreicht. Für alle t' 0 [0,t_brake] prüfen wir, ob ein schuldhafter Unfall passieren kann - wenn wir den schlimmsten Fall für das verdeckte Objekt annehmen. Wir verwenden einige unserer Worst-Case-Manöver und Sicherheitsabstandsregeln. Wir verwenden einen okklusionsbasierten Ansatz, um Punkte von Interesse zu finden - d.h. wir berechnen für jedes verdeckte Objekt den ungünstigsten Fall. Dies ist ein entscheidender effizienzorientierter Ansatz - ein Fußgänger kann sich zum Beispiel an vielen Positionen hinter einem Auto verstecken und viele Manöver ausführen, aber es gibt eine einzige Worst-Case-Position und ein einziges Worst-Case-Manöver, das er ausführen kann.
Als Nächstes wird der kompliziertere Fall betrachtet, der des verdeckten Fußgängers. Betrachten wir einen verstopften Bereich hinter einem geparkten Auto. Die nächstgelegenen Punkte in einer verdeckten Fläche und der Vorder-/Seitenfront unseres Autos c können z.B. durch ihre geometrischen Eigenschaften (Dreiecke, Rechtecke) gefunden werden. Formal können wir den verdeckten Bereich als eine Vereinigung einer kleinen Anzahl von konvexen Bereichen einfacher Form betrachten und jeden dieser Bereiche separat behandeln. Außerdem kann man sehen, dass ein Fußgänger von der verdeckten Fläche IFF aus (unter der v_limit-Beschränkung) auf dem kürzesten Weg in die Vorderseite des Autos laufen kann. Ausgehend von der Tatsache, dass die maximale Distanz, die der Fußgänger zurücklegen kann, v_limit · t' ist, erhalten wir eine einfache Prüfung für eine Frontalaufprallmöglichkeit. Was einen Seitenaufprall betrifft, so stellen wir fest, dass für den Fall, dass der Weg kürzer als vlimit · t' ist, wir genau dann verantwortlich sind, wenn unsere seitliche Geschwindigkeit in der Richtung des Aufpralls größer als µ ist. Es wird ein Algorithmus zur Verifikation der Vorsicht in Bezug auf verdeckte Fußgänger offenbart, der hier in einem freien Pseudocode beschrieben wird. Der entscheidende Teil, nämlich die Überprüfung der Möglichkeit eines schuldhaften Unfalls mit einem von einem Fahrzeug verdeckten Fußgänger, wird auf die oben beschriebene einfache Weise durchgeführt.
Zum Problem der Validierung eines Simulators
Wie bereits erörtert, kann die Sicherheit von Multi-Agenten statistisch schwer zu validieren sein, da dies „online“ erfolgen sollte. Man könnte argumentieren, dass wir durch den Aufbau eines Simulators der Fahrumgebung die Fahrstrategie im „Labor“ validieren können. Die Validierung, dass der Simulator die Realität getreu wiedergibt, ist jedoch genauso schwierig wie die Validierung der Strategie selbst. Um zu erfassen, warum dies wahr ist, nehmen wir an, dass der Simulator in dem Sinne validiert wurde, dass die Anwendung einer Fahrstrategie π im Simulator zu einer Wahrscheinlichkeit eines Unfalls von p̂ führt und die Wahrscheinlichkeit eines Unfalls von π in der realen Welt p ist, mit |p - p̂| < 0. (Wir fordern dass 0 kleiner als 10-9 ist.) Als nächstes ersetzen wir die Fahrstrategie durch π'. Nehmen wir an, dass π' mit einer Wahrscheinlichkeit von 10-8 eine seltsame Aktion ausführt, die menschliche Fahrer verwirrt und zu einem Unfall führt. Es ist möglich (und sogar ziemlich wahrscheinlich), dass diese seltsame Aktion nicht im Simulator modelliert wird, ohne dass dies im Widerspruch zu seinen hervorragenden Fähigkeiten bei der Schätzung der Leistung der ursprünglichen Strategie π steht. Dies beweist, dass selbst wenn sich gezeigt hat, dass ein Simulator die Realität für eine Fahrstrategie π widerspiegelt, es nicht garantiert ist, dass er die Realität für eine andere Fahrstrategie widerspiegelt.
Das Fahrspur-basierte Koordinatensystem
Eine vereinfachende Annahme, die in der RSS-Definition getroffen werden kann, ist, dass die Straße benachbarte, gerade Fahrspuren mit konstanter Breite umfasst. Die Unterscheidung zwischen seitlichen und späteren Längsachsen sowie eine Reihenfolge der Längsposition kann in RSS eine signifikante Rolle spielen. Darüber hinaus basiert die Definition dieser Richtungen eindeutig auf der Fahrspurform. Eine Transformation von (globalen) Positionen auf der Ebene in ein auf der Fahrspur basierendes Koordinatensystem reduziert das Problem auf den ursprünglichen Fall einer „geraden Fahrspur mit konstanter Breite“.
Nehmen wir an, dass das Zentrum der Fahrspur eine glatte, gerichtete Kurve r auf der Ebene ist, wo alle ihre Teile, bezeichnet mit r(1),... ,r(k) bezeichnet werden, entweder linear oder ein Bogen sind. Beachten Sie, dass die Glätte der Kurve impliziert, dass kein Paar aufeinanderfolgender Teile linear sein kann. Formal bildet die Kurve einen „longitudinalen“ Parameter, Y 0 [Y_min, Y_max] ⊂ |, , in der Ebene ab, d.h. die Kurve ist eine Funktion der Form r : [Y_min, Y_max] →|². Wir definieren eine stetige Funktion der Fahrspurbreite w : [Y_min, Y_max] → |₊, wobei wir die Längsposition Y in einen positiven Fahrspurbreitenwert abbilden. Für jedes Y, von der Glätte von r, können wir den normalen Einheitsvektor zur Kurve an der Position Y, bezeichnet als r, definieren als ⊥ (Y). Entsprechend definieren wir die Untermenge der Punkte auf der Ebene, die sich in der Fahrspur befinden, wie folgt: $R = {r (Y) + a w (Y) r^{⊥} (Y) | Y 0 | [Y_{min}, Y_{max}], α 0 [\pm 1 / 2]}$
Informell ist es unser Ziel, eine Transformation ϕ von R so zu konstruieren, dass für zwei Autos, die sich auf der Fahrspur befinden, ihre „logische Ordnung“ erhalten bleibt: wenn c_r „hinter“ c_f in der Kurve ist, dann ϕ(c_r)_y < ϕ(c_f)_y. Wenn c₁ „links von“ c_r auf der Kurve ist, dann ϕ(c_l)_x < ϕ(c_r)_x. Wobei wir, wie in RSS, die y-Achse mit der „Längs“-Achse und die x-Achse mit der „seitlichen“ Achse assoziieren werden.
Zur Definition von ϕ stützen wir uns auf die Annahme, dass für alle i, wenn r⁽ⁱ⁾ ein Bogen mit dem Radius ρ ist, die Breite der Fahrspur durch r⁽ⁱ⁾ hindurch < ρ/2 beträgt. Beachten Sie, dass diese Annahme für jede praktische Straße gilt. Die Annahme impliziert trivial, dass für alle (x',y') 0 R, ein eindeutiges Paar Y'0 [Y_min, Y_max], α' 0 [±1/2] existiert, sodass (x',y') = r(Y')+ a'w(Y')r ⊥(Y') gilt. Wir können nun ϕ : R → |² to be ϕ(x', y') = (Y', α') definieren, wobei (Y', α') die eindeutigen Werte sind, die (x', y') = r(Y') + α'w(Y)r ^⊥(Y') erfüllen.
Diese Definition erfasst den Begriff des „seitlichen Manövers“ im Koordinatensystem der Fahrspur. Nehmen wir zum Beispiel eine sich verbreiternde Fahrspur, bei der ein Auto genau auf einer der Fahrspurbegrenzungen fährt (siehe 23). Die Verbreiterung der Fahrspur 2301 bedeutet, dass sich das Auto 2303 von der Mitte der Fahrspur entfernt und daher eine seitliche Geschwindigkeit in Bezug auf die Fahrspur hat. Dies bedeutet jedoch nicht, dass es ein seitliches Manöver ausführt. Die Definition von ϕ(x', y')_x = α', d.h. der seitliche Abstand zum Zentrum der Fahrspur in w(Y')-Einheiten, impliziert, dass die Fahrspurgrenzen eine feste seitliche Position von ±1/2 haben. Ein Auto, das an einer der Fahrspurenbegrenzungen klebt, wird daher nicht als seitlich beweglich betrachtet. Schließlich kann man sehen, dass ϕ ein Homomorphismus ist. Der Begriff Fahrspur-basiertes Koordinatensystem wird verwendet, wenn ϕ(R) = [Y_min, Y_max] × [±1/2 diskutiert wird. Wir haben also eine Reduktion von einer allgemeinen Fahrspurgeometrie auf ein gerades, längs/seitliches, Koordinatensystem erhalten.
Ausdehnung von RSS auf die allgemeine Straßenstruktur
In diesem Abschnitt wird eine abschließende Definition von RSS beschrieben, die für alle Straßenstrukturen gilt. Dieser Abschnitt befasst sich mit der Definition von RSS und nicht mit der Frage, wie effizient sichergestellt werden kann, dass eine Strategie sich an RSS hält. Als nächstes wird das Konzept der Fahrspurpriorität eingeführt, um jede Situation zu erfassen, in der mehr als eine Fahrspurgeometrie vorhanden ist, z.B. Kreuzungen.
Die zweite Verallgemeinerung befasst sich mit zweiseitigen Straßen, auf denen zwei Autos in entgegengesetzte Richtungen fahren können. Für diesen Fall ist die bereits etablierte RSS-Definition weiterhin gültig, mit der geringfügigen Verallgemeinerung der „sicheren Distanz“ zum Gegenverkehr. Kontrollierte Kreuzungen (die Ampeln verwenden, um den Verkehrsfluss zu diktieren) können vollständig von den Konzepten der Routenpriorität und Gegenverkehrsstraßen behandelt werden. Unstrukturierte Straßen (z.B. Parkplätze), bei denen es keine klare Routendefinition gibt, können ebenfalls mit RSS gehandhabt werden. RSS ist für diesen Fall nach wie vor gültig, wobei die einzige erforderliche Änderung eine Möglichkeit ist, virtuelle Routen zu definieren und jedes Auto (möglicherweise mehreren) Routen zuzuordnen.
Routenpriorität
Das Konzept der Routenpriorität wird nun eingeführt, um Szenarien zu behandeln, in denen es mehrere verschiedene Straßengeometrien in einer Szene gibt, die sich in einem bestimmten Gebiet überlappen. Beispiele, wie in den 24A-D dargestellt, beinhalten Kreisverkehre, Kreuzungen und Zusammenschlüsse zu Autobahnen. Es wurde eine Möglichkeit beschrieben, die allgemeine Fahrspurgeometrie in eine auf der Fahrspur basierende Geometrie mit kohärenter Bedeutung für Längs- und seitliche Achsen umzuwandeln. Nun werden Szenarien behandelt, in denen mehrere Strecken mit unterschiedlicher Straßengeometrie existieren. Daraus folgt, dass, wenn sich zwei Fahrzeuge dem Überlappungsbereich nähern, beide ein Einschneiden in den frontalen Korridor des anderen Fahrzeugs vornehmen. Dieses Phänomen kann nicht auftreten, wenn zwei Routen die gleiche Geometrie aufweisen (wie es bei zwei benachbarten Fahrspuren der Fall ist). Grob gesagt besagt das Prinzip der Routenpriorität, dass, wenn sich die Routen r₁, r₂ überlappen und r₁ Vorrang vor r₂ hat, ein von r₁ kommendes Fahrzeug, das in den frontalen Korridor eines von r₂ kommenden Fahrzeugs einfährt, nicht als Einschneiden betrachtet wird.
Um das Konzept formell zu erklären, sei daran erinnert, dass die Schuld an einem Unfall von geometrischen Eigenschaften abhängt, die aus dem Koordinatensystem der Fahrspur abgeleitet werden, sowie von den Worst-Case-Annahmen, die sich ebenfalls auf dieses System stützen. Lassen Sie r₁,... r_k die Strecken sein, die die Struktur der Straße definieren. Betrachten Sie als einfaches Beispiel das Zusammenführungsszenario, wie es in 24A dargestellt ist. Angenommen, zwei Autos, 2401 (c₁) und 2402 (c₂), fahren auf den Routen r₁ bzw. r₂, und r₁ ist die priorisierte Route. Nehmen Sie zum Beispiel an, dass r₁ eine Fahrspur auf der Autobahn und r₂ eine Zusammenführungsspur ist. Nachdem wir die auf der Route basierenden Koordinatensysteme für jede Route definiert haben, ist eine erste Beobachtung, dass wir jedes Manöver im Koordinatensystem jeder Route berücksichtigen können. Wenn wir z.B. das Koordinatensystem von r₂ verwenden, erscheint das geradeaus Fahren auf r₁ wie eine Verschmelzung mit der linken Seite von r₂. Ein Ansatz zur Definition von RSS könnte sein, dass jedes der Autos ein Manöver IFF ∀i {1, 2} durchführen kann, wenn es in Bezug auf r_i sicher ist. Dies impliziert jedoch, dass c₁, das auf der priorisierten Route fährt, sehr konservativ gegenüber r₂, der Verschmelzungsroute, sein sollte, da c₂ genau auf der Route fahren kann und somit durch spätere seitliche Position gewinnen kann. Dies ist unnatürlich, da Autos auf der Autobahn in diesem Fall Vorfahrt haben. Um dieses Problem zu überwinden, definieren wir bestimmte Bereiche, in denen die Routenpriorität festgelegt ist, und nur einige der Routen werden als sicherheitsrelevant betrachtet.
Definition 22 (Unfallverantwortung mit Routenpriorität) Angenommen, r₁, r₂ sind zwei Strecken mit unterschiedlicher Geometrie, die sich überlappen. Wir verwenden r₁ > _[b,e] r₂ um zu symbolisieren, dass r₁ im Längsintervall [b, e) (25) des r₁-Koordinatensystems Vorrang vor r₂ hat. Angenommen, es gibt einen Unfall zwischen Autos c₁, c₂, die auf den Routen r₁, r₂ fahren. Lassen Sie für i 0 {1,2} b_i ⊂ {1,2} die für den Unfall verantwortlichen Autos angeben, wenn wir das Koordinatensystem von r_i betrachten. Die Schuld für den Unfall ist wie folgt:

• Wenn r₁ > [b, e] r₂ und auf die Schuldzuweisungszeit in Bezug auf r₁, eines der Autos im Intervall [b,e] der Längsachse des r₁-Systems lag, dann ist die Schuld bei b₁ zu suchen.
• Ansonsten liegt die Schuld bei b₁ U b₂.

Um die Definition zu veranschaulichen, betrachten Sie noch einmal das Beispiel der Verschmelzung mit der Autobahn. Die in 25 mit „b“ und „e“ bezeichneten Linien geben die Werte von b, e an, für die r₁ >_[b,e] r₂ ist. Auf diese Weise erlauben wir, dass Autos auf der Autobahn natürlich fahren, während wir implizieren, dass das Zusammenführen von Autos in Bezug auf diese Autos sicher sein muss. Insbesondere ist zu beachten, dass in dem Fall, dass ein Auto 2401 c₁ in der Mitte der priorisierten Fahrspur ohne seitliche Geschwindigkeit fährt, es nicht für einen Unfall mit einem Auto 2402 c₂ verantwortlich gemacht wird, das auf einer nicht priorisierten Fahrspur fährt, es sei denn, 2402 c₂ hat in einem sicheren Abstand in den Korridor von 2401 c₁ eingegriffen. Beachten Sie, dass das Endergebnis dem der regulären RSS sehr ähnlich ist - dies ist genau dasselbe wie der Fall, wenn ein Auto auf einer geraden Straße versucht, einen Fahrspurwechsel durchzuführen. Beachten Sie, dass es Fälle geben kann, in denen die von einem anderen Agent benutzte Route unbekannt ist. Zum Beispiel kann in 26 das Auto 2601 möglicherweise nicht bestimmen, ob ein Auto 2602 den Weg „a“ oder den Weg „b“ nehmen wird. In solchen Fällen kann eine RSS erhalten werden, indem alle Möglichkeiten iterativ geprüft werden.
Gegenverkehr
Um dem Gegenverkehr gerecht zu werden, erfolgt die Änderung der Schulddefinition durch Schärfung der Teile, die sich auf die Beziehung zwischen vorne und hinten stützen, da diese in solchen Fällen eine etwas andere Bedeutung haben. Betrachten Sie zwei Autos c₁, c₂, die auf einer geraden zweispurigen Straße in entgegengesetzten Längsrichtungen fahren, nämlich, v_1,long · v_2,long < 0. Die Fahrtrichtung in Bezug auf eine Fahrspur kann in vernünftigen städtischen Szenarien negativ sein, wie z.B. ein Auto, das auf die Gegenspur ausweicht, um einen parkenden Lastwagen zu überholen, oder ein Auto, das in eine Parklücke rückwärts fährt. Es ist daher erforderlich, die Definition des sicheren Längsabstands zu erweitern, die wir für Fälle eingeführt haben, in denen eine negative Längsgeschwindigkeit als nicht realistisch angenommen wurde. Erinnern wir uns daran, dass ein Abstand zwischen c_r, c_f sicher war, wenn eine maximale Bremsung durch c_f eine genügend lange Reaktionszeit erlaubte, damit c_r vor dem Aufprall auf c_f bremsen konnte. In unserem Fall betrachten wir den „Worst-Case“ durch das gegenüberliegende Auto noch einmal etwas anders: Natürlich gehen wir nicht davon aus, dass der „Worst-Case“ darin besteht, dass es auf uns zurast, sondern dass es tatsächlich bremst, um einen Aufprall zu vermeiden - allerdings nur mit einer vernünftigen Bremskraft. Um den Unterschied in der Verantwortung zwischen den Autos zu erfassen, wenn eines von ihnen eindeutig in die entgegengesetzte Richtung fährt, beginnen wir damit, eine „richtige“ Fahrtrichtung zu definieren.
In der RSS-Definition für parallele Fahrspuren wurde die relevante Fahrspur als diejenige definiert, deren Mitte am nächsten an der Einschneideposition liegt. Wir können uns nun darauf beschränken, diese Fahrspur zu berücksichtigen (oder, im Falle von Symmetrie, die beiden Fahrspuren getrennt behandeln, wie in Definition 22). In der nachfolgenden Definition bezeichnet der Begriff „Fahrtrichtung“ den Bogentangens (im Bogenmaß) der seitlichen Geschwindigkeit geteilt durch die Längsgeschwindigkeit.
Definition 23 ((µ₁, µ₂, µ₃)- Gewinnen durch korrekte Fahrtrichtung) Nehmen wir an, c₁, c₂ fahren in entgegengesetzte Richtungen, nämlich v_1,long · v_2,long < 0. x_i,h_i seien ihre seitlichen Positionen und Überschriften bezogen auf die Fahrspur. Wir sagen, dass c₁ (µ₁, µ₂, µ₃) durch die korrekte Fahrtrichtung gewinnt, wenn alle folgenden Bedingungen zutreffen:

• |h₁| < µ₁,
• |h₂ - π| < µ₂,
• |x₁| < µ₃.

Der Indikator für dieses Ereignis wird bezeichnet durch W_CDD (i).
In Worten: c₁ gewinnt, wenn es nahe an der Fahrspur in die richtige Richtung fährt, während c₂ die entgegengesetzte Richtung nimmt. Es kann höchstens ein Auto gewinnen, und es kann sein, dass keines der Autos dies tut. Gehen Sie intuitiv davon aus, dass es in der besprochenen Situation einen Crash gibt. Es ist vernünftig, einem Auto c₁, das durch die richtige Fahrtrichtung verliert, mehr Verantwortung zu übertragen. Dies geschieht durch eine Neudefinition von amax,Bremse für den Fall, dass ein Auto durch korrekte Fahrtrichtung gewinnt.
Definition 24 (Angemessene Bremsleistung) Sei α_{max,brake,wcdd} > 0 eine Konstante, kleiner als a_max,brake. Angenommen, c₁, c₂ fahren in entgegengesetzte Richtungen. Die vernünftige Bremsleistung jedes Autos c_i, bezeichnet als RBP_i, ist a_{max,brake,wcdd}, wenn c_i (µ₁, µ₂, µ₃)-Gewinnen durch korrekte Fahrtrichtung und amax,bremst andernfalls.
Die genauen Werte von amax,brake,wcdd, a_max,brake, für die Fälle von Gewinnen/Nichtgewinnen bei richtiger Fahrtrichtung sind Konstanten, die definiert werden sollten und von der Art der Straße und der Fahrspuren, die von jedem Auto befahren werden, abhängen können. Zum Beispiel kann es in einer engen städtischen Straße der Fall sein, dass ein Gewinn durch eine korrekte Fahrtrichtung keinen viel geringeren Bremswert impliziert: Bei dichtem Verkehr erwarten wir, dass ein Auto mit ähnlichen Kräften bremst, entweder wenn jemand deutlich in seine Fahrspur abweicht oder nicht. Betrachten wir jedoch ein Beispiel für eine ländliche Zweiwegestraße, wo hohe Geschwindigkeiten erlaubt sind. Beim Ausweichen auf die Gegenspur kann von Autos, die in der richtigen Fahrspur fahren, nicht erwartet werden, dass sie eine sehr starke Bremskraft anwenden, um ein Auffahren auf das Host-Fahrzeug zu vermeiden - das Host-Fahrzeug wird mehr Verantwortung tragen als sie. Für den Fall, dass sich zwei Autos auf der gleichen Fahrspur befinden, von denen eines rückwärts in eine Parklücke fährt, können unterschiedliche Konstanten definiert werden.
Der Sicherheitsabstand zwischen Autos, die in entgegengesetzter Richtung fahren und sofort ihren genauen Wert ableiten, wird als nächstes definiert.
Definition 25 (Sichere Längsdistanz - Gegenverkehr) Eine Längsdistanz zwischen einem Auto c₁ und einem anderen Auto c₂, die in entgegengesetzte Richtungen fahren und sich beide in den frontalen Korridoren des jeweils anderen befinden, ist sicher mit einer Reaktionszeit ρ, wenn für jeden Beschleunigungsbefehl a, |a| < a_max,accel, durchgeführt von c₁, c₂ bis zur Zeit ρ, wenn c₁ und c₂ ihre angemessene Bremskraft von der Zeit ρ bis zum vollständigen Anhalteweg anwenden, dann werden sie nicht kollidieren.
Lemma 10 Seien c c₁, c₂ wie in Definition 25. Seien RBP_i, a_max, Beschleunigung die vernünftigen Brems- (für jedes i) und Beschleunigungsbefehle, und ρ sei die Reaktionszeit der Autos. Seien v₁, v₂ die Längsgeschwindigkeiten der Autos und l₁, l₂ ihre Längen. Definieren Sie v_i,ρ,max = |v_i| + ρ · a_max,accel. Sei L = (l_r + l_f )/2. Dann ist die minimale sichere Distanz in Längsrichtung: $d_{m i n} = L + \sum_{i = 1}^{2} (\frac{| ν_{i} | + ν_{i, ρ, max}}{2} ρ + \frac{ν_{i, ρ, max}^{2}}{2 R B P_{i}})$
Es ist zu erkennen, dass der Begriff in der Summe die maximale Distanz ist, die jedes Auto bis zum Erreichen des Anhaltewegs bei der Durchführung des Manövers aus Definition 25 zurücklegt. Damit der Anhalteweg bei einer Distanz größer als L liegt, muss die Anfangsdistanz daher größer als diese Summe und ein zusätzlicher Term von L sein.
Dieselbe Schuldzuweisungszeitdefinition der RSS mit der nicht sicheren Distanz in Längsrichtung, wie sie in Definition 25 definiert ist, wird verwendet, um die Schuld/Unfallverantwortung für ein Zweiwege-Verkehrsszenario zu definieren.
Definition 26 (Schuld im Gegenverkehr) Die Schuld im Gegenverkehr an einem Unfall zwischen Autos c₁, c₂, die in entgegengesetzte Richtungen fahren, ist eine Funktion des Zustands zur Schuldzuweisungszeit und wird wie folgt definiert:

• Wenn die Schuldzuweisungszeit auch eine Einschneide-Zeit ist, wird die Schuld wie in der regulären RSS-Definition definiert.
• Andernfalls liegt die Schuld für jedes i bei c_i, wenn c_i, zu irgendeiner Zeit t, dienach der Schuldzuweisungszeit eintritt, nicht mit einer Leistung von mindestens RBP_i gebremst hat.

Nehmen wir zum Beispiel an, dass ein sicheres Einschneiden vor der Schuldzuweisungszeit stattgefunden hat. Zum Beispiel ist c₁ auf die gegenüberliegende Fahrspur abgewichen und hat in einem sicheren Abstand in den Korridor von c₂ eingeschnitten. Beachten Sie, dass c₂ durch die richtige Fahrtrichtung gewinnt, und daher kann dieser Abstand sehr groß sein - wir erwarten von c₂ keine starke Bremsleistung, sondern nur die angemessene Bremsleistung. Dann sind beide Autos dafür verantwortlich, nicht ineinander zu crashen. Befand sich das Einschneiden jedoch nicht in einer sicheren Distanz, verwenden wir die reguläre Definition und weisen darauf hin, dass c₂ nicht verantwortlich gemacht wird, wenn es in der Mitte seiner Fahrspur ohne seitliche Bewegung gefahren ist. Die Schuld wird allein bei c₁ liegen. Dies erlaubt es einem Auto, natürlich in der Mitte seiner Fahrspur zu fahren, ohne sich um den Verkehr zu kümmern, der auf unsichere Weise in seinen Korridor abweicht. Auf der anderen Seite ist das sichere Ausweichen auf die Gegenspur, ein übliches Manöver, das im dichten Stadtverkehr erforderlich ist, erlaubt. Betrachtet man das Beispiel eines Autos, das ein Rückwärtseinparkmanöver einleitet, so sollte es mit dem Rückwärtsfahren beginnen und dabei auf einen sicheren Abstand zu den Autos hinter ihm achten.
Verkehrsampeln
In Szenarien, die Kreuzungen mit Ampeln beinhalten, könnte man meinen, dass die einfache Regel für Ampelszenarien lautet: „Wenn die Route des einen Autos grünes Licht hat und die Route des anderen Autos rotes Licht, dann ist derjenige schuld, dessen Route rotes Licht hat“. Dies ist jedoch nicht die richtige Regel, vor allem nicht in allen Fällen. Betrachten Sie zum Beispiel das in 27 dargestellte Szenario. Selbst wenn sich das Auto 2701 auf einer Route mit grünem Licht befindet, erwarten wir nicht, dass es das Auto 2703, das sich bereits in der Kreuzung befindet, ignoriert. Die richtige Regel ist, dass die Route mit grünem Licht Vorrang vor Routen mit rotem Licht hat. Daher erhalten wir eine deutliche Reduzierung von Ampeln auf das zuvor beschriebene Streckenvorrangkonzept.
Unstrukturierte Straße
Wenn Sie auf Straßen abbiegen, bei denen keine klare Streckengeometrie definiert werden kann, betrachten Sie zunächst ein Szenario, bei dem es überhaupt keine Fahrspurstruktur gibt (z.B. ein Parkplatz). Ein Weg, um sicherzustellen, dass es keine Unfälle gibt, kann darin bestehen, dass jedes Auto in einer geraden Linie fahren muss, während bei einem Richtungswechsel dies dann geschehen muss, wenn sich keine nahen Autos in meiner Umgebung befinden. Der Grundgedanke dahinter ist, dass ein Auto vorhersagen kann, was andere Autos tun werden, und sich entsprechend verhalten kann. Wenn andere Autos von dieser Vorhersage abweichen (indem sie den Kurs ändern), geschieht dies mit einer ausreichend großen Distanz, so dass genügend Zeit bleibt, um die Vorhersage zu korrigieren. Wenn es eine Fahrspurstruktur gibt, kann dies intelligentere Vorhersagen darüber ermöglichen, was andere Autos tun werden. Wenn es überhaupt keine Fahrspurstruktur gibt, wird ein Auto entsprechend seiner aktuellen Fahrtrichtung weiterfahren. Technisch gesehen ist dies gleichbedeutend damit, dass jedes Auto entsprechend seiner Fahrtrichtung einer virtuellen geraden Route zugeordnet wird. Betrachten Sie als nächstes das Szenario in einem großen unstrukturierten Kreisverkehr (z.B. um den Arc de Triomphe in Paris). Hier besteht eine sinnvolle Vorhersage darin, davon auszugehen, dass ein Auto entsprechend der Geometrie des Kreisverkehrs unter Beibehaltung seines Versatzes weiterfährt. Technisch gesehen ist dies gleichbedeutend mit der Zuordnung jedes Autos zu einer virtuellen Bogenroute entsprechend seinem aktuellen Versatz von der Mitte des Kreisverkehrs.
Das oben beschriebene Fahrstrategie-System (z.B. das RL-System) kann zusammen mit einer oder mehreren der beschriebenen Regeln zur Unfallhaftung implementiert werden, um ein Navigationssystem bereitzustellen, das die potenzielle Unfallhaftung bei der Entscheidung über die Ausführung einer bestimmten Navigationsanweisung berücksichtigt. Solche Regeln können während der Planungsphase angewendet werden, z.B. innerhalb einer Menge programmierter Befehle oder innerhalb eines trainierten Modells, so dass eine vorgeschlagene Navigationsaktion vom System bereits in Übereinstimmung mit den Regeln entwickelt wird. Beispielsweise kann ein Fahrstrategie-Modul beispielsweise eine oder mehrere Navigationsregeln, auf denen RSS basiert, berücksichtigen oder mit diesen trainiert werden. Zusätzlich oder alternativ kann die RSS-Sicherheitsbeschränkung als Filterschicht angewendet werden, durch die alle vorgeschlagenen Navigationsaktionen, die in der Planungsphase vorgeschlagen werden, gegen die relevanten Unfallhaftungsregeln getestet werden, um sicherzustellen, dass die vorgeschlagenen Navigationsaktionen den Regeln entsprechen. Wenn eine bestimmte Aktion mit der RSS-Sicherheitsbeschränkung übereinstimmt, kann sie ausgeführt werden. Andernfalls, wenn die vorgeschlagene Navigationsaktion nicht mit der RSS-Sicherheitsbeschränkung übereinstimmt (z.B. wenn die vorgeschlagene Aktion basierend auf einer oder mehreren der oben beschriebenen Regeln zu einem Unfall mit dem Host-Fahrzeug führen könnte), wird die Aktion nicht durchgeführt.
In der Praxis kann eine bestimmte Implementierung ein Navigationssystem für ein Host-Fahrzeug beinhalten. Das Host-Fahrzeug kann mit einer Bilderfassungsvorrichtung ausgestattet sein (z.B. eine oder mehrere Kameras, wie jede der oben beschriebenen), die während des Betriebs Bilder erfasst, die repräsentativ für eine Umgebung des Host-Fahrzeugs sind. Unter Verwendung der Bildinformationen kann eine Fahrstrategie eine Vielzahl von Eingängen aufnehmen und eine geplante Navigationsaktion ausgeben, um ein Navigationsziel des Host-Fahrzeugs zu erreichen. Die Fahrstrategie kann eine Reihe von programmierten Befehlen, ein trainiertes Netzwerk usw. beinhalten, die verschiedene Eingaben empfangen können (z.B. Bilder von einer oder mehreren Kameras, die die Umgebung des Host-Fahrzeugs zeigen, einschließlich Zielfahrzeuge, Straßen, Objekte, Fußgänger usw.; Ausgaben von LIDAR- oder RADAR-Systemen; Ausgaben von Geschwindigkeitssensoren, Aufhängungssensoren usw.; Informationen, die ein oder mehrere Ziele des Host-Fahrzeugs repräsentieren - z.B. einen Navigationsplan zur Beförderung eines Fahrgastes zu einem bestimmten Ort usw.). Basierend auf der Eingabe kann die Verarbeitungseinrichtung ein Zielfahrzeug in der Umgebung des Host-Fahrzeugs identifizieren, z.B. durch Analyse von Kamerabildern, LIDAR-Ausgabe, RADAR-Ausgabe usw. In einigen Ausführungsformen kann die Verarbeitungseinrichtung ein Zielfahrzeug in der Umgebung des Host-Fahrzeugs identifizieren, indem er eine oder mehrere Eingaben analysiert, z.B. ein oder mehrere Kamerabilder, LIDAR-Ausgabe und/oder RADAR-Ausgabe. Darüber hinaus kann die Verarbeitungseinrichtung in einigen Ausführungsformen ein Zielfahrzeug in der Umgebung des Host-Fahrzeugs basierend auf der Übereinstimmung einer Mehrheit oder einer Kombination von Sensor-Eingaben erkennen (z.B. durch Analyse eines oder mehrerer Kamerabilder, LIDAR-Ausgabe und/oder RADAR-Ausgabe und Empfang eines Erkennungsergebnisses, das das Zielfahrzeug basierend auf einer Mehrheitsvereinbarung oder einer Kombination der Eingaben identifiziert).
Basierend auf den Informationen, die dem Fahrstrategie-Modul zur Verfügung stehen, kann eine Ausgabe in Form einer oder mehrerer geplanter Navigationsaktionen bereitgestellt werden, um ein Navigationsziel des Host-Fahrzeuges zu erreichen. In einigen Ausführungsformen kann die RSS-Sicherheitsbeschränkung als Filter der geplanten Navigationsaktionen angewendet werden. Das heißt, dass die geplante Navigationsaktion, sobald sie entwickelt ist, gegen mindestens eine Unfallhaftpflichtregel (z.B. eine der oben diskutierten Unfallhaftpflichtregeln) getestet werden kann, um die potentielle Unfallhaftpflicht für das Host-Fahrzeug in Bezug auf das identifizierte Zielfahrzeug zu bestimmen. Und, wie bereits erwähnt, wenn der Test der geplanten Navigationsaktion gegen die mindestens eine Unfallhaftpflichtregel darauf hinweist, dass eine potentielle Unfallhaftpflicht für das Host-Fahrzeug bestehen könnte, wenn die geplante Navigationsaktion durchgeführt wird, dann kann die Verarbeitungseinrichtung das Host-Fahrzeug veranlassen, die geplante Navigationsaktion nicht auszuführen. Wenn andererseits der Test der geplanten Navigationsaktion gegen die mindestens eine Unfallhaftpflichtregel ergibt, dass keine Unfallhaftpflicht für das Host-Fahrzeug entstehen würde, wenn die geplante Navigationsaktion durchgeführt wird, kann die Verarbeitungseinrichtung das Host-Fahrzeug veranlassen, die geplante Navigationsaktion auszuführen.
In einigen Ausführungsformen kann das System eine Vielzahl potenzieller Navigationsaktionen gegen die mindestens eine Unfallhaftungsregel testen. Basierend auf den Testergebnissen kann das System die potenziellen Navigationsaktionen auf eine Teilmenge der Vielzahl potenzieller Navigationsaktionen filtern. In einigen Ausführungsformen kann die Untermenge beispielsweise nur die potenziellen Navigationshandlungen beinhalten, für die der Test gegen die mindestens eine Unfallhaftpflichtregel anzeigt, dass keine Unfallhaftung für das Host-Fahrzeug entstehen würde, wenn die potenziellen Navigationshandlungen durchgeführt würden. Das System kann dann die potenziellen Navigationsaktionen ohne Unfallhaftpflicht bewerten und/oder priorisieren und eine der auszuführenden Navigationsaktionen basierend z.B. auf einer optimierten Bewertung oder einer höchsten Priorität auswählen. Die Bewertung und/oder Priorität kann z.B. auf einem oder mehreren Faktoren basieren, wie z.B. der potentiellen Navigationsaktion, die als die sicherste, effizienteste, für die Passagiere komfortabelste usw. angesehen wird.
In einigen Fällen kann die Bestimmung, ob eine bestimmte geplante Navigationsaktion ausgeführt werden soll, auch davon abhängen, ob in einem auf die geplante Aktion folgenden Zustand ein Standard-Notfallverfahren zur Verfügung stünde. Wenn ein DEP verfügbar ist, kann der RSS-Filter die geplante Aktion genehmigen. Wenn andererseits ein DEP nicht verfügbar wäre, kann der nächste Zustand als unsicherer Zustand angesehen werden, und die geplante Navigationsaktion kann abgelehnt werden. In einigen Ausführungsformen kann die geplante Navigationsaktion mindestens ein Standard-Notfallverfahren beinhalten.
Ein Vorteil des beschriebenen Systems besteht darin, dass zur Gewährleistung sicherer Aktionen des Fahrzeugs nur die Aktionen des Host-Fahrzeugs in Bezug auf ein bestimmtes Zielfahrzeug berücksichtigt werden müssen. Wenn also mehr als ein Zielfahrzeug vorhanden ist, kann die geplante Aktion für das Host-Fahrzeug für eine Unfall-Haftpflichtregel nacheinander in Bezug auf die Zielfahrzeuge in einer Einflusszone in der Nähe des Host-Fahrzeugs (z.B. innerhalb von 25 Metern, 50 Metern, 100 Metern, 200 Metern usw.) geprüft werden. In der Praxis kann die mindestens eine Verarbeitungseinrichtung weiter programmiert werden, um: basierend auf der Analyse des mindestens einen Bildes, das repräsentativ für eine Umgebung des Host-Fahrzeugs ist (oder basierend auf LIDAR- oder RADAR-Informationen usw.), eine Vielzahl anderer Zielfahrzeuge in der Umgebung des Host-Fahrzeugs zu identifizieren und den Test der geplanten Navigationsaktion gegen mindestens eine Unfallhaftpflichtregel zu wiederholen, um die potentielle Unfallhaftpflicht für das Host-Fahrzeug in Bezug auf jedes der Vielzahl anderer Zielfahrzeuge zu bestimmen. Wenn die wiederholten Tests der geplanten Navigationsaktion gegen die mindestens eine Unfallhaftpflichtregel darauf hindeuten, dass eine potentielle Unfallhaftpflicht für das Host-Fahrzeug bestehen könnte, wenn die geplante Navigationsaktion durchgeführt wird, dann kann die Verarbeitungseinrichtung das Host-Fahrzeug veranlassen, die geplante Navigationsaktion nicht auszuführen. Wenn die wiederholten Tests der geplanten Navigationsaktion gegen die mindestens eine Unfallhaftpflichtregel darauf hindeuten, dass keine Unfallhaftpflicht für das Host-Fahrzeug entstehen würde, wenn die geplante Navigationsaktion durchgeführt wird, kann die Verarbeitungseinrichtung das Host-Fahrzeug veranlassen, die geplante Navigationsaktion auszuführen.
Wie bereits erwähnt, kann jede der oben beschriebenen Regeln als Grundlage für den RSS-Sicherheitstest verwendet werden. In einigen Ausführungsformen beinhaltet die mindestens eine Unfallhaftpflichtregel eine folgende Regel, die eine Distanz hinter dem identifizierten Zielfahrzeug definiert, innerhalb der das Host-Fahrzeug nicht weiterfahren darf, ohne dass ein Potential für Unfallhaftpflicht besteht. In anderen Fällen beinhaltet die mindestens eine Unfallhaftpflichtregel eine führende Regel, die eine Distanz vor dem identifizierten Zielfahrzeug definiert, innerhalb der das Host-Fahrzeug nicht ohne Potenzial für Unfallhaftung weiterfahren darf.
Während das oben beschriebene System den RSS-Sicherheitstest auf eine einzelne geplante Navigationsaktion anwenden kann, um die Einhaltung der Regel zu prüfen, dass das Host-Fahrzeug keine Aktionen durchführen sollte, für die es für einen daraus resultierenden Unfall haftbar gemacht werden könnte, kann der Test auf mehr als eine geplante Navigationsaktion angewendet werden. Beispielsweise kann in einigen Ausführungsformen die mindestens eine Verarbeitungseinheit basierend auf der Anwendung mindestens einer Fahrstrategie zwei oder mehr geplante Navigationsaktionen bestimmen, um ein Navigationsziel des Host-Fahrzeugs zu erreichen. In diesen Situationen kann die Verarbeitungseinrichtung jede der zwei oder mehr geplanten Navigationsaktionen gegen mindestens eine Unfallhaftpflichtregel testen, um die potenzielle Unfallhaftpflicht zu bestimmen. Und für jede der zwei oder mehr geplanten Navigationsaktionen kann die Verarbeitungseinrichtung für jede der zwei oder mehr geplanten Aktionen veranlassen, dass das Host-Fahrzeug die bestimmte der geplanten Navigationsaktionen nicht ausführt, wenn die Prüfung ergibt, dass eine potenzielle Unfallhaftpflicht für das Host-Fahrzeug bestehen könnte, wenn eine bestimmte der zwei oder mehr geplanten Aktionen durchgeführt wird. Zeigt die Prüfung andererseits für jede der zwei oder mehr geplanten Navigationsaktionen an, dass keine Unfallhaftung für das Host-Fahrzeug entstehen würde, wenn eine bestimmte der zwei oder mehr geplanten Navigationsaktionen durchgeführt wird, so kann die Verarbeitungseinrichtung die bestimmte der zwei oder mehr geplanten Navigationsaktionen als einen gangbaren Kandidaten für die Ausführung identifizieren. Als nächstes kann die Verarbeitungseinrichtung basierend auf mindestens einer Kostenfunktion eine zu treffende Navigationsaktion aus den in Frage kommenden Kandidaten für die Ausführung auswählen und das Host-Fahrzeug veranlassen, die ausgewählte Navigationsaktion auszuführen.
Da sich eine Implementierung von RSS auf die Bestimmung des relativen Haftungspotenzials für Unfälle zwischen dem Host-Fahrzeug und einem oder mehreren Zielfahrzeugen sowie auf die Prüfung geplanter Navigationsaktionen auf Einhaltung der Sicherheitsvorschriften bezieht, kann das System das Unfallhaftungspotenzial für angetroffene Fahrzeuge verfolgen. Beispielsweise kann das System nicht nur in der Lage sein, eine Aktion zu vermeiden, für die ein daraus resultierender Unfall die Haftung gegenüber dem Host-Fahrzeug nach sich ziehen würde, sondern das System des Host-Fahrzeugs kann auch in der Lage sein, ein oder mehrere Zielfahrzeuge zu verfolgen und festzustellen und zu verfolgen, welche Unfallhaftungsregeln von diesen Zielfahrzeugen verletzt wurden. In einigen Ausführungsformen kann ein System zur Verfolgung der Unfallhaftpflicht für ein Host-Fahrzeug mindestens eine Verarbeitungsvorrichtung beinhalten, die so programmiert ist, dass sie von einer Bilderfassungsvorrichtung mindestens ein Bild empfängt, das repräsentativ für eine Umgebung des Host-Fahrzeugs ist, und das mindestens eine Bild analysiert, um ein Zielfahrzeug in der Umgebung des Host-Fahrzeugs zu identifizieren. Basierend auf der Analyse des mindestens einen Bildes kann die Verarbeitungseinrichtung eine Programmierung beinhalten, um eine oder mehrere Charakteristiken eines Navigationszustandes des identifizierten Zielfahrzeugs zu bestimmen. Der Navigationszustand kann verschiedene Charakteristiken des Zielfahrzeugs beinhalten, wie z.B. Fahrzeuggeschwindigkeit, Nähe zur Mitte einer Fahrspur, seitliche Geschwindigkeit, Fahrtrichtung, Entfernung vom Host-Fahrzeug, Kurs oder andere Parameter, die zur Bestimmung einer möglichen Unfallhaftung basierend auf einer der oben beschriebenen Regeln verwendet werden können. Die Verarbeitungseinrichtung kann die bestimmte eine oder mehrere Charakteristik(en) des Navigationszustands des identifizierten Zielfahrzeugs mit mindestens einer Unfallhaftpflichtregel vergleichen (z.B. mit einer der oben beschriebenen Regeln, wie Gewinn durch seitliche Geschwindigkeit, Richtungspriorität, Gewinn durch Nähe zur Fahrspurmitte, folgende oder führende Distanz und Einschneiden usw.). Basierend auf dem Vergleich des Zustands mit einer oder mehreren Regeln kann die Verarbeitungseinrichtung mindestens einen Wert speichern, der auf eine mögliche Unfallhaftung des identifizierten Zielfahrzeugs hinweist. Und im Falle eines Unfalls kann die Verarbeitungseinrichtung eine Ausgabe des gespeicherten mindestens einen Wertes bereitstellen (z.B. über jede geeignete Datenschnittstelle, entweder drahtgebunden oder drahtlos). Eine solche Ausgabe kann z.B. nach einem Unfall zwischen dem Host-Fahrzeug und mindestens einem Zielfahrzeug bereitgestellt werden, und die Ausgabe kann für den Unfall verwendet werden oder anderweitig einen Hinweis auf die Haftung für den Unfall liefern.
Der mindestens eine Wert, der auf eine mögliche Unfallhaftung hinweist, kann zu jeder geeigneten Zeit und unter allen geeigneten Bedingungen gespeichert werden. In einigen Ausführungsformen kann die mindestens eine Verarbeitungsvorrichtung einen Kollisionshaftpflichtwert für das identifizierte Zielfahrzeug zuweisen und speichern, wenn bestimmt wird, dass das Host-Fahrzeug eine Kollision mit dem identifizierten Zielfahrzeug nicht vermeiden kann.
Die Fähigkeit zur Verfolgung der Unfallhaftpflicht ist nicht auf ein einzelnes Zielfahrzeug beschränkt, sondern kann vielmehr dazu verwendet werden, potenzielle Unfallhaftpflicht für eine Vielzahl von angetroffenen Zielfahrzeugen zu verfolgen. Beispielsweise kann die mindestens eine Verarbeitungsvorrichtung so programmiert werden, dass sie eine Vielzahl von Zielfahrzeugen in der Umgebung des Host-Fahrzeugs erkennt, Navigationscharakteristiken für jedes der Vielzahl von Zielfahrzeugen bestimmt und Werte bestimmt und speichert, die auf der Grundlage von Vergleichen der jeweiligen Navigationscharakteristiken für jedes der Zielfahrzeuge mit der mindestens einen Unfallhaftpflichtregel auf eine potentielle Unfallhaftung seitens der jeweiligen der Vielzahl von Zielfahrzeugen schließen lassen. Wie bereits erwähnt, können die als Grundlage für die Haftpflichtverfolgung verwendeten Unfallhaftungsregeln jede der oben beschriebenen Regeln oder jede andere geeignete Regel beinhalten. Beispielsweise kann die mindestens eine Unfallhaftpflichtregel eine seitliche Geschwindigkeitsregel, eine seitliche Positionsregel, eine Fahrtrichtungsprioritätsregel, eine auf Ampeln basierende Regel, eine auf Verkehrszeichen basierende Regel, eine Routenprioritätsregel usw. beinhalten. Die Funktion zur Verfolgung der Unfallhaftpflicht kann auch mit einer sicheren Navigation gekoppelt werden, basierend auf RSS-Überlegungen (z.B. ob eine Aktion des Host-Fahrzeugs zu einer potenziellen Haftung für einen daraus resultierenden Unfall führen würde).
Zusätzlich zur Navigation auf der Grundlage von Überlegungen zur Unfallhaftung gemäß RSS kann die Navigation auch im Hinblick auf die Navigationszustände von Fahrzeugen und die Bestimmung, ob ein bestimmter, zukünftiger Navigationszustand als sicher gilt, betrachtet werden (z.B. ob ein DEP existiert, so dass Unfälle vermieden werden können oder ein daraus resultierender Unfall nicht als Verschulden des Host-Fahrzeuges angesehen wird, wie oben im Detail beschrieben). Das Host-Fahrzeug kann so gesteuert werden, dass es von einem sicheren Zustand in einen sicheren Zustand navigiert. Beispielsweise kann die Fahrstrategie in einem bestimmten Zustand dazu verwendet werden, eine oder mehrere geplante Navigationsaktionen zu generieren, und diese Aktionen können getestet werden, indem bestimmt wird, ob die vorhergesagten zukünftigen Zustände, die zu jeder geplanten Aktion korrespondieren, eine DEP bieten würden. Wenn dies der Fall ist, können die geplante(n) Navigationsaktion(en), die die DEP bereitstellen, als sicher angesehen werden und sich für die Ausführung qualifizieren.
In einigen Ausführungsformen kann ein Navigationssystem für ein Host-Fahrzeug mindestens eine Verarbeitungsvorrichtung beinhalten, die programmiert ist zum: von einer Bilderfassungsvorrichtung mindestens ein Bild zu empfangen, das repräsentativ für eine Umgebung des Host-Fahrzeugs ist; basierend auf mindestens einer Fahrstrategie eine geplante Navigationsaktion zu bestimmen, um ein Navigationsziel des Host-Fahrzeugs zu erreichen; das mindestens eine Bild zu analysieren, um ein Zielfahrzeug in der Umgebung des Host-Fahrzeugs zu identifizieren; die geplante Navigationsaktion anhand mindestens einer Unfallhaftpflichtregel zu testen, um die potentielle Unfallhaftpflicht für das Host-Fahrzeug in Bezug auf das identifizierte Zielfahrzeug zu bestimmen; wenn der Test der geplanten Navigationsaktion gegen die mindestens eine Unfallhaftpflichtregel darauf hinweist, dass eine potenzielle Unfallhaftpflicht für das Host-Fahrzeug bestehen könnte, wenn die geplante Navigationsaktion durchgeführt wird, dann veranlassen Sie das Host-Fahrzeug, die geplante Navigationsaktion nicht auszuführen; und wenn der Test der geplanten Navigationsaktion gegen die mindestens eine Unfallhaftpflichtregel darauf hinweist, dass keine Unfallhaftpflicht für das Host-Fahrzeug entstehen würde, wenn die geplante Navigationsaktion durchgeführt wird, dann veranlassen Sie das Host-Fahrzeug, die geplante Navigationsaktion auszuführen.
In einigen Ausführungsformen kann ein Navigationssystem für ein Host-Fahrzeug mindestens eine Verarbeitungsvorrichtung beinhalten, auf die programmiert ist: von einer Bilderfassungsvorrichtung mindestens ein Bild zu empfangen, das repräsentativ für eine Umgebung des Host-Fahrzeugs ist; basierend auf mindestens einer Fahrstrategie eine Vielzahl von möglichen Navigationsaktionen für das Host-Fahrzeug zu bestimmen; das mindestens eine Bild zu analysieren, um ein Zielfahrzeug in der Umgebung des Host-Fahrzeugs zu identifizieren; Testen der Vielzahl potentieller Navigationsaktionen anhand mindestens einer Unfallhaftpflichtregel zur Bestimmung der potentiellen Unfallhaftpflicht für das Host-Fahrzeug in Bezug auf das identifizierte Zielfahrzeug; Auswählen einer der potentiellen Navigationsaktionen, für die der Test anzeigt, dass keine Unfallhaftpflicht für das Host-Fahrzeug entstehen würde, wenn die ausgewählte potentielle Navigationsaktion durchgeführt wird; und Veranlassen, dass das Host-Fahrzeug die ausgewählte potentielle Navigationsaktion ausführt. In einigen Fällen kann die ausgewählte potenzielle Navigationsaktion aus einer Untermenge der Vielzahl potenzieller Navigationsaktionen ausgewählt werden, für die die Prüfung ergibt, dass keine Unfallhaftung für das Host-Fahrzeug entstehen würde, wenn eine aus der Untermenge der Vielzahl potenzieller Navigationsaktionen durchgeführt würde. Darüber hinaus kann in einigen Fällen die ausgewählte potentielle Navigationsaktion in Abhängigkeit von einem Bewertungsparameter ausgewählt werden.
In einigen Ausführungsformen kann ein System zur Navigation eines Host-Fahrzeugs mindestens eine Verarbeitungsvorrichtung beinhalten, die so programmiert ist, dass sie von einer Bilderfassungsvorrichtung mindestens ein Bild empfängt, das repräsentativ für eine Umgebung des Host-Fahrzeugs ist, und basierend auf mindestens einer Fahrstrategie eine geplante Navigationsaktion bestimmt, um ein Navigationsziel des Host-Fahrzeugs zu erreichen. Die Verarbeitungseinrichtung kann auch das mindestens eine Bild analysieren, um ein Zielfahrzeug in der Umgebung des Host-Fahrzeugs zu identifizieren; eine Folgezustand-Distanz zwischen dem Host-Fahrzeug und dem Zielfahrzeug zu bestimmen, die sich ergeben würde, wenn die geplante Navigationsaktion durchgeführt würde; eine aktuelle maximale Bremsfähigkeit des Host-Fahrzeugs und eine aktuelle Geschwindigkeit des Host-Fahrzeugs zu bestimmen; eine aktuelle Geschwindigkeit des Zielfahrzeugs zu bestimmen und eine maximale Bremsfähigkeit des Zielfahrzeugs basierend auf mindestens einer erkannten Charakteristik des Zielfahrzeugs anzunehmen; und die geplante Navigationsaktion ausführen, wenn das Host-Fahrzeug angesichts der maximalen Bremsfähigkeit des Host-Fahrzeuges und der aktuellen Geschwindigkeit des Host-Fahrzeuges innerhalb eines Anhalteweges angehalten werden kann, der kleiner ist als der bestimmte Folgezustand-Distanz, summiert mit einem Ziel-Fahrweg des Fahrzeuges, der basierend auf der aktuellen Geschwindigkeit des Zielfahrzeuges und der angenommenen maximalen Bremsfähigkeit des Zielfahrzeuges bestimmt wird. Der Anhalteweg kann ferner einen Abstand beinhalten, den das Host-Fahrzeug während einer Reaktionszeit ohne Bremsung zurücklegt.
Die erkannte Charakteristik des Zielfahrzeugs, anhand derer die maximale Bremsfähigkeit des Zielfahrzeugs bestimmt wird, kann jede geeignete Charakteristik beinhalten. In einigen Ausführungsformen kann die Charakteristik eine Fahrzeugart (z.B. Motorrad, Auto, Bus, LKW, die jeweils unterschiedlichen Bremsprofilen zugeordnet werden können), die Fahrzeuggröße, ein vorausberechnetes oder bekanntes Fahrzeuggewicht, ein Fahrzeugmodell (z.B. das zum Nachschlagen einer bekannten Bremsfähigkeit verwendet werden kann) usw. beinhalten.
In einigen Fällen kann die Bestimmung des sicheren Zustands relativ zu mehr als einem Zielfahrzeug erfolgen. Zum Beispiel kann in einigen Fällen eine Bestimmung des sicheren Zustands (basierend auf Distanz und Bremsfähigkeit) auf zwei oder mehr identifizierten Zielfahrzeugen, die ein Host-Fahrzeug führen, basieren. Eine solche Bestimmung kann insbesondere dann nützlich sein, wenn keine Informationen darüber vorliegen, was sich vor dem vordersten Zielfahrzeug befindet. In solchen Fällen kann zum Zwecke der Bestimmung eines sicheren Zustands, eines sicheren Abstands und/oder des verfügbaren DEP davon ausgegangen werden, dass das vorderste erkennbare Fahrzeug eine unmittelbar bevorstehende Kollision mit einem unbeweglichen oder nahezu unbeweglichen Hindernis erleben wird, so dass das nachfolgende Zielfahrzeug schneller zum Stillstand kommen kann, als sein eigenes Bremsprofil es erlaubt (z.B. kann das zweite Zielfahrzeug mit einem ersten, vorderste Fahrzeug kollidieren und daher schneller zum Stillstand kommen, als es die erwarteten maximalen Bremsbedingungen erlauben). In solchen Fällen kann es wichtig sein, den sicheren Zustand, den sicheren Abstand und die DEP-Bestimmung auf dem Standort des ersten identifizierten Zielfahrzeugs relativ zum Host-Fahrzeug zu basieren.
In einigen Ausführungsformen kann ein solches Navigationssystem vom sicheren Zustand zum sicheren Zustand mindestens eine Verarbeitungsvorrichtung beinhalten, die so programmiert ist, dass sie von einer Bilderfassungsvorrichtung mindestens ein Bild empfängt, das repräsentativ für eine Umgebung des Host-Fahrzeugs ist. Hier, wie auch bei anderen Ausführungsformen, kann die von einer Bilderfassungsvorrichtung (z.B. einer Kamera) erfasste Bildinformation durch Informationen ergänzt werden, die von einem oder mehreren anderen Sensoren, wie z.B. einem LIDAR- oder RADAR-System, erhalten werden. In einigen Ausführungsformen können die zur Navigation verwendeten Bildinformationen sogar von einem LIDAR- oder RADAR-System und nicht von einer optischen Kamera stammen. Der mindestens eine Prozessor kann basierend auf mindestens einer Fahrstrategie eine geplante Navigationsaktion bestimmen, um ein Navigationsziel des Host-Fahrzeugs zu erreichen. Die Verarbeitungseinrichtung kann das mindestens eine Bild (z.B. von einer beliebigen Kamera, einem RADAR, einem LIDAR oder einer beliebigen anderen Vorrichtung, von der ein Bild der Umgebung des Host-Fahrzeugs erhalten werden kann, sei es auf optischer Basis, einer Entfernungskarte usw.) analysieren, um ein erstes Zielfahrzeug vor dem Host-Fahrzeug und ein zweites Zielfahrzeug vor dem ersten Zielfahrzeug zu identifizieren. Die Verarbeitungseinrichtung kann dann eine Folgezustand-Distanz zwischen dem Host-Fahrzeug und dem zweiten Zielfahrzeug bestimmen, die sich ergeben würde, wenn die geplante Navigationsaktion durchgeführt würde. Als nächstes kann die Verarbeitungseinrichtung eine aktuelle maximale Bremsfähigkeit des Host-Fahrzeugs und eine aktuelle Geschwindigkeit des Host-Fahrzeugs bestimmen. Die Verarbeitungseinrichtung kann die geplante Navigationsaktion ausführen, wenn angesichts der maximalen Bremsfähigkeit des Host-Fahrzeugs und der aktuellen Geschwindigkeit des Host-Fahrzeugs das Host-Fahrzeug innerhalb eines Anhaltewegs angehalten werden kann, der kürzer ist als der bestimmte Folgezustand-Distanz zwischen dem Host-Fahrzeug und dem zweiten Zielfahrzeug.
Das heißt, wenn die Verarbeitungseinrichtung des Host-Fahrzeugs bestimmt, dass zwischen dem führenden sichtbaren Zielfahrzeug und dem Host-Fahrzeug genügend Abstand besteht, um in einer Folgezustand-Distanz zu stoppen, ohne Kollision oder ohne Zusammenstoß, für den das Host-Fahrzeug verantwortlich wäre, und unter der Annahme, dass das führende sichtbare Zielfahrzeug zu irgendeinem Zeitpunkt plötzlich zum vollständigen Stillstand kommt, dann kann die Verarbeitungseinrichtung des Host-Fahrzeugs die geplante Navigationsaktion durchführen. Würde andererseits der Raum zum Anhalten des Host-Fahrzeugs ohne Kollision nicht ausreichen, kann die geplante Navigationsaktion nicht durchgeführt werden.
Während die Folgezustand-Distanz in einigen Ausführungsformen als Maßstab verwendet werden kann, kann in anderen Fällen ein anderer Entfernungswert zur Bestimmung der geplanten Navigationsaktion herangezogen werden. In einigen Fällen, wie in dem oben beschriebenen, kann die tatsächliche Distanz, in der das Host-Fahrzeug angehalten werden muss, um eine Kollision zu vermeiden, geringer sein als die vorhergesagte Folgezustand-Distanz. Wenn z.B. das führende, sichtbare Zielfahrzeug von einem oder mehreren anderen Fahrzeugen (z.B. dem ersten Zielfahrzeug im obigen Beispiel) verfolgt wird, wäre die tatsächlich vorausgesagte erforderliche Anhalteweg-Distanz die vorausgesagte Folgezustand-Distanz abzüglich der Länge des Zielfahrzeugs/der Zielfahrzeuge, die dem führenden, sichtbaren Zielfahrzeug folgen. Wenn das führende sichtbare Zielfahrzeug sofort zum Stillstand kommt, kann davon ausgegangen werden, dass die nachfolgenden Zielfahrzeuge mit dem führenden sichtbaren Zielfahrzeug kollidieren würden und daher auch sie vom Host-Fahrzeug umfahren werden müssten, um eine Kollision zu vermeiden. Somit kann die Verarbeitungseinheit des Host-Fahrzeuges die Folgezustand-Distanz abzüglich der summierten Längen aller dazwischenliegenden Zielfahrzeuge zwischen dem Host-Fahrzeug und dem führenden, sichtbaren/erkannten Zielfahrzeug bestimmen, um zu bestimmen, ob es genügend Raum gäbe, um das Host-Fahrzeug unter maximalen Bremsbedingungen ohne Kollision zum Stillstand zu bringen.
In anderen Ausführungsformen kann die Bezugsdistanz für die Bewertung einer Kollision zwischen dem Host-Fahrzeug und einem oder mehreren führenden Zielfahrzeugen größer sein als die vorhergesagte Folgezustand-Distanz. Beispielsweise kann in einigen Fällen das führende sichtbare/erkannte Zielfahrzeug schnell, aber nicht sofort zum Anhalten kommen, so dass das führende sichtbare/erkannte Zielfahrzeug eine kurze Distanz nach der angenommenen Kollision zurücklegt. Wenn dieses Fahrzeug beispielsweise auf ein geparktes Auto trifft, kann das kollidierende Fahrzeug noch eine gewisse Distanz zurücklegen, bevor es zum Anhalteweg kommt. Die nach der angenommenen Kollision zurückgelegte Distanz kann geringer sein als ein angenommener oder bestimmter minimaler Anhalteweg für das betreffende Zielfahrzeug. Daher kann in einigen Fällen die Verarbeitungseinheit des Host-Fahrzeugs bei der Beurteilung, ob die geplante Navigationsaktion durchgeführt werden soll, die Folgezustand-Distanz verlängern. Beispielsweise kann bei dieser Bestimmung die Folgezustand-Distanz um 5%, 10%, 20% usw. erhöht oder durch eine vorbestimmte feste Distanz (10 m, 20 m, 50 m usw.) ergänzt werden, um eine angemessene Distanz zu berücksichtigen, die das führende/sichtbare Zielfahrzeug nach einer angenommenen bevorstehenden Kollision zurücklegen kann.
Zusätzlich zur Verlängerung der Folgezustand-Distanz bei der Auswertung um einen angenommenen Distanzwert kann die Folgezustand-Distanz modifiziert werden, indem sowohl die nach der Kollision vom führenden sichtbaren/erkannten Zielfahrzeug zurückgelegte Distanz als auch die Längen aller Zielfahrzeuge berücksichtigt werden, die dem führenden sichtbaren/erkannten Zielfahrzeug folgen (wobei davon ausgegangen werden kann, dass sie sich nach dem plötzlichen Anhalteweg des führenden sichtbaren/erkannten Fahrzeugs mit diesem stapeln).
Zusätzlich dazu, dass die Bestimmung darauf basiert, ob die geplante Navigationsaktion auf der Folgezustand-Distanz zwischen dem Host-Fahrzeug und dem führenden sichtbaren/erkannten Zielfahrzeug (modifiziert durch Berücksichtigung der Bewegung des führenden sichtbaren/erkannten Zielfahrzeugs nach der Kollision und/oder der Längen der Fahrzeuge, die dem führenden sichtbaren/erkannten Zielfahrzeug folgen) durchgeführt werden soll, kann das Host-Fahrzeug bei seiner Bestimmung weiterhin die Bremsfähigkeit eines oder mehrerer führender Fahrzeuge berücksichtigen. Beispielsweise kann die Verarbeitungseinheit des Host-Fahrzeugs weiterhin eine Folgezustand-Distanz zwischen dem Host-Fahrzeug und dem ersten Zielfahrzeug bestimmen (z.B, ein Zielfahrzeug, das dem führenden sichtbaren/erkannten Zielfahrzeug folgt), der sich ergeben würde, wenn die geplante Navigationsaktion durchgeführt würde; eine aktuelle Geschwindigkeit des ersten Zielfahrzeugs bestimmen und eine maximale Bremsfähigkeit des ersten Zielfahrzeugs basierend auf mindestens einer erkannten Charakteristik des ersten Zielfahrzeugs annehmen; und die geplante Navigationsaktion nicht implementieren, wenn angesichts der maximalen Bremsfähigkeit des Host-Fahrzeugs und der aktuellen Geschwindigkeit des Host-Fahrzeugs das Host-Fahrzeug nicht innerhalb eines Anhaltewegs angehalten werden kann, der kleiner ist als der bestimmte Folgezustand-Distanz zwischen dem Host-Fahrzeug und dem ersten Zielfahrzeug, summiert mit einem ersten Zielfahrzeug-Fahrweg, der basierend auf der aktuellen Geschwindigkeit des ersten Zielfahrzeugs und der angenommenen maximalen Bremsfähigkeit des ersten Zielfahrzeugs bestimmt wird. Hier, wie in den oben beschriebenen Beispielen, kann die erkannte Charakteristik des ersten Zielfahrzeugs eine Fahrzeugart, eine Fahrzeuggröße, ein Fahrzeugmodell usw. beinhalten.
In einigen Fällen (z.B. durch Aktionen anderer Fahrzeuge) kann das Host-Fahrzeug bestimmen, dass eine Kollision unmittelbar bevorsteht und unvermeidbar ist. In solchen Fällen kann die Verarbeitungseinheit des Host-Fahrzeugs so konfiguriert sein, dass sie eine Navigationsaktion (falls verfügbar) auswählt, bei der die resultierende Kollision zu keiner Haftung gegenüber dem Host-Fahrzeug führen würde. Zusätzlich oder alternativ kann die Verarbeitungseinheit des Host-Fahrzeugs so konfiguriert werden, dass sie eine Navigationsaktion auswählt, die weniger potentielle Schäden am Host-Fahrzeug oder weniger potentielle Schäden an einem Zielobjekt als die aktuelle Trajektorie oder relativ zu einer oder mehreren anderen Navigationsoptionen bietet. Darüber hinaus kann der Prozessor des Host-Fahrzeugs in einigen Fällen eine Navigationsaktion basierend auf Überlegungen über die Art des Objekts oder der Objekte, für die eine Kollision erwartet wird, auswählen. Wenn es beispielsweise bei einer ersten Navigationsaktion zu einer Kollision mit einem geparkten Auto oder bei einer zweiten Navigationsaktion mit einem unbeweglichen Objekt kommt, kann die Aktion ausgewählt werden, die dem Host-Fahrzeug den geringsten potenziellen Schaden zufügt (z.B. die Aktion, die zu einer Kollision mit dem geparkten Auto führt). Bei einer Kollision mit einem Auto, das sich bei einer ersten Navigationsaktion in eine ähnliche Richtung wie das Host-Fahrzeug bewegt, oder bei einer zweiten Navigationsaktion mit einem geparkten Auto kann die Aktion gewählt werden, die dem Host-Fahrzeug den geringsten potenziellen Schaden zufügt (z.B. die Aktion, die zu einer Kollision mit dem fahrenden Fahrzeug führt). Bei einer Kollision mit einem Fußgänger als Ergebnis einer ersten Navigationsaktion oder mit einem anderen Objekt für eine zweite Navigationsaktion kann die Aktion gewählt werden, die eine beliebige Alternative zur Kollision mit einem Fußgänger bietet.
In der Praxis kann das System zur Navigation eines Host-Fahrzeugs mindestens eine Verarbeitungsvorrichtung beinhalten, die so programmiert ist, dass sie von einer Bilderfassungsvorrichtung mindestens ein Bild empfängt, das repräsentativ für eine Umgebung des Host-Fahrzeugs ist (z.B, ein sichtbares Bild, ein LIDAR-Bild, ein RADAR-Bild usw.); von mindestens einem Sensor einen Indikator für einen aktuellen Navigationszustand des Host-Fahrzeugs zu empfangen; und basierend auf der Analyse des mindestens einen Bildes und basierend auf dem Indikator für den aktuellen Navigationszustand des Host-Fahrzeugs zu bestimmen, dass eine Kollision zwischen dem Host-Fahrzeug und einem oder mehreren Objekten unvermeidbar ist. Die Verarbeitungseinheit kann verfügbare Alternativen bewerten. Beispielsweise kann der Prozessor basierend auf mindestens einer Fahrstrategie eine erste geplante Navigationsaktion für das Host-Fahrzeug bestimmen, die eine erwartete Kollision mit einem ersten Objekt beinhaltet, und eine zweite geplante Navigationsaktion für das Host-Fahrzeug, die eine erwartete Kollision mit einem zweiten Objekt beinhaltet. Die erste und die zweite geplante Navigationsaktion können anhand mindestens einer Unfallhaftpflichtregel getestet werden, um die potenzielle Unfallhaftpflicht zu bestimmen. Wenn der Test der ersten geplanten Navigationshandlung gegen die mindestens eine Unfallhaftpflichtregel ergibt, dass eine potenzielle Unfallhaftpflicht für das Host-Fahrzeug bestehen könnte, wenn die erste geplante Navigationshandlung durchgeführt wird, kann die Verarbeitungseinheit das Host-Fahrzeug veranlassen, die erste geplante Navigationshandlung nicht zu implementieren. Wenn die Prüfung der zweiten geplanten Navigationsaktion gegen die mindestens eine Unfallhaftpflichtregel ergibt, dass keine Unfallhaftpflicht für das Host-Fahrzeug entstehen würde, wenn die zweite geplante Navigationsaktion durchgeführt wird, kann der Prozessor das Host-Fahrzeug veranlassen, die zweite geplante Navigationsaktion zu implementieren. Die Objekte können andere Fahrzeuge oder nicht-fahrzeuggebundene Objekte beinhalten (z.B. Straßenschutt, Bäume, Masten, Schilder, Fußgänger usw.).
Die folgenden Figuren und Diskussionen liefern Beispiele für verschiedene Szenarien, die bei der Navigation und Implementierung der offengelegten Systeme und Verfahren auftreten können. In diesen Beispielen kann es vorkommen, dass ein Host-Fahrzeug eine Aktion vermeidet, die zu einer Schuldzuweisung an das Host-Fahrzeug für einen daraus resultierenden Unfall führen würde, wenn die Aktion durchgeführt wird.
Die 28A und 28B veranschaulichen ein Beispiel für folgende Szenarien und Regeln. Wie in 28A dargestellt, stellt die Region um das Fahrzeug 2804 (z.B. ein Zielfahrzeug) einen Korridor für einen Mindestsicherheitsabstand für das Fahrzeug 2802 (z.B. ein Host-Fahrzeug) dar, das in der Fahrspur eine Distanz hinter dem Fahrzeug 2804 fährt. Gemäss einer Regel, die konsistent mit den offenbarten Ausführungsformen ist, muss Fahrzeug 2802 einen Mindestsicherheitsabstand einhalten, indem es in der Umgebung von Fahrzeug 2802 bleibt, um einen Unfall zu vermeiden, bei dem die Schuld dem Fahrzeug 2802 zuzuschreiben ist. Im Gegensatz dazu ist, wie in 28B dargestellt, Fahrzeug 2802 bei einem Unfall schuld, wenn Fahrzeug 2804 bremst.
Die 29A und 29B veranschaulichen beispielhafte Schuldzuweisungen in Einschneideszenarien. In diesen Szenarien bestimmen sichere Korridore um das Fahrzeug 2902 den Fehler bei Einschneidemanövern. Wie in 29A dargestellt, schneidet Fahrzeug 2902 vor Fahrzeug 2904 ein, verletzt den Sicherheitsabstand (dargestellt durch die Region um Fahrzeug 2904) und ist daher schuld. Wie in 29B dargestellt, schneidet Fahrzeug 2902 vor Fahrzeug 2904 ein, hält aber einen Sicherheitsabstand vor Fahrzeug 2904 ein.
Die 30A und 30B veranschaulichen beispielhafte Schuldzuweisungen in Einschneideszenarien. In diesen Szenarien bestimmen die sicheren Korridore um das Fahrzeug 3004, ob das Fahrzeug 3002 schuld ist. In 30A fährt Fahrzeug 3002 hinter Fahrzeug 3006 und wechselt in die Fahrspur, in der Zielfahrzeug 3004 fährt. In diesem Szenario verletzt Fahrzeug 3002 einen Sicherheitsabstand und ist daher im Falle eines Unfalls schuld, wenn es zu einem Unfall kommt. In 30B schneidet Fahrzeug 3002 hinter Fahrzeug 3004 ein und hält einen Sicherheitsabstand ein.
Die 31A-31D veranschaulichen beispielhafte Schuldzuweisungen in Drift-Szenarien. In 31A beginnt das Szenario mit einem leichten seitlichen Manöver von Fahrzeug 3104, das in den breiten Korridor von Fahrzeug 3102 einschneidet. In 31B schneidet das Fahrzeug 3104 weiter in den normalen Korridor des Fahrzeugs 3102 ein und verletzt dabei einen Sicherheitsabstand. Fahrzeug 3104 ist schuld, wenn es zu einem Unfall kommt. In 31C behält Fahrzeug 3104 seine Ausgangsposition bei, während Fahrzeug 3102 sich seitlich bewegt und dabei eine Verletzung eines normalen Sicherheitsabstandskorridors „erzwingt“. Fahrzeug 3102 ist schuld, wenn es zu einem Unfall kommt. In 31B bewegen sich die Fahrzeuge 3102 und 3104 seitlich aufeinander zu. Im Falle eines Unfalls sind beide Fahrzeuge gemeinsam schuld.
Die 32A und 32B zeigen beispielhafte Schuldzuweisungen in Gegenverkehrsszenarien. In 32A überholt Fahrzeug 3202 Fahrzeug 3206, und Fahrzeug 3202 hat ein Einschneidemanöver durchgeführt, bei dem ein sicherer Abstand zu Fahrzeug 3204 eingehalten wurde. Wenn es zu einem Unfall kommt, ist Fahrzeug 3204 schuld daran, dass es nicht mit angemessener Kraft gebremst hat. In 32B schneidet Fahrzeug 3202 ein, ohne einen sicheren Längsabstand zu Fahrzeug 3204 einzuhalten. Im Falle eines Unfalls ist Fahrzeug 3202 schuld.
Die 33A und 33B zeigen beispielhafte Schuldzuweisungen in Gegenverkehrsszenarien. In 33A driftet das Fahrzeug 3302 in den Weg des entgegenkommenden Fahrzeugs 3204 und hält dabei einen Sicherheitsabstand ein. Im Falle eines Unfalls ist das Fahrzeug 3204 dafür verantwortlich, dass es nicht mit angemessener Kraft gebremst hat. In 33B driftet Fahrzeug 3202 in den Weg des entgegenkommenden Fahrzeugs 3204 und verletzt dabei einen Sicherheitsabstand in Längsrichtung. Im Falle eines Unfalls ist das Fahrzeug 3202 schuld.
Die 34A und 34B veranschaulichen beispielhafte Schuldzuweisungen in Routenprioritätsszenarien. In 34A fährt Fahrzeug 3402 ein Stoppschild. Dem Fahrzeug 3402 wird die Schuld dafür gegeben, dass es die dem Fahrzeug 3404 von der Ampel zugewiesene Priorität nicht eingehalten hat. In 34B hatte Fahrzeug 3402 zwar keine Priorität, befand sich aber bereits an der Kreuzung, als die Ampel von Fahrzeug 3404 grün wurde. Wenn Fahrzeug 3404 auf 3402 trifft, wäre Fahrzeug 3404 schuld.
Die 35A und 35B veranschaulichen beispielhafte Schuldzuweisungen in Routenprioritätsszenarien. In 35A fährt das Fahrzeug 3502 rückwärts in den Weg eines entgegenkommenden Fahrzeugs 3504. Fahrzeug 3502 führt ein Einschneidemanöver aus und hält dabei einen Sicherheitsabstand ein. Im Falle eines Unfalls ist das Fahrzeug 3504 dafür verantwortlich, dass es nicht mit angemessener Kraft gebremst hat. In 35B schneidet das Fahrzeug 3502 Auto ein, ohne einen sicheren Längsabstand einzuhalten. Im Falle eines Unfalls ist das Fahrzeug 3502 schuld.
Die 36A und 36B veranschaulichen beispielhafte Schuldzuweisungen in Routenprioritätsszenarien. In 36A fahren Fahrzeug 3602 und Fahrzeug 3604 in die gleiche Richtung, während Fahrzeug 3602 nach links über den Weg von Fahrzeug 3604 abbiegt. Fahrzeug 3602 führt ein Einschneidemanöver aus und hält dabei einen sicheren Abstand ein. Im Falle eines Unfalls ist Fahrzeug 3604 dafür verantwortlich, dass es nicht mit angemessener Kraft bremst. In 36B schneidet Fahrzeug 3602 ein, ohne einen sicheren Längsabstand einzuhalten. Im Falle eines Unfalls ist Fahrzeug 3602 schuld.
Die 37A und 37B veranschaulichen beispielhafte Schuldzuweisungen in Routenprioritätsszenarien. In 37A will Fahrzeug 3702 links abbiegen, muss aber dem entgegenkommenden Fahrzeug 3704 weichen. Fahrzeug 3702 biegt nach links ab und verletzt den Sicherheitsabstand zu Fahrzeug 3704. Die Schuld liegt bei Fahrzeug 3702. In 37B biegt Fahrzeug 3702 nach links ab und hält einen Sicherheitsabstand zu Fahrzeug 3704 ein. Im Falle eines Unfalls ist das Fahrzeug 3704 schuld daran, dass es nicht mit angemessener Kraft gebremst hat.
Die 38A und 38B veranschaulichen beispielhafte Schuldzuweisungen in Routenprioritätsszenarien. In 38A fahren Fahrzeug 3802 und Fahrzeug 3804 geradeaus, und Fahrzeug 3802 hat ein Stoppschild. Fahrzeug 3802 fährt in die Kreuzung ein und verletzt einen Sicherheitsabstand zu Fahrzeug 3804. Die Schuld liegt bei Fahrzeug 3802. In 38B fährt Fahrzeug 3802 in die Kreuzung ein, wobei es einen Sicherheitsabstand zu Fahrzeug 3804 einhält. Im Falle eines Unfalls ist das Fahrzeug 3804 schuld, weil es nicht mit angemessener Kraft gebremst hat.
Die 39A und 39B veranschaulichen beispielhafte Schuldzuweisungen in Routenprioritätsszenarien. In 39A will Fahrzeug 3902 links abbiegen, muss aber dem von rechts kommenden Fahrzeug 3904 weichen. Fahrzeug 3902 fährt in die Kreuzung ein und verletzt die Vorfahrt und einen Sicherheitsabstand zu Fahrzeug 3904. Die Schuld liegt beim Fahrzeug 3902. In 39B fährt Fahrzeug 3902 in die Kreuzung ein, wobei es die Vorfahrt und einen Sicherheitsabstand zu Fahrzeug 3904 einhält. Im Falle eines Unfalls ist das Fahrzeug 3904 schuld, weil es nicht mit angemessener Kraft gebremst hat.
Die 40A und 40B zeigen beispielhafte Schuldzuweisungen in Ampelszenarien. In 40A fährt das Fahrzeug 4002 mit einer roten Ampel. Dem Fahrzeug 4002 wird die Schuld dafür gegeben, dass es die dem Fahrzeug 4004 von der Ampel zugewiesene Priorität nicht beachtet hat. In 40B hatte Fahrzeug 4002 zwar keine Priorität, befand sich aber bereits in der Kreuzung, als die Ampel für Fahrzeug 4004 grün wurde. Wenn Fahrzeug 4004 auf Fahrzeug 4002 trifft, wäre Fahrzeug 4004 schuld.
Die 41A und 41B veranschaulichen beispielhafte Schuldzuweisungen in Ampelszenarien. Fahrzeug 4102 biegt links ab und überquert den Weg des entgegenkommenden Fahrzeugs 4104. Fahrzeug 4104 hat Vorrang. In 41 biegt Fahrzeug 4102 nach links ab und verletzt einen Sicherheitsabstand zu Fahrzeug 4104. Die Schuld wird dem Fahrzeug 4102 zugeschrieben. In 41B biegt Fahrzeug 4102 nach links ab und hält einen Sicherheitsabstand zu Fahrzeug 4104 ein. Im Falle eines Unfalls ist das Fahrzeug 4104 schuld, weil es nicht mit angemessener Kraft gebremst hat.
Die 42A und 42B zeigen beispielhafte Schuldzuweisungen in Ampelszenarien. In 42A biegt Fahrzeug 4202 rechts ab und schneidet in den Weg von Fahrzeug 4204 ein, das geradeaus fährt. Rechts-auf-Rot wird als legales Manöver angenommen, aber Fahrzeug 4204 hat Vorfahrt, da Fahrzeug 4202 einen Sicherheitsabstand zu Fahrzeug 4204 verletzt. Die Schuld wird dem Fahrzeug 4202 zugeschrieben. In 42B biegt Fahrzeug 4202 nach rechts ab und hält einen Sicherheitsabstand zu Fahrzeug 4204 ein. Im Falle eines Unfalls ist das Fahrzeug 4204 schuld daran, dass es nicht mit angemessener Kraft gebremst hat.
43A-43C veranschaulichen Beispielszenarien für gefährdete Straßenbenutzer (VRUs). Unfälle mit Tieren oder VRUs, bei denen das Fahrzeug ein Manöver durchführt, werden mit einigen Ausnahmen als eine Variante eines Einschneidens behandelt, wobei die Schuld standardmäßig beim Auto liegt. In 43A schneidet das Fahrzeug 4302 in den Weg eines Tieres (oder einer VRU) ein, während es einen sicheren Abstand einhält und sicherstellt, dass ein Unfall vermieden werden kann. In 43B schneidet Fahrzeug 4302 in den Weg eines Tieres (oder einer VRU) ein und verletzt dabei den Sicherheitsabstand. Die Schuld wird dem Fahrzeug 4302 zugeschrieben. In 43C bemerkt Fahrzeug 4302 das Tier und hält an, um dem Tier genügend Zeit zum Anhalten zu geben. Wenn das Tier gegen das Auto prallt, ist das Tier schuld.
44A-44C veranschaulichen Beispielszenarien für gefährdete Straßenbenutzer (VRUs). In 44A biegt das Fahrzeug 4402 an einer signalisierten Kreuzung nach links ab und trifft auf einen Fußgänger auf dem Zebrastreifen. Fahrzeug 4402 hat ein rotes Licht und die VRU ein grünes. Fahrzeug 4402 ist fehlerhaft. In 44B hat Fahrzeug 4402 grünes Licht, und die VRU hat rotes Licht. Wenn die VRU in den Zebrastreifen einfährt, liegt ein Fehler der VRU vor. In hat Fahrzeug 4402 grünes Licht, und die VRU hat rotes Licht. Befand sich die VRU bereits auf dem Zebrastreifen, ist das Fahrzeug 4402 fehlerhaft.
45A-45C veranschaulichen Beispielszenarien für gefährdete Straßenbenutzer (VRUs). In biegt Fahrzeug 4502 rechts ab und trifft auf einen Radfahrer. Der Radfahrer hat grünes Licht. Fahrzeug 4502 ist fehlerhaft. In 45B hat der Radfahrer rotes Licht. Wenn der Radfahrer in die Kreuzung einfährt, liegt ein Verschulden des Radfahrers vor. In 45C hat der Radfahrer rotes Licht, befand sich aber bereits in der Kreuzung. Das Fahrzeug 4502 ist schuld.
Die veranschaulichen beispielhafte Szenarien für gefährdete Straßenbenutzer (VRUs). Unfälle mit VRUs, bei denen ein Fahrzeug ein Manöver nicht ausführt, werden standardmäßig dem Auto angelastet, mit einigen Ausnahmen. In 46A muss das Fahrzeug 4602 immer darauf achten, einen sicheren Abstand einzuhalten und sicherzustellen, dass ein Unfall mit einer VRU vermieden werden kann. In 46B ist das Fahrzeug 4602 schuld, wenn es den Sicherheitsabstand nicht einhält. In 46C ist Fahrzeug 4602 schuld, wenn es die Geschwindigkeit nicht so niedrig hält, dass eine Kollision mit einer VRU, die möglicherweise von Fahrzeug 5604 verdeckt wird, vermieden werden kann, oder wenn es über den gesetzlichen Grenzwert hinaus fährt. In 46D, einem weiteren Szenario mit einer potentiellen Verstopfung einer VRU durch Fahrzeug 4604, ist die VRU schuld, wenn Fahrzeug 4602 eine ausreichend niedrige Geschwindigkeit beibehält, die Geschwindigkeit der VRU jedoch über einem vernünftigen Schwellenwert liegt.
Wie hier offenbart, definiert RSS einen Rahmen für Multi-Agent-Szenarien. Unfälle mit statischen Objekten, Straßenabbrüche, Kontrollverlust oder Fahrzeugversagen werden dem Host-Fahrzeug angelastet. RSS definiert vorsichtige Manöver, die keine Unfälle mit anderen Objekten erlauben, es sei denn, andere Objekte manövrieren gefährlich in den Weg des Gastgebers (in diesem Fall sind sie schuld). Im Falle einer sicheren Kollision, bei der die Schuld beim Ziel liegt, wird der Gastgeber seine Bremsen anwenden. Das System darf ein Ausweichmanöver nur dann in Betracht ziehen, wenn das Manöver „vorsichtig“ ist (es wird davon ausgegangen, dass es keinen weiteren Unfall verursacht).
Nichtkollisionszwischenfälle beinhalten Unfälle, die durch Fahrzeugbrände, Schlaglöcher, herabfallende Gegenstände usw. ausgelöst werden. In diesen Fällen kann die Schuld auf den Gastgeber übergehen, mit Ausnahme von Szenarien, die der Gastgeber vermeiden kann, wie Schlaglöcher und herabfallende Gegenstände, die als Szenario „statische Objekte“ eingestuft werden können, vorausgesetzt, sie werden in sicherer Entfernung sichtbar oder es liegt ein vorsichtiges Ausweichmanöver vor. In Szenarien mit mehreren Agenten, in denen das Host-Fahrzeug stationär war, trifft den Gastgeber keine Schuld. In diesem Fall führte das Ziel im Wesentlichen ein nicht sicheres Einschneiden durch. Wenn z.B. ein Radfahrer in ein stehendes Auto einfährt, liegt keine Schuldzuweisung an den Wirt.
RSS beinhalten auch Richtlinien zur Schuldzuweisung, wenn die Straße nicht klar strukturiert ist, wie z.B. Parkplätze oder breite Kreisverkehre ohne Fahrspurmarkierungen. In diesen unstrukturierten Straßenszenarien erfolgt die Schuldzuweisung, indem die Abweichungen jedes Fahrzeugs von seinem Weg untersucht werden, um zu bestimmen, ob sie genügend Distanz erlaubten, damit sich andere Objekte in der Umgebung anpassen konnten.
Zusätzliche Details zur verantwortungsbewussten Sicherheit (RSS)
Wie oben erörtert, stellt RSS eine Menge mathematischer Formeln bereit, die verwendet werden können, um zu gewährleisten, dass ein Fahrzeug, das RSS implementiert, nicht in einen von ihm verursachten Unfall verwickelt wird. Infolgedessen kann RSS in einigen Implementierungen eine Menge von Extremwerten (z. B. einen sicheren Mindestabstand in Längsrichtung) festlegen, die garantieren, dass das Fahrzeug, das RSS implementiert, nicht in einen von ihm verschuldeten Unfall verwickelt wird. In einigen Ausführungsformen kann ein System eine modifizierte RSS implementieren, die eine vorbestimmte betriebliche Hülle umfassen kann, die größer sein kann als das oben beschriebene RSS-Protokoll. Eine solche modifizierte RSS kann zumindest unter bestimmten Umständen ein höheres Sicherheitsniveau bereitstellen und die Wahrscheinlichkeit verringern, dass ein Fahrzeug, das RSS einsetzt, für einen Fehler verantwortlich sein könnte. Ein solches modifiziertes RSS-System wird im Folgenden ausführlicher beschrieben, z.B. in Bezug auf das beschriebene Komfort-RSS-System.
Wie oben diskutiert, kann RSS davon ausgehen, dass ein Host-Fahrzeug mit seiner maximalen Bremsfähigkeit bremst, um eine Kollision mit einem Zielfahrzeug, einer VRU oder einem anderen Objekt zu vermeiden. RSS kann einen sicheren Längsabstand zwischen einem Host-Fahrzeug, praktisch eine Pufferzonen-Distanz, bestimmen, die wie oben beschrieben eine Größe hat, basierend auf der Geschwindigkeit des Host-Fahrzeugs und des Zielfahrzeugs, der maximalen Bremsfähigkeit des Host-Fahrzeugs und des Zielfahrzeugs und dem maximalen Beschleunigungsvermögen des Host-Fahrzeugs über eine Reaktionszeit des Host-Fahrzeugs. Wenn ein Host-Fahrzeug in einen Abstand kommt, der kleiner als der Sicherheitsabstand ist (z.B. der RSS-Abstand), dann kann das Host-Fahrzeug möglicherweise (zumindest in einigen Fällen) nicht anhalten, ohne ein Zielfahrzeug zu berühren, selbst wenn es mit seiner maximalen Bremsleistung bremst, wie in den Beispielen der 28A-46D gezeigt. Das Anwenden der Maximalbremsung, insbesondere wenn diese plötzlich erfolgt, kann als eine extreme Reaktion angesehen werden, die den Fällen vorbehalten bleiben sollte, in denen sie nicht vermeidbar ist. Unter bestimmten Umständen kann die Maximalbremsung für die Fahrgäste unangenehm sein, nachfolgende Fahrzeuge beeinträchtigen, die Fahrzeughardware (Reifen, Bremsbeläge usw.) übermäßig abnutzen usw. Um Maximalbremsszenarien und potenziellen Kontakt mit Zielfahrzeugen zu vermeiden, kann daher zumindest unter bestimmten Umständen oder in einigen Implementierungen eine Fahrstrategie basierend auf dem RSS-Sicherheitsabstand implementiert werden, um einen sicheren Längsabstand zu den Zielfahrzeugen einzuhalten.
Wie oben erwähnt, kann eine RSS-Distanz eine Komponente beinhalten, die vom maximal möglichen Beschleunigungsvermögen abhängt, das das Host-Fahrzeug während eines Zeitraums zwischen einem erfassten Ereignis und der Reaktion des Host-Fahrzeugs auf ein erfasstes Ereignis erfahren kann (d.h. eine mit dem Host-Fahrzeug assoziierte Zeit). Zum Beispiel kann RSS eine Verzögerung zwischen dem Zeitraum, in dem ein Zielfahrzeug, eine VRU oder ein anderes Objekt von einem Host-Fahrzeug erfasst wird, und der Zeit, in der das Host-Fahrzeug beginnt, die Bremse anzuwenden oder ein anderes Navigationsmanöver durchzuführen, berücksichtigen. Beispielsweise können mehrere Millisekunden (oder mehr oder weniger) zwischen der Zeit, in der ein Host-Fahrzeug erkennt, dass ein Zielfahrzeug bremst, und der Zeit, in der das Host-Fahrzeug zu bremsen beginnt oder ein anderes Ausweichmanöver durchführt, liegen. Weitere Einzelheiten in Bezug auf RSS und den RSS-Sicherheitsabstand sind oben beschrieben.
Definition 27 (RSS-Sicherheitsabstand) Ein Längsabstand zwischen einem Auto c_r und einem anderen Auto c_f, das sich im vorderen Korridor von c_r befindet, ist sicher, mit einer Reaktionszeit p, wenn für jede Bremsung von höchstens a_max,brake, durchgeführt von c_f, c_r während der Reaktionszeit p um höchstens a_max,accel und von da an um seine maximale Bremsskraft a_max,brake von Zeit p bis zum vollständigen Halt bremst, keine Kollision mit c_f stattfindet.
Lemma 11 unten berechnet ein Beispiel für einen RSS-Sicherheitsabstand gemäß dieser Ausführungsform für ein Host-Fahrzeug, das einem Zielfahrzeug folgt. Der RSS-Sicherheitsabstand kann eine Annahme über die maximale Bremsleistung und die bestimmte aktuelle Geschwindigkeit eines Zielfahrzeugs beinhalten.
Lemma 11 Sei c_r ein Host-Fahrzeug, das sich auf der Längsachse hinter einem Zielfahrzeug c_f befindet. Sei a_max,brake die maximale Bremsleistung und a_max,accel die maximale Beschleunigung eines Fahrzeuges, v sei die aktuelle Geschwindigkeit eines Fahrzeugs. Sei p die Reaktionszeit des Host-Fahrzeuges c_r. Dann sei der RSS-Sicherheitsabstand für das Host-Fahrzeug c_r: $R S S_{D i s t a n c e} = max (\frac{ν_{1} + (ν_{1} + ρ a_{m a x, a c c e l})}{2} ρ + \frac{{(ν_{1} + ρ a_{m a x, a c c e l})}^{2} - ν_{2}^{2}}{2 a_{m a x, b r a k e}},0)$
Beweis. Der RSS-Sicherheitsabstand kann eine Berechnung des Mindestabstands beinhalten, den die Fahrzeuge bis zum Anhalteweg benötigen würden, wenn sie mit maximaler Bremsleistung a_max,brake. Dieser Mindestabstand kann auf jede oben beschriebene Weise in Bezug auf RSS berechnet werden, wobei die in Lemma 11 verwendete Formel nur beispielhaft ist. Der Mindestabstand, der erforderlich ist, um zum Anhalteweg zu kommen, kann zum Beispiel mit Lemma 2 berechnet werden. Lemma 11 liefert ein Beispiel für die Änderungen, die erforderlich sind, um die Beschleunigung zu berücksichtigen, die während der Antwortperiode p auftreten kann. ν₁ sei die aktuelle Geschwindigkeit eines Host-Fahrzeugs c_r und ν₂ die aktuelle Geschwindigkeit eines Zielfahrzeugs, vgl. Dann beinhaltet für das Host-Fahrzeug c_r die RSS_Distanz eine Berechnung der Geschwindigkeit des Host-Fahrzeugs c_r nach der Beschleunigung mit dem maximalen Beschleunigungsvermögen a_max,accel für die Antwortperiode p und multipliziert diese Geschwindigkeit mit der Antwortperiode p, um eine während der Antwortperiode p zurückgelegte maximale Distanz zu bestimmen: $d_{m a x, ρ} = (ν_{1} + (ν_{1} + ρ a_{m a x, a c c e l})) ρ$
Die Geschwindigkeit des Host-Fahrzeugs, die bei der Bestimmung der sicheren Distanz verwendet wird, kann einer maximal möglichen Geschwindigkeit des Host-Fahrzeugs nach der Beschleunigung während seiner Korrespondenzzeit entsprechen, p. Ist z.B. ν₁ eine aktuelle Geschwindigkeit des Host-Fahrzeugs, p die Reaktionszeit und a_max,accel die maximale Beschleunigung des Host-Fahrzeugs, dann ist die maximal mögliche Geschwindigkeit ν_max,ρ des Host-Fahrzeugs nach der Reaktionszeit ρ: $ν_{m a x, ρ} = ν_{1} + ρ a_{m a x, a c c e l}$
In einigen Ausführungsformen kann ein RSS-Sicherheitsabstand auch eine Komponente beinhalten, die sicherstellt, dass auch dann, wenn sowohl das Host-Fahrzeug als auch das Zielfahrzeug mit maximaler Bremsfähigkeit aus ihrer aktuellen Geschwindigkeit (und nach einer maximalen Beschleunigung des Host-Fahrzeugs während seiner Zeit) anhalten. Eine solche Komponente kann einen Mindestabstand der Annäherungskomponente beinhalten. Der Mindestannäherungsabstand kann mit einer Mindestabstandskomponente in einer RSS-Sicherheitsabstandsberechnung korrespondieren, so dass selbst dann, wenn sowohl das Host-Fahrzeug als auch das Zielfahrzeug während des Anhaltens (und nach der Reaktionszeit des Host-Fahrzeugs bei maximaler Beschleunigung) eine maximale Bremsung anwenden, das Host-Fahrzeug mindestens den Mindestabstand zu einem erfassten Zielfahrzeug, einer VRU oder einem anderen Objekt anhält. Wenn z.B. ein Host-Fahrzeug hinter einem Zielfahrzeug fährt und das Zielfahrzeug beginnt, mit seiner maximalen Bremsleistung zu bremsen, kann das mit RSS ausgerüstete Host-Fahrzeug reagieren, indem es mit seiner maximalen Bremsleistung bremst. Wenn der RSS-Sicherheitsabstand einen Mindestabstand der Annäherungskomponente beinhaltet, dann kann das Host-Fahrzeug mindestens den Mindestabstand vom Zielfahrzeug zum Stillstand kommen. Der Mindestabstand kann vorbestimmt sein (z.B. ein Mindestabstand von 0,5 m, 1 m, 2 m usw.) oder basierend auf einer Menge von Faktoren bestimmt werden, die mit dieser Offenbarung konsistent sind (z.B. eine mit dem Host-Fahrzeug und/oder Zielfahrzeug assoziierte Geschwindigkeit, eine erfasste Wetterbedingung, die Präferenzen eines Benutzers usw.). Der folgende Ausdruck für den RSS-Sicherheitsabstand beinhaltet einen Mindestabstand d_min: $R S S_{D i s t a n c e} = max (\frac{ν_{1} + (ν_{1} + ρ a_{m a x, a c c e l})}{2} ρ + \frac{{(ν_{1} + ρ a_{m a x, a c c e l})}^{2} - ν_{2}^{2}}{2 a_{m a x, b r a k e}},0) + d_{m i n}$
Die 47A und 47B veranschaulichen das Konzept eines RSS-Sicherheitsabstands weiter, wenn ein Host-Fahrzeug hinter einem Zielfahrzeug fährt. Zum Beispiel zeigt 47A einen RSS-Sicherheitsabstand 4702 zwischen einem Host-Fahrzeug 4704 und einem Zielfahrzeug 4706. Selbst in einem Worst-Case-Szenario, bei dem das Zielfahrzeug 4706 mit seiner maximalen Bremsfähigkeit bremst, kann das Host-Fahrzeug 4704 im RSS-Sicherheitsabstand 4702 durch Bremsen mit seiner maximalen Bremsfähigkeit anhalten, ohne mit dem Zielfahrzeug 4706 zu kollidieren, selbst wenn die maximale Bremsung nach einer Reaktionszeit des Host-Fahrzeugs einsetzt, in der es mit seiner maximalen Beschleunigungsfähigkeit beschleunigt. In den meisten Fällen muss das Zielfahrzeug 4706 möglicherweise nicht mit seiner maximalen Bremsfähigkeit bis zum vollständigen Stillstand abbremsen. In solchen Fällen kann das Host-Fahrzeug 4704 mit seiner maximalen Bremsfähigkeit abbremsen, bis es mindestens den RSS-Sicherheitsabstand 4702 zum Zielfahrzeug 4706 erreicht hat.
47B veranschaulicht einen RSS-Sicherheitsabstand 4722 zwischen einem Host-Fahrzeug 4724 und einem Zielfahrzeug 4726. In dieser Ausführungsform beinhaltet der RSS-Sicherheitsabstand 4722 den RSS-Sicherheitsabstand 4702 und einen Mindestannäherungsabstand 4710. Wie oben erörtert, kann der Mindestannäherungsabstand 4710 ein Mindestabstand sein, der zwischen dem Host-Fahrzeug 4724 und dem Zielfahrzeug 4726 besteht, wenn beide mit ihrer maximalen Bremsfähigkeit bremsen und zum Stillstand kommen würden (selbst wenn das Host-Fahrzeug während seiner Zeit mit seinem maximalen Beschleunigungsvermögen beschleunigt).
Im Einklang mit dieser Offenbarung wird ein System zur Navigation eines Host-Fahrzeugs offenbart. Das System kann mindestens eine Verarbeitungsvorrichtung beinhalten, die so programmiert ist, dass sie eine oder mehrere Verfahren, Prozesse, Funktionen oder Operationen ausführt, die mit dieser Offenbarung konsistent sind. In einigen Ausführungsformen kann das System ein ADAS-System oder ein anderes hier offenbartes Navigationssystem sein. In ähnlicher Weise kann die Verarbeitungsvorrichtung die Verarbeitungsvorrichtung 110 oder eine andere Verarbeitungseinheit oder ein anderer Prozessor oder Verarbeitungsvorrichtung in oder in Kommunikation mit einem Host-Fahrzeug sein.
48 ist ein Flussdiagramm, das einen beispielhaften Prozess 4800 darstellt, der von der mindestens einen Verarbeitungsvorrichtung ausgeführt werden kann. Prozess 4800 ist nur beispielhaft. Ein gewöhnlicher Fachmann, dem diese Offenbarung zugute kommt, kann verstehen, dass Prozess 4800 zusätzliche Schritte beinhalten, bestimmte Schritte ausschließen oder auf andere Weise in konsistenter Weise in Übereinstimmung mit dieser Offenbarung modifiziert werden kann.
Der Prozess 4800 kann einen Schritt 4802 beinhalten, um mindestens ein Bild zu empfangen, das eine Umgebung eines Host-Fahrzeugs repräsentiert. In Übereinstimmung mit dieser Offenbarung kann die mindestens eine Verarbeitungsvorrichtung so programmiert werden, dass sie mindestens ein Bild empfängt, das repräsentativ für eine Umgebung des Host-Fahrzeugs ist. Wie oben diskutiert, kann das mindestens eine Bild von einer Vorrichtung zur Erfassung von Bildern empfangen werden. Die Bilderfassungsvorrichtung kann jede Vorrichtung sein, die mit dieser Offenbarung konsistent ist, einschließlich der Bilderfassungsvorrichtung 122. In einigen Ausführungsformen kann das mindestens eine Bild ein Bild von einer Kamera, einem RADAR, einem LIDAR oder jeder anderen Vorrichtung sein, von der ein Bild, sei es optisch oder anderweitig, erhalten werden kann. Zwischen der Zeit, in der das Bild erfasst wird, und der Zeit, in der die Verarbeitungsvorrichtung das Bild empfängt, kann eine gewisse Verzögerung auftreten. Darüber hinaus kann eine gewisse Zeitspanne zwischen der Zeit, in der ein Ereignis eintritt, und der Erfassung des Ereignisses durch die Vorrichtung zur Bilderfassung liegen. Wenn z.B. ein Zielfahrzeug vor einem Host-Fahrzeug in eine Fahrspur einfährt, kann eine kurze Zeitspanne (z.B. eine Millisekunde, 2 Millisekunden, 5 Millisekunden usw.) zwischen dem Zeitpunkt, zu dem das Zielfahrzeug in die Fahrspur einfährt, und dem Zeitpunkt liegen, zu dem die bildgebende Vorrichtung ein Bild des Zielfahrzeugs erfasst.
Prozess 4800 kann einen Schritt 4804 zur Bestimmung einer geplanten Navigationsaktion für das Host-Fahrzeug beinhalten. In Übereinstimmung mit dieser Offenbarung kann die mindestens eine Verarbeitungsvorrichtung programmiert werden, um eine geplante Navigationsaktion zum Erreichen eines Navigationsziels des Host-Fahrzeugs zu bestimmen. Die Navigationsaktion kann basierend auf mindestens einer Fahrstrategie bestimmt werden. Die geplante Navigationsaktion und/oder die mindestens eine Fahrstrategie kann mit dieser Offenbarung konsistent sein, einschließlich der oben erwähnten. Beispielsweise kann die geplante Navigationsaktion mindestens eines der folgenden Manöver beinhalten: ein Fahrspurwechselmanöver, ein Zusammenführungsmanöver, ein Überholmanöver, ein Manöver zur Verringerung der Distanz oder eine Aktion zur Beibehaltung der Drosselung. Die Verarbeitungsvorrichtung kann so programmiert sein, dass sie das mindestens eine Bild analysiert, um ein Zielfahrzeug in der Umgebung des Host-Fahrzeugs zu identifizieren. Bei dem mindestens einen Bild kann es sich um ein Bild handeln, das von einer Vorrichtung zur Erfassung von Bildern, wie z.B. der Bilderfassungsvorrichtung 122, empfangen wird. Bei dem mindestens einen Bild kann es sich um das eine oder mehrere Bilder handeln, die als Teil von Schritt 4802 des Prozesses 4800 empfangen werden.
Prozess 4800 kann einen Schritt 4806 zur Bestimmung einer Folgezustand-Distanz beinhalten, die mit der geplanten Navigationsaktion assoziiert ist. In Übereinstimmung mit dieser Offenbarung kann die Verarbeitungsvorrichtung programmiert werden, um eine Folgezustand-Distanz zwischen dem Host-Fahrzeug und dem Zielfahrzeug zu bestimmen, die sich ergeben würde, wenn die geplante Navigationsaktion durchgeführt würde. Die Folgezustand-Distanz kann durch jedes hier offenbartes Mittel berechnet werden, einschließlich der obigen RSS-Formel für die sichere Entfernung. Wenn die geplante Navigationsaktion beispielsweise eine Beschleunigung des Host-Fahrzeugs ist, kann die Folgezustand-Distanz eine Distanz zwischen dem Host-Fahrzeug und einem Fahrzeug vor dem Host-Fahrzeug sein. In einigen Beispielen kann mehr als eine Folgezustand-Distanz bestimmt werden. Wenn die geplante Navigationsaktion beispielsweise eine Zusammenführung in eine benachbarte Fahrspur ist, kann eine erste Folgezustand-Distanz in Bezug auf das Host-Fahrzeug und ein erstes Zielfahrzeug, das nach der Zusammenführung vor dem Host-Fahrzeug sein wird, und eine zweite Folgezustand-Distanz in Bezug auf ein zweites Zielfahrzeug, das nach der Zusammenführung hinter dem Host-Fahrzeug sein wird, bestimmt werden.
Der Prozess 4800 kann einen Schritt 4808 beinhalten, um eine maximale Bremsfähigkeit, ein maximales Beschleunigungsvermögen und eine aktuelle Geschwindigkeit des Host-Fahrzeugs zu bestimmen. In Übereinstimmung mit dieser Offenbarung kann die Verarbeitungsvorrichtung so programmiert werden, dass sie eine maximale Bremsfähigkeit des Host-Fahrzeugs, ein maximales Beschleunigungsvermögen des Host-Fahrzeugs und/oder eine Geschwindigkeit des Host-Fahrzeugs bestimmt. Jeder der Faktoren (d.h. die maximale Bremsfähigkeit, das maximale Beschleunigungsvermögen und die Geschwindigkeit des Host-Fahrzeuges) kann durch jedes mit dieser Offenbarung konsistente Mittel bestimmt werden. In einigen Ausführungsformen kann die maximale Bremsfähigkeit und/oder das maximale Beschleunigungsvermögen des Host-Fahrzeugs z.B. basierend auf der aktuellen Geschwindigkeit des Fahrzeugs, Straßencharakteristiken (z.B. Steigung der Straße, Material der Straße usw.), Wetterbedingungen (z.B. Schnee, Feuchtigkeit usw.), Fahrzeugzuständen (z.B. Reifendruck, Bremsbelagzustand, aktuelle Beladung des Fahrzeugs usw.) oder ähnlichem bestimmt werden. In einigen Ausführungsformen können einer oder mehrere der Faktoren basierend auf einer Sensorausgabe oder mehreren Sensoren bestimmt werden. Beispielsweise kann ein Host-Fahrzeug einen Beschleunigungsmesser enthalten, der eine Ausgabe an die Verarbeitungsvorrichtung bereitstellen kann, und diese Ausgabe kann eine aktuelle Geschwindigkeit des Host-Fahrzeugs und/oder ein Beschleunigungsvermögen des Host-Fahrzeugs beinhalten. In einigen Ausführungsformen kann die Verarbeitungsvorrichtung eine aktuelle Geschwindigkeit des Host-Fahrzeugs bestimmen und die aktuelle Geschwindigkeit verwenden, um eine aktuelle maximale Bremsfähigkeit und/oder ein aktuelles Beschleunigungsvermögen zu bestimmen. Beispielsweise kann sich die maximale Bremsfähigkeit eines Fahrzeugs, das mit einer ersten Geschwindigkeit (z.B. 15 km/h) fährt, signifikant von der maximalen Bremsfähigkeit desselben Fahrzeugs unterscheiden, das mit einer zweiten Geschwindigkeit (z.B. 30 km/h) fährt. In einigen Ausführungsformen können eine oder mehrere der maximalen Bremsfähigkeit, die maximale Beschleunigungsfähigkeit und/oder die Geschwindigkeit des Host-Fahrzeuges unter Verwendung eines vorbestimmten Wertes angenommen werden. Beispielsweise kann die Verarbeitungsvorrichtung so konfiguriert sein, dass sie davon ausgeht, dass das Host-Fahrzeug eine maximale Bremsfähigkeit hat, die einer vorbestimmten Korrespondenz mit einer durchschnittlichen (oder der schlechtesten) maximalen Bremsfähigkeit der dem Host-Fahrzeug zugeordneten Art von Fahrzeug entspricht. In einigen Ausführungsformen kann jeder Faktor basierend auf den äußeren Bedingungen der Straße oder temporären Charakteristiken des Fahrzeugs bestimmt werden. Zum Beispiel kann die maximale Bremsfähigkeit des Host-Fahrzeugs basierend auf einem erfassten Zustand einer Straßenoberfläche bestimmt werden. In diesem Beispiel kann der erfasste Straßenzustand eine Unebenheit der Straße, eine Neigung oder Steigung der Straße, das Vorhandensein oder Nichtvorhandensein einer Substanz oder eines Gegenstandes auf der Straße, unabhängig davon, ob es sich bei der Straße um Asphalt, Zement, Kies oder ein anderes Material handelt, oder einen anderen Zustand beinhalten, der mit dieser Offenbarung konsistent ist. Als weiteres Beispiel kann die maximale Bremsfähigkeit des Host-Fahrzeugs basierend auf einer erfassten Wetterbedingung bestimmt werden. In diesem Beispiel kann die Wetterbedingung eine Erkennung von Niederschlag (z.B. Regen, Graupel, Schnee, Eis usw.), eine Wetterbedingung, die die Sicht beeinträchtigt (z.B. Nebel, Smog, Rauch usw.), eine Wetterbedingung, die das Fahrverhalten des Fahrzeugs beeinflussen kann (z.B. starker Wind, große Hitze usw.), oder jede andere Wetterbedingung beinhalten, die eine Navigationsreaktion des Host-Fahrzeugs beeinflussen kann. In einem anderen Beispiel kann die Verarbeitungsvorrichtung eine maximale Bremsfähigkeit bestimmen, basierend darauf, ob das Host-Fahrzeug z.B. einen oder mehrere Fahrgäste, eine Ladung von signifikantem Gewicht, einen Anhänger usw. enthält.
In einigen Ausführungsformen kann die maximale Bremsfähigkeit und/oder das maximale Beschleunigungsvermögen basierend auf einem oder mehreren vordefinierten Faktoren bestimmt werden. Zum Beispiel kann eine staatliche Stelle oder eine Industrieeinheit eine oder mehrere Vorschriften bereitstellen, die eine maximale Bremsfähigkeit und/oder ein maximales Beschleunigungsvermögen vorschreiben, die ein Fahrzeug oder eine Fahrzeugklasse haben kann, und die mindestens eine Verarbeitungseinheit kann davon ausgehen, dass das Host-Fahrzeug die maximale Bremsfähigkeit und/oder das maximale Beschleunigungsvermögen hat, die von den Vorschriften erlaubt wird.
Der Prozess 4800 kann einen Schritt 4810 beinhalten, um einen aktuellen Anhalteweg für das Host-Fahrzeug zu bestimmen. In Übereinstimmung mit dieser Offenbarung kann die Verarbeitungsvorrichtung konfiguriert werden, um einen aktuellen Anhalteweg für das Host-Fahrzeug basierend auf der aktuellen maximalen Bremsfähigkeit des Host-Fahrzeugs, der aktuellen maximalen Bremsfähigkeit des Host-Fahrzeugs und/oder der aktuellen Geschwindigkeit des Host-Fahrzeugs zu bestimmen. Der aktuelle Anhalteweg für das Host-Fahrzeug kann durch jedes mit dieser Offenbarung konsistente Mittel bestimmt werden. Beispielsweise kann die Verarbeitungsvorrichtung eine oder mehrere der Formeln verwenden, die im Zusammenhang mit RSS oben diskutiert wurden.
In einigen Ausführungsformen kann ein aktueller Anhalteweg ein Abstand sein, den ein Host-Fahrzeug angesichts seiner aktuellen Geschwindigkeit benötigt, um anzuhalten, wenn das Host-Fahrzeug für eine gewisse Zeit mit seinem maximalen Beschleunigungsvermögen beschleunigen würde, bevor es mit seiner maximalen Bremsfähigkeit abbremst. Zum Beispiel kann der gegenwärtige Anhalteweg für das Host-Fahrzeug einen Beschleunigungsweg beinhalten, der einer Distanz entspricht, die das Host-Fahrzeug über eine vorbestimmte Zeitspanne mit dem aktuellen maximalen Beschleunigungsvermögen des Host-Fahrzeugs, ausgehend von der bestimmten aktuellen Geschwindigkeit des Host-Fahrzeugs, zurücklegen kann. Die vorbestimmte Zeitspanne kann eine Zeitspanne sein, die von der Verarbeitungsvorrichtung angenommen wird. Eine Beschränkung kann beispielsweise vorschreiben, dass die Verarbeitungsvorrichtung davon ausgeht, dass ein Host-Fahrzeug für eine bestimmte Zeitspanne beschleunigt (z.B. 0,5 Millisekunden, 1 Millisekunde, 2 Millisekunden, 3 Millisekunden, 10 Millisekunden usw.). Die vorbestimmte Zeit kann eine mit dem Host-Fahrzeug assoziierte Reaktionszeit sein. Beispielsweise kann die vorbestimmte Zeitspanne eine Verzögerung zwischen dem Zeitpunkt sein, zu dem ein Sensor (z.B. eine bildgebende Vorrichtung) des Host-Fahrzeugs einen Zustand erfasst, der eine Bremsreaktion des Host-Fahrzeugs erfordert (z.B. ein Zielfahrzeug, das in den Weg des Host-Fahrzeugs kommt), und dem Zeitpunkt, zu dem das Host-Fahrzeug mit seiner maximalen Bremsfähigkeit zu bremsen beginnt. In diesem Beispiel kann angenommen werden, dass das Host-Fahrzeug in einem Worst-Case-Szenario während der gesamten Verzögerungszeit mit seiner maximalen Bremsfähigkeit beschleunigt. In einigen Ausführungsformen kann die mit der Reaktionszeit assoziierte Zeitdauer durch die Verarbeitungsvorrichtung bestimmt oder angenähert werden. Beispielsweise kann die Verarbeitungsvorrichtung die Zeit zwischen dem Empfangen eines Bildes und der Bestimmung einer erforderlichen Bremsreaktion überwachen. Als weiteres Beispiel kann die Verarbeitungsvorrichtung eine mittlere, mittlere oder Modus-Reaktionszeit bestimmen, die mit einer Vielzahl von Navigationsreaktionen assoziiert ist, und die mittlere, mittlere oder Modus-Reaktionszeit bei der Berechnung eines aktuellen Anhaltewegs verwenden. Beispielsweise kann die Verarbeitungsvorrichtung nach Dutzenden, Hunderten oder Tausenden von Navigationsreaktionen bestimmen, dass die durchschnittliche Zeit zwischen einem erfassten Ereignis und einer Navigationsreaktion ein bestimmter Wert ist (z.B. eine beliebige reale Anzahl von Millisekunden), und diesen Wert als die dem Host-Fahrzeug assoziierte Reaktionszeit verwenden.
Im Einklang mit dieser Offenbarung kann ein bestimmter aktueller Anhalteweg einen Mindestabstand zwischen dem Host-Fahrzeug und einem anderen Objekt (z.B. einem Zielfahrzeug oder einer VRU) beinhalten, nachdem es zu einem vollständigen Halt gekommen ist. Der bestimmte oder vorbestimmte Mindestabstand kann mit einem vorbestimmten Abstand korrespondieren, der zwischen dem Host-Fahrzeug und anderen Fahrzeugen einzuhalten ist. Beispielsweise kann die Verarbeitungsvorrichtung so programmiert sein, dass sie einen bestimmten oder vorbestimmten Mindestabstand in die Berechnung eines Anhaltewegs beinhaltet. Ein vorbestimmter Abstand kann z.B. mindestens 1 m betragen. In diesem Beispiel kann der bestimmte oder vorbestimmte Mindestabstand wie oben beschrieben d_min betragen.
Der Prozess 4800 kann einen Schritt 4812 beinhalten, um eine aktuelle Geschwindigkeit des Zielfahrzeugs zu bestimmen und eine maximale Bremsfähigkeit des Zielfahrzeugs anzunehmen. In Übereinstimmung mit dieser Offenbarung kann die mindestens eine Verarbeitungsvorrichtung programmiert werden, um eine aktuelle Geschwindigkeit eines Zielfahrzeugs zu bestimmen. In einigen Ausführungsformen kann die Geschwindigkeit des Zielfahrzeugs basierend auf der Geschwindigkeit des Host-Fahrzeugs bestimmt werden. Beispielsweise können ein oder mehrere Sensoren an einem Host-Fahrzeug Informationen bezüglich der Geschwindigkeit des Host-Fahrzeugs und eine Anzeige der Beschleunigung oder Richtungsänderung eines Zielfahrzeugs in Bezug auf das Host-Fahrzeug bereitstellen. In einigen Ausführungsformen kann die Geschwindigkeit des Zielfahrzeugs basierend auf der Analyse von mindestens einem Bild bestimmt werden. Bei dem mindestens einen Bild kann es sich beispielsweise um dasselbe Bild handeln, das von der Verarbeitungsvorrichtung in Schritt 4802 empfangen wurde, das zur Identifizierung des Zielfahrzeugs in Schritt 4806 verwendet wurde. In einigen Ausführungsformen kann eine Vielzahl von Bildern analysiert werden, um eine Geschwindigkeit des Zielfahrzeugs zu bestimmen. So kann z.B. ein erstes Bild das Zielfahrzeug in einer ersten Entfernung vom Host-Fahrzeug und ein zweites Bild das Zielfahrzeug in einer zweiten Entfernung vom Host-Fahrzeug darstellen. Die Verarbeitungsvorrichtung kann die Änderung der Entfernung und die Zeit zwischen dem ersten und dem zweiten Bild verwenden, um eine dem Zielfahrzeug assoziierte Geschwindigkeit zu bestimmen. In einigen Ausführungsformen kann die Geschwindigkeit des Zielfahrzeugs basierend auf der Analyse einer Ausgabe von mindestens einem LIDAR- oder RADAR-System bestimmt werden, das mit dem Host-Fahrzeug assoziiert ist. Zum Beispiel kann die Verarbeitungsvorrichtung die Geschwindigkeit des Host-Fahrzeugs und eine Distanz zwischen dem Host-Fahrzeug und dem Zielfahrzeug (die z.B. von einem LIDAR-System erfasst wird) verwenden, um eine Geschwindigkeit des Host-Fahrzeugs zu bestimmen.
In einigen Ausführungsformen kann die Verarbeitungsvorrichtung zur Berücksichtigung eines Worst-Case-Szenarios so programmiert sein, dass sie davon ausgeht, dass die aktuelle Geschwindigkeit des Zielfahrzeugs kleiner oder größer als eine erfasste Geschwindigkeit des Zielfahrzeugs ist. Wenn das Zielfahrzeug beispielsweise vor dem Host-Fahrzeug fährt, kann die Verarbeitungsvorrichtung so programmiert sein, dass sie eine erfasste Geschwindigkeit unter Verwendung eines vorbestimmten Wertes, eines Prozentsatzes, einer Formel oder ähnlichem reduziert. Wenn die Verarbeitungsvorrichtung zum Beispiel basierend auf Informationen von einem oder mehreren Sensoren bestimmt hat, dass ein Zielfahrzeug mit 100 km/h fährt, kann sie die erfasste Geschwindigkeit um 10% anpassen, um anzunehmen, dass das Fahrzeug mit 90 km/h fährt. Die Geschwindigkeit eines Zielfahrzeugs kann mit der Bremsleistung des Zielfahrzeugs korreliert werden, so dass die Annahme einer reduzierten Geschwindigkeit des Zielfahrzeugs der Annahme gleicht, dass das Zielfahrzeug schneller anhalten könnte als es sonst könnte (z.B. könnte ein Zielfahrzeug in einer kürzeren Entfernung anhalten, wenn es mit 90 km/h fährt, als wenn es mit 100 km/h fährt).
In Übereinstimmung mit dieser Offenbarung kann die mindestens eine Vorrichtung zur Verarbeitung so programmiert werden, dass sie eine maximale Bremsfähigkeit des Zielfahrzeugs basierend auf mindestens einer erkannten Charakteristik des Zielfahrzeugs annimmt. Die maximale Bremsfähigkeit kann als Teil von Schritt 4812 des Prozesses 4800 angenommen werden. Die Verarbeitungsvorrichtung kann so programmiert sein, dass sie die mindestens eine Charakteristik aus Informationen von einem oder mehreren Sensoren (z.B. LIDAR, RADAR, bildgebende Geräte usw.) erkennt. In einigen Ausführungsformen kann die erkannte Charakteristik des Zielfahrzeugs basierend auf der Analyse des mindestens einen Bildes bestimmt werden. Beispielsweise kann das Bild des Zielfahrzeugs einen Text auf der Außenseite des Zielfahrzeugs beinhalten, der zur Bestimmung einer Fahrzeugart, eines Fahrzeugmodells, einer Fahrzeuggröße oder einer anderen Charakteristik verwendet werden kann. Als weiteres Beispiel kann das Bild des Zielfahrzeugs andere Objekte beinhalten, die zur Annäherung an eine Fahrzeuggröße oder eine andere Charakteristik basierend auf dem Vergleich mit den anderen Objekten verwendet werden können. Als besonderes Beispiel kann ein großes Fahrzeug höher als ein Geschwindigkeitsbegrenzungsschild erscheinen, während ein kleines Fahrzeug kürzer als ein Geschwindigkeitsbegrenzungsschild erscheinen kann. In einigen Ausführungsformen kann mindestens eine Charakteristik des Zielfahrzeugs bestimmt werden, basierend auf mindestens einem LIDAR-Ausgang oder einem RADAR-Ausgang. Eine LIDAR-Ausgabe kann z.B. eine erste Distanz beinhalten, die mit dem Abstand zum hinteren Stoßfänger des Zielfahrzeugs assoziiert ist, und eine zweite Distanz, die mit dem Abstand zum vorderen Stoßfänger (oder einem anderen Bereich) des Zielfahrzeugs assoziiert ist, wobei die Differenz zwischen beiden zur Schätzung der Größe des Zielfahrzeugs verwendet werden kann.
Die mindestens eine Charakteristik kann jede Charakteristik sein, von der bekannt ist, dass sie mit einer Bremsfähigkeit korreliert oder die mit einer Bremsfähigkeit korrelieren kann. In einigen Ausführungsformen kann die erkannte Charakteristik des Zielfahrzeugs eine Fahrzeugart beinhalten. Der Fahrzeugtyp kann z.B. eine allgemeine Kategorie sein, zu der das Zielfahrzeug gehört (z.B. Limousine in Originalgröße, Kleinwagen, SUV, Crossover-SUV, Motorrad usw.) oder eine speziellere Kategorie oder Unterkategorie, die mit dem Zielfahrzeug assoziiert ist. Die Verarbeitungsvorrichtung kann so programmiert sein, dass sie davon ausgeht, dass das Zielfahrzeug eine maximale Bremsfähigkeit hat, die der einer bekannten Bremsfähigkeit dieses Fahrzeugtyps oder einer Fahrzeugklasse entspricht. Wird beispielsweise bestimmt, dass das Zielfahrzeug eine vollwertige Limousine ist, kann die Verarbeitungsvorrichtung davon ausgehen, dass das Zielfahrzeug eine maximale Bremsfähigkeit hat, die der einer vollwertigen Limousine mit der besten maximalen Bremsfähigkeit entspricht (z.B. die vollwertige Limousine, die im Vergleich zu anderen vollwertigen Limousinen auf kürzestem Weg zum Anhalte kommen kann). In einigen Ausführungsformen kann die erkannte Charakteristik des Zielfahrzeugs ein Fahrzeugmodell, einen Markennamen oder andere Klassifizierungsmerkmale des Zielfahrzeugs beinhalten (z.B. Toyota Prius®, BMW X5® usw.). Die Verarbeitungsvorrichtung kann den Fahrzeugtyp verwenden, um z.B. auf eine Datenbank zuzugreifen, die bekannte Bremsfähigkeiten jedes Fahrzeugtyps enthält. Handelt es sich bei dem erkannten Fahrzeugtyp beispielsweise um BMW X5®, kann die Verarbeitungsvorrichtung die gemeldeten Bremsfähigkeiten eines BMW X5® aus einer Datenbank abrufen. Wenn für ein Fahrzeugmodell mehrere maximale Bremsfähigkeiten gemeldet werden (z. B. kann ein BMW X5® unterschiedliche Bremsfähigkeiten haben, je nachdem, ob er mit der Ausstattungsvariante xDrive40i oder xDrive50i oder je nach Baujahr ausgestattet ist), kann die Verarbeitungsvorrichtung so programmiert sein, dass sie davon ausgeht, dass das Zielfahrzeug die beste für dieses Fahrzeugmodell gemeldete maximale Bremsfähigkeit aufweist. In einigen Ausführungsformen kann die erkannte Charakteristik des Zielfahrzeugs eine Fahrzeuggröße beinhalten. Bei der Fahrzeuggröße kann es sich um eine relative Größe, eine vorbestimmte Größe oder ähnliches handeln. Die Fahrzeuggröße kann einer physischen Größe des Fahrzeugs und/oder einem geschätzten Gewicht des Fahrzeugs entsprechen. Zum Beispiel kann die Verarbeitungsvorrichtung bestimmen, dass das Zielfahrzeug größer oder kleiner als das Host-Fahrzeug ist. In einem anderen Beispiel kann die Verarbeitungsvorrichtung so programmiert sein, dass sie das Zielfahrzeug in eine oder eine Vielzahl vorbestimmter Fahrzeuggrößen klassifiziert, von denen jede eine Reihe von Größen beinhalten kann (z.B. Kategorie 1 = weniger als 1.000 kg; Kategorie 2 = 1.000-1500 kg; Kategorie 3 = 1.500-1.800 kg; und so weiter). Einige Fahrzeuge können eine Angabe zu ihrer Größe enthalten, die zur Bestimmung einer Fahrzeuggröße des Zielfahrzeugs verwendet werden kann. Das Zielfahrzeug kann zum Beispiel ein GMC Sierra® sein und kann eine Angabe auf der Außenseite des Fahrzeugs beinhalten, die mit seiner Größe assoziiert ist, wie zum Beispiel 1500, 2500, 2500HD und so weiter.
Die aktuelle Geschwindigkeit des Zielfahrzeugs und die angenommene maximale Bremsfähigkeit des Zielfahrzeugs können verwendet werden, um einen Fahrweg des Zielfahrzeugs zu bestimmen, der einen Abstand umfasst, den das Zielfahrzeug benötigen würde, um aus seiner aktuellen Geschwindigkeit durch Bremsen bei maximaler Bremsfähigkeit zum vollständigen Anhalteweg zu kommen. Die Distanz kann durch jedes mit dieser Offenbarung konsistente Mittel bestimmt werden.
Prozess 4800 kann einen Schritt 4814 zur Implementierung der geplanten Navigationsaktion beinhalten, wenn die geplante Navigationsaktion sicher ist. Für die Zwecke von Schritt 4814 kann die geplante Navigationsaktion beispielsweise als sicher angesehen werden, wenn der bestimmte aktuelle Anhalteweg für das Host-Fahrzeug kleiner ist als die bestimmte Folgezustand-Distanz, die zusammen mit einer Zielfahrzeug-Fahrstrecke bestimmt wird. In einigen Ausführungsformen kann die mindestens eine Verarbeitungsvorrichtung so programmiert sein, dass sie die geplante Navigationsaktion implementiert, wenn der bestimmte aktuelle Anhalteweg für das Host-Fahrzeug kleiner ist als die bestimmte Entfernung im nächsten Zustand, summiert mit einer Fahrstrecke des Zielfahrzeugs. Die Fahrstrecke des Zielfahrzeugs kann durch jedes mit dieser Offenbarung konsistente Mittel bestimmt werden. Zum Beispiel kann die Fahrstrecke des Zielfahrzeugs auf der aktuellen Geschwindigkeit des Zielfahrzeugs und der angenommenen maximalen Bremsfähigkeit des Zielfahrzeugs basieren. Diese Fahrstrecke des Zielfahrzeugs kann einer Gesamtdistanz entsprechen, die das Zielfahrzeug zurücklegen wird, bevor es zum vollständigen Anhalteweg kommt. Die Navigationsaktion kann unter diesen Umständen implementiert werden, weil es zu keiner Kollision zwischen dem Host-Fahrzeug und dem Zielfahrzeug kommt, weil der aktuelle Anhalteweg des Host-Fahrzeugs (einschließlich der potentiell zurückgelegten Distanz unter Annahme der maximalen Beschleunigung während der Reaktionszeit) es ihm erlaubt, vor dem Auftreffen auf das Zielfahrzeug vollständig zum Stillstand zu kommen, selbst wenn das Zielfahrzeug mit seiner maximalen Bremsfähigkeit abbremst. Die Verarbeitungsvorrichtung wird die Navigationsaktion implementieren, da das Host-Fahrzeug nach der Durchführung der Navigationsaktion mindestens den RSS-Sicherheitsabstand zum Zielfahrzeug einhalten wird. Mit anderen Worten, die Folgezustand-Distanz ist gleich oder größer als der RSS-Sicherheitsabstand. Umgekehrt kann die Verarbeitungsvorrichtung programmiert werden, die Navigationsaktion zu verweigern oder abzubrechen oder eine andere Navigationsaktion zu implementieren, wenn die Folgezustand-Distanz kleiner als der RSS-Sicherheitsabstand ist (z.B. wenn der aktuelle Anhalteweg für das Host-Fahrzeug nicht kleiner als die bestimmte Folgezustand-Distanz, summiert mit der Fahrstrecke des Zielfahrzeugs, ist).
Für die Zwecke von Schritt 4814 kann die geplante Navigationsaktion beispielsweise als sicher angesehen werden, wenn der bestimmte aktuelle Anhalteweg für das Host-Fahrzeug um mindestens eine vorbestimmte Mindestentfernung kleiner ist als die bestimmte Folgezustand-Distanz, summiert mit der Fahrstrecke des Zielfahrzeugs, wobei die Fahrstrecke des Zielfahrzeugs basierend auf der aktuellen Geschwindigkeit des Zielfahrzeugs und der angenommenen maximalen Bremsfähigkeit des Zielfahrzeugs bestimmt wird. In einigen Ausführungsformen kann die mindestens eine Verarbeitungsvorrichtung so konfiguriert sein, dass sie die geplante Navigationsaktion implementiert, wenn der bestimmte aktuelle Anhalteweg für das Host-Fahrzeug um mindestens einen vorbestimmten Mindestabstand geringer ist als der bestimmte Folgezustand-Distanz, summiert mit der Fahrstrecke des Zielfahrzeugs, wobei die Fahrstrecke des Zielfahrzeugs basierend auf der aktuellen Geschwindigkeit des Zielfahrzeugs und der angenommenen maximalen Bremsfähigkeit des Zielfahrzeugs bestimmt wird. In dieser Ausführungsform kann die vorbestimmte minimale Distanz dmin betragen und kann durch jedes mit dieser Offenbarung konsistente Mittel vorbestimmt oder bestimmt werden und jedes oben diskutierte Attribut haben. In einigen Ausführungsformen kann der vorbestimmte Mindestabstand einem vorbestimmten Abstand entsprechen, der zwischen dem Host-Fahrzeug und anderen Fahrzeugen einzuhalten ist. Beispielsweise kann eine Beschränkung eines autonomen Navigationssystems vorschreiben, dass das autonome Fahrzeug niemals innerhalb (weniger als) eines bestimmten Abstands zu anderen Fahrzeugen kommen darf. Der vorbestimmte Trennungsabstand kann ein Abstand beliebiger Dimension sein. In einigen Ausführungsformen beträgt die vorbestimmte Distanz mindestens 1 m, 2 m, 5 m usw. In einigen Ausführungsformen kann der vorbestimmte Abstand variieren, z.B. in Abhängigkeit von der Geschwindigkeit, mit der das Host-Fahrzeug fährt, oder vom Standort des Host-Fahrzeugs (z.B. eine städtische Straße, eine Landstraße usw.).
Konsistent mit dieser Offenbarung kann das RSS-Modell zur Navigation eines vollständig autonomen Fahrzeugs verwendet werden, kann zur Navigation eines teilautonomen Fahrzeugs verwendet werden (z.B. ein Fahrzeug mit einem vom Menschen bedienbaren Modus und einem selektiv autonomen Modus) oder kann als zugrunde liegendes Sicherheitsmerkmal in einem vom Menschen bedienbaren Fahrzeug verwendet werden (z.B. kann ein Sicherheitssystem menschliche Eingaben in einem vom Menschen bedienbaren Fahrzeug, die nach dem RSS-Modell unsicher sein können, verhindern oder hemmen).
Komfort-Verantwortungsbewusste Sicherheit (CRSS)
RSS ist wirksam, um eine sichere Distanz zwischen einem Host-Fahrzeug und einem anderen Objekt (z.B. einem oder mehreren Zielfahrzeugen oder VRUs) zu bestimmen. Einige der zugrundeliegenden Berechnungen in RSS gehen möglicherweise von einem Worst-Case-Szenario aus und erfordern, dass das Host-Fahrzeug mit seiner maximalen Leistungsfähigkeit reagiert. Beispielsweise können einige Ausführungsformen von RSS einen sicheren Bereich definieren, in dem es nicht zu einer Kollision kommt, wenn sowohl das Zielfahrzeug als auch das Host-Fahrzeug mit ihrer maximalen Bremsfähigkeit bremsen und das Host-Fahrzeug nach einer Zeit zu bremsen beginnt, in der es mit seiner maximalen Bremsfähigkeit beschleunigt.
Während RSS Unfälle verhindern oder vermeiden kann, werden einige Nutzer autonomer Fahrzeuge unter Umständen feststellen, dass die von RSS geforderten Reaktionen unter bestimmten Umständen nicht die komfortabelste oder gelockerteste Fahrt ermöglichen. Wenn zum Beispiel das Worst-Case-Szenario eintritt, kann ein Fahrzeug, das in einem RSS-Modus betrieben wird, zumindest in einigen Szenarien mit seiner maximalen Bremsfähigkeit bremsen. Darüber hinaus kann RSS einen Sicherheitsabstand zwischen einem Host-Fahrzeug und einem anderen Objekt definieren. Wenn ein Zielfahrzeug, eine VRU oder ein anderes Objekt weiter von einem Fahrzeug entfernt ist als der Sicherheitsabstand, braucht das Fahrzeug keine Navigationsreaktion durchzuführen. Da sich das Objekt jedoch in einem Abstand befindet, der gleich oder kleiner als der RSS-Sicherheitsabstand ist, kann das Fahrzeug durch Bremsen mit der maximalen Bremsfähigkeit reagieren, bis das Fahrzeug zum Anhalteweg kommt oder bis ein RSS-Abstand zwischen dem Objekt und dem Zielfahrzeug festgelegt wurde. Ein solcher Vorgang kann die Insassen des Host-Fahrzeugs unangenehmen Beschleunigungsraten aussetzen (z.B. während Zeiten, in denen das Host-Fahrzeug mit maximaler Bremsleistung angewendet wird). Dementsprechend kann ein Bedarf an einem autonomen Fahrzeugsicherheitsmodell bestehen, das eine komfortablere Erfahrung für die Insassen erlaubt.
Um ein komfortableres, menschenähnliches Fahrerlebnis bereitzustellen, kann ein autonomes Fahrzeug mit einem Navigationssystem ausgestattet sein, das so konfiguriert ist, dass es mit nicht-maximalen Navigationsreaktionen arbeitet. Wenn zum Beispiel ein autonomes Fahrzeug abbremsen oder anhalten muss, um eine Kollision zu vermeiden, kann das Navigationssystem zumindest während eines Teils der Bremszeit ein Bremsen mit einer Kraft erlauben, die geringer ist als die maximale Bremsfähigkeit des Fahrzeugs. Wenn ein Fahrzeug wenden, ausweichen oder ausweichen muss, um eine Kollision zu vermeiden, kann das Navigationssystem eine Abbiegung erlauben, die geringer ist als die maximale Abbremsleistung des Fahrzeugs. Dasselbe kann für eine Beschleunigungsreaktion gelten, die zumindest während eines Teils der Beschleunigungsperiode bei weniger als dem maximalen Beschleunigungsvermögen des Fahrzeugs erfolgen kann. Durch die Begrenzung des Brems- oder Beschleunigungsbetrags kann eine Bremsreaktion des Host-Fahrzeugs weniger abrupt und weicher sein und sich eher wie eine planmäßige Bremse als eine Not- oder Spätbremse anfühlen. Beispielsweise kann eine planmäßige Bremse eine allmähliche Verringerung der Geschwindigkeit beinhalten, die nicht zum Blockieren des Sicherheitsgurtes führt. In einem anderen Beispiel kann eine planmäßige Bremse eine allmähliche Erhöhung der Bremskraft beinhalten, möglicherweise bis zum Erreichen der maximalen Bremskraft des Fahrzeugs, woraufhin das Bremsen mit maximaler Bremskraft wieder aufgenommen werden kann.
Konsistent mit den offenbarten Ausführungsformen kann ein komfortabler, verantwortungsbewusster Sicherheitsabstand (CRSS) bestimmt werden. Der CRSS-Sicherheitsabstand kann der Abstand zwischen einem Host-Fahrzeug und einem anderen Objekt (z.B. einem Zielfahrzeug oder einer VRU) sein, bei dem das Host-Fahrzeug bequem zum Anhalteweg kommen kann, ohne mit dem Objekt zu kollidieren. In konsistenter Übereinstimmung mit dieser Offenbarung kann CRSS von einer allmählichen Anwendung der Bremse von einer anfänglichen Bremskraft (die geringer ist als die maximale Bremsfähigkeit des Fahrzeugs) bis zur maximalen Bremsfähigkeit des Fahrzeugs ausgehen, anstatt von einer sofortigen Anwendung der maximalen Bremsfähigkeit. Zumindest im Zusammenhang mit CRSS wird der Begriff Mindestbremsfähigkeit manchmal austauschbar mit dem Begriff Anfangsbremskraft verwendet. Die Anfangsbremskraft kann eine Mindestbremskraft des Fahrzeugs oder ein Bruchteil der maximalen Bremsfähigkeit des Fahrzeugs sein. Der CRSS-Sicherheitsabstand kann basierend auf einer momentanen berechneten Geschwindigkeit des Host-Fahrzeugs, der momentanen Geschwindigkeit des Zielfahrzeugs, der Komfort- oder submaximalen Bremsbeschleunigung und der Reaktionszeit bestimmt werden.
Definition 28 (CRSS-Sicherheitsabstand) Eine Längsdistanz zwischen einem Auto c_r und einem anderen Auto c_f, das sich im frontalen Korridor von c_r befindet, ist sicher, mit einer Reaktionszeit p, wenn für jede Bremsung von höchstens a_max,brake, durchgeführt von c_f, wenn c_r eine ruckartige Bremsung und Beschleunigung anwendet, keine Kollision mit c_f stattfindet.
In einigen Ausführungsformen kann eine komfortable Navigationsreaktion erreicht werden, indem die Geschwindigkeit oder die Geschwindigkeit eines Host-Fahrzeugs durch ein verhaltenes Bremsprofil verringert wird, wodurch der Ruck auf ein Fahrzeug und/oder dessen Insassen signifikant reduziert werden kann. Lemma 12 unten berechnet den CRSS-Sicherheitsabstand gemäß einer Ausführungsform, wobei die Bremse des Fahrzeugs eher einem allmählichen Bremsprofil als einer sofortigen Anwendung der maximalen Bremsfähigkeit unterworfen wird.
Lemma 12 Sei c_r ein Host-Fahrzeug, das sich auf der Längsachse hinter einem Zielfahrzeug c_f befindet. Sei a_max,brake die maximale Bremsleistung. Sei v_o die Anfangsgeschwindigkeit des Host-Fahrzeugs und v_f die ursprüngliche Geschwindigkeit des Zielfahrzeugs. Sei j_max die Steigung einer linearen Bremsbetätigung des Host-Fahrzeuges und T die Zeit für das Erreichen der Vollbremse im Host-Fahrzeug. Dann ist der CRSS-Sicherheitsabstand für das Host-Fahrzeug: $C R S S_{D i s t a n c e} = [[v_{0} T + \frac{1}{2} a_{0} T^{2} - \frac{1}{6} j_{m a x} T^{3}] + \frac{(v_{0} + a_{0} T - \frac{1}{2} j_{m a x} T^{2})}{2 | a_{m i n, b r a k e} |} - \frac{v_{f}^{2}}{2 | a_{m a x, b r a k e} |}]$
Beweis CRSS geht von einer ruckartigen Bremsfähigkeit des Host-Fahrzeuges aus, die mit einer linearen Verringerung der Beschleunigung des Host-Fahrzeuges (mit Steigung j_max) assoziiert ist, bis eine maximale Bremsfähigkeit a_max,brake erreicht ist, und dann mit einer konstanten Abbremsung (korreliert mit a_max,brake) bis zum Erreichen des Stillstands weitergebremst wird. Ein Fahrzeug, das mit einem Ruck von jmax bremst, das eine Anfangsbeschleunigung a_o ≤ 0 m/s, eine Anfangsgeschwindigkeit v_o ≤ 0 m/s² und eine Anfangsposition x_o ≤ 0 m hat, weist folgende Dynamik auf: $\begin{array}{l} a (t) = a_{0} - j_{m a x} t \\ v (t) = v_{0} + \int_{τ = 0}^{t} a (τ) d τ = v_{0} + {[a_{0} τ - \frac{1}{2} j_{m a x} τ^{2}]}_{0}^{t} = v_{0} + a_{0} t - \frac{1}{2} j_{m a x} t^{2} \\ x (t) = x_{0} + \int_{τ = 0}^{t} v (τ) d τ = x_{0} + {[v_{0} τ - \frac{1}{2} a_{0} τ^{2} - \frac{1}{6} j_{m a x} τ^{3}]}_{0}^{t} = x_{0} + v_{0} t + \frac{1}{2} a_{0} t^{2} - \frac{1}{6} j_{m a x} t^{3} \end{array}$
Basierend auf diesen Gleichungen kann der Bremsweg definiert werden. Sei a_min,brake die minimale Bremsfähigkeit des Host-Fahrzeuges und sei T die erste Zeit, in der entweder a(T) = - a_min,brake oder v(T) = 0 ist, also, $T = min {T_{1}, T_{2}} where T_{1} = \frac{a_{0} - a_{min,brake}}{j_{max}}, T_{2} = \frac{a_{0} + \sqrt{a_{0}^{2} + 2 j_{max} v_{0}}}{j_{max}}$
Die Zeit zum Erreichen der maximalen Bremsfähigkeit durch lineares Anwenden der Bremse mit j_max beträgt: $T_{b} = {\begin{array}{l} T_{2} & if T = T_{2} \\ \frac{v_{0} + a_{0} T - \frac{1}{2} j_{m a x} T^{2}}{a_{min,brake}} & otherwise \end{array}$
Die Geschwindigkeit (Geschwindigkeit) des Host-Fahrzeugs zu einer bestimmten Zeit kann auch als Funktion von j_max wie folgt bestimmt werden: $v (t) = {\begin{array}{l} v_{0} + a_{0} t - \frac{1}{2} j_{m a x} t^{2} & if t \leq T \\ v_{0} + a_{0} T - \frac{1}{2} j_{m a x} T^{2} - (t - T) a_{min,brake} & if t \in (T, T_{b}) \\ 0 & otherwise \end{array}$
Mit den Formeln für die Zeit zum Erreichen der maximalen Bremsfähigkeit und der Geschwindigkeit des Host-Fahrzeuges sowohl während der Zeit, in der die Bremse gemäß jmax angewendet wird, als auch während der Zeit, in der die maximale Bremse a_max,brake angewendet wird (weil die Bremse schrittweise mit j_max angewendet wurde, bis die maximale Bremsfähigkeit erreicht war), können wir einen Abstand für das Host-Fahrzeug bestimmen: $[v_{0} T + \frac{1}{2} a_{0} T^{2} - \frac{1}{6} j_{m a x} T^{3}] + \frac{{(v_{0} + a_{0} T - \frac{1}{2} j_{m a x} T^{2})}^{2}}{2 a_{min,brake}}$
In Übereinstimmung mit dieser Offenbarung kann die submaximale Bremsrate j_max vorbestimmt oder durch eine Verarbeitungsvorrichtung bestimmt werden. In einigen Ausführungsformen kann j_max eine ideale oder statistisch akzeptable Bremsgeschwindigkeit sein. Beispielsweise können Daten bezüglich der Bremsgeschwindigkeit, bei der die meisten Menschen zum Stillstand kommen, für j_max verwendet werden. In einigen Ausführungsformen kann j_max gemäß einer Benutzerpräferenz eingestellt werden. Zum Beispiel kann ein erster Fahrgast eine erste jmax bereitstellen, die für ihn oder sie angenehm ist, ein zweiter Fahrgast kann eine zweite j_max bereitstellen, die für ihn oder sie angenehm ist, und so weiter. In einigen Ausführungsformen kann eine Verarbeitungsvorrichtung eine jmax bestimmen, basierend auf z.B. einer oder mehreren Straßencharakteristiken, Verkehrsbedingungen (Stauhöhe, durchschnittlicher Abstand zwischen den Fahrzeugen um das Host-Fahrzeug herum, Rate der Einschneidungen vor dem Host-Fahrzeug usw.), einer oder mehreren Fahrzeugcharakteristiken, einer oder mehreren Wettercharakteristiken oder ähnlichem. Beispielsweise kann eine Verarbeitungsvorrichtung einen j_max bestimmen, der die maximale Sicherheit und den maximalen Komfort auf einer verschneiten Straße bereitstellt, einen zweiten j_max, der die maximale Sicherheit und den maximalen Komfort auf einer trockenen Straße bereitstellt, und so weiter. Es wird geschätzt, dass die Implementierung von j_max zwar zur Erhöhung des Komforts beitragen und andere positive Auswirkungen auf das Verhalten des Host-Fahrzeuges haben kann, dass sie aber auch weniger erwünschte Effekte haben kann, insbesondere wenn j_max klein ist, so dass das Bremsen „gelockert“ oder nicht so stark sein kann. Zum Beispiel kann die Verwendung eines kleinen j_max eine starke negative Auswirkung auf die Effizienz haben, indem sie verursacht, dass das Fahrzeug immer einen übertriebenen Abstand zum vorausfahrenden Fahrzeug einhält. Dies kann eine Belästigung anderer Verkehrsteilnehmer verursachen und das Host-Fahrzeug daran hindern, komplexe Szenarien wie das Zusammenfahren und das Fahren in verstopften Gebieten effektiv zu bewältigen. Daher kann in einigen Beispielen eine jmax eingestellt, ausgewählt oder bestimmt werden, die Leistung oder Effizienz mit Komfort (unter Beibehaltung der RSS-Sicherheit) in Einklang bringt.
Konsistent mit dieser Offenbarung kann die submaximale Bremsrate jmax eine Konstante sein. Zum Beispiel kann die submaximale Bremsrate eine Abbremsrate sein, die einer Abbremsung von 2 m/s², 10m/s² oder einer anderen konstanten Abbremsung entspricht. In einigen Ausführungsformen kann die submaximale Bremsrate eine Konstante sein, die proportional zur maximalen Bremsfähigkeit eines Host-Fahrzeugs ist. Zum Beispiel kann die submaximale Bremsrate 20 %, 33 %, 50 %, 70 % oder jeder andere Prozentsatz der maximalen Bremsfähigkeit des Host-Fahrzeugs betragen. In einigen Ausführungsformen kann die submaximale Bremsrate eine lineare Funktion der aktuellen Geschwindigkeit des Host-Fahrzeuges sein, so dass die Bremse allmählich von der minimalen Bremsfähigkeit des Host-Fahrzeuges bis höchstens zur maximalen Bremsfähigkeit des Host-Fahrzeuges angewendet wird. Beispielsweise kann eine submaximale Bremsrate bestimmt werden, die es dem Host-Fahrzeug erlaubt, aus seiner aktuellen Geschwindigkeit zum Stillstand zu kommen, ohne die maximale Bremsfähigkeit des Fahrzeugs zu erreichen. Als weiteres Beispiel kann eine submaximale Bremsrate bestimmt werden, die schließlich die maximale Bremsfähigkeit des Host-Fahrzeugs erreicht, so dass das Host-Fahrzeug für einen ersten Abschnitt eines Stoppmanövers mit weniger als der maximalen Bremsfähigkeit bremst und für einen zweiten Abschnitt des Stoppmanövers mit seiner maximalen Bremsfähigkeit bremst. In einigen Ausführungsformen kann die submaximale Bremsrate eine andere Funktion der aktuellen Geschwindigkeit des Fahrzeugs sein. Zum Beispiel kann die submaximale Bremsrate eine Bremsrate sein, die exponentiell oder logarithmisch angewendet wird, bis das Fahrzeug zum Stillstand kommt.
Im Einklang mit dieser Offenbarung kann der CRSS-Sicherheitsabstand in jeder Ausführungsform verwendet werden, die oben in Bezug auf RSS diskutiert wurde. In der Praxis erfordert CRSS, dass ein autonomes Fahrzeug früher mit dem Bremsen beginnt als ein Fahrzeug, das in einem RSS-Modus arbeitet. Bei CRSS wendet das Fahrzeug die Bremse höchstens mit der von j_max diktierten Geschwindigkeit an, wobei das Fahrzeug wie bei RSS mit seiner maximalen Bremsfähigkeit bremsen kann. Daher kann ein CRSS-Sicherheitsabstand länger als ein RSS-Sicherheitsabstand sein.
Im Einklang mit dieser Offenbarung kann ein CRSS-Modell die RSS-Annahme, dass das Host-Fahrzeug während einer anfänglichen Ansprechzeit mit seiner maximalen Beschleunigungsfähigkeit beschleunigen kann, bevor es bis zum Stillstand mit der mit jmax assoziierten Geschwindigkeit bremst. Als ein weiteres Beispiel kann CRSS die RSS-Annahme beinhalten, dass das Host-Fahrzeug nach dem Anwenden der Bremse einen minimalen Anhalteweg von einem Zielfahrzeug mit der mit j_max assoziierten Geschwindigkeit bis zum Stillstand verlässt.
In einigen Ausführungsformen kann CRSS so modifiziert werden, dass ein Fahrzeug während einer ersten Periode mit einer submaximalen Bremszeit bremsen kann und während einer zweiten Periode mit seiner maximalen Bremsfähigkeit bremsen kann. Beispielsweise kann ein Host-Fahrzeug, das hinter einem Zielfahrzeug fährt, erfassen, dass das Zielfahrzeug zum Anhalteweg kommt, und das Host-Fahrzeug kann dann für eine erste Dauer (oder bis zum Zurücklegen einer ersten Distanz) mit einer submaximalen Bremsfähigkeit bremsen (z.B. allmählich bei j_max bremsen) und für eine zweite Dauer (oder bis zum Zurücklegen einer zweiten Distanz) mit einer maximalen Bremsfähigkeit bremsen. In diesem Beispiel kann der CRSS-Sicherheitsabstand kürzer sein, als wenn das Fahrzeug so programmiert wäre, dass es während der gesamten Dauer nur mit der submaximalen Bremsfähigkeit bremst. In einigen Ausführungsformen kann CRSS so modifiziert werden, dass das Host-Fahrzeug während einer ersten Zeitspanne mit einer ersten submaximalen Bremsfähigkeit und während einer zweiten Zeitspanne mit einer zweiten submaximalen Bremsfähigkeit bremsen kann. Zum Beispiel kann das Host-Fahrzeug programmiert sein, für eine erste Dauer oder Distanz mit einer ersten Rate (z.B. einer ersten j_max) zu bremsen und für eine zweite Dauer oder Distanz mit einer zweiten Rate (z.B. einer zweiten j_max) zu bremsen. In diesem Beispiel kann die erste Rate geringer sein als die zweite Rate. Eine solche Betriebsart kann es einem Anwender-Fahrzeug ermöglichen, z.B. eine CRSS-Distanz wieder herzustellen, ohne mit einer höheren Rate zu bremsen, als die mit j_max assoziierte Rate.
In einigen Ausführungsformen kann ein Passagier oder Benutzer eines Host-Fahrzeugs einen oder mehrere Navigationsmodi wählen, die die submaximale Bremsrate bestimmen. So kann der Fahrgast beispielsweise wählen, ob das Host-Fahrzeug mit einem Bremsprofil bremst, das mit einer konstanten submaximalen Bremsrate, einer allmählich ansteigenden submaximalen Bremsrate, einer exponentiell ansteigenden submaximalen Bremsrate assoziiert ist. Jedes andere Bremsratenprofil kann verwendet werden. Zum Beispiel kann ein wählbarer Modus das Host-Fahrzeug anweisen, die vorbestimmte submaximale Bremsrate konstant anzuwenden, bis das Host-Fahrzeug angehalten wird oder bis eine Bremsbedingung bestimmt wird, die nicht mehr existiert. Als weiteres Beispiel kann ein wählbarer Modus das Host-Fahrzeug anweisen, die vorbestimmte submaximale Bremsrate für mindestens einen Teil einer Zeitspanne konstant anzuwenden, während der bestimmt wird, dass eine Bremsbedingung vorliegt, gefolgt von einer Anwendung der Bremse des Host-Fahrzeugs mit ihrer maximalen Bremsfähigkeit. Als weiteres Beispiel kann ein wählbarer Modus das Host-Fahrzeug anweisen, die Bremse beginnend mit der vorbestimmten submaximalen Bremsrate anzuwenden und die Bremsrate schrittweise bis zur maximalen Bremsratenfähigkeit des Host-Fahrzeugs zu erhöhen. Jede andere Kombination von Bremsraten kann gewählt werden.
Im Einklang mit dieser Offenbarung kann CRSS in Verbindung mit einem RSS-Moderator assoziiert oder anstelle eines RSS-Modus verwendet werden. In einigen Ausführungsformen kann CRSS unter bestimmten Umständen selektiv verwendet werden, während RSS unter anderen Umständen verwendet werden kann. Zum Beispiel kann CRSS auf einer Autobahn verwendet werden (z.B. wenn das Host-Fahrzeug mit hoher Geschwindigkeit fährt und das Bremsen bei maximaler Bremsfähigkeit sehr unangenehm sein kann) und RSS kann in einer städtischen Umgebung verwendet werden (z.B. wenn das Host-Fahrzeug mit niedriger Geschwindigkeit fährt und häufig an Ampeln, Stoppschildern usw. hält). In einigen Ausführungsformen kann ein Host-Fahrzeug in der Lage sein, automatisch zwischen CRSS- und RSS-Modi umzuschalten. Beispielsweise kann das System auf CRSS umschalten, wenn es feststellt, dass das Host-Fahrzeug in eine Autobahnumgebung eingefahren ist, es kann auf RSS umschalten, wenn es eine städtische Umgebung erfasst, und/oder es kann bei bestimmten erfassten Wetterbedingungen (z.B. Schnee, Regen usw.) auf CRSS umschalten.
In einigen Ausführungsformen kann CRSS verwendet werden, um sicherzustellen, dass ein Host-Fahrzeug jederzeit mindestens eine CRSS-sichere Distanz zu einem Zielfahrzeug (oder einer VRU oder einem anderen Objekt) einhält. Wenn z.B. ein Zielfahrzeug die Fahrspur wechselt und nach dem Fahrspurwechsel dem Host-Fahrzeug um einen Abstand voraus ist, der kleiner als der CRSS-Abstand ist, kann das Host-Fahrzeug mit einer submaximalen Bremsrate (z.B. einer j_max-Bremsrate) bremsen, bis es sich in einem Abstand vom Zielfahrzeug befindet, der gleich oder größer als der CRSS-Sicherheitsabstand ist. In diesem Beispiel kann das Host-Fahrzeug, wenn das Zielfahrzeug zum vollständigen Stillstand kommt, mit der submaximalen Bremsrate bremsen, bis es zum vollständigen Stillstand kommt, oder es kann ein Bremsratenprofil anwenden, das mit einer submaximalen Bremsrate beginnt und bis zu einer maximalen Bremsrate ansteigt.. Ebenso kann das Host-Fahrzeug, wenn das Zielfahrzeug eine Zeit lang bremst, aber vor dem Host-Fahrzeug weiterfährt, mit der submaximalen Bremsrate bremsen, bis das Zielfahrzeug mindestens einen CRSS-Sicherheitsabstand vom Zielfahrzeug entfernt ist, dann kann das Host-Fahrzeug mit seiner aktuellen Geschwindigkeit oder mit einer neuen Geschwindigkeit weiterfahren, die es dem Host-Fahrzeug erlaubt, den CRSS-Abstand einzuhalten. Wie oben erwähnt, wird das Host-Fahrzeug keine aktive Navigationsaktion relativ zu einem Zielfahrzeug durchführen, wenn die CRSS-Distanz in diesem Modus nicht eingehalten werden kann. In einigen Ausführungsformen kann die Verarbeitungsvorrichtung bestimmen, dass sich das Host-Fahrzeug dem CRSS-Sicherheitsabstand nähert (z.B. ist das Host-Fahrzeug weiter als der CRSS-Sicherheitsabstand von einem Zielfahrzeug entfernt, wird aber den CRSS-Sicherheitsabstand einhalten, wenn es seine aktuelle Beschleunigung oder Geschwindigkeit beibehält) und kann die Beschleunigung ohne Bremsen aufheben, um einen Abstand einzuhalten, der größer als der CRSS-Sicherheitsabstand ist. Beispielsweise kann das Host-Fahrzeug die Drosselung loslassen, was dazu führt, dass das Host-Fahrzeug vor dem Host-Fahrzeug von einem Zielfahrzeug wegrollt, während das Host-Fahrzeug andernfalls in den CRSS-Sicherheitsabstand kommen würde, wenn es nicht ausrollen würde.
In einigen Ausführungsformen kann RSS als Notfallmaßnahme implementiert werden, wenn CRSS verwendet wird. Wenn z.B. ein Zielfahrzeug vor einem Host-Fahrzeug einschneidet und der Abstand (ohne Verschulden des Host-Fahrzeugs) zum Zielfahrzeug vor dem Host-Fahrzeug geringer ist als der CRSS-Sicherheitsabstand, kann das Host-Fahrzeug entsprechend dem RSS-Modus bremsen (z.B. sofort bei maximaler Bremsfähigkeit bremsen). Insbesondere kann das RSS-Bremsen verwendet werden, wenn das Einschneiden einen Abstand erzeugt, der gleich oder kleiner als der RSS-Sicherheitsabstand ist (der kürzer als der CRSS-Sicherheitsabstand ist). Wenn der Abstand größer als der RSS-Sicherheitsabstand, aber kleiner als ein CRSS-Sicherheitsabstand ist, kann das System in einem Beispiel eine j_max bestimmen, die verwendet werden kann, um das Host-Fahrzeug entsprechend dem aktuellen Abstand (der irgendwo zwischen dem CRSS-Sicherheitsabstand und dem RSS-Sicherheitsabstand liegt) sicher anzuhalten, und das CRSS entsprechend anpassen, so dass das Fahrzeug während mindestens eines Abschnitts der Bremszeit unter Verwendung der bestimmten jmax anhält.
Die 49A-49D veranschaulichen das Konzept einer sicheren Distanz unter dem CRSS-Modell, wenn ein Host-Fahrzeug hinter einem Zielfahrzeug fährt. 48A zeigt einen CRSS-Sicherheitsabstand 4902 zwischen einem Host-Fahrzeug 4904 und einem Zielfahrzeug 4906. Wie oben diskutiert, ist der CRSS-Sicherheitsabstand 4902 der Abstand, den das Host-Fahrzeug 4904 benötigt, um zum Anhalteweg zu kommen, ohne mit dem Zielfahrzeug 4906 zu kollidieren, wenn das Host-Fahrzeug 4904 mit einer komfortablen Bremsrate jmax bremst, die kleiner als seine maximale Bremsfähigkeit ist. Zu Vergleichszwecken ist der RSS-Sicherheitsabstand 4702 (wie in 47A-47D dargestellt) enthalten. Der RSS-Sicherheitsabstand 4702 ist der Abstand, den das Host-Fahrzeug 4904 benötigt, um zum Anhalteweg zu kommen, wenn es mit seiner maximalen Bremsfähigkeit bremst.
49B zeigt einen CRSS-Sicherheitsabstand 4912 zwischen einem Host-Fahrzeug 4914 und einem Zielfahrzeug 4916. Der Unterschied zwischen dem CRSS-Sicherheitsabstand 4902 und dem CRSS-Sicherheitsabstand 4912 kann darin bestehen, dass der CRSS-Sicherheitsabstand 4912 mit einer geringeren Bremsrate assoziiert ist als der CRSS-Sicherheitsabstand 4902. Das heißt, der mit dem Host-Fahrzeug 4814 assoziierte j_max-Wert ist niedriger als der mit dem Host-Fahrzeug 4904 assoziierte j_max-Wert, weshalb das Host-Fahrzeug 4914 einen längeren Abstand benötigt, um zum Anhalteweg zu kommen.
49C zeigt den CRSS-Sicherheitsabstand 4922 zwischen einem Host-Fahrzeug 4924 und einem Zielfahrzeug 4926. In diesem Beispiel beinhaltet der CRSS-Sicherheitsabstand 4922 einen Mindestabstand 4910, der einen Mindestabstand zwischen dem Host-Fahrzeug 4924 und dem Zielfahrzeug 4926 beinhalten kann, nachdem das Host-Fahrzeug durch Bremsen mit einer Rate von j_max zum Anhalten gekommen ist (wie durch den CRSS-Sicherheitsabstand 4902 gezeigt). Wie oben diskutiert, kann der Mindestabstand 4910 d_min betragen.
49D veranschaulicht den CRSS-Sicherheitsabstand 4932 zwischen einem Host-Fahrzeug 4934 und einem Zielfahrzeug 4936. In diesem Beispiel beinhaltet der CRSS-Sicherheitsabstand 4932 sowohl den Mindestabstand 4910 als auch den Beschleunigungsabstand 4908. Der Beschleunigungsabstand 4908 kann die Distanz sein, die das Host-Fahrzeug 4934 zurücklegen würde, wenn es während einer anfänglichen Reaktionsperiode mit maximalem Beschleunigungsvermögen beschleunigt würde.
Das Konzept des CRSS-Sicherheitsabstands kann in seitliche Richtungen erweitert werden. Eine fachkundige Person, die in den Genuss dieser Offenbarung kommt, würde erkennen, dass ein CRSS-Sicherheitsabstand einen seitlichen Abstand zwischen einem Host-Fahrzeug und einem anderen Objekt (z.B. einem Zielfahrzeug oder einer VRU) beinhalten kann, innerhalb dessen das Host-Fahrzeug die Lenkung des Host-Fahrzeugs anpassen kann, um eine Kollision mit dem Objekt zu vermeiden und gleichzeitig eine unbequeme Lenkeinstellung zu vermeiden.
Im Einklang mit dieser Offenbarung wird ein System zum Bremsen eines Host-Fahrzeugs offenbart. Das System kann z.B. das Bremssystem 230 sein oder kann in ein Navigationssystem, z.B. ein ADAS-System, beinhalten. Das Bremssystem kann mindestens eine Verarbeitungsvorrichtung beinhalten. Die Verarbeitungsvorrichtung kann so programmiert sein, dass sie eine oder mehrere Verfahren, Prozesse, Operationen oder Funktionen ausführt, die mit dieser Offenbarung konsistent sind.
50 ist ein Flussdiagramm, das einen beispielhaften Prozess 5000 darstellt, der von der mindestens einen Vorrichtung zur Verarbeitung des Bremssystems durchgeführt werden kann. Prozess 5000 wird zu Erklärungszwecken verwendet und ist nicht als Begrenzung gedacht. Ein gewöhnlicher Fachmann, der den Vorteil dieser Offenbarung hat, kann verstehen, dass Prozess 5000 zusätzliche Schritte beinhalten, bestimmte Schritte ausschließen oder auf andere Weise in einer konsistenten Weise modifiziert werden können, die mit dieser Offenbarung übereinstimmt.
Prozess 5000 kann einen Schritt 5002 zum Empfangen einer Ausgabe beinhalten, die repräsentativ für eine Umgebung eines Host-Fahrzeugs ist. In Übereinstimmung mit dieser Offenbarung kann die mindestens eine Verarbeitungsvorrichtung so programmiert werden, dass sie eine Ausgabe empfängt, die repräsentativ für eine Umgebung des Host-Fahrzeugs ist. Die Ausgabe kann z. B. von mindestens einem Sensor empfangen werden, der in das Bremssystem einbezogen ist oder mit diesem kommuniziert. Bei dem mindestens einen Sensor kann es sich um jeden hier offenbarten Sensor handeln, einschließlich z. B. einer Bilderfassungsvorrichtung, eines LIDAR-Systems, eines RADAR-Systems, eines Beschleunigungsmessers oder ähnlichem. In einigen Ausführungsformen kann die Verarbeitungsvorrichtung so programmiert sein, dass sie eine Vielzahl von Sensorausgaben von einem oder mehreren Sensoren empfängt. Beispielsweise kann die Verarbeitungsvorrichtung eine erste Ausgabe von einer Bilderfassungsvorrichtung, eine zweite Ausgabe von einem LIDAR-System usw. empfangen. Als weiteres Beispiel kann die Verarbeitungsvorrichtung so programmiert sein, dass sie eine erste Ausgabe von einer Bilderfassungsvorrichtung, eine zweite Ausgabe von der Bilderfassungsvorrichtung usw. empfängt. In einigen Ausführungsformen können der eine oder mehrere Sensoren so konfiguriert sein, dass sie Informationen bezüglich verschiedener Bereiche der Umgebung des Host-Fahrzeugs erfassen. Beispielsweise kann eine erste Vorrichtung zur Bilderfassung so konfiguriert sein, dass sie ein Bild der Umgebung vor dem Host-Fahrzeug erfasst, eine zweite Vorrichtung zur Bilderfassung kann so konfiguriert sein, dass sie ein Bild der Umgebung hinter dem Host-Fahrzeug erfasst, und so weiter. Als weiteres Beispiel kann eine Vorrichtung zur Bilderfassung so konfiguriert werden, dass sie ein Bild der Umgebung vor dem Host-Fahrzeug erfasst, und ein oder mehrere LIDAR-Systeme können so konfiguriert werden, dass sie Informationen bezüglich der Umgebung auf beiden Seiten des Host-Fahrzeugs erfassen.
Prozess 5000 kann einen Schritt 5004 zum Erkennen eines Zielfahrzeugs in der Umgebung des Host-Fahrzeugs beinhalten. In einigen Ausführungsformen kann das Zielfahrzeug basierend auf der in Schritt 5002 empfangenen Ausgabe erkannt werden. Konsistent mit dieser Offenbarung kann die mindestens eine Verarbeitungsvorrichtung des Bremssystems programmiert werden, um basierend auf der Ausgabe ein Zielfahrzeug in der Umgebung des Host-Fahrzeugs zu erkennen. Das Zielfahrzeug kann durch jedes mit dieser Offenbarung konsistente Mittel erkannt werden. Wenn es sich bei der Ausgabe beispielsweise um ein oder mehrere Bilder handelt, kann die Verarbeitungsvorrichtung die Bilder analysieren (z.B. die Bilder mit Bildern vergleichen, von denen bekannt ist, dass sie Fahrzeuge enthalten), um ein Zielfahrzeug zu erkennen. Als weiteres Beispiel können ein oder mehrere Ausgaben von einem oder mehreren LIDAR-Systemen oder RADAR-Systemen verwendet werden, um den Umriss und die Position eines Zielfahrzeugs zu erkennen. In einigen Ausführungsformen kann die Verarbeitungsvorrichtung eine Vielzahl von Zielfahrzeugen erkennen. Beispielsweise kann die Verarbeitungsvorrichtung ein Zielfahrzeug vor dem Host-Fahrzeug, hinter dem Host-Fahrzeug und/oder neben dem Zielfahrzeug oder eine Kombination davon erkennen. Während die Beispiele die Erkennung von Zielfahrzeugen offenbaren, wird davon ausgegangen, dass jedes andere Objekt (z.B. VRUs, Straßencharakteristiken usw.) mit den gleichen Mitteln erkannt werden kann.
Prozess 5000 kann einen Schritt 5006 zur Bestimmung einer Geschwindigkeit des Host-Fahrzeugs und einer Distanz zwischen dem Host-Fahrzeug und dem Zielfahrzeug beinhalten. In Übereinstimmung mit dieser Offenbarung kann die mindestens eine Verarbeitungsvorrichtung des Bremssystems programmiert werden, um eine aktuelle Geschwindigkeit des Host-Fahrzeugs und einen aktuellen Abstand zwischen dem Host-Fahrzeug und dem Zielfahrzeug zu bestimmen. Die aktuelle Geschwindigkeit und/oder der aktuelle Abstand können basierend auf einer oder mehreren Sensorausgabe(n) bestimmt werden. In einigen Ausführungsformen kann die aktuelle Geschwindigkeit und/oder der aktuelle Abstand basierend auf den Ausgängen bestimmt werden, die verwendet werden, um das Zielfahrzeug in Schritt 5004 zu erkennen. Beispielsweise kann eine Ausgabe von einem LIDAR-System einen oder mehrere Abstände zwischen verschiedenen Punkten auf dem Zielfahrzeug und dem Host-Fahrzeug ausgeben, die verwendet werden können, um eine aktuelle Distanz zwischen dem Host-Fahrzeug und dem Zielfahrzeug zu bestimmen. In einigen Ausführungsformen kann die aktuelle Geschwindigkeit des Host-Fahrzeugs durch einen dem Host-Fahrzeug zugeordneten Beschleunigungsmesser und/oder Tachometer bereitgestellt werden.
Prozess 5000 kann einen Schritt 5008 beinhalten, um zu bestimmen, ob eine Bremsbedingung vorliegt. In Übereinstimmung mit dieser Offenbarung kann die mindestens eine Vorrichtung zur Verarbeitung des Bremssystems bestimmen, ob eine Bremsbedingung vorliegt. Eine Bremsbedingung kann jeder Zustand sein, in dem das Host-Fahrzeug bremsen muss, um unsichere Umstände zu vermeiden, einen Zusammenstoß zu vermeiden oder zum Stillstand zu kommen. Eine Bremsbedingung kann z.B. die Bestimmung sein, dass das Host-Fahrzeug weniger als den CRSS-Sicherheitsabstand vom Zielfahrzeug oder einem anderen Objekt entfernt ist. Die Bestimmung, ob eine Bremsbedingung vorliegt, kann mindestens auf der aktuellen Geschwindigkeit des Host-Fahrzeugs und dem aktuellen Abstand zwischen dem Host-Fahrzeug und dem Zielfahrzeug basieren. Zum Beispiel kann die Verarbeitungsvorrichtung einen CRSS-Sicherheitsabstand (oder RSS-Sicherheitsabstand) zwischen dem Zielfahrzeug und dem Host-Fahrzeug bestimmen, basierend auf der aktuellen Geschwindigkeit des Host-Fahrzeugs und des Zielfahrzeugs, der Bremsfähigkeit des Host-Fahrzeugs, der angenommenen Bremsfähigkeit des Zielfahrzeugs und optional der maximalen Beschleunigungsrate des Host-Fahrzeugs, wie oben diskutiert. Die Verarbeitungsvorrichtung kann den CRSS-Sicherheitsabstand mit dem aktuellen Abstand zwischen dem Host-Fahrzeug und dem Zielfahrzeug vergleichen. Die Verarbeitungsvorrichtung kann bestimmen, dass eine Bremsbedingung vorliegt, wenn basierend auf dem Vergleich der aktuelle Abstand zwischen dem Host-Fahrzeug und dem Zielfahrzeug kleiner als der CRSS-Sicherheitsabstand ist. Jeder andere hier offenbartes unsichere Zustand, auf den das Host-Fahrzeug durch Bremsen reagieren würde, kann ein Bremszustand sein. Eine Bremsbedingung würde auch vorliegen, wenn das Host-Fahrzeug erkennt, dass sich das Host-Fahrzeug bei einer aktuellen Geschwindigkeit und/oder Beschleunigung einem Zielfahrzeug nähert, das näher als der CRSS-Abstand ist. In solchen Fällen würde das Host-Fahrzeug eine Aktion durch Bremsen oder die Einleitung eines anderen Manövers (Fahrspurwechsel usw.) durchführen, so dass der CRSS-Abstand zwischen dem Host-Fahrzeug und dem Zielfahrzeug mindestens eingehalten wird.
Prozess 5000 kann einen Schritt 5010 beinhalten, um die Anwendung einer Vorrichtung gemäß einem vorbestimmten Bremsprofil zu verursachen, wenn eine Bremsbedingung vorliegt. Die Bremsbedingung kann jede in Schritt 5008 bestimmte Bremsbedingung sein. In Übereinstimmung mit dieser Offenbarung kann die mindestens eine Vorrichtung zur Verarbeitung des Bremssystems so programmiert werden, dass sie bei Vorliegen einer bestimmten Bremsbedingung die Betätigung einer dem Host-Fahrzeug zugeordneten Bremsvorrichtung gemäß einem vorbestimmten Bremsprofil verursacht. Wenn die Verarbeitungsvorrichtung beispielsweise bestimmt, dass das Host-Fahrzeug einen CRSS-Sicherheitsabstand relativ zu einem Zielfahrzeug unterschreitet oder sich diesem nähert, kann das Bremssystem damit beginnen, das Host-Fahrzeug mit einer vorbestimmten submaximalen Bremsrate zu bremsen. Das vorbestimmte Bremsratenprofil kann einen Abschnitt beinhalten, der mit einer submaximalen Bremsrate für das Host-Fahrzeug beginnt und progressiv bis zu einer maximalen Bremsrate des Host-Fahrzeugs ansteigen kann. Die submaximale Bremsrate kann entsprechend einer der offenbarten Ausführungsformen progressiv zunehmen. Zum Beispiel kann der progressive Anstieg ein nichtlinearer Anstieg sein. In einem anderen Beispiel kann der progressive Anstieg ein linearer Anstieg sein.
Beispielsweise darf das Bremssystem die Bremse nur während der Dauer des Bremszustandes anwenden. In einigen Ausführungsformen kann die mindestens eine Verarbeitungseinheit nach Erreichen der maximalen Bremsgeschwindigkeit des Host-Fahrzeugs so konfiguriert sein, dass sie die Bremsung der Vorrichtung des Host-Fahrzeugs mit der maximalen Bremsgeschwindigkeit des Host-Fahrzeugs fortsetzt, bis der Bremszustand nicht mehr gegeben ist (z.B. wenn das Host-Fahrzeug anhält oder ein CRSS-Abstand zwischen dem Host-Fahrzeug und dem Zielfahrzeug wiederhergestellt ist). In einigen Fällen kann die Bremsbedingung vor dem vollständigen Stillstand des Host-Fahrzeugs beendet werden, selbst wenn der Bremsmechanismus mit der maximalen Bremsrate angewendet wird, und die Verarbeitungsvorrichtung kann die Bremsung als Reaktion auf das Ende der Bremsbedingung beenden. In einigen Ausführungsformen wird die maximale Bremsgeschwindigkeit des Host-Fahrzeugs möglicherweise nicht erreicht. Wenn zum Beispiel die Bremsbedingung aufhört zu bestehen, bevor das Bremssystem die maximale Bremsrate erreicht, kann die mindestens eine Verarbeitungseinheit so programmiert sein, dass sie die Bremsung einstellt und die maximale Bremsrate des Host-Fahrzeugs möglicherweise nie erreicht wird.
In einigen Ausführungsformen kann die maximale Bremsfähigkeit, die zur Berechnung der Bremsdistanzen verwendet wird, eine bestimmte Zahl (oder ein anderer mathematischer Ausdruck) sein, die in den hier verwendeten und beschriebenen Formeln verwendet wird. In einigen Ausführungsformen kann die maximale Bremskraft im Vergleich zu der in den Formeln verwendeten variieren und kann die tatsächliche Bremsfähigkeit sein, die das Fahrzeug zu jedem einzelnen Zeitpunkt erzeugen kann und die z.B. durch dynamische Faktoren, einschließlich Charakteristiken der Straßenoberfläche, Wetterbedingungen und Bedingungen des Fahrzeugs und seiner verschiedenen Systeme und Komponenten beeinflusst werden kann.
Im Einklang mit dieser Offenbarung wird ein System zur Navigation eines Host-Fahrzeugs offenbart. In einigen Ausführungsformen kann das System ein ADAS-System oder ein anderes hier offenbartes Navigationssystem sein. Das Navigationssystem kann mindestens einen Prozessor oder eine Verarbeitungsvorrichtung beinhalten, die so programmiert ist, dass sie ein oder mehrere Verfahren, Prozesse, Funktionen oder Operationen ausführt, die mit dieser Offenbarung konsistent sind. Bei dem Prozessor oder der Verarbeitungsvorrichtung kann es sich um die Verarbeitungsvorrichtung 110 oder einen anderen Prozessor oder eine andere Verarbeitungsvorrichtung in einem Host-Fahrzeug oder in Kommunikation mit diesem handeln (z.B. die mindestens eine Verarbeitungsvorrichtung des Bremssystems).
51 ist ein Flussdiagramm, das einen beispielhaften Prozess 5100 darstellt, der von der mindestens einen Verarbeitungsvorrichtung des Navigationssystems ausgeführt werden kann. Der Prozess 5100 dient zu Erklärungszwecken und soll nicht einschränkend wirken. Ein gewöhnlicher Fachmann, dem diese Offenbarung zugute kommt, kann verstehen, dass der Prozess 5100 zusätzliche Schritte beinhalten, bestimmte Schritte ausschließen oder anderweitig in konsistenter Weise in Übereinstimmung mit dieser Offenbarung modifiziert werden kann.
Der Prozess 5100 kann einen Schritt 5102 beinhalten, um mindestens ein Bild zu empfangen, das eine Umgebung eines Host-Fahrzeugs repräsentiert. In Übereinstimmung mit dieser Offenbarung kann die mindestens eine Verarbeitungsvorrichtung so programmiert werden, dass sie mindestens ein Bild empfängt, das repräsentativ für eine Umgebung eines Host-Fahrzeugs ist. Das mindestens eine Bild kann von einer Vorrichtung zur Erfassung von Bildern empfangen werden. Die Bilderfassungsvorrichtung kann jede Vorrichtung sein, die mit dieser Offenbarung konsistent ist, einschließlich der Bilderfassungsvorrichtung 122. In einigen Ausführungsformen kann das mindestens eine Bild ein Bild von einer Kamera, einem RADAR, einem LIDAR oder jeder anderen Vorrichtung sein, von der ein Bild, sei es optisch oder anderweitig, empfangen werden kann.
Prozess 5100 kann einen Schritt 5104 zur Bestimmung einer geplanten Navigationsaktion beinhalten. In Übereinstimmung mit dieser Offenbarung kann die mindestens eine Verarbeitungsvorrichtung programmiert werden, um eine geplante Navigationsaktion zum Erreichen eines Navigationsziels des Host-Fahrzeugs zu bestimmen. Die Navigationsaktion kann basierend auf mindestens einer Fahrstrategie bestimmt werden. Die geplante Navigationsaktion und/oder die mindestens eine Fahrstrategie kann mit dieser Offenbarung, einschließlich der oben genannten, konsistent sein. Beispielsweise kann die geplante Navigationsaktion mindestens eines der folgenden Manöver beinhalten: ein Fahrspurwechselmanöver, ein Zusammenführungsmanöver, ein Überholmanöver, ein Manöver zur Verringerung der Distanz oder eine Aktion zur Beibehaltung der Drosselung. Die Navigationsaktion kann im Wesentlichen auf die gleiche Weise bestimmt werden, wie sie in Bezug auf Schritt 4804 des Verfahrens 4800 diskutiert wurde. Die Verarbeitungsvorrichtung kann programmiert sein, das mindestens eine Bild zu analysieren, um ein Zielfahrzeug in der Umgebung des Host-Fahrzeugs zu identifizieren. Das mindestens eine Bild kann ein Bild sein, das von einer Vorrichtung zur Erfassung von Bildern, wie z.B. der Bilderfassungsvorrichtung 122, empfangen wird. Das Zielfahrzeug kann ein Fahrzeug irgendwo in der aktuellen Umgebung des Host-Fahrzeugs oder in einer zukünftigen Umgebung des Host-Fahrzeugs sein. Zum Beispiel kann das Zielfahrzeug ein Fahrzeug vor, neben oder hinter dem Host-Fahrzeug und/oder ein Fahrzeug sein, das vor, neben oder hinter dem Host-Fahrzeug sein wird, wenn es die geplante Navigationsaktion durchführt.
Prozess 5100 kann einen Schritt 5106 zur Bestimmung einer Folgezustand-Distanz beinhalten, die mit der geplanten Navigationsaktion assoziiert wird. In Übereinstimmung mit dieser Offenbarung kann die mindestens eine Verarbeitungsvorrichtung programmiert werden, um eine Folgezustand-Distanz zwischen dem Host-Fahrzeug und dem Zielfahrzeug zu bestimmen, die sich ergeben würde, wenn die geplante Navigationsaktion durchgeführt würde. Die Folgezustand-Distanz kann mit jedem hier offenbartes Mittel berechnet werden, einschließlich der obigen CRSS-Formel für die sichere Entfernung. Wenn es sich bei der geplanten Navigationsaktion beispielsweise um eine Beschleunigung (oder einen Fahrspurwechsel oder sogar um die Fortsetzung der Fahrt mit der aktuellen Geschwindigkeit ohne Bremsbetätigung usw.) des Host-Fahrzeugs handelt, kann die Folgezustand-Distanz eine Distanz zwischen dem Host-Fahrzeug und einem Zielfahrzeug vor dem Host-Fahrzeug sein. In einigen Beispielen kann mehr als eine Folgezustand-Distanz bestimmt werden. Wenn die geplante Navigationsaktion beispielsweise eine Zusammenführung in eine benachbarte Fahrspur ist, kann eine erste Folgezustand-Distanz in Bezug auf das Host-Fahrzeug und ein erstes Zielfahrzeug, das nach der Zusammenführung vor dem Host-Fahrzeug sein wird, und eine zweite Folgezustand-Distanz in Bezug auf ein zweites Zielfahrzeug, das nach der Zusammenführung hinter dem Host-Fahrzeug sein wird, bestimmt werden.
Prozess 5100 kann einen Schritt 5108 zur Bestimmung einer aktuellen Geschwindigkeit des Host-Fahrzeugs beinhalten. In Übereinstimmung mit dieser Offenbarung kann die mindestens eine Verarbeitungsvorrichtung programmiert werden, um eine aktuelle Geschwindigkeit des Host-Fahrzeugs zu bestimmen. Die aktuelle Geschwindigkeit kann durch jedes Mittel bestimmt werden, das mit dieser Offenbarung konsistent ist, einschließlich wie in Bezug auf Schritt 4808 des Prozesses 4800 diskutiert. In einigen Ausführungsformen kann die aktuelle Geschwindigkeit des Host-Fahrzeugs basierend auf der Sensorausgabe eines oder mehrerer Sensoren bestimmt werden. Zum Beispiel kann die aktuelle Geschwindigkeit aus dem Ausgang eines Gaspedals, eines LIDAR-Systems, eines RADAR-Systems, einer GPS-Einheit oder ähnlichem bestimmt werden. Als weiteres Beispiel kann die aktuelle Geschwindigkeit des Host-Fahrzeugs durch Analyse eines oder mehrerer Bilder (z.B. basierend auf einer Änderung der Skalierungsrate eines festen Objekts, das in zwei oder mehreren Bildern erkannt wurde) bestimmt werden.
Der Prozess 5100 kann einen Schritt 5110 beinhalten, um eine aktuelle Geschwindigkeit des Zielfahrzeugs zu bestimmen und eine maximale Bremsfähigkeit des Zielfahrzeugs anzunehmen. In Übereinstimmung mit dieser Offenbarung kann die mindestens eine Verarbeitungsvorrichtung programmiert werden, um eine aktuelle Geschwindigkeit des Zielfahrzeugs zu bestimmen und eine maximale Bremsfähigkeit des Zielfahrzeugs anzunehmen. Die maximale Bremsfähigkeit kann basierend auf mindestens einer Charakteristik des Zielfahrzeugs angenommen werden. Die maximale Bremsfähigkeit des Zielfahrzeugs kann mit allen Mitteln bestimmt werden, die mit dieser Offenbarung konsistent sind, einschließlich der in Bezug auf RSS diskutierten Mittel (z.B. als Teil von Schritt 4812 des Verfahrens 4800).
In einigen Ausführungsformen kann die aktuelle Geschwindigkeit des Zielfahrzeugs basierend auf der aktuellen Geschwindigkeit des Host-Fahrzeugs bestimmt werden. Beispielsweise können ein oder mehrere Sensoren des Host-Fahrzeugs Informationen bezüglich der Geschwindigkeit des Host-Fahrzeugs bereitstellen und ein oder mehrere Sensoren können eine Position des Zielfahrzeugs in Bezug auf das Host-Fahrzeug und/oder eine Änderung der Position, Beschleunigung oder Geschwindigkeit des Zielfahrzeugs bereitstellen, die zur Bestimmung einer aktuellen Geschwindigkeit des Zielfahrzeugs verwendet werden können. In einigen Ausführungsformen kann die Geschwindigkeit des Zielfahrzeugs basierend auf der Analyse von mindestens einem Bild bestimmt werden. Bei dem mindestens einen Bild kann es sich um dasselbe Bild handeln, in dem das Zielfahrzeug zuerst erkannt wurde, oder um ein anderes Bild. In einigen Ausführungsformen kann eine Vielzahl von Bildern analysiert werden, um eine aktuelle Geschwindigkeit des Zielfahrzeugs zu bestimmen. Beispielsweise kann ein Bild, das zu einer ersten Zeit erfasst wurde, das Zielfahrzeug in einer ersten Entfernung vom Host-Fahrzeug darstellen, und ein Bild, das zu einer zweiten Zeit erfasst wurde, kann das Zielfahrzeug in einer zweiten Entfernung vom Host-Fahrzeug darstellen. Die Verarbeitungsvorrichtung kann eine aktuelle Geschwindigkeit basierend auf der Änderung des Abstands zwischen den beiden Bildern bestimmen. In einigen Ausführungsformen kann die Geschwindigkeit des Zielfahrzeugs basierend auf der Analyse einer Ausgabe von mindestens einem mit dem Host-Fahrzeug assoziierten LIDAR-System oder RADAR-System bestimmt werden. Beispielsweise kann die Verarbeitungsvorrichtung die Geschwindigkeit des Host-Fahrzeugs und eine Distanz zwischen dem Host-Fahrzeug und dem Zielfahrzeug (wie sie z.B. von einem LIDAR-System erfasst wird) verwenden, um eine Geschwindigkeit des Host-Fahrzeugs zu bestimmen.
Die mindestens eine Charakteristik des Zielfahrzeugs kann durch jedes mit dieser Offenbarung konsistente Mittel bestimmt werden. In einigen Ausführungsformen kann die Verarbeitungsvorrichtung das mindestens eine Merkmal basierend auf einer oder mehreren Sensorausgabe(n) eines oder mehrerer Sensoren, die dem Host-Fahrzeug zugeordnet sind, bestimmen. Zum Beispiel kann das mindestens eine Merkmal basierend auf mindestens einem LIDAR-Ausgang oder einem RADAR-Ausgang bestimmt werden. Eine LIDAR-Ausgabe kann z.B. eine oder mehrere Distanzen beinhalten, die mit dem Abstand zwischen z.B. dem Host-Fahrzeug und der Oberkante des Zielfahrzeugs und einer Unterkante des Zielfahrzeugs assoziiert sind und deren Differenz zur Bestimmung einer Größe des Zielfahrzeugs verwendet werden kann. In einigen Ausführungsformen kann die mindestens eine Charakteristik basierend auf der Analyse mindestens eines Bildes bestimmt werden. Bei dem mindestens einen Bild kann es sich um das Bild handeln, in dem das Zielfahrzeug zuerst erkannt wurde, oder um ein anderes Bild. Beispielsweise kann das Bild des Zielfahrzeugs Text, Logos oder andere Informationen beinhalten, die zur Bestimmung einer Fahrzeugart, eines Modells, einer Ausstattungsstufe oder einer anderen Charakteristik verwendet werden können. Als weiteres Beispiel kann das Bild des Zielfahrzeugs andere Fahrzeuge oder Objekte beinhalten, die zum Vergleich mit dem Zielfahrzeug verwendet werden können, um die Größe des Zielfahrzeugs zu bestimmen.
Die erkannte Charakteristik des Zielfahrzeugs kann jede sein, die für die Bestimmung einer maximalen Bremsfähigkeit des Zielfahrzeugs nützlich sein kann. In einigen Ausführungsformen kann die erkannte Charakteristik des Zielfahrzeugs eine Fahrzeugart beinhalten. Der Fahrzeugtyp kann z.B. eine allgemeine Kategorie sein, zu der das Zielfahrzeug gehört (z.B. Limousine, Kleinwagen, SUV, Geländewagen, Crossover-SUV, Motorrad usw.) oder eine speziellere Kategorie oder Unterkategorie, die mit dem Zielfahrzeug assoziiert ist. Die Verarbeitungsvorrichtung kann so programmiert sein, dass sie davon ausgeht, dass das Zielfahrzeug eine maximale Bremsfähigkeit hat, die der einer bekannten Bremsfähigkeit dieses Fahrzeugtyps oder einer Fahrzeugklasse entspricht. Wenn beispielsweise bestimmt wird, dass das Zielfahrzeug ein Motorrad ist, kann die Verarbeitungsvorrichtung davon ausgehen, dass das Zielfahrzeug eine maximale Bremsfähigkeit hat, die der des Motorrads mit der besten maximalen Bremsfähigkeit entspricht (z.B. das Motorrad, das am schnellsten oder in der kürzesten Differenz zum Stillstand kommen kann). In einigen Ausführungsformen kann die erkannte Charakteristik des Zielfahrzeugs ein Fahrzeugmodell beinhalten. Das Fahrzeugmodell kann z.B. einen Markennamen und/oder den Modellnamen des Fahrzeugs beinhalten. Das Fahrzeugmodell des Zielfahrzeugs kann durch jedes Mittel bestimmt werden, das mit dieser Offenbarung konsistent ist, einschließlich z.B. der Erkennung von Text, Logos oder anderen Identifikatoren eines Fahrzeugmodells oder der Erkennung von Merkmalen, die charakteristisch für ein Fahrzeugmodell sind. Die Verarbeitungsvorrichtung kann z.B. ein Bild des Zielfahrzeugs analysieren und Text erkennen, der mit einem Fahrzeugmodell assoziiert ist (z.B. kann der Text „Honda Accord“ auf der Rückseite des Zielfahrzeugs erkannt werden). Als weiteres Beispiel kann die Verarbeitungsvorrichtung ein Bild analysieren und ein oder mehrere charakteristische Merkmale des Zielfahrzeugs erkennen (z.B. die Form der Rücklichter, das Vorhandensein oder Fehlen eines Spoilers, die allgemeine Form des Zielfahrzeugs usw.) und kann einen Fahrzeugtyp bestimmen, indem sie z.B. die erkannten Merkmale mit einem oder mehreren Bildern bekannter Fahrzeugtypen vergleicht. Die Verarbeitungsvorrichtung kann den Fahrzeugtyp verwenden, um die Bremsfähigkeit des Zielfahrzeugs zu bestimmen. Wenn es sich bei der Art des Fahrzeugs beispielsweise um einen Ford Escape® handelt, kann die Verarbeitungsvorrichtung auf eine Datenbank zugreifen oder eine Internetsuche durchführen, um die gemeldeten Bremsfähigkeiten eines Ford Escape® zu finden. Einige Fahrzeugtypen können mehrere gemeldete Bremsfähigkeiten haben, abhängig z.B. von den in der Ausstattungsvariante des Fahrzeugs angebotenen Merkmalen. Die Verarbeitungsvorrichtung kann so programmiert sein, dass sie davon ausgeht, dass das Zielfahrzeug die beste maximale Bremsfähigkeit der Fahrzeuge dieser Art hat. In einigen Ausführungsformen können die erkannten Charakteristiken des Zielfahrzeugs eine Fahrzeuggröße beinhalten. Die Fahrzeuggröße kann eine physikalische Abmessung des Fahrzeugs, ein mit dem Fahrzeug assoziiertes Gewicht, eine Kombination daraus oder ähnliches sein. Die Fahrzeuggröße kann eine relative Größe, eine aus einer Vielzahl vorbestimmter Größen oder ähnliches sein. Die Verarbeitungsvorrichtung kann z.B. so programmiert sein, dass sie Zielfahrzeuge in eine von einer Vielzahl vorbestimmter Größenbereiche einordnet (z.B. kompakt = weniger als 1.000 kg; klein = 1.000-1.500 kg; und so weiter). In einigen Ausführungsformen kann die Größe des Zielfahrzeugs basierend auf seinem Vergleich mit der Größe des Host-Fahrzeugs, mit anderen Fahrzeugen auf der Straße, mit Objekten in der Nähe des Zielfahrzeugs usw. geschätzt werden. Beispielsweise kann die Verarbeitungsvorrichtung ein Bild des Zielfahrzeugs analysieren und bestimmen, dass es größer als das Host-Fahrzeug, aber kleiner als ein Fahrzeug in der Nähe des Zielfahrzeugs ist. Die Fahrzeuggröße kann verwendet werden, um eine maximale Bremsfähigkeit des Zielfahrzeugs anzunehmen. Beispielsweise kann die Verarbeitungsvorrichtung so programmiert sein, dass sie davon ausgeht, dass größere und schwerere Fahrzeuge länger brauchen, um zum Stillstand zu kommen.
Die maximale Bremsfähigkeit des Zielfahrzeugs kann basierend auf zusätzlichen Faktoren bestimmt werden. Zum Beispiel kann die aktuelle maximale Bremsfähigkeit des Zielfahrzeugs basierend auf dem erfassten Zustand einer Straßenoberfläche bestimmt werden. In diesem Beispiel kann der erfasste Straßenzustand eine Rauhigkeit der Straße, eine Neigung oder Steigung der Straße, das Vorhandensein oder Nichtvorhandensein einer Substanz oder eines Gegenstandes auf der Straße, unabhängig davon, ob es sich bei der Straße um Asphalt, Zement, Kies oder ein anderes Material handelt, oder einen anderen Zustand beinhalten, der mit dieser Offenbarung konsistent ist. Als weiteres Beispiel kann die aktuelle maximale Bremsfähigkeit des Zielfahrzeugs basierend auf einer erfassten Wetterbedingung bestimmt werden. In diesem Beispiel kann die Wetterbedingung eine Erkennung von Niederschlag (z.B. Regen, Graupel, Schnee, Eis usw.), eine Wetterbedingung, die die Sicht beeinträchtigt (z.B. Nebel, Smog, Rauch usw.), eine Wetterbedingung, die das Fahrverhalten des Fahrzeugs beeinflussen kann (z.B. starker Wind, große Hitze usw.), oder jede andere Wetterbedingung beinhalten, die eine Navigationsreaktion des Host-Fahrzeugs beeinflussen kann. In einem anderen Beispiel kann die Verarbeitungsvorrichtung eine maximale Bremsfähigkeit bestimmen, basierend darauf, ob das Host-Fahrzeug z.B. neue oder alte Reifen, 1 Passagier oder eine Vielzahl von Passagieren, ein signifikantes Gewicht der Ladung, einen Anhänger usw. enthält. In einigen Ausführungsformen kann die maximale Bremsfähigkeit des Zielfahrzeugs basierend auf einem vordefinierten Faktor bestimmt werden, wie z.B. durch eine Vorschrift, die eine für Fahrzeuge oder Fahrzeugarten zulässige maximale Bremsfähigkeit vorsieht.
Die angenommene maximale Bremsfähigkeit kann verwendet werden, um einen Anhalteweg des Zielfahrzeugs zu bestimmen, den das Zielfahrzeug von seiner aktuellen Geschwindigkeit bis zum Anhalten benötigen würde, wenn es mit seiner maximalen Bremsfähigkeit bremsen würde. Die Distanz kann mit allen Mitteln berechnet werden, die mit dieser Offenbarung konsistent sind, einschließlich derer, die im Zusammenhang mit RSS und/oder CRSS diskutiert werden.
Prozess 5100 kann einen Schritt 5112 zur Implementierung der Navigationsaktion beinhalten, wenn die geplante Navigationsaktion sicher ist. Für die Zwecke des Schrittes 5112 kann die geplante Navigationsaktion beispielsweise dann als sicher angesehen werden, wenn das Host-Fahrzeug mit einer submaximalen Bremsrate innerhalb eines Anhalteweges des Host-Fahrzeuges angehalten werden kann, der kleiner ist als die bestimmte Folgezustand-Distanz, summiert mit einem Anhalteweg des Zielfahrzeuges, der basierend auf der aktuellen Geschwindigkeit des Zielfahrzeuges und der angenommenen maximalen Bremsfähigkeit des Zielfahrzeuges bestimmt wird. In einigen Ausführungsformen kann die mindestens eine Verarbeitungsvorrichtung so implementiert werden, dass sie die geplante Navigationsaktion implementiert, wenn das Host-Fahrzeug bei der bestimmten aktuellen Geschwindigkeit des Host-Fahrzeugs und bei einer vorbestimmten submaximalen Bremsrate innerhalb eines Anhaltewegs des Host-Fahrzeugs angehalten werden kann, der kürzer ist als die bestimmte Folgezustand-Distanz, summiert mit einer Zielfahrzeug-Fahrstrecke. Die vorbestimmte submaximale Bremsrate kann kleiner als eine maximale Bremsfähigkeit des Host-Fahrzeuges sein. Die Zielfahrzeug-Fahrstrecke kann ein Abstand sein, der basierend auf der aktuellen Geschwindigkeit des Zielfahrzeugs und der angenommenen maximalen Bremsfähigkeit des Zielfahrzeugs bestimmt wird. Wie oben beschrieben, kann die submaximale Bremsrate die ruckartige Bremsrate sein, die durch j_max in den CRSS-Formeln dargestellt wird. In einigen Ausführungsformen kann die submaximale Bremsrate eine beliebige Abbremsrate sein, die mit der maximalen Bremsfähigkeit des Host-Fahrzeugs assoziiert ist, jedoch geringer als diese ist. Zum Beispiel kann die vorbestimmte submaximale Bremsrate mit einer Abbremsrate assoziiert sein, die bis zu 50% einer Abbremsrate beträgt, die mit der maximalen Bremsfähigkeit des Host-Fahrzeugs assoziiert ist. In einem anderen Beispiel kann die vorbestimmte submaximale Bremsrate mit einer Abbremsung assoziiert sein, die bis zu 20% einer Abbremsrate beträgt, die mit der maximalen Bremsfähigkeit des Host-Fahrzeugs assoziiert ist. In einigen Ausführungsformen kann die maximale Bremsfähigkeit des Host-Fahrzeugs so bestimmt werden, dass die submaximale Bremsrate bestimmt werden kann. Die maximale Bremsfähigkeit kann auf der Grundlage aller mit dieser Offenbarung konsistenten Mittel bestimmt werden, einschließlich der in Bezug auf RSS diskutierten Mittel. Zum Beispiel kann die maximale Bremsfähigkeit des Host-Fahrzeuges basierend auf einem erfassten Zustand einer Straßenoberfläche bestimmt werden. Als weiteres Beispiel kann die maximale Bremsfähigkeit des Host-Fahrzeugs basierend auf einer erfassten Wetterbedingung bestimmt werden.
In einigen Ausführungsformen, wie oben diskutiert, kann die vorbestimmte submaximale Bremsrate eine vom Benutzer gewählte submaximale Bremsrate sein. Zum Beispiel kann die vorbestimmte submaximale Bremsrate basierend auf einem vom Benutzer wählbaren Bremsmodus bestimmt werden, beinhaltend: einen Modus, in dem eine Bremse des Host-Fahrzeugs konstant mit der vorbestimmten submaximalen Bremsrate angewendet wird, bis das Host-Fahrzeug angehalten wird oder bestimmt wird, daß eine Bremsbedingung nicht mehr existiert; einen Modus, in dem eine Bremse des Host-Fahrzeugs konstant mit der vorbestimmten submaximalen Bremsrate für mindestens einen Abschnitt einer Zeitdauer angewendet wird, während der bestimmt wird, daß eine Bremsbedingung existiert, gefolgt von einer Anwendung der Bremse des Host-Fahrzeugs mit einer maximalen Bremsrate für das Host-Fahrzeug; und/oder einen Modus, in dem eine Bremse des Host-Fahrzeugs angewendet wird, beginnend mit der vorbestimmten submaximalen Bremsrate und progressiv ansteigend bis zu einer maximalen Bremsrate für das Host-Fahrzeug.
In Übereinstimmung mit dieser Offenbarung kann der Anhalteweg des Host-Fahrzeugs mit einer oder mehreren der oben diskutierten CRSS-Formeln bestimmt werden. Zum Beispiel kann der Anhalteweg des Host-Fahrzeuges basierend auf der aktuellen Geschwindigkeit des Host-Fahrzeuges und der vorbestimmten submaximalen Bremsrate des Host-Fahrzeuges bestimmt werden. Als weiteres Beispiel kann der Anhalteweg des Host-Fahrzeugs basierend auf der aktuellen Geschwindigkeit des Host-Fahrzeugs, der maximalen Beschleunigung, die das Host-Fahrzeug während einer Ansprechperiode erreichen könnte, und der vorbestimmten submaximalen Bremsrate des Host-Fahrzeugs bestimmt werden. In einigen Ausführungsformen kann der Anhalteweg des Host-Fahrzeuges grösser sein als die Summe eines Beschleunigungsweges, der einer Distanz entspricht, die das Host-Fahrzeug bei maximaler Beschleunigungsfähigkeit des Host-Fahrzeuges über eine vorbestimmte Zeitspanne zurücklegen kann, und eines maximalen Bremsratenweges, der einer Distanz entspricht, die das Host-Fahrzeug zurücklegen kann, während es von der aktuellen Geschwindigkeit des Host-Fahrzeuges auf die Geschwindigkeit Null bei maximaler Bremsfähigkeit des Host-Fahrzeuges abbremst. In einigen Ausführungsformen kann der Anhalteweg des Host-Fahrzeuges größer sein als die Summe eines Beschleunigungsweges, der einer Strecke entspricht, die das Host-Fahrzeug bei maximalem Beschleunigungsvermögen des Host-Fahrzeuges über eine vorbestimmte Zeitspanne zurücklegen kann, und eines submaximalen Bremsratenweges, der einer Strecke entspricht, die das Host-Fahrzeug zurücklegen kann, während es von der aktuellen Geschwindigkeit des Host-Fahrzeuges bei einer vorbestimmten submaximalen Bremsfähigkeit des Host-Fahrzeuges auf Nullgeschwindigkeit verlangsamt. In jeder Ausführungsform kann die vorbestimmte Zeit eine mit dem Fahrzeug assoziierte Reaktionszeit sein. Zum Beispiel kann die vorbestimmte Zeitspanne die Zeitspanne zwischen dem ersten Erkennen des Zielfahrzeugs durch die Verarbeitungsvorrichtung und dem Zeitpunkt sein, zu dem das Host-Fahrzeug mit dem Bremsen beginnt, wie oben in Bezug auf RSS diskutiert.
In einigen Ausführungsformen kann der Anhalteweg des Host-Fahrzeugs einen ersten Abstand beinhalten, über den das Host-Fahrzeug mit der vorbestimmten submaximalen Bremsrate gebremst wird, und einen zweiten Abstand, über den das Host-Fahrzeug mit der maximalen Bremsfähigkeit des Host-Fahrzeugs gebremst wird. Zum Beispiel kann das Host-Fahrzeug, wie oben diskutiert, für einen ersten Abstand mit der submaximalen Bremsrate gemäß CRSS bremsen und dann für einen zweiten Abstand mit der maximalen Bremsrate bremsen. In einem anderen Beispiel kann das Host-Fahrzeug mit der submaximalen Bremsrate bremsen und die submaximale Bremsrate allmählich erhöhen, bis die maximale Bremsrate erreicht ist, und dann mit der maximalen Bremsrate weiter bremsen. Die Verarbeitungsvorrichtung kann so konfiguriert werden, dass sie das Host-Fahrzeug veranlasst, über den ersten Abstand mit der vorbestimmten submaximalen Bremsrate zu bremsen, bevor sie das Host-Fahrzeug über die zweite Dauer mit der maximalen Bremsfähigkeit des Host-Fahrzeugs abbremst. Zum Beispiel kann das Host-Fahrzeug für eine erste Dauer mit der submaximalen Bremsrate gemäß CRSS bremsen und dann für eine zweite Dauer mit der maximalen Bremsrate bremsen.
Ein weiteres Beispiel dafür, wann die geplante Navigationsaktion bei Schritt 5112 als sicher angesehen werden kann, ist, wenn das Host-Fahrzeug unter Verwendung einer vorbestimmten submaximalen Bremsrate innerhalb eines Anhaltewegs des Host-Fahrzeugs angehalten werden kann, der kürzer ist als die bestimmte Folgezustand-Distanz, summiert mit einer Zielfahrzeug-Fahrstrecke, die basierend auf der aktuellen Geschwindigkeit des Zielfahrzeugs und der angenommenen maximalen Bremsratenfähigkeit des Zielfahrzeugs bestimmt wird, wobei das vorbestimmte Bremsratenprofil progressiv von einer submaximalen Bremsrate zu einer maximalen Bremsrate für das Host-Fahrzeug ansteigt. In einigen Ausführungsformen kann die mindestens eine Verarbeitungsvorrichtung programmiert werden, um die geplante Navigationsaktion zu implementieren, wenn für die bestimmte aktuelle Geschwindigkeit des Host-Fahrzeugs und für ein vorbestimmtes Bremsratenprofil das Host-Fahrzeug innerhalb eines Anhaltewegs des Host-Fahrzeugs angehalten werden kann, der kürzer ist als der bestimmte Anhalteweg im nächsten Zustand, summiert mit einer Zielfahrzeug-Fahrstrecke, die basierend auf der aktuellen Geschwindigkeit des Zielfahrzeugs und der angenommenen maximalen Bremsratenfähigkeit des Zielfahrzeugs bestimmt wird, wobei das vorbestimmte Bremsratenprofil progressiv von einer submaximalen Bremsrate zu einer maximalen Bremsrate für das Host-Fahrzeug ansteigt. Der Anhalteweg des Zielfahrzeugs kann wie in Bezug auf die obigen Ausführungsformen diskutiert bestimmt werden. Der Unterschied zwischen dieser Ausführungsform und der vorherigen Ausführungsform besteht darin, dass das Bremsratenprofil in dieser Ausführungsform progressiv bis zur maximalen Bremsrate für das Host-Fahrzeug zunehmen kann. Der CRSS-Sicherheitsabstand kann einen Abstand beinhalten, innerhalb dessen (bei aktuellen Geschwindigkeiten für das Host-Fahrzeug und das Zielfahrzeug) das Host-Fahrzeug anhalten und nicht mit dem Zielfahrzeug kollidieren kann, wenn das Host-Fahrzeug zumindest während eines Teils der Bremszeit seine Bremsen mit einer submaximalen Bremsrate anwendet und das Zielfahrzeug mit seiner maximalen Bremsrate bremst.
In dieser Ausführungsform kann sich das Bremsratenprofil mit allen Mitteln erhöhen, die mit dieser Offenbarung konsistent sind. Zum Beispiel kann das vorbestimmte Bremsratenprofil linear von der submaximalen Bremsrate bis zur maximalen Bremsrate für das Host-Fahrzeug ansteigen. Als weiteres Beispiel kann das vorbestimmte Bremsratenprofil nichtlinear von der submaximalen Bremsrate bis zur maximalen Bremsrate für das Host-Fahrzeug ansteigen. In diesem Beispiel kann das vorbestimmte Bremsratenprofil exponentiell, logarithmisch oder entsprechend einer anderen Funktion oder sporadisch ansteigen. In jedem Beispiel bleibt es möglich, dass das Bremsratenprofil nie die maximale Bremsfähigkeit erreicht. Zum Beispiel kann die Bremsbedingung, als Reaktion darauf, dass das Fahrzeug mit dem vorbestimmten Bremsratenprofil zu bremsen begonnen haben könnte, aufhören zu existieren, bevor das Fahrzeug seine maximale Bremsfähigkeit erreicht, und das Fahrzeug kann als Reaktion darauf das Bremsen abbrechen.
In Übereinstimmung mit dieser Offenbarung kann die mindestens eine Vorrichtung zur Verarbeitung so konfiguriert werden, dass sie die geplante Navigationsaktion implementiert, wenn der bestimmte Anhalteweg des Host-Fahrzeugs um mindestens eine vorbestimmte Mindestentfernung kleiner ist als der bestimmte Folgezustand-Distanz, summiert mit einem auf der Grundlage der aktuellen Geschwindigkeit des Zielfahrzeugs und der angenommenen maximalen Bremsfähigkeit des Zielfahrzeugs bestimmten Fahrweg des Zielfahrzeugs. In einigen Ausführungsformen kann der Mindestabstand, wie oben in Bezug auf CRSS und RSS diskutiert, d_min betragen und kann vorbestimmt oder durch jedes mit dieser Offenbarung konsistente Mittel bestimmt werden. In einigen Ausführungsformen kann der vorbestimmte Mindestabstand einem vorbestimmten Abstand entsprechen, der zwischen dem Host-Fahrzeug und anderen Fahrzeugen einzuhalten ist. Wenn z.B. ein Host-Fahrzeug und ein Zielfahrzeug in die gleiche Richtung fahren und beide zum Anhalteweg kommen, kann der vorbestimmte Abstand der Mindestabstand zwischen dem Host-Fahrzeug und dem Zielfahrzeug sein, nachdem beide zum Anhalteweg gekommen sind. Der vorbestimmte Trennungsabstand kann eine beliebig lange Distanz sein. Zum Beispiel kann die vorbestimmte Distanz mindestens 1 m oder eine andere geeignete minimale Annäherungsdistanz betragen. In einigen Ausführungsformen kann der vorbestimmte Abstand variieren, z.B. in Abhängigkeit von der Geschwindigkeit, mit der das Host-Fahrzeug fährt, oder vom Standort des Host-Fahrzeugs (z.B. eine städtische Straße, eine Landstraße usw.). Zum Beispiel kann sich der d_min mit zunehmender Geschwindigkeit des Host-Fahrzeugs erhöhen.
Die Ausführungsformen, die in Bezug auf CRSS diskutiert werden, sind nur beispielhaft. Ein gewöhnlicher Fachmann, der den Vorteil dieser Offenbarung hat, kann verstehen, dass CRSS anstelle von oder in Verbindung mit RSS in jeder der in dieser Offenbarung diskutierten Ausführungsformen verwendet werden kann. In einigen Ausführungsformen kann ein Host-Fahrzeug in der Lage sein, entweder im CRSS- oder im RSS-Modus zu navigieren. Beispielsweise kann ein vollständig autonomes Fahrzeug so konfiguriert sein, dass es nach den Regeln des CRSS-Modells navigiert, aber ein Fahrgast im Fahrzeug kann das CRSS-Modell deaktivieren und sich für die Navigation im RSS-Modus entscheiden. Eine solche Moduswahl kann es beispielsweise dem Host-Fahrzeug ermöglichen, sich Zielfahrzeugen näher anzunähern und dabei einen Sicherheitsabstand einzuhalten. Der Kompromiss besteht jedoch darin, dass der RSS-Modus möglicherweise mit höheren Abbremsraten assoziiert ist als der CRSS-Modus und für die Fahrgäste des Host-Fahrzeugs weniger komfortabel sein kann. In einigen Ausführungsformen kann ein autonomes Fahrzeug in der Lage sein, sowohl im CRSSals auch im RSS-Modus zu navigieren. Beispielsweise kann das Fahrzeug so konfiguriert sein, dass es das CRSS-Modell verwendet, wenn es unter ersten Bedingungen fährt (z.B. bei hohen Geschwindigkeiten, auf einer Landstraße usw.) und den RSS-Modus, wenn es unter zweiten Bedingungen fährt (z.B. bei niedrigen Geschwindigkeiten, auf einer Stadtautobahn usw.).
In Übereinstimmung mit dieser Offenbarung kann der CRSS-Modus verwendet werden, um ein vollständig autonomes Fahrzeug zu navigieren, kann verwendet werden, um ein teilweise autonomes Fahrzeug zu navigieren (z.B. ein Fahrzeug mit einem vom Menschen bedienbaren Modus und einem selektiv autonomen Modus) oder kann als zugrunde liegendes Sicherheitsmerkmal in einem vom Menschen bedienbaren Fahrzeug verwendet werden (z.B. kann ein vom Menschen bedienbares Fahrzeug Situationen verhindern oder vermeiden, die nach dem CRSS-Modell unsicher sein können).
Vision Zero Sicherheitssystem für ein fahrergeführtes Fahrzeug
In einigen Ausführungsformen kann ein Sicherheitssystem (z.B. Vision Zero) in einem Host-Fahrzeug mit autonomen oder teilautonomen Fähigkeiten eingesetzt werden, für das jedoch ein menschlicher Fahrer in einem fahrergesteuerten Modus agieren darf. In solchen Fällen kann das Sicherheitssystem im Hintergrund arbeiten. Dem menschlichen Fahrer kann erlaubt werden, jede beliebige Navigationsaktion durchzuführen, solange die Navigationsaktion nicht weniger als eine CRSS- oder RSS-Distanz relativ zu erkannten Zielfahrzeugen ergibt. Wenn der menschliche Fahrer niemals eine Navigationsaktion ausführt, die zu einer Annäherung relativ zu einem Zielfahrzeug von weniger als der CRSS- oder RSS-Distanz führen würde (abhängig z.B. von der gewählten Betriebsart), dann kann es sein, dass der menschliche Fahrer sich der Funktionsweise des Sicherheitssystems nicht bewusst ist. Wenn andererseits ein Fahrer eine Navigationsaktion einleitet, die zu einer Annäherung relativ zu einem Zielfahrzeug von weniger als einer CRSS- oder RSS-Distanz führen würde, dann wird das Sicherheitssystem eine oder mehrere Aktionen durchführen, um zu verhindern, dass die eingeleitete Navigationsaktion abgeschlossen wird. Mit anderen Worten: Das Fahrzeug kann dem Fahrer die Kontrolle über das Fahrzeug abnehmen, um eine Navigation in eine unsichere Situation zu vermeiden, die eine Annäherung in einer geringeren Distanz als CRSS oder RSS zur Folge hat. Der Fahrer übernimmt die Kontrolle wieder, sobald er den Versuch abbricht, in einen Zustand zu navigieren, den das Fahrzeug als unsicher erfasst, oder wenn der Fahrer eine andere Navigationsaktion einleitet, die vom Host-Fahrzeug als sicher erachtet wird.
Das offenbarte Sicherheitssystem kann die Kontrolle über das Fahrzeug übernehmen, um eine Navigationsaktion zu verhindern, kann eine Fahrereingabe, die mit einer potenziell unsicheren Navigationsaktion assoziiert ist (z.B. eine, die als ein Ergebnis erkannt wird, das eine CRSS- oder RSS-Hülle verletzen würde), verhindern, bestimmte Navigationseingaben verhindern, einen Fahrer alarmieren und/oder eine Kombination davon. Das Sicherheitssystem kann z.B. eine seitliche Bewegung des Fahrzeugs verhindern, wenn dies zu einem unsicheren Einschneiden führen würde (z.B. wenn das Fahrzeug vor einem Zielfahrzeug so einschneiden würde, dass der Abstand zwischen dem Fahrzeug und dem Zielfahrzeug geringer ist als der RSS-Sicherheitsabstand). Ein Beispiel für ein unsicheres Einschneiden, das durch das Sicherheitssystem verhindert werden kann, ist in 30A dargestellt. Als ein weiteres Beispiel kann das Sicherheitssystem eine Navigationsaktion verhindern, die zu einer Längsbewegung führen würde, die wiederum zu einer geringeren als einer RSS- oder CRSS-Distanz zwischen dem Host-Fahrzeug und einem Zielfahrzeug (z.B. einem führenden Zielfahrzeug) führen würde. Ein Beispiel für eine unsichere Längsbewegung, die durch das Sicherheitssystem verhindert werden kann, ist in 28B dargestellt. Als ein weiteres Beispiel kann das Sicherheitssystem eine seitliche oder Längsbewegung des Host-Fahrzeugs (als Reaktion auf eine Fahrereingabe) verhindern, die zu einem geringeren als einem vorbestimmten Abstand oder einem Sicherheitsabstand zwischen dem Host-Fahrzeug und einem Fußgänger führen würde. Beispiele für unsichere Bewegungsbeziehungen zu Fußgängern, die durch das Sicherheitssystem verhindert werden können, sind in den 44A und 44C dargestellt.
Im Einklang mit dieser Offenbarung kann das Sicherheitssystem die versuchten Navigationsmanöver eines menschlichen Fahrers verhindern, wenn sie unsicher sind. Wie hierin verwendet, kann „verhindern“ jedes Mittel beinhalten, das es einem menschlichen Fahrer unmöglich macht, das Navigationsmanöver durchzuführen. Wenn es sich bei dem unsicheren Navigationsmanöver beispielsweise um ein Zusammenführen handelt, kann das Sicherheitssystem das Zusammenführen stoppen, indem es das Lenkrad oder einen anderen Lenkmechanismus sperrt (z.B. so, dass das Lenkrad nicht in Richtung des Zusammenführens gedreht werden kann), indem es eine gleiche, aber entgegengesetzte Lenkeingabe anwendet, um die Lenkeingabe des Fahrers aufzuheben, indem es ein mit der Lenkeingabe eines Fahrers assoziiertes elektrisches Signal abfängt oder unterbricht oder anderweitig verursacht, dass die Lenkeingabe des Fahrers keine Navigationsreaktion oder eine geringere als die beabsichtigte Navigationsreaktion hat. Ein weiteres Beispiel: Wenn das unsichere Navigationsmanöver eine Beschleunigung ist, kann das Sicherheitssystem die Beschleunigung stoppen, indem es bewirkt, dass eine Beschleunigungseingabe keine Wirkung hat (z.B. Abfangen eines elektrischen Signals, Blockieren des Gaspedals, Anwenden der Bremse usw.). Die Verhinderung kann ausreichen, um ein Navigationsmanöver zu verhindern oder anzuhalten, das andernfalls unsicher wäre (z.B. ein Manöver, das bestimmt, dass eine Annäherung an ein Zielfahrzeug weniger als CRSS oder RSS usw. zur Folge hat).
Konsistent mit dieser Offenbarung kann das Sicherheitssystem ein Fahrzeug übernehmen, um ein unsicheres Navigationsmanöver zu vermeiden, das von einem menschlichen Fahrer versucht wurde. Während einer Übernahmeperiode kann das Sicherheitssystem in einem autonomen Modus arbeiten und das Host-Fahrzeug vollständig kontrollieren, bis es beispielsweise bestimmt hat, dass eine Fahrereingabe nicht mehr zu einer unsicheren Navigationsaktion führt. Wie hier verwendet, kann „Übernahme“ jede Betätigung eines oder mehrerer autonom gesteuerter Aktuatoren beinhalten, durch die das Sicherheitssystem eines oder mehrere der Lenk-, Brems-, Beschleunigungs- oder andere Fahrzeugsteuerungssysteme manipulieren oder steuern kann. Wird z.B. bestimmt, dass eine Fahrereingabe mit einer unsicheren Zusammenführung assoziiert ist, kann das Sicherheitssystem vorübergehend die Steuerung des Lenkmechanismus des Fahrzeugs übernehmen, so dass der Fahrer keine zusätzliche Lenkeingabe bereitstellen kann, um die Zusammenführung zu verursachen, oder so dass eine Fahrereingabe keine Wirkung hat und das Sicherheitssystem das Fahrzeug in eine Richtung lenken kann, um das unsichere Manöver zu vermeiden (z.B. Gegenlenkung gegen die eingeleitete Fahrereingabe am Lenkrad). Wenn es sich bei dem unsicheren Manöver beispielsweise um eine Beschleunigung handelt, kann das Sicherheitssystem den Beschleunigungsmechanismus so steuern, dass der Fahrer keine zusätzliche Eingabe z.B. zur Drosselung bereitstellen kann, oder so, dass die Fahrereingabe keine Wirkung hat und das Sicherheitssystem das Fahrzeug abbremsen, die aktuelle Geschwindigkeit beibehalten oder ein Ausrollen des Fahrzeugs verursachen kann, um den unsicheren Bedingungen auszuweichen. Die Übernahme durch das Sicherheitssystem soll Navigationsmanöver vermeiden, die vom System als unsicher bestimmt werden, und Kollisionen vermeiden, insbesondere solche, die vom Host-Fahrzeug verschuldet sein können.
Wie hier verwendet, kann sich der Begriff „verdrängen“, wenn er sich auf das Sicherheitssystem bezieht, das einen menschlichen Fahrer verdrängt, auf jede Art der Behinderung, Verhinderung oder Übernahme der Kontrolle durch den menschlichen Fahrer beziehen.
Wie bereits erwähnt, kann das autonome Sicherheitssystem im Hintergrund arbeiten, bis ein unsicherer Zustand oder eine Fahrereingabe, die als mit einem unsicheren Manöver assoziiert bestimmt wurde, erkannt wird. In solchen Fällen kann das Sicherheitssystem die Kontrolle des menschlichen Fahrers (zumindest vorübergehend) verdrängen. Der unsichere Zustand kann z.B. die Bestimmung beinhalten, dass eine Fahrereingabe mit einem Navigationsmanöver assoziiert ist, das ein Host-Fahrzeug in eine Entfernung zu einem Zielfahrzeug bringen würde, die geringer ist als der CRSS- oder RSS-Sicherheitsabstand. Beispielsweise kann eine Verarbeitungsvorrichtung des Sicherheitssystems die im Rahmen des RSS-Modells und/oder des CRSS-Modells entwickelten längs- und/oder seitlichen Sicherheitsabstände nutzen, um einen Näherungspuffer in Bezug auf das Host-Fahrzeug (oder erkannte Zielfahrzeuge) zu konstruieren. In diesem Beispiel kann ein sicherer Zustand jeden Zustand beinhalten, in dem sich kein Objekt (z.B. Zielfahrzeug oder VRU) innerhalb des Näherungspuffers befindet. Umgekehrt kann ein unsicherer Zustand jeden Zustand beinhalten, in dem sich ein Objekt innerhalb des Näherungspuffers befindet oder befinden würde. Der Näherungspuffer kann einen zweidimensionalen oder dreidimensionalen Bereich um ein Host-Fahrzeug beinhalten. Die Dimension des Näherungspuffers kann mit Hilfe der oben beschriebenen RSS- und/oder CRSS-Sicherheitsabstandsberechnungen bestimmt werden. Beispielsweise kann ein Näherungspuffer einen Abstand vor dem Host-Fahrzeug beinhalten, der beispielsweise einer CRSS-Sicherheitslängsdistanz oder einer RSS-Distanz entspricht; einen Abstand auf beiden Seiten des Host-Fahrzeugs, der beispielsweise einem vorbestimmten seitlichen Sicherheitsabstand entspricht; und/oder einen Abstand im hinteren Teil des Host-Fahrzeugs, der beispielsweise einem RSS-Sicherheitsabstand entspricht.
52A-52D sind visuelle Darstellungen von beispielhaften Näherungspuffern, die mit dieser Offenbarung konsistent sind. 52A zeigt den Näherungspuffer 5202 um das Host-Fahrzeug 5201 herum. In diesem Beispiel wird der Näherungspuffer 5202 aus einem bestimmten Sicherheitsabstand 5204 vor dem Host-Fahrzeug 5201 und aus einem bestimmten Sicherheitsabstand 5206 hinter dem Host-Fahrzeug 5201 abgeleitet. Der bestimmte Sicherheitsabstand 5204, der den kürzesten Sicherheitsabstand unter den Beispielen der 52A-52D darstellt, kann ein RSS-Längssicherheitsabstand sein. Dementsprechend kann der bestimmte Sicherheitsabstand 5204 wie oben beschrieben bestimmt werden. In ähnlicher Weise kann der bestimmte Sicherheitsabstand 5206 ein RSS-Sicherheitsabstand in Längsrichtung sein. Die seitlichen Sicherheitsabstände, die die Seiten des Näherungspuffers 5202 umfassen, sind nicht bezeichnet, aber es wird davon ausgegangen, dass sie mit allen Mitteln bestimmt werden können, die mit dieser Offenbarung konsistent sind. Solche seitlichen Sicherheitsabstände können vorbestimmt werden, um einen seitlichen Mindestabstand zwischen dem Host-Fahrzeug und anderen Fahrzeugen oder Objekten einzuhalten. Ein solcher seitlicher Sicherheitsabstand kann z.B. 0,25 m, 0,5 m, 1,0 m oder mehr betragen. In einigen Ausführungsformen können die Seiten des Näherungspuffers einem vorbestimmten seitlichen Distanz-Schwellenwert entsprechen, der einen seitlichen sicheren Mindestabstand zwischen einem Host-Fahrzeug und einem Objekt definieren kann.
52B zeigt den Näherungspuffer 5212 um das Host-Fahrzeug 5211. In diesem Beispiel ist der bestimmte Sicherheitsabstand 5214 vor dem Host-Fahrzeug 5211 länger als der bestimmte Sicherheitsabstand 5204 vor dem Host-Fahrzeug 5201. In einigen Ausführungsformen kann der bestimmte Sicherheitsabstand 5214 länger als 5204 sein, weil z.B. der bestimmte Sicherheitsabstand 5214 einem CRSS-Sicherheitsabstand entsprechen kann. Der bestimmte Sicherheitsabstand 5214 kann auch zusammen mit einem Mindestannäherungsabstand, wie oben beschrieben, einer Korrespondenz mit einem RSS-Sicherheitsabstand entsprechen. Wie oben erwähnt, kann der bestimmte Sicherheitsabstand 5214 einem CRSS-Sicherheitsabstand entsprechen, die einen mit einer submaximalen Bremsrate assoziierten Bremsweg beinhaltet. In einigen Ausführungsformen kann der bestimmte sichere Abstand 5214 länger als der bestimmte sichere Abstand 5204 sein, weil das Host-Fahrzeug 5211 andere Charakteristiken oder Merkmale usw. der Bremsen im Vergleich zum Host-Fahrzeug 5201 haben kann. Zum Beispiel kann sowohl der bestimmte Sicherheitsabstand 5204 als auch der bestimmte Sicherheitsabstand 5214 ein RSS-Sicherheitsabstand sein, und der bestimmte Sicherheitsabstand 5214 kann länger sein, weil das Host-Fahrzeug 5211 im Vergleich zum Host-Fahrzeug 5211 mit einer höheren aktuellen Geschwindigkeit und/oder einer geringeren maximalen Bremsfähigkeit assoziiert sein kann.
52C zeigt den Näherungspuffer 5222 um das Host-Fahrzeug 5221. In diesem Beispiel ist der bestimmte Sicherheitsabstand 5224 länger als der bestimmte Sicherheitsabstand 5204 und kürzer als der bestimmte Sicherheitsabstand 5214. In einigen Ausführungsformen kann der bestimmte Sicherheitsabstand 5224 aus einem der in 52B beschriebenen Gründe kürzer als der bestimmte Sicherheitsabstand 5214 und länger als der bestimmte Sicherheitsabstand 5204 sein. Beispielsweise kann der bestimmte Sicherheitsabstand 5224 ein RSS-Sicherheitsabstand sein, der einen Mindestannäherungsabstand beinhaltet, wie in Bezug auf das RSS-Modell beschrieben, aber das maximale Beschleunigungsvermögen des Host-Fahrzeugs 5221 kann geringer sein als das des Host-Fahrzeugs 5211 und/oder der vorbestimmte Annäherungsabstand kann für das Host-Fahrzeug 5221 geringer sein als für das Host-Fahrzeug 5211. Als weiteres Beispiel kann ein Fahrgast oder Fahrer des Host-Fahrzeuges 5221 eine erste submaximale Bremsrate und ein Fahrgast oder Fahrer des Host-Fahrzeuges 5211 eine zweite submaximale Bremsrate gewählt haben, die kleiner als die erste submaximale Bremsrate ist, und daher kann das Host-Fahrzeug 5211 einen größeren Abstand (z.B. den bestimmten Sicherheitsabstand 5214) benötigen, um sicher zum Anhalteweg zu kommen. In diesem Beispiel hat das Host-Fahrzeug 5221 einen längeren bestimmten Sicherheitsabstand 5226 hinter dem Fahrzeug. Wie der bestimmte Sicherheitsabstand 5224 vor dem Host-Fahrzeug 5221 kann die Länge des bestimmten Sicherheitsabstands 5226 aufgrund des zur Bestimmung des Abstands verwendeten Modells (z.B. RSS und/oder CRSS), einer Bedingung oder Charakteristik des Host-Fahrzeugs 5221 (z.B. maximales Beschleunigungsvermögen, maximale Bremsfähigkeit, aktuelle Geschwindigkeit, aktuelle Bremsfähigkeit, submaximale Bremsrate usw.) und/oder einer Straßenbedingung (z.B. Wetterbedingungen, Straßenmaterial usw.) länger sein als der bestimmte Sicherheitsabstand 5216.
52D zeigt den Näherungspuffer 5232 um das Fahrzeug 5231. Der Näherungspuffer 5232 ist größer als jeder der Näherungspuffer 5205, 5212 oder 5222. In einigen Ausführungsformen kann der Näherungspuffer 5232 größer sein als die anderen Puffer, weil z.B. das CRSS-Modell sowohl für den bestimmten Sicherheitsabstand 5234 vor dem Host-Fahrzeug 5231 als auch für den bestimmten Sicherheitsabstand 5236 hinter dem Host-Fahrzeug 5231 verwendet wurde. In einigen Ausführungsformen kann die Größe des Näherungspuffers 5232 auf einen der Faktoren zurückzuführen sein, die im Zusammenhang mit den 52A-52C diskutiert wurden.
Im Einklang mit dieser Offenbarung kann ein Host-Fahrzeug über mehr als einen Näherungspuffer verfügen. Zum Beispiel kann ein Host-Fahrzeug einen ersten Näherungspuffer haben, der mit dem RSS-Modell assoziiert ist (z.B. Näherungspuffer 5202) und einen zweiten Näherungspuffer, der mit dem CRSS-Modell assoziiert ist (z.B. Näherungspuffer 5232). In einigen Ausführungsformen kann das Sicherheitssystem einen menschlichen Fahrer verdrängen, wenn der erste Näherungspuffer durchbrochen wird. Wenn z.B. ein Host-Fahrzeug in eine Distanz zu einem Zielfahrzeug kommt, die kleiner ist als der RSS-Sicherheitsabstand, kann das Sicherheitssystem den Fahrer verdrängen, um eine Kollision zu verhindern. In denselben Ausführungsformen kann das Sicherheitssystem den menschlichen Fahrer alarmieren, wenn der zweite Näherungspuffer durchbrochen wird, aber darauf verzichten, den Fahrer zu verdrängen. Kommt beispielsweise ein Host-Fahrzeug in eine Entfernung zu einem Zielfahrzeug, die geringer ist als der CRSS-Sicherheitsabstand, kann das Sicherheitssystem den Fahrer warnen, dass sich das Host-Fahrzeug zu nahe am Zielfahrzeug befindet, indem es z.B. eine akustische Warnung über ein Lautsprechersystem überträgt, einen Sitz, einen Lenkmechanismus oder eine andere Komponente in einem Fahrgastraum zum Vibrieren bringt, eine Warnung auf einem Heads-up-Display oder einem Display mit erweiterter Realität anzeigt oder auf andere Weise. In einigen Ausführungsformen kann das Sicherheitssystem den menschlichen Fahrer verdrängen, wenn der zweite Näherungspuffer durchbrochen wird. Wenn z.B. ein Host-Fahrzeug in einen Abstand zu einem Zielfahrzeug kommt, der kleiner als ein CRSS-Sicherheitsabstand ist, kann das Sicherheitssystem eine Abbremsung des Fahrzeugs mit einer Rate verursachen, die der submaximalen Bremsrate des CRSS-Modells entspricht. Wenn der Abstand zwischen dem Host-Fahrzeug und dem Zielfahrzeug den ersten Näherungspuffer durchbricht, indem er näher als der RSS-Sicherheitsabstand ist, kann das Sicherheitssystem eine Abbremsung des Fahrzeugs mit einer Rate verursachen, die der maximalen Abbremsrate des Host-Fahrzeugs nach dem RSS-Modell entspricht. Und, wie oben beschrieben, kann das Sicherheitssystem den menschlichen Fahrer auch immer dann verdrängen, wenn eine Fahrereingabe des Fahrers als solche bestimmt wird, die eine Annäherung relativ zu einem anderen Fahrzeug oder einem Objekt verursachen würde, die weniger als eine RSS- oder CRSS-Distanz beträgt.
Wie oben beschrieben, kann jedes der RSS- und CRSS-Modelle sichere Distanzen berechnen, die relativ zum erkannten Objekt sind. Beispielsweise kann jedes Modell die Bremsfähigkeit eines Zielfahrzeugs bestimmen und diese Bremsfähigkeit zur Bestimmung eines sicheren Abstands verwenden. Daher kann die Dimension des Näherungspuffers je nach dem in der Umgebung des Host-Fahrzeugs erkannten Objekt unterschiedlich sein. Beispielsweise kann ein RSS-Sicherheitsabstand zwischen einem Host-Fahrzeug und einem ersten Zielfahrzeug länger als der RSS-Sicherheitsabstand zwischen dem Host-Fahrzeug und einem zweiten Zielfahrzeug sein, wenn das zweite Zielfahrzeug eine höhere maximale Bremsfähigkeit als das erste Zielfahrzeug hat (d.h. das zweite Zielfahrzeug kann in einem kürzeren Anhalteweg als das erste Zielfahrzeug zum Stehen kommen). Als weiteres Beispiel kann ein RSS- oder CRSS-Sicherheitsabstand zwischen einem Host-Fahrzeug und einem Fußgänger signifikant länger sein als ein RSS- oder CRSS-Sicherheitsabstand zwischen dem Host-Fahrzeug und einem beliebigen Zielfahrzeug, da der Mindestabstand zwischen dem Host-Fahrzeug und dem Fußgänger größer sein kann als der des Host-Fahrzeugs und eines Zielfahrzeugs.
Das Sicherheitssystem kann den menschlichen Fahrer für eine Dauer verdrängen, die der unsicheren Bedingung entspricht, wie z.B. bei einem Verletzen eines Näherungspuffers oder während einer Zeitspanne, in der eine unsichere Fahrereingabe erkannt wird (z.B. mindestens eine Fahrereingabe, die als eine bestimmt wird, die eine Annäherung relativ zu einem anderen Fahrzeug oder einem Objekt verursachen würde, die weniger als eine RSS- oder CRSS-Distanz beträgt). Das Sicherheitssystem kann z.B. die Kontrolle über das Fahrzeug übernehmen, bis der unsichere Zustand nicht mehr besteht (z.B. das Fahrzeug befindet sich in einem Abstand zu einem Zielfahrzeug, der größer als der CRSS- oder RSS-Sicherheitsabstand ist).
Die 53A und 53B zeigen Beispiele für sichere und unsichere Bedingungen zwischen zwei Fahrzeugen. 53A zeigt Host-Fahrzeug 5301 und Zielfahrzeug 5303, die in einer gemeinsamen Richtung entlang der Fahrbahn 5302 fahren. In diesem Beispiel kann das Host-Fahrzeug 5301 ein mit dieser Offenbarung konsistentes Sicherheitssystem und einen Näherungspuffer 5304 beinhalten. In ähnlicher Weise kann das Zielfahrzeug 5303 ein mit dieser Offenbarung konsistentes Sicherheitssystem beinhalten und einen Näherungspuffer 5306 haben. Wenn in diesem Beispiel das Host-Fahrzeug 5301 von einem menschlichen Fahrer gelenkt wird, kann der menschliche Fahrer das Host-Fahrzeug 5301 weiter navigieren (z.B. wird der menschliche Fahrer durch das Sicherheitssystem nicht verdrängt), da sich keine Objekte innerhalb des Näherungspuffers 5304 befinden. Dasselbe kann auf einen menschlichen Fahrer zutreffen, der das Zielfahrzeug 5303 steuert.
In 53B sind Host-Fahrzeug 5311 und Zielfahrzeug 5313 dargestellt, die in einer gemeinsamen Richtung entlang der Fahrbahn 5312 fahren. In diesem Beispiel kann das Host-Fahrzeug 5301 ein mit dieser Offenbarung konsistentes Sicherheitssystem und einen Näherungspuffer 5314 beinhalten. In ähnlicher Weise kann das Zielfahrzeug 5313 ein mit dieser Offenbarung konsistentes Sicherheitssystem beinhalten und über einen Näherungspuffer 5316 verfügen. Wenn in diesem Beispiel das Host-Fahrzeug 5311 von einem menschlichen Fahrer gelenkt wird und das Sicherheitssystem des Zielfahrzeugs 5313 eine Fahrereingabe erkennt, die als eine (oder mehrere) bestimmt wird, die zu dem in 53B gezeigten Einschneiden führen würde, kann das Sicherheitssystem den menschlichen Fahrer verdrängen und die Kontrolle übernehmen, um die Aktion zu verhindern. Beispielsweise kann das mit dem Fahrzeug 5313 assoziierte Sicherheitssystem bestimmen, dass die Fahrereingabe zu einer Situation führen würde, in der ein seitlicher Sicherheitsabstand verletzt werden könnte, ein unzureichender Abstand in Längsrichtung hinter dem Fahrzeug 5313 nach dem Manöver entstehen würde (z.B. würde nach dem Einschneiden kein RSS-Abstand bestehen), usw. In solchen Fällen würde das Sicherheitssystem reagieren, indem es verhindert, dass die Fahrereingabe zu dem unsicheren Einschneidemanöver führt. Im gleichen Szenario von 53B, wenn Fahrzeug 5313 das Einschneidemanöver durchgeführt hat, kann das Sicherheitssystem von Fahrzeug 5311 die Fahrereingabe verdrängen, z.B. wenn der Fahrer nicht gebremst hat, um das Fahrzeug abzubremsen, um einen CRSS- oder RSS-Abstand assoziiert mit Puffer 5314 herzustellen. In solchen Situationen kann die unsichere Fahrereingabe einer mangelnden Korrespondenz mit einer fehlenden Änderung der Eingabe oder, mit anderen Worten, einer unsicheren Beibehaltung der aktuellen Eingabe/Steuerung entsprechen.
Die 54A und 54B veranschaulichen weitere Fälle, in denen ein mit dieser Offenbarung konsistentes Sicherheitssystem einen menschlichen Fahrer verdrängen kann. In den 54A und 54B fahren Fahrzeug 5402, Fahrzeug 5404 und Fahrzeug 5406 jeweils in eine gemeinsame Richtung auf Fahrbahn 5400. In diesem Beispiel kann die Fahrbahn 5400 eine Autobahn sein. Fahrzeug 5402 kann ein mit dieser Offenbarung konsistentes Sicherheitssystem beinhalten und kann einen Näherungspuffer 5403 haben. Näherungspuffer 5403 kann mit jedem der RSS- und/oder CRSS-Modelle korrespondieren, wie oben diskutiert. Zur Veranschaulichung wird angenommen, dass der Näherungspuffer 5403 eine bestimmte sichere Distanz in der Front des Fahrzeugs 5402 hat, die dem CRSS-Modell assoziiert ist.
In 54A kann ein menschlicher Fahrer im Fahrzeug 5402 verursachen, dass sich das Fahrzeug 5402 wie dargestellt dem Heck des Fahrzeugs 5406 nähert. Wenn der Fahrer versucht, Fahrzeug 5402 in einen Abstand zu Fahrzeug 5406 zu bringen, der kleiner als der CRSS-Sicherheitsabstand ist (wie durch Fahrzeug 5406 innerhalb des Näherungspuffers 5403 dargestellt), kann das Sicherheitssystem von Fahrzeug 5402 den Fahrer verdrängen, um einen unsicheren Zustand zu vermeiden und den CRSS-Abstand einzuhalten. Zum Beispiel kann das Sicherheitssystem die Kontrolle übernehmen und die Fahrereingabe des Fahrers verhindern oder ignorieren oder das Fahrzeug 5402 abbremsen. Das Sicherheitssystem kann z.B. eine Abbremsung des Fahrzeugs 5402 mit einer Rate verursachen, die der submaximalen Bremsrate des CRSS-Modells entspricht, bis das Fahrzeug 5402 einen Abstand zum Fahrzeug 5406 hat, der größer ist als der Näherungspuffer 5402. Ein weiteres Beispiel: Bevor der Näherungspuffer 5403 verletzt wird, kann das Sicherheitssystem eine Folgezustand-Distanz des Fahrzeugs 5402 bestimmen (z.B. die Position, in der sich das Fahrzeug 5402 befinden würde, wenn die Fahrereingabe ausgeführt würde) und den Fahrer verdrängen, bevor das Fahrzeug 5402 in eine Distanz zum Fahrzeug 5406 gebracht wird, die kleiner als der CRSS-Sicherheitsabstand ist.
In 54B kann ein menschlicher Fahrer im Fahrzeug 5402 versuchen, das Fahrzeug 5402 in die von Fahrzeug 5404 besetzte Fahrspur zusammenzuführen. Wenn der Fahrer eine Navigationsaktion versucht, die dazu führen kann, dass Fahrzeug 5402 in einen Abstand zu Fahrzeug 5404 gerät, der kleiner als der CRSS-Sicherheitsabstand ist (wie durch die Überlappung zwischen der Abstandsbarriere 5403 und Fahrzeug 5404 dargestellt), kann das Sicherheitssystem den menschlichen Fahrer verdrängen, um die Navigationsaktion zu verhindern. Wenn der menschliche Fahrer zum Beispiel versucht, nach rechts auszuweichen, indem er z.B. ein Lenkrad nach rechts dreht, kann das Sicherheitssystem bestimmen, dass die Ausführung des Ausweichmanövers zu dem in 54B dargestellten unsicheren Zustand führen würde. Das Sicherheitssystem kann als Reaktion darauf die Kontrolle übernehmen und den menschlichen Fahrer verdrängen. Beispielsweise kann das Sicherheitssystem das Drehen des Lenkrads nach rechts verhindern, indem es eine gleiche Kraft auf das Lenkrad nach links ausübt. Als weiteres Beispiel kann das Sicherheitssystem den Rechtsüberschlag verhindern, indem es bewirkt, dass die Rechtsdrehung des Lenkrads durch mechanische und/oder elektrische Unterbrechung der Eingabe der Rechtsdrehung keine Wirkung hat. Als weiteres Beispiel kann das Sicherheitssystem das Fahrzeug 5402 übernehmen und nach Bedarf nach links lenken, um die unsicheren Bedingungen zu vermeiden, die bei einem Rechtsruck entstehen würden. Bei jedem dieser Beispiele kann die Verdrängung so lange dauern, bis das Fahrzeug 5402 wieder in einen sicheren Zustand gebracht wird (z.B. in eine Position, in der sich keines der Fahrzeuge 5404 oder 5406 innerhalb der Nähe der Barriere 5403 befindet) und/oder ein dem Fahrzeug 5402 zugeordneter Zustand im nächsten Zustand als sicher bestimmt wird.
Die in 53A-53B und 54A-54B dargestellten Beispiele sind nur beispielhaft. Ein Fachmann, dem diese Offenbarung zugute kommt, kann verstehen, dass ein Sicherheitssystem oder ein ähnliches Navigationssystem einen menschlichen Fahrer in jedem unsicheren Zustand oder als Reaktion auf jede Fahrereingabe, die einen unsicheren Zustand verursachen kann, verdrängen kann.
In einigen Ausführungsformen kann das Sicherheitssystem Daten speichern oder übertragen, die sich auf alle Fälle beziehen, in denen das Sicherheitssystem den menschlichen Fahrer verdrängt hat. Beispielsweise kann das Sicherheitssystem Daten erzeugen, die sich auf den unsicheren Zustand beziehen, der dazu führte, dass das Sicherheitssystem den Fahrer verdrängte, auf die Art der Verdrängung (z.B. Hemmung, Verhinderung oder Übernahme), auf die Dauer der Verdrängung, auf das Ergebnis der Verdrängung (z.B. Fahrzeug wieder in einen sicheren Zustand gebracht, Fahrzeug angehalten, Fahrzeug in eine Kollision verwickelt) oder auf jede andere Information, die sich auf die Verdrängung oder auf die Ereignisse vor oder nach der Verdrängung bezieht. Konsistent mit dieser Offenbarung können die Informationen verwendet werden, um zu bestimmen, ob das Sicherheitssystem, das RSS-Modell, das CRSS-Modell oder jedes andere autonome Fahrzeugmerkmal wie vorhergesagt funktioniert. Solche Informationen können vom Host-Fahrzeug über ein oder mehrere Netzwerke an einen entfernten Server übertragen werden. Die Informationen können zum Beispiel an den Automobilhersteller, den Sicherheitshersteller oder eine andere Partei, die für die Implementierung des Sicherheitssystems verantwortlich ist, zur Analyse übertragen werden. In einigen Ausführungsformen können die Informationen dem Fahrer des Fahrzeugs angezeigt werden. Beispielsweise kann ein Bericht nach jedem Verdrängungsereignis, nach jeder Fahrt, nach Empfang einer Anfrage des Fahrers oder zu einem geplanten Intervall (z.B. täglich, wöchentlich, zweiwöchentlich, monatlich usw.) generiert werden. Es wird erwogen, dass die Bereitstellung von Informationen über das Sicherheitssystem und die vermiedenen unsicheren Bedingungen für den Fahrer das Vertrauen des Fahrers in das Sicherheitssystem (oder in autonome Fahrzeuge im Allgemeinen) erhöhen kann.
In einigen Ausführungsformen kann das Fahrzeug ein Mittel (z. B. Schalter, Knopf, sprachaktivierte Steuerung oder eine andere Art von Steuerung) zur Deaktivierung oder Deaktivierung des Sicherheitssystems beinhalten. Beispielsweise kann ein Fahrer das Sicherheitssystem deaktivieren, um zu verhindern, dass es den Fahrer auskuppelt, oder ein Fahrer kann das Sicherheitssystem während eines Verdrängungsereignisses auskuppeln, um wieder die Kontrolle über das Host-Fahrzeug zu übernehmen. Es ist vorgesehen, dass die Steuerung zur Deaktivierung oder Deaktivierung des Sicherheitssystems unabhängig von den mit dem Navigationssystem des Fahrzeugs assoziierten Fahrzeugsteuerungsmechanismen ist. So kann das Fahrzeug beispielsweise einen Knopf beinhalten, der nicht mit der Drossel-, Brems- oder Lenkradsteuerung oder anderen Steuermechanismen assoziiert ist. In diesem Beispiel kann der Fahrer das Sicherheitssystem nur durch Drücken der Taste (oder einer anderen Steuerung des Sicherheitssystems) deaktivieren oder ausschalten. Im Gegensatz zu herkömmlichen ADAS-Systemen (d.h. fortgeschrittenen Fahrerassistenzsystemen wie Spurhaltesystemen, automatischen Bremssystemen usw.) kann das offenbarte Sicherheitssystem nicht durch Bereitstellung einer Fahrereingabe an eine Lenk-, Brems- oder Drosselsteuerung deaktiviert oder ausgeschaltet werden. Wenn das Sicherheitssystem z.B. den Lenkmechanismus des Fahrzeugs übernimmt, um eine Rechtskurve durchzuführen, kann der Fahrer das Sicherheitssystem nicht ausschalten, indem er z.B. das Rad weiter nach rechts dreht (z.B. mit einem Kraftanstieg bei dem Versuch, das Sicherheitssystem zu überwinden oder auszuschalten). Vielmehr müsste der Fahrer zunächst die vorgesehene System-Override-Steuerung aktivieren, um das Sicherheitssystem auszuschalten. Wenn das offengelegte Sicherheitssystem die Steuerung übernimmt, um eine Navigationsaktion zu verhindern, die zu einem geringeren Abstand in Längsrichtung als CRSS oder RSS führen würde, wäre der Fahrer nicht in der Lage, das Sicherheitssystem durch Fahrereingabe an die Bremse oder Drosselung des Fahrzeugs außer Kraft zu setzen. Vielmehr müsste die vorgesehene Steuerung des Sicherheitssystems verwendet werden.
Es wird davon ausgegangen, dass das Sicherheitssystem durch jede geeignete Steuerungseingabe, wie z.B. einen Hebel, einen Knopf, einen virtuellen Taster, einen Sprachbefehl, eine Handbewegung oder ähnliches, außer Kraft gesetzt oder deaktiviert werden kann. In einigen Ausführungsformen kann das Navigationssystem eine Bilderfassungsvorrichtung im Inneren des Fahrzeugs beinhalten, die so konfiguriert ist, dass sie ein oder mehrere Bilder oder Videos eines menschlichen Fahrers erfasst. Mindestens eine Verarbeitungsvorrichtung kann die erfassten Bilder und/oder Videos analysieren, um eine Handgeste oder einen anderen nonverbalen Befehl zu erkennen, und kann so programmiert sein, dass das Sicherheitssystem als Reaktion auf die Handgeste oder einen anderen nonverbalen Befehl deaktiviert oder ausgeschaltet wird. In einigen Ausführungsformen kann das Navigationssystem ein oder mehrere Mikrofone beinhalten, die für die Erfassung von Tondaten konfiguriert sind. Die mindestens eine Verarbeitungsvorrichtung kann die Tondaten mit Hilfe von Spracherkennung analysieren (z.B. mit Hilfe eines neuronalen Netzes, eines trainierten oder untrainierten Systems usw.) und das Sicherheitssystem als Reaktion auf Tondaten, die einen erkannten Befehl beinhalten, deaktivieren oder ausschalten.
Im Einklang mit dieser Offenbarung kann das Sicherheitssystem Informationen sammeln, die sich auf alle Fälle beziehen, in denen das Sicherheitssystem deaktiviert oder ausgekuppelt wird. Beispielsweise kann das Sicherheitssystem die Navigationsumstände unmittelbar vor einer Deaktivierung des Sicherheitssystems (z.B. Geschwindigkeit, Beschleunigung, Folgeabstand usw. des Host-Fahrzeugs) und/oder die Zeit und den Ort der Deaktivierung aufzeichnen. In einigen Ausführungsformen kann das Sicherheitssystem die Fahrbedingungen des Fahrers auch nach der Deaktivierung oder Auskupplung weiterhin überwachen und diese Daten wie oben beschrieben speichern oder übertragen.
Im Einklang mit dieser Offenbarung wird ein Navigationssystem zur selektiven Verdrängung der Kontrolle menschlicher Fahrer offenbart. Das Navigationssystem kann den Fahrer teilweise verdrängen, z.B. durch Verhindern oder Verhindern einer Aktion des Fahrers, oder den Fahrer vollständig verdrängen, z.B. indem es das Fahrzeug übernimmt und unabhängig vom Fahrer Navigationsmanöver durchführt. Das Navigationssystem kann ein Sicherheitssystem oder jedes andere hier offenbartes System sein. In einigen Ausführungsformen kann das System vollständig in einem Host-Fahrzeug untergebracht sein. In anderen Ausführungsformen können sich eine oder mehrere Komponenten des Systems an einem vom Host-Fahrzeug entfernten Ort befinden, z.B. in einem Server oder einer anderen Vorrichtung. Das System kann mindestens eine Verarbeitungsvorrichtung beinhalten. Die mindestens eine Verarbeitungsvorrichtung kann so programmiert sein, dass sie eine oder mehrere Verfahren, Prozesse, Operationen oder Funktionen ausführt, die mit dieser Offenbarung konsistent sind. Die mindestens eine Verarbeitungsvorrichtung kann z.B. die Verarbeitungsvorrichtung 110 sein.
55 ist ein Flussdiagramm, das den exemplarischen Prozess 5500 zur selektiven Verdrängung eines menschlichen Fahrers zeigt. Im Einklang mit dieser Offenbarung kann die mindestens eine Verarbeitungsvorrichtung im Navigationssystem so programmiert sein, dass sie den Prozess 5500 ganz oder teilweise ausführt. Prozess 5500 ist nur beispielhaft, und ein Durchschnittsfachmann, dem diese Offenbarung zugute kommt, kann verstehen, dass Prozess 5500 zusätzliche Schritte beinhalten, einen oder mehrere Schritte beinhalten, einen oder mehrere Schritte ausschließen oder anderweitig in einer Weise modifiziert werden kann, die mit dieser Offenbarung konsistent ist.
Prozess 5500 kann einen Schritt 5502 zum Empfangen eines oder mehrerer Bilder beinhalten. Das mindestens eine Bild kann z.B. die Umgebung eines Host-Fahrzeugs repräsentieren. In einigen Ausführungsformen kann die Verarbeitungsvorrichtung so programmiert sein, dass sie mindestens ein Bild empfängt, das repräsentativ für eine Umgebung des Host-Fahrzeugs ist. Das mindestens eine Bild kann von mindestens einer Bilderfassungsvorrichtung empfangen werden. Beispielsweise kann das Navigationssystem eine oder mehrere Bilderfassungsvorrichtungen beinhalten, wie z.B. die Bilderfassungsvorrichtung 122, die ein Bild der Umgebung des Host-Fahrzeugs erfassen kann. Die Bilderfassungsvorrichtung kann ein Sichtfeld haben, das einem Sichtfeld des menschlichen Fahrers entspricht. In einigen Ausführungsformen kann das Navigationssystem eine Vielzahl von Bilderfassungsvorrichtungen beinhalten, von denen jede ein anderes Sichtfeld relativ zur Umgebung des Host-Fahrzeugs hat. Zum Beispiel kann mindestens eine der Vielzahl von Bilderfassungsvorrichtungen so konfiguriert sein, dass sie Bilder erfasst, die repräsentativ für die Umgebung des Host-Fahrzeugs an einer Rückseite des Host-Fahrzeugs sind; mindestens eine der Vielzahl von Bilderfassungsvorrichtungen kann so konfiguriert sein, dass sie Bilder erfasst, die repräsentativ für die Umgebung des Host-Fahrzeugs an einer Seite des Host-Fahrzeugs sind; und/oder mindestens eine der Vielzahl von Bilderfassungsvorrichtungen kann so konfiguriert sein, dass sie Bilder erfasst, die repräsentativ für die Umgebung des Host-Fahrzeugs vor dem Host-Fahrzeug sind; und so weiter. Zum Beispiel kann eine erste Vorrichtung zur Bilderfassung ein Sichtfeld haben, das einem Bereich vor dem Host-Fahrzeug entspricht, eine zweite Vorrichtung zur Bilderfassung kann ein Sichtfeld haben, das der rechten Seite des Host-Fahrzeugs entspricht, und so weiter. In den offenbaren Ausführungsformen kann die Verarbeitungsvorrichtung so programmiert sein, dass sie eine Vielzahl von Bildern empfängt. Beispielsweise kann in Ausführungsformen, in denen das Navigationssystem nur eine einzige Bilderfassungsvorrichtung enthält, die Verarbeitungsvorrichtung eine Vielzahl von Bildern von der Bilderfassungsvorrichtung empfangen. Als weiteres Beispiel kann die Verarbeitungsvorrichtung ein oder mehrere Bilder von einer ersten Bilderfassungsvorrichtung und/oder ein oder mehrere Bilder von einer zweiten Bilderfassungsvorrichtung, ein oder mehrere Bilder, die von einer dritten Bilderfassungsvorrichtung aufgenommen wurden, usw. empfangen.
Prozess 5500 kann einen Schritt 5504 zum Erkennen mindestens eines Hindernisses in der Umgebung des Host-Fahrzeugs beinhalten. Das mindestens eine Hindernis kann durch Analyse von mindestens einem Bild erkannt werden. Bei dem mindestens einen Bild kann es sich um ein oder mehrere in Schritt 5502 empfangene Bilder handeln. Beispielsweise kann die Verarbeitungsvorrichtung so programmiert sein, dass sie basierend auf der Analyse des mindestens einen Bildes mindestens ein Hindernis in der Umgebung des Host-Fahrzeugs erkennt. Beispielsweise kann die Verarbeitungsvorrichtung ein empfangenes Bild mit einem oder mehreren Bildern bekannter Hindernisse vergleichen oder Formen, Text oder andere Objekte in dem Bild erkennen, die mit einem oder mehreren Hindernissen korrespondieren. Bei dem einen oder mehreren Hindernissen kann es sich um ein beliebiges Objekt in der Umgebung des Host-Fahrzeugs handeln. Bei dem einen oder mehreren Hindernissen kann es sich beispielsweise um Zielfahrzeuge oder VRUs auf oder in der Nähe einer Straße handeln, auf der das Host-Fahrzeug unterwegs ist. Ein weiteres Beispiel: Bei dem einen oder mehreren Hindernissen kann es sich um Schlaglöcher, Geländer, Straßenschilder, Ampeln, Verkehrskegel, Geländer oder Barrieren oder um jedes andere Objekt auf oder entlang einer Straße handeln. In einigen Ausführungsformen kann eine Vielzahl von Hindernissen in der Umgebung des Host-Fahrzeugs erkannt werden. Beispielsweise kann die Verarbeitungsvorrichtung ein erstes Host-Fahrzeug, ein zweites Host-Fahrzeug, eine Ampel, ein Schlagloch und eine beliebige Anzahl von zusätzlichen Hindernissen erkennen.
In Ausführungsformen, in denen das Navigationssystem eine Vielzahl von Bilderfassungsvorrichtungen beinhaltet, von denen jede ein anderes Sichtfeld in Bezug auf die Umgebung des Host-Fahrzeugs haben kann, kann die mindestens eine Verarbeitungsvorrichtung konfiguriert sein, um ein oder mehrere Bilder von jeder der Vielzahl von Bilderfassungsvorrichtungen zu empfangen und mindestens ein Hindernis in der Umgebung des Host-Fahrzeugs basierend auf der Analyse des einen oder der mehreren Bilder, die von der Vielzahl von Bilderfassungsvorrichtungen empfangen werden, zu erkennen. Beispielsweise kann mindestens eine der Vielzahl von Bilderfassungsvorrichtungen so konfiguriert sein, dass sie Bilder erfasst, die repräsentativ für eine Umgebung des Host-Fahrzeugs an einer Seite des Host-Fahrzeugs sind, und ein oder mehrere von dieser Bilderfassungsvorrichtung empfangene Bilder können dazu verwendet werden, ein oder mehrere Hindernisse zu erkennen, die sich an der Seite des Host-Fahrzeugs befinden. In ähnlicher Weise kann mindestens eine der Vielzahl von Bilderfassungsvorrichtungen konfiguriert werden, um Bilder zu erfassen, die repräsentativ für die Umgebung des Host-Fahrzeugs hinter dem Host-Fahrzeug sind, und ein oder mehrere Bilder, die von dieser Bilderfassungsvorrichtung empfangen werden, können verwendet werden, um ein oder mehrere Hindernisse zu erkennen, die sich hinter dem Host-Fahrzeug befinden.
In einigen Ausführungsformen kann das mindestens eine Hindernis ein Zielfahrzeug in der Umgebung des Host-Fahrzeugs sein. Zum Beispiel kann das mindestens eine Hindernis ein Zielfahrzeug sein, das bestimmt wird, dass es sich vor dem Host-Fahrzeug befindet. Als weiteres Beispiel kann das mindestens eine Hindernis ein Zielfahrzeug sein, das sich in einer anderen Fahrspur als das Host-Fahrzeug befindet. In einigen Ausführungsformen kann das mindestens eine Hindernis einen Fußgänger oder einen Gegenstand in der Fahrbahn beinhalten.
In einigen Ausführungsformen kann die Verarbeitungsvorrichtung ein oder mehrere Hindernisse in der Umgebung erkennen, indem sie die Ausgaben von einem oder mehreren Sensoren verwendet, die dem Host-Fahrzeug zugeordnet sind. Bei den Sensoren kann es sich um alle hier offenbarten Sensoren handeln. Beispielsweise kann die Verarbeitungsvorrichtung eine Ausgabe von einem LIDAR-System und/oder einem RADAR-System empfangen und diese Information verwenden, um ein oder mehrere Hindernisse in der Umgebung des Host-Fahrzeugs zu erkennen.
Prozess 5500 kann einen Schritt 5506 zur Überwachung der Fahrereingabe in einen Drosselmechanismus, einen Bremsmechanismus und/oder einen Lenkmechanismus beinhalten. Im Einklang mit dieser Offenbarung kann die mindestens eine Verarbeitungsvorrichtung so programmiert werden, dass sie eine Fahrereingabe in mindestens eine Drosselsteuerung, eine Bremssteuerung oder eine Lenksteuerung überwacht, die mit dem Host-Fahrzeug assoziiert ist. Die Eingabe kann durch jede Technik überwacht werden, die mit dieser Offenbarung konsistent ist. Beispielsweise können ein oder mehrere Sensoren so konfiguriert werden, dass sie ein elektrisches Signal erkennen, das mit einer der Drossel-, Brems- oder Lenksteuerungen assoziiert ist. In einem anderen Beispiel können ein oder mehrere Sensoren so konfiguriert werden, dass sie eine mechanische Eingabe an einer der Drossel-, Brems- oder Lenksteuerungen erkennen. Die Drosselsteuerung, die Bremssteuerung und/oder die Lenksteuerung kann von jeder Art sein, die derzeit bekannt ist oder später entwickelt wurde. Beispielsweise kann die Drosselsteuerung ein Gaspedal, die Bremssteuerung ein Bremspedal und die Lenksteuerung ein Lenkrad beinhalten. In einem anderen Beispiel können ein oder mehrere Drosselsteuerungssysteme des Host-Fahrzeugs mindestens einen Lenkaktuator zur Steuerung eines Steuerkurses des Host-Fahrzeugs, einen Bremsaktuator, der die Betätigung einer Vorrichtung zur Bremsung des Host-Fahrzeugs verursacht, oder einen Beschleunigungsaktuator, der die Betätigung einer Drosselung des Host-Fahrzeugs bewirkt, beinhalten. Beispielsweise kann das Drosselsteuerungssystem ein Beschleunigungsaktuator beinhalten, um das Betätigen der Drossel des Host-Fahrzeugs zu verursachen, das Bremssteuerungssystem kann einen Bremsaktuator beinhalten, um das Betätigen des Bremspedals des Host-Fahrzeugs zu verursachen, und/oder das Lenksteuerungssystem kann mindestens einen Lenkaktuator beinhalten, um einen Kurs des Host-Fahrzeugs zu steuern. Die Fahrereingabe kann eine aktive Bewegung oder eine andere Aktivierung eines oder mehrerer Stellteile oder das Ausbleiben einer Bewegung oder einer anderen Aktivierung sein. In Fortführung des obigen Beispiels kann die Fahrereingabe mindestens eine Betätigung des Beschleunigungspedals, eine Betätigung des Bremspedals, eine fehlende Betätigung des Bremspedals, eine Drehung des Lenkrads oder eine Nichtdrehung des Lenkrads beinhalten.
Prozess 5500 kann einen Schritt 5508 beinhalten, um zu bestimmen, ob die Fahrereingabe zu einer sicheren Navigationsaktion führen würde. Wie beschrieben, kann die Fahrereingabe zu sicheren Bedingungen führen, wenn die Navigationsänderung, die bei einer Umsetzung der Fahrereingabe erfolgen würde, nicht dazu führen würde, dass das Host-Fahrzeug in eine Entfernung zu einem Objekt gerät, die kleiner ist als der Näherungspuffer um das Host-Fahrzeug (z.B. innerhalb einer RSS-Distanz, einer CRSS-Distanz oder einer vorbestimmten seitlichen Mindestpufferdistanz u.a.). Konsistent mit dieser Offenbarung kann die mindestens eine Verarbeitungsvorrichtung programmiert werden, zu bestimmen, ob die Fahrereingabe dazu führen würde, dass das Host-Fahrzeug innerhalb eines Näherungspuffers relativ zu dem mindestens einen Hindernis navigiert. Die mindestens eine Verarbeitungsvorrichtung kann bestimmen, ob ein Näherungspuffer durch irgendeine mit dieser Offenbarung konsistente Technik verletzt werden kann. Zum Beispiel kann die Verarbeitungsvorrichtung eine aktuelle Distanz zwischen dem Host-Fahrzeug und einem oder mehreren Objekten (z.B. Zielfahrzeug oder VRUs) bestimmen und eine Folgezustand-Distanz zwischen dem Host-Fahrzeug und dem einen oder den mehreren Objekten basierend auf der aktuellen Distanz und der Fahrereingabe bestimmen. Solche Distanzen zwischen Objekten können z.B. basierend auf Bildanalysen (z.B. skalierende Beobachtungen), LIDAR-Ausgabe, RADAR-Ausgabe usw. bestimmt werden. Bezogen auf die 53A und 53B kann die Verarbeitungsvorrichtung beispielsweise bestimmen, dass die Folgezustand-Distanz zwischen Fahrzeug 5303 und Fahrzeug 5301 der in dargestellte unsichere Zustand wäre, wenn ein menschlicher Fahrer eine Eingabe zur Verfügung stellt, die ein Linksabbiegen des Fahrzeugs 5303 verursachen würde (z.B. durch Drehen des Lenkrads von Fahrzeug 5303). Ein weiteres Beispiel, das sich auf 54A bezieht: Wenn ein menschlicher Fahrer von Fahrzeug 5402 eine Fahrereingabe bereitstellt (z.B. durch Niederdrücken eines Gaspedals), kann die Verarbeitungsvorrichtung bestimmen, dass eine Beschleunigung von Fahrzeug 5402 dazu führen kann, dass Fahrzeug 5402 in eine Entfernung von Fahrzeug 5406 kommt, die kleiner ist als der Näherungspuffer 5403 und die daher unsicher ist. In solchen Fällen kann das Sicherheitssystem die Kontrolle über das Host-Fahrzeug übernehmen und das unsichere Manöver verhindern, das mit der erkannten Fahrereingabe assoziiert ist.
Prozess 5500 kann eine Funktion 5510 beinhalten, die diktieren kann, wie das Navigationssystem mit Fällen umgeht, in denen die Fahrereingabe ein Host-Fahrzeug veranlassen würde, einen Näherungspuffer zu verletzen, und mit Fällen, in denen die Fahrereingabe das Host-Fahrzeug nicht veranlassen würde, einen Näherungspuffer zu verletzen. In einigen Ausführungsformen kann die Funktion 5510 in Schritt 5508 des Prozesses 5500 enthalten sein. Der Näherungspuffer kann jeder beliebige Näherungspuffer sein, der mit dieser Offenbarung konsistent ist, einschließlich derer, die mit Hilfe der RSS- und/oder CRSS-Modelle bestimmt wurden. Der Näherungspuffer kann von dem erkannten Hindernis oder Objekt in der Umgebung des Host-Fahrzeugs abhängen, von dem die RSS- und CRSS-Modelle abhängen. In einigen Ausführungsformen kann der Näherungspuffer eine oder mehrere vorbestimmte Distanzen beinhalten. Beispielsweise kann der Näherungspuffer einem vorbestimmten seitlichen Distanz-Schwellenwert entsprechen. Der seitliche Distanz-Schwellenwert kann einen vorbestimmten Mindestabstand zwischen einem Host-Fahrzeug und einem Objekt beinhalten, das sich auf beiden Seiten des Host-Fahrzeugs befindet. Als weiteres Beispiel kann der Näherungspuffer einer vorbestimmten Distanz in Längsrichtung entsprechen. Der Längsabstand kann z.B. der Mindestabstand d_min sein, der zwischen dem Host-Fahrzeug und einem Objekt einzuhalten ist, wie in Bezug auf das RSS-Modell beschrieben.
In Übereinstimmung mit dieser Offenbarung kann das mindestens eine Hindernis ein Zielfahrzeug beinhalten, und der Näherungspuffer relativ zum Zielfahrzeug kann basierend auf einer erkannten aktuellen Geschwindigkeit des Host-Fahrzeugs, einer maximalen Bremsfähigkeit des Host-Fahrzeugs, einer bestimmten aktuellen Geschwindigkeit des Zielfahrzeugs, einer angenommenen maximalen Bremsfähigkeit des Zielfahrzeugs und einer bestimmten maximalen Beschleunigungsfähigkeit des Host-Fahrzeugs bestimmt werden. In solchen Fällen kann der Näherungspuffer mindestens die Summe eines Beschleunigungsweges des Host-Fahrzeuges beinhalten, bestimmt als eine Distanz, die das Host-Fahrzeug zurücklegt, wenn es mit der maximalen Beschleunigungsfähigkeit des Host-Fahrzeuges über eine dem Host-Fahrzeug zugeordnete Reaktionszeit beschleunigt wird; einen Anhalteweg des Host-Fahrzeuges, bestimmt als eine Distanz, die erforderlich ist, um die aktuelle Geschwindigkeit des Host-Fahrzeuges bei der maximalen Bremsfähigkeit des Host-Fahrzeuges auf Null zu reduzieren; und einen Anhalteweg des Zielfahrzeuges, bestimmt als eine Distanz, die erforderlich ist, um die aktuelle Geschwindigkeit des Zielfahrzeuges bei der angenommenen maximalen Bremsfähigkeit des Zielfahrzeuges auf Null zu reduzieren. Zum Beispiel kann der Näherungspuffer unter Verwendung eines RSS-Sicherheitsabstands bestimmt werden, der den Beschleunigungsweg und den Anhalteweg des Host-Fahrzeugs sowie den Anhalteweg des Zielfahrzeugs beinhaltet. In einigen Ausführungsformen kann der Näherungspuffer in Bezug auf das Zielfahrzeug ferner basierend auf einem vorbestimmten Mindestabstand bestimmt werden, der zwischen dem Host-Fahrzeug und dem Zielfahrzeug einzuhalten ist. Zum Beispiel kann der Näherungspuffer den oben beschriebenen Mindestabstand d_min beinhalten.
In Übereinstimmung mit dieser Offenbarung kann das mindestens eine Hindernis ein Zielfahrzeug beinhalten, und der Näherungspuffer relativ zum Zielfahrzeug kann basierend auf einer erkannten aktuellen Geschwindigkeit des Host-Fahrzeugs, einer maximalen Bremsfähigkeit des Host-Fahrzeugs, einer bestimmten aktuellen Geschwindigkeit des Zielfahrzeugs, einer angenommenen maximalen Bremsfähigkeit des Zielfahrzeugs und einer maximalen Beschleunigungsfähigkeit des Host-Fahrzeugs bestimmt werden. In einigen Ausführungsformen kann der Näherungspuffer in Bezug auf das Zielfahrzeug basierend auf einer vorbestimmten submaximalen Bremsrate, die kleiner als die maximale Bremsratenfähigkeit des Host-Fahrzeugs ist, weiter bestimmt werden, so dass der Näherungspuffer mindestens die Summe eines Anhaltewegs des Host-Fahrzeugs, der als Abstand bestimmt wird, der erforderlich ist, um die aktuelle Geschwindigkeit des Host-Fahrzeugs bei der vorbestimmten submaximalen Bremsfähigkeit des Host-Fahrzeugs auf Null zu reduzieren, und eines Anhaltewegs des Zielfahrzeugs, der als Abstand bestimmt wird, der erforderlich ist, um die aktuelle Geschwindigkeit des Zielfahrzeugs bei der angenommenen maximalen Bremsfähigkeit des Zielfahrzeugs auf Null zu reduzieren, beinhaltet. Zum Beispiel kann der Näherungspuffer unter Verwendung eines CRSS-Sicherheitsabstands bestimmt werden, der einen Anhalteweg des Host-Fahrzeugs beinhaltet, wenn das Host-Fahrzeug mit einer Rate abbremst, die einer vorbestimmten submaximalen Bremsrate entspricht, und einen Anhalteweg des Zielfahrzeugs, wenn das Zielfahrzeug mit einer Rate abbremst, die seiner maximalen Bremsfähigkeit entspricht. In einigen Ausführungsformen kann der Näherungspuffer in Bezug auf das Zielfahrzeug ferner basierend auf einem vorbestimmten Mindestabstand bestimmt werden, der zwischen dem Host-Fahrzeug und dem Zielfahrzeug einzuhalten ist. Zum Beispiel kann der Näherungspuffer den oben beschriebenen Mindestabstand d_min beinhalten.
In jeder der oben offenbart Ausführungsformen kann sich das Zielfahrzeug vor, neben oder hinter dem Host-Fahrzeug befinden. Beispielsweise kann sich das Zielfahrzeug vor dem Host-Fahrzeug befinden und die mindestens eine Verarbeitungsvorrichtung kann so konfiguriert sein, dass sie bestimmt, dass eine Fahrereingabe zu einer Änderung des Längsabstands zwischen dem Zielfahrzeug und dem Host-Fahrzeug führen könnte. Beispielsweise kann das Host-Fahrzeug eine Distanz vom Zielfahrzeug haben, die grösser ist als die Distanz des Näherungspuffers vor dem Host-Fahrzeug, und die Fahrereingabe kann bewirken, dass das Host-Fahrzeug eine Distanz vom Zielfahrzeug hat, die kleiner ist als die Distanz des Näherungspuffers. In einigen Ausführungsformen kann bestimmt werden, dass sich das Zielfahrzeug in einer anderen Fahrspur als das Host-Fahrzeug befindet, und die mindestens eine Verarbeitungsvorrichtung kann konfiguriert werden, um zu bestimmen, dass die Fahrereingabe zu einer seitlichen Bewegung des Host-Fahrzeugs führen würde, so dass sich das Zielfahrzeug nach der seitlichen Bewegung vor dem Host-Fahrzeug befindet. Beispielsweise kann die Fahrereingabe bewirken, dass das Host-Fahrzeug hinter einem Zielfahrzeug zusammenläuft, was sicher sein kann, wenn das Host-Fahrzeug einen Abstand vom Zielfahrzeug einhalten würde, der größer ist als der Abstand des Näherungspuffers vor dem Host-Fahrzeug, und unsicher sein kann, wenn das Host-Fahrzeug in einen Abstand vom Zielfahrzeug kommt, der kleiner ist als der Abstand des Näherungspuffers vor dem Host-Fahrzeug. In einigen Ausführungsformen wird bestimmt, dass sich das Zielfahrzeug in einer anderen Fahrspur als das Host-Fahrzeug befindet, und die mindestens eine Verarbeitungsvorrichtung ist so konfiguriert, dass sie bestimmt, dass die Fahrereingabe zu einer seitlichen Bewegung des Host-Fahrzeugs führen würde, so dass sich das Host-Fahrzeug nach der seitlichen Bewegung vor dem Zielfahrzeug befindet. Beispielsweise kann die Fahrereingabe bewirken, dass das Host-Fahrzeug vor einem Zielfahrzeug einschneidet, was sicher sein kann, wenn das Host-Fahrzeug einen größeren Abstand zum Zielfahrzeug einhalten würde als der Näherungspuffer hinter dem Fahrzeug, oder unsicher, wenn das Host-Fahrzeug in einen Abstand zum Zielfahrzeug kommen würde, der geringer ist als der Näherungspuffer hinter dem Host-Fahrzeug.
In Übereinstimmung mit dieser Offenbarung kann das mindestens eine Hindernis einen Fussgänger oder einen Gegenstand in einer Fahrbahn beinhalten, und der Näherungspuffer bezüglich des mindestens einen Hindernisses kann mindestens einen einzuhaltenden Mindestabstand zwischen dem Host-Fahrzeug und dem mindestens einen Hindernis beinhalten. Wie oben diskutiert, kann der Mindestabstand je nach Klassifizierung des Hindernisses variieren. Handelt es sich bei dem Hindernis beispielsweise um einen Fußgänger, kann der Mindestabstand ein Abstand sein, bei dem innerhalb eines vorbestimmten Schwellenwertes die Gewissheit besteht, dass das Host-Fahrzeug in der Lage sein wird, eine Kollision mit dem Fußgänger zu vermeiden. Somit kann der Mindestabstand relativ zu einem Fußgänger der längste Mindestannäherungsabstand sein, der mit dieser Offenbarung konsistent ist. In einigen Ausführungsformen kann der Näherungspuffer relativ zu einem Fussgänger basierend auf einer aktuellen Geschwindigkeit des Host-Fahrzeugs bestimmt werden, und der Näherungspuffer kann mit steigender Geschwindigkeit des Host-Fahrzeugs zunehmen. Selbst in Fällen, in denen der Näherungspuffer relativ zu einem Fußgänger auf einer aktuellen Geschwindigkeit des Host-Fahrzeuges basiert, wird davon ausgegangen, dass der Näherungspuffer relativ zum Fußgänger länger als ein Anhalteweg (und im Allgemeinen signifikant länger als ein Anhalteweg) des Host-Fahrzeuges wäre. Zum Beispiel kann ein Näherungspuffer relativ zu einem Fußgänger ein Anhalteweg des Host-Fahrzeugs (berechnet nach den RSS- oder CRSS-Modellen) für eine aktuelle Geschwindigkeit des Host-Fahrzeugs plus einem zusätzlichen Mindestabstand sein. Als weiteres Beispiel kann ein Näherungspuffer relativ zu einem Fußgänger 120% eines Anhalteweges des Host-Fahrzeuges bei einer aktuellen Geschwindigkeit des Host-Fahrzeuges oder eine andere Änderung des Anhalteweges (z.B. 110%, 150%, 200%, usw.) betragen.
Prozess 5500 kann einen Schritt 5514 beinhalten, der eine Fahrereingabe erlaubt, wenn die Eingabe nicht dazu führen würde, dass das Host-Fahrzeug relativ zu einem Objekt in einen Näherungspuffer gerät. In Übereinstimmung mit dieser Offenbarung kann die mindestens eine Verarbeitungsvorrichtung so programmiert werden, dass sie der Fahrereingabe erlaubt, eine entsprechende Änderung in einem oder mehreren Host-Fahrzeug-Bewegungssteuerungssystemen zu verursachen, wenn die mindestens eine Verarbeitungsvorrichtung bestimmt, dass die Fahrereingabe nicht dazu führen würde, dass das Host-Fahrzeug innerhalb des Näherungspuffers relativ zu dem mindestens einen Hindernis navigiert. Zum Beispiel kann die Verarbeitungsvorrichtung darauf verzichten, den menschlichen Fahrer zu verdrängen, wenn die Verarbeitungsvorrichtung bestimmt, dass die Fahrereingabe nicht dazu führen würde, dass das Host-Fahrzeug innerhalb eines Näherungspuffers relativ zu irgendeinem Hindernis (z.B. Zielfahrzeug oder VRU) kommt. Mehrere hier offenbarte Figuren stellen Bedingungen dar, bei denen das Sicherheitssystem den Fahrer nicht verdrängen würde, einschließlich 53A.
Bei dem einen oder mehreren Host-Fahrzeug-Bewegungssteuerungssystemen kann es sich um beliebige Systeme handeln, die mit dieser Offenbarung konsistent sind. Beispielsweise können das eine oder die mehreren Systeme zur Bewegungssteuerung das Drosselsystem 220, das Bremssystem 230 und/oder das Lenksystem 240 beinhalten. In einigen Ausführungsformen können das eine oder die mehreren Systeme zur Steuerung des Host-Fahrzeugs mindestens einen Lenkaktuator zur Steuerung eines Steuerkurses des Host-Fahrzeugs, einen Bremsaktuator, der die Betätigung einer Vorrichtung zur Bremsung des Host-Fahrzeugs verursacht, oder einen Beschleunigungsaktuator, der die Betätigung einer Drosselung des Host-Fahrzeugs bewirkt, beinhalten. Zum Beispiel kann das Drosselsystem 220 einen oder mehrere Beschleunigungsaktuatoren, das Bremssystem 230 einen oder mehrere Bremsaktuatoren und das Lenksystem 240 einen oder mehrere Lenkaktuatoren beinhalten.
Prozess 5500 kann einen Schritt 5512 zur Verdrängung des menschlichen Fahrers beinhalten, wenn die Fahrereingabe verursachen würde, dass das Host-Fahrzeug in einen Näherungspuffer relativ zu einem Objekt kommt. Konsistent mit dieser Offenbarung kann die mindestens eine Verarbeitungsvorrichtung programmiert werden, um zu verhindern, dass die Fahrereingabe die entsprechende Änderung in dem einen oder den mehreren Bewegungssteuerungssystemen des Host-Fahrzeugs verursacht, wenn die mindestens eine Vorrichtung bestimmt, dass die Fahrereingabe nicht dazu führen würde, dass das Host-Fahrzeug innerhalb des Näherungspuffers relativ zu dem mindestens einen Hindernis navigiert. Jedes der Vielzahl von Beispielen für unsichere Bedingungen, die hier offenbart werden, kann die Grundlage dafür sein, dass das Sicherheitssystem den menschlichen Fahrer verdrängt. Wenn die Fahrereingabe beispielsweise bewirken würde, dass das Host-Fahrzeug in einen Abstand zu einem Objekt gerät, der kleiner als der RSS-Sicherheitsabstand (oder CRSS-Sicherheitsabstand, je nach verwendetem Modell) ist, kann das Sicherheitssystem bestimmen, dass die Fahrereingabe unsicher ist, und den Fahrer verdrängen und die Kontrolle übernehmen.
In Übereinstimmung mit dieser Offenbarung kann das Verhindern, dass die Fahrereingabe eine entsprechende Änderung im Host-Fahrzeug verursacht, das Verhindern der Fahrereingabe beinhalten. In einigen Ausführungsformen kann, um zu verhindern, dass die Fahrereingabe die entsprechende Änderung in einem von mehreren Host-Fahrzeug-Bewegungssteuerungssystemen verursacht, die mindestens eine Verarbeitungsvorrichtung so konfiguriert sein, dass sie unter bestimmten Bedingungen die Bewegung von mindestens einer der Steuerungen Drosselsteuerung, Bremssteuerung oder Lenkung verhindert oder als Reaktion auf eine erkannte Fahrereingabe eine weitere Bewegung verhindert. Wenn es sich bei der Fahrereingabe beispielsweise um eine Beschleunigung handelt, die durch das Niedertreten eines Gaspedals verursacht wird, kann das Sicherheitssystem die Beschleunigung verhindern, indem es das Gaspedal so sperrt, dass es nicht niedergedrückt werden kann. Handelt es sich bei der Fahrereingabe um eine Drehung eines Lenkrads im Uhrzeigersinn, kann das Sicherheitssystem die Drehung verhindern, indem es das Lenkrad so sperrt, dass es nicht oder nur in einer Richtung gedreht werden kann, die den Korrespondenzen mit den Sicherheitsbedingungen entspricht (z.B. Sperren des Lenkrads gegen eine Drehung im Uhrzeigersinn, aber eine Drehung gegen den Uhrzeigersinn erlauben). In einigen Ausführungsformen kann, um zu verhindern, dass der Anwender die entsprechende Änderung in einem oder mehreren Host-Fahrzeug-Bewegungssteuerungssystemen verursacht, die mindestens eine Verarbeitungsvorrichtung so konfiguriert sein, dass die Bedienbarkeit von mindestens einer der Drosselsteuerung, der Bremssteuerung oder der Lenksteuerung deaktiviert wird. Wenn es sich bei der Fahrereingabe beispielsweise um die Betätigung eines Bremspedals handelt, kann das Sicherheitssystem die Eingabe verhindern, indem es das Bremspedal (z. B. elektronisch oder mechanisch) vom übrigen Bremssystem entkoppelt, so dass die Betätigung des Bremspedals keine Wirkung hat. In ähnlicher Weise kann das Sicherheitssystem, wenn es sich bei der Eingabe durch den Fahrer um die Drehung eines Lenkrads handelt, die Eingabe verhindern, indem es das Lenkrad so entkoppelt, dass eine Drehung des Lenkrads (zumindest in der Richtung, die die unsicheren Bedingungen verursachen würde) keine Wirkung hat. In einigen Ausführungsformen kann die Verhinderung, dass die Fahrereingabe die entsprechende Änderung in dem einen oder mehreren Host-Fahrzeug-Bewegungssteuerungssystemen verursacht, mindestens eines der folgenden Elemente beinhalten: Verhindern, dass die Fahrereingabe in das Lenkrad zu einer entsprechenden Reaktion des mindestens einen Lenkaktuators führt, Verhindern, dass die Fahrereingabe in das Bremspedal zu einer entsprechenden Reaktion des Bremsaktuators führt, oder Verhindern, dass die Fahrereingabe in das Gaspedal zu einer entsprechenden Reaktion des Beschleunigungsaktuators führt. Wenn es sich bei der Fahrereingabe beispielsweise um das Niederdrücken eines Beschleunigungspedals handelt, anstatt das Pedal zu sperren oder zu entkoppeln, kann das Sicherheitssystem dem Fahrer erlauben, die Eingabe bereitzustellen, aber verhindern, dass die Eingabe eine Wirkung hat, indem es beispielsweise ein elektrisches Signal vom Beschleunigungspedal abfängt, bevor es den Beschleunigungsaktuator erreicht. In jeder Ausführungsform kann die Verhinderung der Fahrereingabe für einen Zeitraum erfolgen, der den unsicheren Bedingungen entspricht. Beispielsweise kann das Sicherheitssystem das Beschleunigungspedal entriegeln, wenn die Verarbeitungsvorrichtung bestimmt, dass eine Beschleunigung des Host-Fahrzeugs nicht dazu führt, dass das Host-Fahrzeug in eine Entfernung zu einem Objekt kommt, die kleiner ist als die Entfernung des Näherungspuffers.
In Übereinstimmung mit dieser Offenbarung kann das Verhindern, dass die Fahrereingabe eine entsprechende Änderung im Host-Fahrzeug verursacht, das Verhindern der Fahrereingabe beinhalten. In einigen Ausführungsformen kann, um zu verhindern, dass die Fahrereingabe die entsprechende Änderung in einem oder mehreren Host-Fahrzeug-Bewegungssteuerungssystemen verursacht, die mindestens eine Verarbeitungsvorrichtung so konfiguriert sein, dass sie als Reaktion auf die Fahrereingabe eine Bewegung von mindestens einer der Drosselsteuerung, der Bremssteuerung oder der Lenksteuerung verhindert und eine Impulskraft auf mindestens eine der Drosselsteuerung, der Bremssteuerung oder der Lenksteuerung anwendet. Wenn die Fahrereingabe beispielsweise eine Drehung eines Lenkrads im Uhrzeigersinn ist, kann das Sicherheitssystem die Drehung verhindern, indem es das Lenkrad so blockiert, dass es nicht im Uhrzeigersinn gedreht werden kann, und indem es eine Kraft anwendet, die eine Drehung des Lenkrads gegen den Uhrzeigersinn verursacht. Im gleichen Beispiel kann das Sicherheitssystem die Drehung verhindern, indem es das Lenkrad teilweise blockiert, so dass es im Uhrzeigersinn gedreht werden kann, aber das Host-Fahrzeug nicht vollständig auf die Drehung im Uhrzeigersinn reagiert und das Sicherheitssystem kann eine Kraft auf das Lenkrad im Gegenuhrzeigersinn anwenden. In einigen Ausführungsformen kann die mindestens eine Verarbeitungsvorrichtung so konfiguriert sein, dass sie die Bewegung von mindestens einer der Drosselsteuerung, der Bremssteuerung oder der Lenksteuerung verhindert und die Anwendung der Impulskraft auf mindestens eine der Drosselsteuerung, der Bremssteuerung oder der Lenksteuerung fortsetzt, bis eine Fahrereingabe empfangen wird, die nicht dazu führen würde, dass das Host-Fahrzeug innerhalb eines Näherungspuffers relativ zu dem mindestens einen Hindernis navigiert. In Fortsetzung des obigen Beispiels kann das Sicherheitssystem beispielsweise weiterhin die Drehung des Lenkrads im Uhrzeigersinn verhindern, bis der menschliche Fahrer das Lenkrad gegen den Uhrzeigersinn in einem Ausmaß dreht, das ausreicht, um das Host-Fahrzeug zu veranlassen, einen unsicheren Zustand zu vermeiden oder in einen sicheren Zustand zurückzukehren (z.B. wenn sich keine Hindernisse innerhalb des Näherungspuffers befinden). Ein weiteres Beispiel: Wenn die Fahrereingabe in der Niederdrückung eines Beschleunigungspedals besteht, kann das Sicherheitssystem die Eingabe verhindern, indem es eine Kraft auf das Beschleunigungspedal ausübt, die der Niederdrückung entgegengesetzt ist, und die Kraft so lange ausübt, bis der Fahrer aufhört, das Beschleunigungspedal niederzudrücken, oder beginnt, das Bremspedal niederzudrücken. In jeder Ausführungsform kann die Hemmung so lange andauern, bis sich das Host-Fahrzeug in einer sicheren Position befindet, in der sich keine Hindernisse innerhalb des Näherungspuffers befinden und keine Fahrereingabe erfolgt, die dazu führen würde, dass das Host-Fahrzeug in eine Entfernung zu einem Hindernis gerät, die kleiner ist als der Näherungspuffer.
In Übereinstimmung mit dieser Offenbarung kann das Verhindern, dass die Fahrereingabe eine entsprechende Änderung im Host-Fahrzeug verursacht, eine Übernahme der Kontrolle des menschlichen Fahrers beinhalten oder damit assoziiert sein. In einigen Ausführungsformen kann die mindestens eine Verarbeitungsvorrichtung so konfiguriert sein, dass sie die Navigation des Host-Fahrzeugs autonom in Intervallen steuert, in denen die mindestens eine Verarbeitungsvorrichtung verhindert, dass die Fahrereingabe eine entsprechende Änderung in dem einen oder mehreren Host-Fahrzeug-Bewegungssteuerungssystemen verursacht. Wenn es sich bei der Fahrereingabe beispielsweise um eine Drehung eines Lenkrads im Uhrzeigersinn handelt, kann das Sicherheitssystem, wie oben beschrieben, die Eingabe verhindern oder sperren und die Steuerung des Lenksystems 240 so übernehmen, dass die Fahrereingabe keine Wirkung hat und die Verarbeitungsvorrichtung die Lenkung des Host-Fahrzeugs steuert. In einigen Ausführungsformen kann das Sicherheitssystem, wenn irgendeine Fahrereingabe einen unsicheren Zustand verursachen würde, den menschlichen Fahrer vollständig verdrängen, so dass die Verarbeitungsvorrichtung eine völlig autonome Kontrolle über das Host-Fahrzeug hat und nicht nur die Kontrolle über das der unsicheren Fahrereingabe entsprechende System. Handelt es sich bei der unsicheren Fahrereingabe beispielsweise um eine Betätigung des Beschleunigungspedals, kann das ADAS-Sicherheitssystem die Steuerung des Beschleunigungssystems, des Bremssystems und des Lenksystems übernehmen, so dass die Verarbeitungsvorrichtung das Host-Fahrzeug vollständig navigieren kann. Das Sicherheitssystem und die darin enthaltene Verarbeitungsvorrichtung können das Host-Fahrzeug entsprechend jeder Ausführungsform dieser Offenbarung autonom navigieren. In einigen Ausführungsformen kann die mindestens eine Verarbeitungsvorrichtung so konfiguriert sein, dass sie die Navigationssteuerung des Host-Fahrzeugs an einen Fahrer zurückgibt, nachdem eine Fahrereingabe empfangen wurde, die nicht dazu führen würde, dass das Host-Fahrzeug innerhalb eines Näherungspuffers relativ zu dem mindestens einen Hindernis navigiert. Wenn der Fahrer beispielsweise während der Zeit, in der das Sicherheitssystem das Host-Fahrzeug autonom navigiert, versucht, eine Fahrereingabe bereitzustellen, die keinen unsicheren Zustand verursachen würde, kann das Sicherheitssystem die autonome Navigation beenden und dem menschlichen Fahrer erlauben, die Kontrolle über das Host-Fahrzeug zu übernehmen.
In Übereinstimmung mit dieser Offenbarung kann die mindestens eine Verarbeitungsvorrichtung so programmiert sein, dass sie einen menschlichen Fahrer alarmiert. In einigen Ausführungsformen kann die mindestens eine Verarbeitungsvorrichtung den Fahrer warnen, wenn die Verarbeitungsvorrichtung bestimmt, dass eine Fahrereingabe zu einem unsicheren Zustand führen würde. Die Warnung kann jede Warnung sein, die mit dieser Offenbarung konsistent ist. Zum Beispiel kann das Fahrzeug ein Lautsprechersystem beinhalten, und das Sicherheitssystem kann eine akustische Warnung über das Lautsprechersystem bereitstellen. Ein weiteres Beispiel: Das Fahrzeug kann ein oder mehrere Displays beinhalten (z.B. einen Bildschirm im Armaturenbrett oder ein Unterhaltungssystem), und das Sicherheitssystem kann auf dem einen oder den mehreren Displays eine visuelle Warnung bereitstellen. Als weiteres Beispiel kann das Fahrzeug über ein Head-up-Display oder ein Augmented-Reality-Display (z.B. auf der vorderen Windschutzscheibe des Fahrzeugs) verfügen, und das Sicherheitssystem kann eine Warnung auf dem Head-up-Display oder dem Augmented-Reality-Display bereitstellen. Die Anzeige kann z.B. die Angabe beinhalten, welche Fahrereingabe den unsicheren Zustand verursachen würde, die Angabe einer Eingabe, die einen sicheren Zustand verursachen würde, die Angabe, dass das Sicherheitssystem den Fahrer verdrängt, oder ähnliches.
In Übereinstimmung mit dieser Offenbarung kann die mindestens eine Verarbeitungsvorrichtung so programmiert sein, dass sie Daten sammelt und überträgt, die sich auf Fälle beziehen, in denen das Sicherheitssystem den menschlichen Fahrer verdrängt hat. Die Daten können z.B. Informationen beinhalten, die sich auf die Fahrereingabe beziehen, die als unsicher bestimmt wurde; die Zeit, den Ort und die Dauer der Verdrängung; die Art der Verdrängung (z.B. Verhinderung, Hemmung oder Übernahme); das Ergebnis der Übernahme (z.B. eine Kollision wurde verhindert); und alle anderen Informationen, die sich auf die Verdrängung beziehen. Die Daten können an ein oder mehrere Systeme oder Vorrichtungen übermittelt werden. Beispielsweise können die Daten an eine Vorrichtung, die mit dem Fahrer assoziiert ist, übertragen werden, um den Fahrer über vermiedene Unfälle, seine Fahrtüchtigkeit oder ähnliches zu informieren. Als weiteres Beispiel können die Informationen an ein oder mehrere Systeme zur Verwendung in der Forschung in Bezug auf autonome Fahrzeuge, Straßenverkehrssicherheit, menschliche Fahrgewohnheiten oder ähnliches übermittelt werden.
In Übereinstimmung mit dieser Offenbarung kann das autonome System zur selektiven Verdrängung der Kontrolle des menschlichen Fahrers über ein Host-Fahrzeug eine System-Override-Steuerung zur Deaktivierung des autonomen Systems zur selektiven Verdrängung der Kontrolle des menschlichen Fahrers beinhalten. Die System-Override-Steuerung kann sich von der Drosselsteuerung, der Bremssteuerung und der Lenksteuerung unterscheiden. Wenn sich beispielsweise die System-Override-Steuerung von der Brems-, Drosselsteuerung und der Lenksteuerung unterscheidet, muss der Fahrer für die Override-Steuerung eine Eingabe bereitstellen, die sich von einer Navigationseingabe unterscheidet. In einigen Ausführungsformen kann die System-Override-Steuerung ein Griff, ein Knopf, ein Hebel oder eine andere physikalische Vorrichtung sein, die in der Lage ist, eine Eingabe vom Fahrer zu empfangen. Zum Beispiel kann die System-Override-Steuerung ein Hebel sein, und die Eingabe, die das autonome System deaktiviert, kann ein Zug oder eine andere Verschiebung des Hebels sein. In einigen Ausführungsformen kann die System-Override-Steuerung eine hörbare Phrase, eine visuelle Geste oder eine andere Art von Eingabe sein, die von einem oder mehreren Mikrofon- und/oder Bilderfassungsvorrichtungssystemen erkannt werden kann. Zum Beispiel kann die System-Override-Steuerung eine Handgeste beinhalten. Die System-Override-Steuerung kann jedes andere Mittel zur Deaktivierung oder Abschaltung des Systems sein, wie oben beschrieben.
In Übereinstimmung mit dieser Offenbarung kann die mindestens eine Verarbeitungsvorrichtung konfiguriert werden, um zu verfolgen, wann das autonome System zur selektiven Verdrängung der Steuerung durch den menschlichen Fahrer durch die System-Override-Steuerung deaktiviert wurde. Beispielsweise kann die Verarbeitungsvorrichtung ein Datum speichern, das sich auf die Zeit und den Ort bezieht, an dem der menschliche Fahrer die System-Override-Steuerung aktiviert hat, sowie Informationen, die sich auf die Dauer der Deaktivierung des Systems beziehen, einschließlich z.B. visueller Informationen (z.B. ein Bild oder ein Videoclip), die sich auf die Deaktivierung beziehen und auf einer Anzeige oder Instrumententafel im Fahrzeug angezeigt werden. In einigen Ausführungsformen kann die Verarbeitungsvorrichtung, wenn das Fahrzeug in eine Kollision verwickelt ist, so programmiert sein, dass sie meldet, ob das Sicherheitssystem vor der Kollision deaktiviert war. In einigen Ausführungsformen kann die Verarbeitungsvorrichtung so programmiert sein, dass sie die Fahrereingabe überwacht, auch wenn das System deaktiviert ist. Wenn sie beispielsweise deaktiviert ist, kann die Verarbeitungsvorrichtung so konfiguriert sein, dass sie Prozess 5500 ausführt, mit Ausnahme von Schritt 5512. In diesem Beispiel kann die Verarbeitungsvorrichtung Daten sammeln und speichern, die sich darauf beziehen, ob der menschliche Fahrer unsichere Bedingungen verursacht hat, wenn sich das Host-Fahrzeug innerhalb des Näherungspuffers in Bezug auf ein Objekt befand, sowie andere Informationen, die sich auf die Navigation des Fahrzeugs beziehen. Diese Informationen können verwendet werden, um die Haftung im Falle einer Kollision zu bestimmen. Wenn die Verarbeitungsvorrichtung beispielsweise bestimmt, dass das ADAS-Sicherheitssystem deaktiviert war, als es zu einer Kollision zwischen dem Host-Fahrzeug und einem Zielfahrzeug kam, dann kann entweder der menschliche Fahrer des Host-Fahrzeugs oder der Fahrer des Zielfahrzeugs haftbar gemacht werden. In ähnlicher Weise kann der menschliche Fahrer des Host-Fahrzeugs haftbar gemacht werden, wenn das Sicherheitssystem deaktiviert war und die Verarbeitungsvorrichtung bestimmt, dass der menschliche Fahrer eine Fahrereingabe bereitgestellt hat, die verdrängt worden wäre, wenn das Sicherheitssystem nicht deaktiviert gewesen wäre.
Die oben diskutierten Beispiele und Ausführungsformen sind nur beispielhaft und schränken den Anwendungsbereich des autonomen Systems zur selektiven Verdrängung menschlicher Fahrer nicht ein. Ein Durchschnittsfachmann, dem diese Offenbarung zugute kommt, kann verstehen, wie das autonome System in irgendeiner Weise konsistent mit dieser Offenbarung modifiziert werden kann.
Wegvorhersage zur Kompensation von Steuerungsverzögerungen
Die hier offen gelegten autonomen Navigationssysteme können eine oder mehrere Navigationsaktionen eines Host-Fahrzeugs bestimmen und können die Navigationsaktion implementieren. Wie oben beschrieben, können die Navigationsaktionen auf einer oder mehreren Navigationsstrategien, Navigationszielen oder ähnlichem basieren. Die Navigationssysteme können einen oder mehrere Sensoren enthalten, die Ausgaben liefern, die zur Bestimmung der Navigationsreaktionen des Host-Fahrzeugs verwendet werden. Beispielsweise kann das System mehrere Bilderfassungsgeräte enthalten, die konfiguriert sind, Bilder einer Umgebung eines Host-Fahrzeugs zu erfassen, und mindestens einen Prozessor, der konfiguriert ist, die Bilder zu analysieren und eine Navigationsantwort zu bestimmen. Zwischen dem Zeitpunkt, zu dem das Bild (oder eine andere Ausgabe von einem Sensor) erfasst wird, und dem Zeitpunkt, zu dem eine Navigationsantwort implementiert wird, um ein Manöver im Host-Fahrzeug zu veranlassen, kann es jedoch eine gewisse Verzögerung geben. In einigen Fällen kann eine zusätzliche Verzögerung zwischen dem Zeitpunkt der Implementierung der Navigationsantwort und dem gewünschten Effekt, z.B. dem Drehen des Lenkrads, und dem Einlenken des Rades als Reaktion darauf bestehen. Obwohl die Verzögerung sehr kurz sein können, bewegt sich das Fahrzeug in den meisten Fällen während der Verzögerung weiter. Infolgedessen können die Sensorausgaben, auf denen eine bestimmte Navigationsentscheidung beruht, veraltet sein, da sie auf einem vergangenen Bewegungszustand des Host-Fahrzeugs basieren können, und nicht auf einem tatsächlichen Bewegungszustand zu einem Zeitpunkt, der näher an oder gleich einem Zeitpunkt liegt, zu dem Fahrzeugaktuatoren als Reaktion auf die Durchführung einer geplanten Navigationsaktion eine Änderung des Fahrzeugzustands bewirken. Infolgedessen kann das Host-Fahrzeug eine „Sinuswellenfahrt“ aufweisen, bei der das Fahrzeug aufgrund der Implementierung von Navigationsentscheidungen, die auf Sensorinformationen basieren, die nicht repräsentativ für die tatsächlichen Bedingungen zum Zeitpunkt der Aktuatorreaktion sind, oszillierende Korrekturen vornehmen kann (z.B. Bremse, Gas, Bremse, Gas usw.). Als solches wird ein System zur Vorhersage der Bewegung des Fahrzeugs nach der Durchführung von Fahrzeugsensormessungen und vor oder gleichzeitig mit einer Betätigungszeit offenbart. Das offenbarte System kann nicht-glatte, oszillierende Korrekturen vermeiden, die sich ergeben können, wenn keine Korrektur vorgenommen wird, um u.a. die sich ändernde Fahrzeugbewegung während Sensormessung, Fahrentscheidung und Ausführungszeiten der Navigationsaktion zu berücksichtigen.
Das Problem der Kontrolle der Geschwindigkeit eines Fahrzeugs kann wie folgt formalisiert werden. Ein Geschwindigkeitsbefehlssignal v_cmd(t) kann eine Zielgeschwindigkeit für ein Host-Fahrzeug sein. Ein Navigationssystem kann die Drossel- und Bremssteuerung so einstellen, dass die tatsächliche Geschwindigkeit des Fahrzeugs, bezeichnet als v(t), so nach wie möglich an ν_cmd(t) ist. Sei p(t) ∈ [-1, 1] die Position des Pedals, wobei -1 zu voll bremsen korrespondiert, 1 korrespondiert zu voller Beschleunigung, und 0 bedeutet kein Bremsen und kein Beschleunigen. Die Bewegung des Pedals kann die Geschwindigkeit des Fahrzeugs verändern, und das Ziel der Steuerung kann es sein, die Pedale so zu bewegen, dass das Fehlersignal, e(t) = ν_cmd(t) - v(t), einen kleinen Absolutwert aufweist. In der Standard-Notation ist ν_cmd(t) der gewünschte Sollwert, v(t) ist die Prozessvariable, und p(t) ist die Steuervariable.
Ein Steuergerät kann in diskreter Zeit laufen, wobei die Position des Pedals alle Δ Sekunden bewegt wird. Die Steuerung kann auf den folgenden einfachen Gleichungen basieren: für jedes t = kΔ, wobei k eine natürliche Zahl ist, $\begin{array}{l} \bar{e} (t) : = (1 - β) \bar{e} (t - Δ) + β e (t) \\ u (t) : = K_{p} (e (t) + K_{m} (e (t) - \bar{e} (t))) \\ p_{e} (t) : = p_{e} (t - Δ) + u (t) \cdot Δ \\ p (t) : = p_{g} (v_{cmd} (t), \frac{v_{cmd} (t) - v_{cmd} (t - Δ)}{Δ}) + p_{e} (t) \end{array}$
wobei p_e eine Fehlerkorrekturfunktion für die Position des Pedals ist; p_g(v,a) eine „Raten“ Funktion ist, möglicherweise konstant, der Position des Pedals als eine Funktion der aktuellen Geschwindigkeits- und Beschleunigungsbefehle (Die Ratefunktion wird im Folgenden näher erläutert; es ist zu beachten, dass es keine Abhängigkeit von Feedback von v oder a gibt, so dass p_g in einer kompletten „open-loop“ Weise arbeitet); e ist ein Signal, das einen diskontierten Durchschnitt vergangener Fehler liefert (und auf e(0) = 0 initialisiert ist). Man beobachte, dass: $\begin{matrix} \bar{e} (k Δ) = (1 - β) \bar{e} ((k - 1) Δ) + β e (k Δ) \\ = (1 - β) [(1 - β) \bar{e} ((k - 2) Δ) + β e (k - 1) Δ] + β e (k Δ) = β \sum_{i = 0}^{k} {(1 - β)}^{i} e ((k - i) Δ) \end{matrix}$
Der Einfachheit halber sind in den obigen Darstellungen Aspekte im Zusammenhang mit Sättigung (Beschneiden der Fehler, der Pedalposition, der Pedaländerung) nicht enthalten. Ein Fachmann von gewöhnlichem Geschick, der den Vorteil dieser Offenbarung hat, kann verstehen, dass die Sättigung in den obigen Formeln enthalten sein kann.
Die Ratefunktion p_g(v,a) wird als nächstes betrachtet. Zum Beispiel kann ein Fahrzeug gefahren werden, während die Geschwindigkeit und die Stellung der Pedale als eine Funktion der Zeit aufgezeichnet werden. Die Ableitung der Geschwindigkeit kann als die tatsächliche Beschleunigung genommen werden (auch wenn sie verrauscht sein mag), und man versucht, eine Funktion anzupassen, die die Beschleunigung als eine Funktion von p(t) und v(t) liefert. Die Umkehrung dieser Funktion liefert die Ratefunktion p_g(v,a).
Die Ratefunktion kann einen Vorteil bieten, da sie keine Verzögerung aufweist. Wenn die meisten Informationen über die korrekte Pedalstellung in der gewünschten Beschleunigung und der aktuellen Geschwindigkeit vorliegen, kann die Ratefunktion eine Schätzung der korrekten Pedalstellung liefern. Die Rolle der Steuerung besteht darin, den Fehler durch zusätzliche Variablen (z.B. den Druck der Reifen, die Hitze des Motors, den Rückenwind usw.) Verwendung von p_e zu reduzieren.
Die meisten Informationen hängen von v und a ab, da die Hauptkräfte auf das Fahrzeug wirken: Reibung, die linear von v abhängt; Trägheit (Luftwiderstand), die quadratisch von v abhängt; Schwerkraft, die sich mit der Höhe ändert, in der Form 9,8 sin(θ); Bremsreibung, die von der Stellung des Bremspedals abhängt; und Motor, die von der Stellung des Gaspedals abhängt.
Es kann mehrere Vorteile der Ratefunktion geben. Erstens wird die anfängliche Schätzung (in den meisten Fällen) sehr nahe an der optimalen Pedalstellung liegen, so dass sich bei einer Beschleunigung, die der gewünschten sehr nahe kommt, eine vernachlässigbare Verzögerung ergibt. Zweitens ist das Problem des Erlernens der anfänglichen Schätzfunktion ein Offline-Problem (Sammeln von Beispielen von einem menschlichen/autonomen Fahrer und Anpassen einer Funktion an diese). Diese kann leicht an ein anderes Fahrzeug angepasst werden und sogar während der Fahrt an ein vorhandenes Auto angepasst werden (die Anzahl der anzupassenden Parameter (bei unserer Wahl der Anpassung unter Verwendung eines Polynoms niedrigen Grades) ist viel kleiner als die Anzahl der Beispiele, die wir sammeln können, so dass keine Besorgnis einer Über-Anpassung besteht). Drittens kann der diskontierte Integrator empirisch eine Eigenschaft „kein Steady-State-Fehler“ liefern, während er aufgrund der Diskontierung eine viel geringere Verzögerung aufweist, die vergangene Fehler schnell vergisst. Darüber hinaus kann in einigen Ausführungsformen sogar die vorhandene kleine Verzögerung nur von dem Teil der Steuerung stammen, der den Steady-State-Fehler schließt.
In einigen Ausführungsformen erhält die Ratefunktion möglicherweise keine Rückmeldung, sondern hängt vielmehr von den Kommentaren ab. In einigen Ausführungsformen kann dies den p_e Ausdruck zur einzigen Steuerung in einem Navigationssystem mit der Ratefunktion machen. Wenn wir p_e separat analysieren: $\begin{matrix} p_{e} (k Δ) = \sum_{j = 0}^{k} Δ u (j Δ) \\ = Δ K_{p} \sum_{j = 0}^{k} [(1 + K_{m}) e (j Δ) - K_{m} \bar{e} (j Δ)] \\ = Δ K_{p} \sum_{j = 0}^{k} [(1 + K_{m}) e (j Δ) - K_{m} β \sum_{i = 0}^{i} {(1 - β)}^{i} e ((j - i) Δ)] \\ = Δ K_{p} \sum_{j = 0}^{k} [(1 + K_{m}) e (j Δ) - K_{m} β \sum_{j = 0}^{k} \sum_{i = 0}^{i} {(1 - β)}^{i} e ((j - i) Δ)] \\ = Δ K_{p} \sum_{j = 0}^{k} [(1 + K_{m}) e (j Δ) - K_{m} β \sum_{r = 0}^{k} e (r Δ) \sum_{j = r}^{k} {(1 - β)}^{j - r}] \\ = Δ K_{p} \sum_{r = 0}^{k} [(1 + K_{m}) - K_{m} β \sum_{j = r}^{k} {(1 - β)}^{j - r}] e (r Δ) \\ = Δ K_{p} \sum_{r = 0}^{k} [(1 + K_{m}) - K_{m} β \sum_{j = 0}^{k - r} {(1 - β)}^{j}] e (r Δ) \\ = Δ K_{p} \sum_{r = 0}^{k} [(1 + K_{m}) - K_{m} β \frac{1 - {(1 - β)}^{k - r}}{β}] e (r Δ) \\ = Δ K_{p} \sum_{r = 0}^{k} ((1 + K_{m}) - K_{m} (1 - {(1 - β)}^{k - r})) e (r Δ) \\ = Δ K_{p} \sum_{r = 0}^{k} (1 + K_{m} {(1 - β)}^{k - r}) e (r Δ) \end{matrix}$
In einigen Ausführungsformen kann die Steuerung, die nach den hier aufgeführten Gleichungen arbeitet, von einem Integrator mit Koeffizienten abhängen, die mit der Zeit abklingen. Es ist zu beachten, dass der nicht abklingende Term im Koeffizienten relativ klein sein kann, wenn Km » 1. Wie erörtert, kann diese Art von Integrator die Eigenschaft „kein Steady-State Fehler“ haben, während er aufgrund des Diskontierungseffekts weniger Verzögerungen durch frühere Fehler erleidet. Dies kann auch als etwas zwischen den P- und I-Termen in einem regulären PI-Regler interpretiert werden: z.B. ergibt überhaupt keine Diskontierung einen klassischen I-Term, während harte Diskontierung einen klassischen P-Term ergibt. Als solches kann der Regler einen deutlichen Vorteil gegenüber bestehenden PI-Reglern bieten.
56 zeigt einen Überblick über einen Prozess 5600, der von einem Navigationssystem durchgeführt werden kann. Die folgende Diskussion veranschaulicht, wie eine Steuerung eine Verarbeitungsverzögerung berücksichtigt. Der Prozess 5600 kann eine Erfassungs- und Ausgabestufe 5602 umfassen, in der das Navigationssystem Daten von einem oder mehreren Sensoren sammeln und die Daten analysieren kann, um eine oder mehrere Ausgaben zu erzeugen. Zum Beispiel kann in der Erfassungs- und Ausgabestufe 5602 ein Bilderfassungsgerät 122 ein oder mehrere Bilder erfassen und diese Bilder mindestens einem Verarbeitungsgerät zur Verfügung stellen, das so programmiert ist, dass es die Bilder analysiert, um Hindernisse in der Umgebung eines Host-Fahrzeugs zu erkennen. Die Erfassungs- und Ausgabestufe 5602 kann mit einer Ausgabe enden, die sich auf den einen oder die mehreren Sensoren bezieht, z.B. mit der Feststellung, dass sich ein Zielfahrzeug vor dem Host-Fahrzeug befindet. Die Erfassungs- und Ausgabestufe 5602 kann auch Messungen durch beliebige Sensoren umfassen, die mit einem Host-Fahrzeug verbunden sind (z.B. GPS, Beschleunigungsmesser, Tachometer, Reifendruckanzeiger, RADAR, LIDAR usw.). Der Prozess 5600 kann eine Navigationsbefehlsbestimmungsstufe 5604 umfassen, in der das Navigationssystem mindestens ein Verarbeitungsgerät enthalten kann, das so programmiert ist, dass es das Ausgangssignal der Erfassungs- und Ausgangsstufe 5602 verwendet, um einen oder mehrere Navigationsbefehle für das Host-Fahrzeug zu bestimmen. Zum Beispiel kann mindestens eine Verarbeitungseinrichtung einen Navigationsbefehl bestimmen, indem sie z.B. eine oder mehrere Navigationsrichtlinien zusammen mit dem Ausgangssignal der Sensorausgänge verwendet. Die Navigationsbefehlsbestimmungsstufe 5604 kann damit enden, dass ein Navigationsbefehl an ein oder mehrere Bewegungssteuerungssysteme (z.B. ein Drosselsteuerungssystem, ein Bremssteuerungssystem, ein Lenksteuerungssystem usw.) übertragen wird. Prozess 5600 kann eine Navigationsreaktionsstufe 5606 enthalten, um das Fahrzeug zu veranlassen, ein Navigationsmanöver auszuführen, das mit dem/den Navigationsbefehl(en) aus Navigationsbefehlsstufe 5604 übereinstimmt. Beispielsweise kann die Navigationsreaktionsstufe 5606 die Aktivierung eines Drosselaktuators als Reaktion auf einen Navigationsbefehl aus der Navigationsbefehlsbestimmungsstufe 5604 umfassen.
In diesem Beispiel kann t(0) einen Zeitpunkt darstellen, an dem eine Sensormessung durchgeführt wird (z.B, die Bilderfassungsvorrichtung 122 nimmt ein erstes Bild auf); t(1) kann einen Moment darstellen, in dem eine Sensorausgabe an ein oder mehrere Verarbeitungsvorrichtungen übertragen wird; t(2) kann einen Moment darstellen, in dem die Sensorausgabe von dem Prozessor empfangen wird, der so programmiert ist, dass er einen Navigationsbefehl auf der Grundlage einer oder mehrerer empfangener Sensorausgaben bestimmt; t(3) kann einen Zeitpunkt repräsentieren, zu dem die Verarbeitungseinheit einen bestimmten Navigationsbefehl an ein oder mehrere Bewegungssteuerungssysteme überträgt; t(4) kann einen Zeitpunkt repräsentieren, zu dem das eine oder die mehreren Bewegungssteuerungssysteme den übertragenen Navigationsbefehl empfangen; und t(5) kann einen Zeitpunkt repräsentieren, zu dem der Navigationsbefehl wirksam wird (e. g., ein Aktuator eine Drossel-, Brems- oder Lenkreaktion verursacht). In Übereinstimmung mit dieser Offenbarung kann es zwischen jedem dieser Zeitpunkte eine Verzögerung geben. Beispielsweise kann die Gesamtverzögerung von Prozess 5600 die Differenz zwischen t(5) und t(0) sein, die im Bereich von z. B. einer Millisekunde bis zu mehreren hundert Millisekunden liegen kann. In einigen Konfigurationen von Prozess 5600 kann die Verzögerung beispielsweise 150 Millisekunden betragen. Die akkumulierte Verzögerung kann Verarbeitungszeiten für das Sammeln, Verpacken und Übertragen einer Sensorausgabe auf Stufe 5602, für die Anwendung einer Fahrstrategie usw. auf einen oder mehrere empfangene Sensorausgaben umfassen, um einen geplanten Navigationsbefehl auf Stufe 5604 zu erzeugen und um den empfangenen Navigationsbefehl auf Stufe 5606 zu übertragen oder anderweitig zu bewirken.
Während der akkumulierten Verzögerung oder eines Teils der Gesamtverzögerung kann das Host-Fahrzeug die Navigation mit der gleichen oder einer anderen Geschwindigkeit, Beschleunigung und/oder Bahn fortsetzen, mit der es zur Datenerfassungszeit t(0) gefahren ist. Wenn zum Beispiel die Bremsen zum Zeitpunkt einer Sensormessung betätigt werden, kann die Fahrzeuggeschwindigkeit zum Zeitpunkt der Implementierung eines Navigationsbefehls niedriger sein als zum Zeitpunkt der Sensormessung. In ähnlicher Weise kann, wenn zum Zeitpunkt einer Sensormessung das Gaspedal betätigt wird, die Fahrzeuggeschwindigkeit zum Zeitpunkt der Implementierung eines Navigationsbefehls höher sein als zum Zeitpunkt der Sensormessung. Wenn der Navigationsbefehl zum Auslösezeitpunkt t(5) wirksam wird, kann das Fahrzeug eine erhebliche Strecke zurückgelegt haben und/oder eine andere Geschwindigkeit, Beschleunigung oder Bahn haben als die Grundlage für den Navigationsbefehl. Daher kann der Navigationsbefehl zur Auslösezeit t(5) eine Navigationsreaktion hervorrufen, die nicht auf den tatsächlichen Bewegungsbedingungen des Fahrzeugs zum Zeitpunkt der Umsetzung des Navigationsbefehls durch das Bewegungssteuerungssystem beruht.
57A-57C veranschaulichen Bedingungen, unter denen eine Vorhersage des Fahrzeugwegs während einer Zeit zwischen Sensormessungen und Betätigung nützlich sein kann. Die 57A-57C zeigen jeweils ein Host-Fahrzeug 5702 und ein Zielfahrzeug 5706 auf der Fahrbahn 5700 zu einer Datenerfassungszeit t(0). Die Datenerfassungszeit t(0) kann der Moment sein, in dem ein oder mehrere Sensoren auf dem Host-Fahrzeug 5702 Informationen bezüglich des Zielfahrzeugs 5706 erfassen. Die 57a und 57C zeigen auch das Host-Fahrzeug 5702' und das Zielfahrzeug 5706' zu einer Verzögerungszeit t(5). Die Verzögerungszeit t(5) kann der Moment sein, in dem das Host-Fahrzeug ein Navigationsmanöver durchführt oder anderweitig einen Navigationsbefehl umsetzt, wie in Bezug auf 56 diskutiert.
57A zeigt das Host-Fahrzeug 5702 zur Anfangszeit t(0) und dasselbe Host-Fahrzeug 5702' zur Verzögerungszeit t(5). Wie dargestellt, gibt es einen leichten Positionsunterschied zwischen dem Trägerfahrzeug 5702 zur Anfangszeit t(0) und dem Trägerfahrzeug 5702' zur Verzögerungszeit t(5). Die Positionsdifferenz kann auf die Distanz zurückgeführt werden, die das Host-Fahrzeug 5702 während der Reaktionszeit Δt (nicht dargestellt) zurückgelegt hat, d.h. auf die Differenz zwischen der Verzögerungszeit t(5) und der Anfangszeit t(0). In ähnlicher Weise kann das Host-Fahrzeug 5706 während der Reaktionszeit Δt eine Strecke zurückgelegt haben. In diesem Beispiel kann ein Navigationsbefehl, der auf der Grundlage der Position des Host-Fahrzeugs 5702 und des Zielfahrzeugs 5706 zur Anfangszeit t(0) bestimmt wurde, möglicherweise keine ideale Navigationsreaktion zur Verzögerungszeit t(5) verursachen, weil die Position des Host-Fahrzeugs 5702' und des Zielfahrzeugs 5706' zur Verzögerungszeit t(5) anders ist als zur Anfangszeit t(0).
In 57B ist ein exemplarischer Weg 5704 dargestellt, der mit einer gewünschten Trajektorie des Wirtsfahrzeugs 5702 übereinstimmen kann. Zum Beispiel kann der mindestens eine Prozessor im Navigationssystem des Host-Fahrzeugs 5702 bestimmen, dass das Host-Fahrzeug 5702 das Zielfahrzeug 5706 passieren soll, und kann einen Navigationsbefehl erzeugen, der mit dem Weg 5704 übereinstimmt. In diesem Beispiel wird der Weg 5704 auf der Grundlage der Bedingungen zur Anfangszeit t(0) generiert. Zum Beispiel kann der Weg 5704 auf der Geschwindigkeit, der Beschleunigung, der maximalen Bremsfähigkeit und der Position des Zielfahrzeugs 5706 zur Anfangszeit t(0) und der Geschwindigkeit, der Beschleunigung, der Position und einer oder mehrerer Navigationsrichtlinien basieren, die dem Host-Fahrzeug 5702 zur Anfangszeit t(0) zugeordnet sind.
57C zeigt die verschiedenen Wege 5704, 5704' und 5710, die das Host-Fahrzeug 5702, 5702' zurücklegen kann. Weg 5704 ist der gewünschte Weg, der unter den Bedingungen der Anfangszeit t(0) bestimmt wird, wie in 57B dargestellt. In diesem Beispiel befindet sich das Host-Fahrzeug 5702' zur Verzögerungszeit t(5) in einer Position, in der es dem Weg 5704 nicht folgen kann, weil der Startpunkt von Weg 5704 zur Verzögerungszeit t(5) hinter der Vorderseite von Fahrzeug 5702' liegt. Daher kann das Host-Fahrzeug 5702' zum Zeitpunkt t(5) dem zur Zeit t(0) erzeugten Weg 5704 nicht folgen. Der Weg 5704' kann die Trajektorie sein, die das Fahrzeug 5702' zurücklegen würde, wenn es die Navigationsmanöver in Übereinstimmung mit dem Weg 5704 durchführen würde. Mit anderen Worten, der Weg 5704' ist die Trajektorie, die sich ergeben würde, wenn das Host-Fahrzeug 5702' zur Verzögerungszeit t(5) die für das Host-Fahrzeug 5702 zur Anfangszeit t(0) generierten Navigationsbefehle ausführen würde. In diesem Beispiel ist der Weg 5704' zur Verzögerungszeit t(5) viel näher am Zielfahrzeug 5706' als der Weg 5704 zum Zielfahrzeug 5706 zur Anfangszeit t(0) wäre. In einigen Ausführungsformen kann der Abstand zwischen Weg 5704' und Zielfahrzeug 5706' als unsicherer Abstand betrachtet werden (z.B. kann der Abstand einen Näherungspuffer des Host-Fahrzeugs 5702' durchbrechen). Der Weg 5710 kann ein Weg für das Host-Fahrzeug 5702' sein, der zum Anfangszeitpunkt t(0) auf der Grundlage eines vorhergesagten Wegs des Host-Fahrzeugs 5702 und des Zielfahrzeugs 5706 erzeugt wurde. Zum Beispiel kann das Navigationssystem des Host-Fahrzeugs 5702 zur Anfangszeit t(0) eine Position des Zielfahrzeugs 5706 zur Verzögerungszeit t(5) vorhersagen (was die vom Zielfahrzeug 5706' dargestellte Position sein kann) und kann eine Position des Host-Fahrzeugs 5702 zur Verzögerungszeit t(5) vorhersagen (was die vom Host-Fahrzeug 5702' dargestellte Position sein kann) und kann Navigationsbefehle erzeugen, die mit dem Weg 5710 übereinstimmen und die zur Verzögerungszeit t(5) implementiert werden. Wie in diesem Beispiel gezeigt wird, kann der Weg 5710 auf der Grundlage der vorhergesagten Bedingungen einen deutlichen Sicherheitsvorteil gegenüber dem Weg 5704' bieten.
Die obigen Beispiele dienen nur zur Veranschaulichung und schränken den Umfang der Ausführungsformen nicht ein. Während z.B. die 57A-57C einen vorhergesagten Weg für ein Host-Fahrzeug darstellen, das ein Zielfahrzeug passiert, kann der vorhergesagte Weg mit jedem Navigationsmanöver des Host-Fahrzeugs verbunden sein und sich auf jedes beliebige Hindernis beziehen (z.B. eine VRU, eine Vielzahl von Host-Fahrzeugen, eine Straßencharakteristik usw.). Beispielsweise kann ein vorhergesagter Weg für ein Host-Fahrzeug generiert werden, das in eine Kurve in einer Fahrbahn einfährt. Jedes andere Navigationsmanöver kann von der Analyse des vorhergesagten Wegs und/oder der oben beschriebenen Ratefunktion profitieren.
In einigen Ausführungsformen kann die verzögerte Reaktion eine Überkorrektur oder eine unnötige Navigationsreaktion des Host-Fahrzeugs verursachen. Wenn z.B. ein Zielfahrzeug vor einem Host-Fahrzeug mit geringer Geschwindigkeit, aber hoher Beschleunigung fährt, kann ein zur Zeit t(0) erfasstes Bild verwendet werden, um zu bestimmen, dass das Host-Fahrzeug möglicherweise anhalten oder ausweichen muss, um eine Kollision mit dem Zielfahrzeug zu vermeiden. Zur Zeit t(5) kann das Zielfahrzeug jedoch aufgrund seiner hohen Beschleunigung eine signifikante Distanz zurückgelegt haben, und das Host-Fahrzeug kann eine Kollision mit dem Zielfahrzeug z.B. durch Ausrollen oder Bremsen mit einer submaximalen Bremsrate vermeiden. In diesem Beispiel, wenn das Host-Fahrzeug mit einem System ausgestattet ist, das so programmiert ist, dass es einen vorhergesagten Weg basierend auf für die Zeit t(5) vorhergesagten Bedingungen bestimmt, anstatt auf den gegenwärtigen Bedingungen zur Zeit t(0), kann das Host-Fahrzeug genauer und komfortabler auf das erkannte Zielfahrzeug reagieren. In einigen Ausführungsformen kann die verzögerte Reaktion dazu führen, dass das Host-Fahrzeug eine unangemessene Navigationsreaktion ausführt, was dazu führen kann, dass das Host-Fahrzeug in unsichere Zustände gerät. Wenn z.B. ein Zielfahrzeug in sicherem Abstand fährt, aber schnell abbremst und ein Host-Fahrzeug auf das Zielfahrzeug zusteuert, kann die basierend auf erfassten Bedingungen zur Zeit t(0) bestimmte Distanz signifikant länger sein als eine tatsächliche Distanz zur Zeit t(5), wenn das Host-Fahrzeug einen Navigationsbefehl implementiert, der basierend auf den Bedingungen zur Zeit t(0) bestimmt wurde. Daher darf das Host-Fahrzeug nicht bremsen, ausweichen oder anderweitig wie programmiert unsicheren Bedingungen ausweichen.
In Übereinstimmung mit dieser Offenbarung wird ein Navigationssystem zur Navigation eines autonomen Host-Fahrzeugs gemäß mindestens einem Navigationsziel des Host-Fahrzeugs offenbart. Bei dem Navigationssystem kann es sich um ein beliebiges, mit dieser Offenbarung konsistentes Navigationssystem handeln, einschließlich, aber nicht beschränkt auf das offenbarte Sicherheitssystem Vision Zero. Das System kann sich innerhalb des Host-Fahrzeugs befinden oder mit diesem kommunizieren. Das System kann einen oder mehrere Sensoren beinhalten, die so konfiguriert sind, dass sie Daten in Bezug auf eine Umgebung des Host-Fahrzeugs sammeln. Zum Beispiel kann das Navigationssystem eine oder mehrere Vorrichtungen zur Erfassung eines Bildes, LIDAR-Systeme, RADAR-Systeme, Beschleunigungsmesser oder ähnliches beinhalten. Das System kann mindestens einen Prozessor beinhalten, der so programmiert ist, dass er ein oder mehrere Verfahren, Prozesse, Operationen oder Funktionen ausführt, die mit dieser Offenbarung konsistent sind. Der mindestens eine Prozessor kann z.B. die Verarbeitungsvorrichtung 110 oder jede andere mit dieser Offenbarung konsistente Verarbeitungsvorrichtung sein.
58 ist ein Flussdiagramm, das einen beispielhaften Prozess 5800 für die Navigation eines autonomen Host-Fahrzeugs gemäß mindestens einem Navigationsziel des Host-Fahrzeugs darstellt. Konsistent mit dieser Offenbarung kann der mindestens eine Prozessor so programmiert sein, dass er den Prozess 5800 ganz oder teilweise ausführt. Der Prozess 5800 ist nur beispielhaft, und ein Durchschnittsfachmann, der den Nutzen dieser Offenbarung hat, kann verstehen, dass der Prozess 5800 zusätzliche Schritte beinhalten, einen oder mehrere Schritte ausschließen oder anderweitig in einer Weise modifiziert werden kann, die mit dieser Offenbarung konsistent ist.
Prozess 5800 kann einen Schritt 5802 zum Empfangen einer Sensorausgabe beinhalten, die die Bewegung eines Host-Fahrzeugs anzeigt. Konsistent mit dieser Offenbarung kann der mindestens eine Prozessor so programmiert werden, dass er eine Sensorausgabe empfängt, die mindestens einen Aspekt der Bewegung des Host-Fahrzeugs relativ zu einer Umgebung des Host-Fahrzeugs anzeigt. Die Ausgabe kann von einem oder mehreren Sensoren empfangen werden. Der eine oder die mehreren Sensoren können alle hier offenbart werdenden Sensoren beinhalten, einschließlich z.B. einer Bilderfassungsvorrichtung, eines Erfassungssystems, eines Beschleunigungsmessers, einer GPS-Einheit oder ähnlichem. Der eine oder die mehreren Sensoren können z.B. einen Geschwindigkeitssensor, einen Beschleunigungsmesser, eine Kamera, ein LIDAR-System oder ein RADAR-System beinhalten. Die Ausgabe kann alle Informationen beinhalten oder übermitteln, die sich auf das Host-Fahrzeug, die Umgebung des Host-Fahrzeugs, ein Hindernis in der Umgebung des Host-Fahrzeugs usw. beziehen. Beispielsweise kann die Ausgabe eine aktuelle Geschwindigkeit und/oder Beschleunigung des Host-Fahrzeugs, eine Fahrtrichtung des Host-Fahrzeugs, eine Position des Host-Fahrzeugs usw. beinhalten. Als weiteres Beispiel kann die Ausgabe eine Identifikation eines erkannten Zielfahrzeugs, eine Position des Zielfahrzeugs, eine Geschwindigkeit des Zielfahrzeugs und eine angenommene Bremsfähigkeit des Zielfahrzeugs beinhalten, die basierend auf der Analyse eines oder mehrerer Bilder, z.B. LIDAR oder RADAR, erkannt wurde. Die Ausgabe kann nach jedem Verfahren, Prozess, jeder Funktion oder Operation bestimmt werden, die mit dieser Offenbarung konsistent ist.
In einigen Ausführungsformen kann die Sensorausgabe zu einem ersten Zeitpunkt generiert werden, der später als eine Datenerfassungszeit liegt, wenn eine Messung oder Datenerfassung, auf der die Sensorausgabe basiert, erfasst wird, und früher als ein zweiter Zeitpunkt, zu dem die Sensorausgabe von dem mindestens einen Prozessor empfangen wird. In einigen Ausführungsformen kann die Datenerfassungszeit ein Zeitpunkt sein, zu dem der eine oder mehrere Sensoren eine Messung oder Datenerfassung durchgeführt haben, und der erste Zeitpunkt kann ein Zeitpunkt sein, zu dem eine auf der Messung oder den Daten basierende Sensorausgabe zur Ausgabe bereit ist. Unter Bezugnahme auf 56 kann zum Beispiel die Ausgabe beim ersten Zeitpunkt t(1) generiert werden und auf Daten basieren, die zur Datenerfassungszeit t(0) erfasst wurden. In einigen Ausführungsformen kann die Zeit zwischen der Datenerfassungszeit und dem ersten Mal mehrere Millisekunden betragen. Beispielsweise kann die Zeit zwischen dem ersten Zeitpunkt t(1) und der Datenerfassungszeit t(0) mehr als 2 Millisekunden, mehr als 10 Millisekunden, einen Bereich von 5 bis 50 Millisekunden, weniger als 100 Millisekunden oder eine andere Zeitspanne betragen. In einigen Ausführungsformen kann der zweite Zeitpunkt ein Moment sein, in dem eine Steuerung die Sensorausgabe empfängt. Zum Beispiel kann der zweite Zeitpunkt die Zeit t(2) sein. Die Steuerung kann z. B. die oben in Bezug auf die Ratefunktion beschriebene Steuerung beinhalten, oder den mindestens einen Prozessor, der für die Ausführung der Ratefunktion programmiert ist.
Prozess 5800 kann einen Schritt 5804 zur Generierung einer Vorhersage von mindestens einem Aspekt der Bewegung des Host-Fahrzeugs beinhalten. Konsistent mit dieser Offenbarung kann der mindestens eine Prozessor programmiert werden, um für eine Bewegungsvorhersagezeit eine Vorhersage mindestens eines Aspekts der Bewegung des Host-Fahrzeugs zu generieren. Der mindestens eine Prozessor kann eine zukünftige Zeit bestimmen oder projizieren, die mit einer Bewegungsvorhersagezeit korrespondiert. Die Bewegungsvorhersagezeit kann eine zukünftige Zeit sein, zu der das Host-Fahrzeug eine Navigationsreaktion durchführen kann. In einigen Ausführungsformen kann die Bewegungsvorhersagezeit im Wesentlichen einer Betätigungszeit korrespondieren. Zum Beispiel kann die Bewegungsvorhersagezeit eine Vorhersage sein, wann die Betätigungszeit t(5) eintreten wird, zu der ein oder mehrere Navigations-Aktuatoren einen NavigationsBefehl implementieren können. Die Bewegungsvorhersagezeit kann aber auch einem beliebigen Zeitpunkt nach t(0) und vor t(5) korrespondieren. Beispielsweise kann eine Bewegung eines Host-Fahrzeugs für jeden der Zeitpunkte t(1), t(2), t(3), t(4) oder zu anderen Zeiten vor t(5) vorhergesagt werden.
In einigen Ausführungsformen kann die Bewegungsvorhersagezeit im Wesentlichen mit der Zeit korrespondieren, zu der eine Steuerung die Sensorausgabe empfängt (z.B. Zeitpunkt t(2)). In anderen Fällen kann die Bewegungsvorhersagezeit eine Zeit berücksichtigen, die ein Anwender benötigt, um mit einer Sensorausgabe zu arbeiten. Wenn beispielsweise ein Prozessor etwa 100 Millisekunden benötigt, um eine Funktion wie das Erkennen eines Zielfahrzeugs, die Bestimmung einer geeigneten Navigationsaktion als Reaktion auf eine oder mehrere erfasste Bedingungen usw. auszuführen, kann der mindestens eine Prozessor davon ausgehen, dass die Bewegungsvorhersagezeit 100 Millisekunden nach der zweiten Zeit t(2) beträgt. In einigen Ausführungsformen kann die Bewegungsvorhersagezeit im Wesentlichen mit einer dritten Zeit korrespondieren, zu der ein Betätigungssystem einen Navigationsbefehl empfängt, der basierend auf der Sensorausgabe bestimmt wird (z.B. zu Zeitpunkt t(4)). Die Bewegungsvorhersagezeit kann auch mit einer Zeit korrespondieren, die um einen vorbestimmten oder bestimmten Betrag nach dem dritten Zeitpunkt (z.B. zu Zeitpunkt t(4)) liegt. Wenn z.B. das Bremssystem 230 zum Zeitpunkt t(4) einen Navigationsbefehl empfängt, kann die Bewegungsvorhersagezeit eine Zeit nach dem Zeitpunkt t(4) sein, die einer durchschnittlichen Reaktionszeit des Navigations-Aktuators des Bremssystems 230 entspricht.
Die Bewegungsvorhersagezeit kann eine beliebige Zeitspanne nach der Datenerfassungszeit sein. In einigen Ausführungsformen kann die Bewegungsvorhersagezeit nach der Datenerfassungszeit und früher oder gleich einer Betätigungszeit liegen. Beispielsweise kann die Bewegungsvorhersagezeit mindestens 100 Millisekunden nach der Datenerfassungszeit liegen. In einem anderen Beispiel kann die Bewegungsvorhersagezeit mindestens 200 Millisekunden nach der Datenerfassungszeit liegen. In einem anderen Beispiel kann die Bewegungsvorhersagezeit 50-300 Millisekunden nach der Datenerfassungszeit, 75-275 Millisekunden nach der Datenerfassungszeit, 100-250 Millisekunden nach der Datenerfassungszeit, 150-200 Millisekunden nach der Datenerfassungszeit oder ähnliches betragen.
In einigen Ausführungsformen kann die Vorhersage mindestens eines Aspekts der Bewegung des Host-Fahrzeugs zumindest teilweise auf der empfangenen Sensorausgabe basieren, sowie auf einer Schätzung, wie sich der mindestens eine Aspekt der Bewegung des Host-Fahrzeugs über ein Zeitintervall zwischen der Datenerfassungszeit und der Bewegungsvorhersagezeit ändert (d.h. eine Zeit, zu der eine Fahrzeugbewegung basierend auf früher erfassten Sensorausgabe(n) vorhergesagt wird). Wenn beispielsweise der mindestens eine Aspekt der Bewegung des Host-Fahrzeugs eine Beschleunigung des Host-Fahrzeugs ist, kann die Vorhersage eine Distanz beinhalten, die das Host-Fahrzeug zurücklegt, wenn es in der Zeit zwischen der Zeit der Bewegungsvorhersage mit der erkannten Beschleunigung gefahren ist. Die Vorhersage kann auf der empfangenen Sensorausgabe und jeder anderen Information basieren, die mit dieser Offenbarung konsistent ist. Beispielsweise kann die Vorhersage auf der Ausgabe eines Bildsensors (wie der Erkennung eines Zielfahrzeugs) und einer zuvor bestimmten Charakteristik der Straße, der Wetterbedingungen oder anderen Faktoren basieren, die einen zukünftigen Zustand in Bezug auf das Host-Fahrzeug beeinflussen können. In einigen Ausführungsformen kann die Vorhersage eine Schätzung mindestens eines Aspekts der Bewegung des Host-Fahrzeugs zu einem späteren Zeitpunkt (z.B. zur Zeit t(5)) beinhalten. Infolgedessen kann eine Navigationsentscheidung auf einer Schätzung der Fahrzeugbewegung basieren, die möglicherweise näher an den tatsächlichen Bewegungswerten liegt, die den zu Beginn erfassten Sensorausgaben entsprechen (z.B. zur Zeit t(0)).
In einigen Ausführungsformen kann die Vorhersage mindestens eines Aspekts der Bewegung des Host-Fahrzeugs eine Vorhersage von mindestens einer Geschwindigkeit oder einer Beschleunigung des Host-Fahrzeugs zur Zeit der Bewegungsvorhersage beinhalten. Der mindestens eine Aspekt kann z.B. eine Geschwindigkeit, Beschleunigung, Position, Gieren oder einen anderen Aspekt der Bewegung des Host-Fahrzeugs beinhalten. Wenn zum Beispiel die Beschleunigung und/oder Geschwindigkeit des Host-Fahrzeugs zur Zeit t(1) basierend auf Sensorausgabe(n) bestimmt wird, die zur Datenerfassungszeit t(0) erfasst wurden, kann der mindestens eine Prozessor eine vorhergesagte zukünftige Geschwindigkeit und zukünftige Beschleunigung des Host-Fahrzeugs zur Zeit t(5) oder zu einer anderen Bewegungsvorhersagezeit bestimmen. Zum Beispiel kann der mindestens eine Prozessor annehmen, dass das Host-Fahrzeug von der Zeit t(0) auf die Zeit t(5) oder eine andere Bewegungsvorhersagezeit mit derselben zur Zeit t(0) bestimmten Beschleunigungsrate beschleunigt wurde, und kann daher bestimmen, dass das Host-Fahrzeug zur Zeit t(5) eine Geschwindigkeit hat, die größer ist als zur Zeit t(0). Dementsprechend kann der mindestens eine Prozessor eine Geschwindigkeit und/oder Beschleunigung zur Bewegungsvorhersagezeit vorhersagen, um eine Navigationsaktion zu bestimmen, die der geschätzten Geschwindigkeit zur Zeit t(5) oder einer anderen Bewegungsvorhersagezeit entspricht.
In einigen Ausführungsformen kann die Vorhersage mindestens eines Aspekts der Bewegung des Host-Fahrzeugs eine Vorhersage eines Wegs des Host-Fahrzeugs zur Zeit der Bewegungsvorhersage beinhalten. Wenn das Host-Fahrzeug beispielsweise zur Zeit t(0) auf einem Weg fährt, kann der mindestens eine Prozessor die Informationen von dem einen oder mehreren Sensoren verwenden, um einen Weg vorherzusagen, auf dem das Host-Fahrzeug zur Zeit t(5) fahren wird (z.B. eine geänderte Fahrtrichtung usw.). Wenn beispielsweise die Sensorausgabe anzeigt, dass das Host-Fahrzeug auf einem geraden, vorwärtsgerichteten Weg mit konstanter Geschwindigkeit fährt, kann der mindestens eine Prozessor vorhersagen, dass sich das Host-Fahrzeug zum Zeitpunkt t(5) auf demselben geraden Weg befinden wird, aber weiter vom Weg entfernt sein kann. Wenn die Sensorausgabe beispielsweise anzeigt, dass das Host-Fahrzeug einen krummlinigen Weg fährt, der mit einer bestimmten Lenkraddrehung assoziiert ist, kann der mindestens eine Prozessor vorhersagen, dass sich das Host-Fahrzeug auf einem Weg befindet, der mit der gleichen Lenkraddrehung assoziiert ist, oder auf einem Weg, der mit einer erhöhten Lenkraddrehung assoziiert ist. In solchen Fällen kann der vorhergesagte Weg auf einer erkannten Änderungsrate in einem Lenkungssteuergerät basieren oder auf einer erkannten Gierrate, einer erkannten Zentripetalbeschleunigung, einer Erkennung einer Straßenkrümmung vor dem Fahrzeug usw. basieren. In einigen Ausführungsformen kann die Vorhersage des Wegs des Host-Fahrzeugs zur Zeit der Bewegungsvorhersage eine Ziel-Fahrtrichtung für das Host-Fahrzeug beinhalten. Der Zielkurs kann zum Beispiel eine Fahrtrichtung beinhalten, in die das Host-Fahrzeug fahren soll. Wenn beispielsweise die Sensorausgabe anzeigt, dass es ein Hindernis gibt, dem das Host-Fahrzeug ausweichen muss, kann der Zielkurs eine Fahrtrichtung enthalten, in die das Host-Fahrzeug fahren muss, um dem Hindernis auszuweichen. Die Zielfahrtrichtung kann eine Richtung sein, die mit den Himmelsrichtungen korrespondiert, oder sie kann auf einem vorbestimmten System von Koordinaten basieren. Eine Richtung kann z.B. Norden, Nordosten, Osten, Südosten, Süden o.ä. sein oder durch einen erwarteten Fahrtrichtungswinkel angegeben werden (z.B. relativ zu einem aktuellen Fahrtrichtungswinkel, der zum Zeitpunkt der Sensormessungen bestimmt wurde). In einem anderen Beispiel kann eine Fahrtrichtung basierend auf einem Grad auf einer horizontalen oder vertikalen Achse durch die Karosserie des Host-Fahrzeugs, einer Gierrate oder ähnlichem ausgedrückt werden. In einigen Ausführungsformen können der eine oder mehrere Sensoren eine Kamera beinhalten, und die Vorhersage des Wegs des Host-Fahrzeugs zur Zeit der Bewegungsvorhersage kann auf mindestens einem von der Kamera erfassten Bild basieren. Zum Beispiel kann der Weg eine virtuelle Trajektorie durch die Umgebung beinhalten, die in einem Bild erfasst wurde, und kann eine Darstellung des Weges über oder auf dem Bild beinhalten. Als weiteres Beispiel kann die Vorhersage des Wegs beispielsweise eine Route zwischen zwei in den Bildern erkannten Hindernissen beinhalten.
In einigen Ausführungsformen kann die Vorhersage des Wegs des Host-Fahrzeugs zur Zeit der Bewegungsvorhersage auf mindestens einer bestimmten Geschwindigkeit für das Host-Fahrzeug und einer Ziel-Trajektorie für das Host-Fahrzeug basieren, die in einer Abbildung eines Straßenabschnitts enthalten ist, auf dem sich das Host-Fahrzeug bewegt. Beispielsweise kann der vorhergesagte Weg gemäß einer semantischen hochauflösenden Kartierungstechnologie, wie der oben beschriebenen REM-Karte, generiert werden. Beispielsweise kann das Straßensegment, auf dem das Host-Fahrzeug fährt, mit einer Vielzahl von Trajektorien assoziiert sein, die zur Navigation autonomer Fahrzeuge auf dem Straßensegment verwendet werden können, und der vorhergesagte Weg kann eine Position auf einer der dem Straßensegment zugeordneten Zieltrajektorien beinhalten. Wenn das Host-Fahrzeug z.B. bestimmt wird, dass es sich gemäß einer vorbestimmten Zieltrajektorie bewegt, kann der vorhergesagte Weg zur Zeit der Bewegungsvorhersage eine Position, Geschwindigkeit und/oder Beschleunigung entlang derselben Zieltrajektorie beinhalten. In einigen Ausführungsformen kann die Zieltrajektorie einen vorbestimmten dreidimensionalen Spline beinhalten, der für einen bevorzugten Weg entlang mindestens einer Fahrspur des Straßenabschnitts repräsentativ ist. Zum Beispiel kann der dreidimensionale Spline eine Vielzahl von Landmarken, Straßenmerkmalen und anderen Objekten beinhalten, die die Zieltrajektorie auf dem Straßenabschnitt definieren. In diesem Beispiel kann der vorhergesagte Weg eine Vorhersage beinhalten, welche Landmarken, Straßenmerkmale oder andere Objekte sich zum Zeitpunkt der Bewegungsvorhersage in der Nähe des Host-Fahrzeugs befinden können. Wenn beispielsweise bestimmt wird, dass sich das Host-Fahrzeug basierend auf der Position des Host-Fahrzeugs zwischen einer ersten und zweiten Landmarke auf einer Zieltrajektorie befindet, kann der vorhergesagte Weg eine Position auf der Zieltrajektorie beinhalten, die zwischen den Landmarken liegt. Wenn das Host-Fahrzeug nach einer Zieltrajektorie in einer REM-Karte navigiert, dann kann die Lokalisierung entlang der Zieltrajektorie zu einem bestimmten Zeitpunkt (z.B. zur Zeit t(0)) verwendet werden, um einen Weg zu einem späteren Zeitpunkt vorherzusagen. Wenn z.B. die Geschwindigkeit des Host-Fahrzeugs bekannt ist und die Position des Host-Fahrzeugs relativ zu einer REM-Zieltrajektorie zur Zeit t(0) bekannt ist, dann kann zu einem späteren Zeitpunkt (z.B. zur Zeit t(5)), der basierend auf bekannten Verarbeitungszeitverzögerungen bestimmt werden kann, die Position des Host-Fahrzeugs relativ zur REM-Zieltrajektorie geschätzt werden. Und wenn die Position auf der REM-Zieltrajektorie bekannt ist, kann die Fahrtrichtung an diesem Ort aus der Karte bestimmt werden (da die Fahrtrichtung einer Richtung entsprechen kann, die das Host-Fahrzeug zur Zeit t(0) fahren wird, um der REM-Zieltrajektorie weiter zu folgen).
In einigen Ausführungsformen kann die Vorhersage mindestens eines Aspekts der Bewegung des Host-Fahrzeugs (z.B. der Geschwindigkeit) auf mindestens einer bestimmten Bremspedalstellung, einer bestimmten Drosselstellung, einem bestimmten Luftwiderstand, der der Bewegung des Host-Fahrzeugs entgegenwirkt, der Reibung oder dem Gefälle eines Straßenabschnitts, auf dem das Host-Fahrzeug fährt, basieren. Die Vorhersage kann zum Beispiel auf der Pedalstellung basieren, wie sie in der Ratefunktion und anderen oben offenbart worden ist. Die Schätzfunktion kann empirisch durch Beobachtung der resultierenden Fahrzeuggeschwindigkeiten bestimmt werden, z.B. als Reaktion auf die Bremspedal- und/oder Drosselpedalstellung. Beispielsweise kann ein Fahrzeug entsprechend einem bestimmten Abbremsungsprofil, das einer bestimmten Bremspedalstellung entspricht, langsamer werden. Ebenso kann ein Fahrzeug entsprechend einem bestimmten Beschleunigungsprofil, das einer bestimmten Gaspedalstellung entspricht, beschleunigen.
Als weiteres Beispiel: Wenn die Sensorausgabe eine Geschwindigkeit und/oder Beschleunigung des Host-Fahrzeugs beinhaltet, kann der mindestens eine Prozessor eine zukünftige Geschwindigkeit und/oder Beschleunigung unter Verwendung der Anfangsgeschwindigkeit und/oder - beschleunigung und der Widerstandskräfte wie Reibung oder Luftwiderstand (oder Schwerkraft basierend auf der Straßenneigung) vorhersagen. In einigen Ausführungsformen kann der mindestens eine Aspekt der Bewegung des Host-Fahrzeugs bestimmt werden, indem eine Gesamtkraft auf das Host-Fahrzeug bestimmt wird und die aktuelle Geschwindigkeit und/oder Beschleunigung des Host-Fahrzeugs basierend auf der Gesamtkraft modifiziert wird. In diesem Beispiel kann die Gesamtkraft eine Summe der Hilfskräfte (z.B. Drosseln, Beschleunigung, Schwerkraft beim Bergabfahren usw.) und der Widerstandskräfte (z.B. Windwiderstand, Reibung, Schwerkraft beim Bergauffahren usw.) beinhalten, und eine aktuelle Geschwindigkeit des Host-Fahrzeugs kann zur Vorhersage einer zukünftigen Geschwindigkeit unter Verwendung der Gesamtkraft verwendet werden.
In einigen Ausführungsformen kann die Vorhersage mindestens eines Aspekts der Bewegung des Host-Fahrzeugs auf einer vorbestimmten Funktion basieren, die mit dem Host-Fahrzeug assoziiert ist. Die vorbestimmte Funktion kann die Vorhersage der zukünftigen Geschwindigkeit und Beschleunigung des Host-Fahrzeuges basierend auf einer bestimmten aktuellen Geschwindigkeit des Host-Fahrzeuges und einer bestimmten Bremspedalstellung einer bestimmten Drosselstellung für das Host-Fahrzeug ermöglichen. Zum Beispiel kann die Vorhersage von mindestens einem Aspekt der Bewegung des Host-Fahrzeuges die Verwendung der Rate-Funktion beinhalten, um eine zukünftige Geschwindigkeit, Beschleunigung und/oder Position des Host-Fahrzeuges vorherzusagen. Zum Beispiel kann, wie oben beschrieben, die Position des Brems- und Gaspedals durch p(t) ∈ [-1, 1] definiert werden, wobei -1 der Vollbremse, 1 der Vollgasstellung und 0 keiner Bremse und keinem Gaspedal entspricht, und der mindestens eine Prozessor kann die Ratefunktion verwenden, um einen Aspekt der Bewegung des Host-Fahrzeugs basierend auf der Pedalstellung vorherzusagen.
In einigen Ausführungsformen kann die Vorhersage von mindestens einem Aspekt der Bewegung des Host-Fahrzeugs zur Zeit der Bewegungsvorhersage eine Diskrepanz zwischen einer Datenerfassungsrate, die mit dem einen oder mehreren Sensoren assoziiert ist, und einer Steuerrate, die mit einer Rate assoziiert ist, bei der der mindestens eine Prozessor einen Navigationsbefehl generiert, erklären. Beispielsweise können ein oder mehrere Sensoren Daten mit einer langsameren Rate erfassen, als der mindestens eine Prozessor die Daten verarbeiten kann, um basierend auf den Daten einen Navigationsbefehl zu generieren. So können beispielsweise eine oder mehrere Kameras Bilder mit 10 Hz erfassen, aber der mindestens eine Prozessor kann basierend auf den Bildern Navigationsbefehle mit einer Rate von 50 Hz generieren. Infolgedessen kann es sein, dass ein neues Bild, auf dem Navigationsentscheidungen basieren können, nur für jedes fünfte Verarbeitungsereignis verfügbar ist. In solchen Fällen kann die Fahrzeugbewegung für diejenigen Verarbeitungsereignisse (die mit bis zu 50 Hz auftreten) vorhergesagt werden, die zwischen den Ereignissen zur Erfassung eines Bildes (die mit 10 Hz auftreten) auftreten können.
Prozess 5800 kann einen Schritt 5806 zur Bestimmung einer geplanten Navigationsaktion für das Host-Fahrzeug beinhalten. Die geplante Navigationsaktion kann z.B. auf der Vorhersage der Bewegung des Host-Fahrzeugs und/oder eines Navigationsziels des Host-Fahrzeugs basieren. In Übereinstimmung mit dieser Offenbarung kann der mindestens eine Prozessor so programmiert werden, dass er eine geplante Navigationsaktion für das Host-Fahrzeug bestimmt, die zumindest teilweise auf dem mindestens einen Navigationsziel des Host-Fahrzeugs (z.B. Navigation entlang einer beabsichtigten Route von Punkt A nach Punkt B) basiert und auf der generierten Vorhersage des mindestens einen Aspekts der Bewegung des Host-Fahrzeugs beruht. Die geplante Navigationsaktion kann jede hierin beschriebene Navigationsaktion sein, einschließlich einer Beschleunigung, einer Abbremsung, einer Wende, einer Drehung, einer Vielzahl von Navigationsmanövern oder ähnlichem. Beispielsweise kann die geplante Navigationsaktion mindestens eine Geschwindigkeitsänderung oder einen Richtungswechsel für das Host-Fahrzeug beinhalten. Als weiteres Beispiel kann die geplante Navigationsaktion eine gewünschte Trajektorie oder einen gewünschten Weg beinhalten, dem das Host-Fahrzeug folgen soll. Beispielsweise kann die Navigationsaktion gemäß einer der hier beschriebenen Ausführungsformen bestimmt werden. In bestimmten Fällen können die Navigationsaktionen in den gegenwärtig offenbarten Ausführungsformen jedoch basierend auf vorhergesagten Aspekten der Bewegung des Host-Fahrzeugs zu Zeiten bestimmt werden, die später als eine Sensormesszeit liegen. Anstatt z.B. eine Zieltrajektorie für das Host-Fahrzeug unter Verwendung von rohen erfassten Bedingungen zu bestimmen, kann die Verarbeitungsvorrichtung eine Zieltrajektorie basierend auf diesen erfassten Bedingungen und den daraus resultierenden Änderungen in der Fahrzeugbewegung bestimmen, deren Auftreten nach Erfassung der erfassten Bedingungen vorhergesagt wird. Die Verwendung der vorhergesagten Fahrzeugbewegung kann mehrere Vorteile gegenüber anderen Ausführungsformen haben. Wenn die Ziel-Trajektorie basierend auf den erfassten Bedingungen ab der Zeit t(0) bestimmt wird, würde z.B. das Host-Fahrzeug 5702' den Weg 5704' zurücklegen, der innerhalb einer Entfernung zum Zielfahrzeug 570" liegt, die unsicher sein kann (z.B. innerhalb eines Näherungspuffers und/oder weniger als ein RSS- oder CRSS-Sicherheitsabstand), während das Host-Fahrzeug 5702' den Weg 5710 zurücklegen würde, der sichere Bedingungen in Bezug auf das Zielfahrzeug 5706' aufrechterhält, wenn die Ziel-Trajektorie basierend auf den vorhergesagten Bedingungen bestimmt wird. Zusätzlich kann ein Host-Fahrzeug durch die Vorhersage der Fahrzeuggeschwindigkeit zu einer Bewegungsvorhersagezeit, die später als die Sensormesszeit und näher bei oder gleich der Betätigungszeit liegt, ruhiger und mit weniger oder ohne Sinuswellen-/Oszillationskorrekturen fahren, die für die Fahrgäste unangenehm sein können.
In einigen Ausführungsformen kann das Navigationsziel des Host-Fahrzeugs eine Übersetzung von einem ersten Ort zu einem zweiten Ort beinhalten. Zum Beispiel kann der erste Ort ein Startpunkt und der zweite Ort ein Ziel sein. In diesem Beispiel können die vorhergesagten Aspekte der Bewegung des Host-Fahrzeugs verwendet werden, um eine oder mehrere Navigationsaktionen zu bestimmen, die konsistent mit dem Navigationsziel sind (z.B. eine oder mehrere Aktionen, die bewirken können, dass sich das Host-Fahrzeug entlang einer ausgewählten Route oder Ziel-Trajektorie dem Zielort nähert). Als weiteres Beispiel kann der erste Standort eine erste Position auf einer Zieltrajektorie und der zweite Standort eine zweite Position auf der Zieltrajektorie sein. In diesem Beispiel kann es sich bei der Navigationsaktion um ein beliebiges Navigationsmanöver handeln, das das Host-Fahrzeug veranlassen würde, entlang der Zieltrajektorie zur zweiten Position zu fahren, wie oben in Bezug auf die REM-Karten und die assoziierte Navigation erörtert. In einigen Ausführungsformen kann das Navigationsziel des Host-Fahrzeugs einen Fahrspurwechsel von einer aktuellen Fahrspur, die das Host-Fahrzeug belegt, auf eine benachbarte Fahrspur beinhalten. Zum Beispiel kann das Navigationsziel der Weg 5704 sein, wie in Bezug auf 57B beschrieben. In diesem Beispiel kann die Verarbeitungsvorrichtung die vorhergesagten Aspekte der Bewegung des Host-Fahrzeugs verwenden, um eine dem Ziel entsprechende Navigationsaktion zu bestimmen, z.B. durch die Entwicklung des Wegs 5710, dem das Host-Fahrzeug folgen soll.
In einigen Ausführungsformen kann das Navigationsziel des Host-Fahrzeugs die Aufrechterhaltung eines Näherungspuffers zwischen dem Host-Fahrzeug und einem erkannten Zielfahrzeug beinhalten. Wie oben diskutiert, kann der Näherungspuffer basierend auf einer erkannten aktuellen Geschwindigkeit des Host-Fahrzeugs, einer maximalen Bremsfähigkeit des Host-Fahrzeugs, einer bestimmten aktuellen Geschwindigkeit des Zielfahrzeugs und einer angenommenen maximalen Bremsfähigkeit des Zielfahrzeugs bestimmt werden. Der Näherungspuffer in Bezug auf das Zielfahrzeug kann ferner basierend auf einem maximalen Beschleunigungsvermögen des Host-Fahrzeugs bestimmt werden, so dass der Näherungspuffer mindestens die Summe einer Distanz der Beschleunigung des Host-Fahrzeugs beinhaltet, die als eine Distanz bestimmt wird, über die das Host-Fahrzeug fährt, wenn es während einer dem Host-Fahrzeug zugeordneten Reaktionszeit auf das maximale Beschleunigungsvermögen des Host-Fahrzeugs beschleunigt wird; einen Anhalteweg des Host-Fahrzeugs, bestimmt als ein Abstand, der erforderlich ist, um die aktuelle Geschwindigkeit des Host-Fahrzeugs bei der maximalen Bremsfähigkeit des Host-Fahrzeugs auf Null zu reduzieren; und einen Anhalteweg des Zielfahrzeugs, bestimmt als ein Abstand, der erforderlich ist, um die aktuelle Geschwindigkeit des Zielfahrzeugs bei der angenommenen maximalen Bremsfähigkeit des Zielfahrzeugs auf Null zu reduzieren. Zum Beispiel kann das Host-Fahrzeug über ein Sicherheitssystem verfügen, das so konfiguriert ist, dass ein Näherungspuffer zwischen dem Host-Fahrzeug und einem oder mehreren Hindernissen aufrechterhalten wird, wie oben beschrieben. In dieser Ausführungsform kann der Näherungspuffer auf einem RSS-Sicherheitsabstand basieren. In einigen Ausführungsformen kann der Näherungspuffer auf einem CRSS-Sicherheitsabstand basieren, wie in Bezug auf 52A-52D diskutiert. Die geplante Navigationsaktion in diesem Beispiel kann jedes Navigationsmanöver sein, das den Näherungspuffer aufrechterhalten würde.
Prozess 5800 kann einen Schritt 5808 zur Generierung eines Navigationsbefehls für die Implementierung der geplanten Navigationsaktion beinhalten. In Übereinstimmung mit dieser Offenbarung kann der mindestens eine Prozessor so programmiert werden, dass er einen Navigationsbefehl zur Implementierung mindestens eines Teils der geplanten Navigationsaktion generiert. Der Navigationsbefehl kann ein beliebiger Befehl zum Veranlassen eines oder mehrerer Manöver sein, die mit dieser Offenbarung konsistent sind. Der Befehl kann zum Beispiel Befehle beinhalten, um ein Bremssystem zu veranlassen, die Bremse auf einem bestimmten Niveau anzuwenden oder ein Drosselsystem auf einem bestimmten Niveau zu beschleunigen. In einigen Ausführungsformen kann der Navigationsbefehl mindestens einen Pedalbefehl zur Steuerung einer Geschwindigkeit des Host-Fahrzeugs oder einen Gierratenbefehl zur Steuerung einer Fahrtrichtung des Host-Fahrzeugs beinhalten. Beispielsweise kann der Navigationsbefehl Befehle beinhalten, die bewirken, dass ein Gaspedal um einen Betrag niedergedrückt wird, der einer für die geplante Navigationsaktion bestimmten Beschleunigung entspricht. Die Navigationsbefehle können alle anderen Befehle oder Anweisungen beinhalten, die mit dieser Offenbarung konsistent sind. Zum Beispiel kann der Befehl einen semantischen oder nichtsemantischen Befehl beinhalten, der das Host-Fahrzeug veranlasst, den Kurs zu ändern, zu beschleunigen, abzubremsen, die Geschwindigkeit zu ändern, auszubremsen, anzuhalten oder ähnliches.
Die oben beschriebenen Beispiele für Navigationsaktionen, Navigationsziele und Navigationsbefehle dienen nur der Veranschaulichung. Ein Durchschnittsfachmann, dem diese Offenbarung zugute kommt, kann verstehen, dass jede der hier beschriebenen Ausführungsformen modifiziert werden kann, um eine geplante Navigationsaktion unter Verwendung der vorhergesagten Aspekte der Bewegung des Host-Fahrzeugs zu bestimmen. Zum Beispiel können die Ausführungsformen, die in Bezug auf das REM-Modell, das RSS-Modell und das CRSS-Modell diskutiert werden, und die Ausführungsformen, die in Bezug auf die 13, 15 und 18 diskutiert werden, unter Verwendung der vorhergesagten Aspekte der Bewegung des Host-Fahrzeugs modifiziert werden.
Der Prozess 5800 kann einen Schritt 5810 beinhalten, um den Navigationsbefehl für mindestens ein Navigations-Aktuator des Host-Fahrzeugs bereitzustellen. Konsistent mit dieser Offenbarung kann der mindestens eine Prozessor so programmiert werden, dass er den Navigationsbefehl für mindestens ein Betätigungssystem des Host-Fahrzeugs bereitstellt, so dass das mindestens eine Betätigungssystem den Navigationsbefehl zu einer dritten Zeit erhält, die später als die zweite Zeit und früher oder im Wesentlichen gleich einer Betätigungszeit ist, zu der eine Komponente des mindestens einen Betätigungssystems auf den empfangenen Befehl antwortet. Unter Bezugnahme auf 56 kann z.B. der Navigationsbefehl einem Aktuatorsystem zur Zeit t(4) bereitgestellt werden, die vor oder im Wesentlichen zur gleichen Zeit wie die Zeit t(5) liegt, zu der der Befehl von einem oder mehreren Aktuatoren implementiert wird. Bei dem Betätigungssystem kann es sich um ein beliebiges System handeln, das so konfiguriert ist, dass es eine oder mehrere Navigationsreaktionen auf den Navigationsbefehl verursacht. Zum Beispiel kann das mindestens eine Betätigungssystem ein oder mehrere von einem Drosselbetätigungssystem, einem Bremsbetätigungssystem oder einem Lenkbetätigungssystem beinhalten. Als besonderes Beispiel kann das Drosselbetätigungssystem das Drosselsystem 220, das Bremsbetätigungssystem das Bremssystem 230 und das Lenkbetätigungssystem das Lenksystem 240 beinhalten.
Wie oben beschrieben, kann das Betätigungssystem eine Navigationsreaktion zur Zeit t(5) basierend auf Bewegungsaspekten, die für die Betätigungszeit t(5) vorhergesagt wurden, verursachen, die genauer, präziser und/oder sicherer ist als eine Reaktion zur Betätigungszeit t(5), die direkt auf Bewegungsaspekten basiert, die zur Zeit t(0) erfasst wurden. Der Grund dafür ist, dass die vorhergesagten Bewegungsaspekte den tatsächlichen Bedingungen zur Betätigungszeit t(5) ähnlicher sein können als die zur Zeit t(0) erfassten Bewegungsaspekte. In einigen Ausführungsformen kann die Bewegungsvorhersagezeit nach der Datenerfassungszeit und früher oder gleich der Betätigungszeit liegen. Je näher die Bewegungsvorhersagezeit an der tatsächlichen Betätigungszeit liegt, desto genauer, präziser und sicherer kann die Navigations-Aktion sein. Zum Beispiel können zur Betätigungszeit t(5) das eine oder die mehreren Betätigungssysteme eine Navigationsaktion verursachen, die der geplanten Navigationsaktion entspricht, die auf den vorhergesagten Aspekten der Bewegung des Host-Fahrzeugs basiert, was der Ausführung einer Navigationsaktion entsprechen kann, die der geplanten Navigationsaktion sehr nahe kommt, wenn die Bewegungsvorhersagezeit nahe an der Betätigungszeit liegt. Zum Beispiel kann die Bewegungsvorhersagezeit der Betätigungszeit t(5) im Wesentlichen ähnlich sein und die vorhergesagten Bewegungsaspekte, die mit der Bewegungsvorhersagezeit assoziiert sind, können den tatsächlichen Bewegungsaspekten zur Betätigungszeit t(5) im Wesentlichen ähnlich sein.
Die hier offengelegten Ausführungsformen sind beispielhaft, und jedes andere Mittel zur Vorhersage eines oder mehrerer Aspekte der Bewegung des Host-Fahrzeugs und zum Veranlassen einer Navigationsreaktion basierend auf der Vorhersage kann mit dieser Offenbarung konsistent sein.
Die vorstehende Beschreibung wurde zu Illustrationszwecken dargestellt. Sie ist nicht erschöpfend und beschränkt sich nicht auf die offengelegten genauen Formen oder Ausführungsformen. Änderungen und Anpassungen werden für den Fachmann aus der Betrachtung der Spezifikation und Praxis der offengelegten Ausführungsformen ersichtlich. Obwohl Aspekte der offenbaren Ausführungsformen als im Speicher gespeichert beschrieben werden, wird der Fachmann schätzen, dass diese Aspekte auch auf anderen Arten von computerlesbaren Medien gespeichert werden können, wie z.B. auf sekundären Speichervorrichtungen, z.B. Festplatten oder CD-ROM oder anderen Formen von RAM oder ROM, USB-Medien, DVD, Blu-ray, 4K Ultra HD Blu-ray oder anderen optischen Laufwerksmedien.
Computerprogramme basierend auf der schriftlichen Beschreibung und offenbarten Verfahren liegen in der Kompetenz eines erfahrenen Entwicklers. Die verschiedenen Programme oder Programmmodule können mit jeder der Techniken erstellt werden, die einem Fachmann bekannt sind, oder sie können in Verbindung mit bestehender Software entworfen werden. Beispielsweise können Programmabschnitte oder Programmmodule in oder mit Hilfe von .Net Framework, .Net Compact Framework (und verwandten Sprachen wie Visual Basic, C usw.), Java, C; Objective-C, HTML, HTML/AJAX-Kombinationen, XML oder HTML mit darin enthaltenen Java-Applets entworfen werden.
Während hierin zwar illustrative Ausführungsformen beschrieben wurden, wird darüber hinaus der Umfang aller Ausführungsformen mit gleichwertigen Elementen, Modifikationen, Auslassungen, Kombinationen (z.B. von Aspekten in verschiedenen Ausführungsformen), Anpassungen und/oder Änderungen beschrieben, wie sie von Fachleuten auf der Grundlage der vorliegenden Offenbarung geschätzt würden. Die Beschränkungen in den Ansprüchen sind auf der Grundlage der in den Ansprüchen verwendeten Sprache weit auszulegen und nicht auf die in der vorliegenden Spezifikation oder während der Verfolgung der Anmeldung beschriebenen Beispiele beschränkt. Die Beispiele sind als nicht-exklusiv auszulegen. Darüber hinaus können die Schritte der offenbarten Verfahren in jeder Weise modifiziert werden, einschließlich durch Neuordnung von Schritten und/oder Einfügen oder Löschen von Schritten. Es ist daher beabsichtigt, dass die Spezifikation und die Beispiele nur zur Veranschaulichung dienen, wobei der wahre Umfang und Geist durch die folgenden Ansprüche und ihren vollen Umfang der Äquivalente angegeben wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 62/645479 [0001]
DE 62/646579 [0001]
DE 62/724355 [0001]
DE 62/772366 [0001]
DE 62/777914 [0001]
US 9168868 [0283]

Claims

System zum Navigieren eines Host-Fahrzeugs, wobei das System folgendes umfasst: mindestens eine Verarbeitungsvorrichtung, die programmiert ist zum: Empfangen, von einer Bilderfassungsvorrichtung, mindestens eines Bildes, das repräsentativ für eine Umgebung des Host-Fahrzeugs ist; Bestimmen, basierend auf mindestens einer Fahrstrategie, einer geplanten Navigationsaktion zur Erreichung eines Navigationsziels des Host-Fahrzeugs; Analysieren des mindestens einen Bildes, um ein Zielfahrzeug in der Umgebung des Host-Fahrzeugs zu identifizieren; Bestimmen einer Folgezustand-Distanz zwischen dem Host-Fahrzeug und dem Zielfahrzeug, die sich ergeben würde, wenn die geplante Navigationsaktion durchgeführt würde; Bestimmen einer maximalen Bremsfähigkeit des Host-Fahrzeugs, einer maximalen Beschleunigungsfähigkeit des Host-Fahrzeugs und einer aktuellen Geschwindigkeit des Host-Fahrzeugs; Bestimmen eines aktuellen Anhaltewegs für das Host-Fahrzeug basierend auf der aktuellen maximalen Bremsfähigkeit des Host-Fahrzeugs, der aktuellen maximalen Beschleunigungsfähigkeit des Host-Fahrzeugs und der aktuellen Geschwindigkeit des Host-Fahrzeugs; Bestimmen einer aktuellen Geschwindigkeit des Zielfahrzeugs und Annehmen einer maximalen Bremsfähigkeit des Zielfahrzeugs basierend auf mindestens einer erkannten Charakteristik des Zielfahrzeugs; und Implementieren der geplanten Navigationsaktion, wenn der bestimmte aktuelle Anhalteweg für das Host-Fahrzeug kleiner ist als die bestimmte Folgezustands-Distanz summiert mit einer Fahrstrecke des Zielfahrzeugs, die basierend auf der aktuellen Geschwindigkeit des Zielfahrzeugs und der angenommenen maximalen Bremsfähigkeit des Zielfahrzeugs bestimmt ist.
System nach Anspruch 1, wobei der aktuelle Anhalteweg für das Host-Fahrzeug einen Beschleunigungsweg beinhaltet, der einer Distanz entspricht, die das Host-Fahrzeug bei maximaler Beschleunigungsfähigkeit des Host-Fahrzeugs, ausgehend von der bestimmten aktuellen Geschwindigkeit des Host-Fahrzeugs, über eine vorbestimmte Zeitspanne zurücklegen kann.
System nach Anspruch 2, wobei die vorbestimmte Zeitspanne eine dem Host-Fahrzeug assoziierte Reaktionszeit ist.
System nach Anspruch 1, bei dem die maximale Bremsfähigkeit des Host-Fahrzeugs basierend auf einem erfassten Zustand einer Straßenoberfläche bestimmt wird.
System nach Anspruch 1, bei dem die maximale Bremsfähigkeit des Host-Fahrzeugs basierend auf einer erfassten Wetterbedingung bestimmt wird.
System nach Anspruch 1, bei dem die Geschwindigkeit des Zielfahrzeugs basierend auf Analyse des mindestens einen Bildes bestimmt wird.
System nach Anspruch 1, wobei die Geschwindigkeit des Zielfahrzeugs basierend auf Analyse einer Ausgabe von mindestens einem LIDAR-System oder einem RADAR-System bestimmt wird, das mit dem Host-Fahrzeug assoziiert ist.
System nach Anspruch 1, wobei die erkannte Charakteristik des Zielfahrzeugs einen Fahrzeugtyp beinhaltet.
System nach Anspruch 1, wobei die erkannte Charakteristik des Zielfahrzeugs eine Fahrzeuggröße ist.
System nach Anspruch 1, wobei die erkannte Charakteristik des Zielfahrzeugs ein Fahrzeugmodell beinhaltet.
System nach Anspruch 1, bei dem die erkannte Charakteristik des Zielfahrzeugs basierend auf der Analyse des mindestens einen Bildes bestimmt wird.
System nach Anspruch 1, wobei die mindestens eine Charakteristik des Zielfahrzeugs basierend auf mindestens einer LIDAR-Ausgabe oder einer RADAR-Ausgabe bestimmt wird.
System nach Anspruch 1, bei dem die geplante Navigationsaktion mindestens eines der folgenden Manöver beinhaltet: ein Fahrspurwechselmanöver, ein Zusammenführungsmanöver, ein Überholmanöver, ein Abstandsverringerungsmanöver oder eine Drosselungbeibehalten-Aktion.
System nach Anspruch 1, bei dem die mindestens eine Verarbeitungsvorrichtung konfiguriert ist, die geplante Navigationsaktion zu implementieren, wenn der bestimmte aktuelle Anhalteweg für das Host-Fahrzeug um mindestens einen vorbestimmten Mindestabstand kleiner ist als die bestimmte Folgezustand-Distanz, die zusammen mit einer Zielfahrzeug-Fahrstrecke summiert wird, wobei die Zielfahrzeug-Fahrstrecke basierend auf der aktuellen Geschwindigkeit des Zielfahrzeugs und der angenommenen maximalen Bremsfähigkeit des Zielfahrzeugs bestimmt wird.
System nach Anspruch 14, wobei der vorbestimmte Mindestabstand einem vorbestimmten Abstand entspricht, der zwischen dem Host-Fahrzeug und anderen Fahrzeugen einzuhalten ist.
System nach Anspruch 15, wobei der vorbestimmte Abstand mindestens 1 Meter beträgt.
System zum Navigieren eines Host-Fahrzeugs, wobei das System umfasst: mindestens eine Verarbeitungsvorrichtung, die programmiert ist zum: Empfangen, von einer Bilderfassungsvorrichtung, mindestens eines Bilds, das repräsentativ für eine Umgebung des Host-Fahrzeugs ist; Bestimmen, basierend auf mindestens einer Fahrstrategie, einer geplanten Navigationsaktion zur Erreichung eines Navigationsziels des Host-Fahrzeuges; Analysieren des mindestens einen Bildes, um ein Zielfahrzeug in der Umgebung des Host-Fahrzeugs zu identifizieren; Bestimmen einer Folgezustand-Distanz zwischen dem Host-Fahrzeug und dem Zielfahrzeug, die sich ergeben würde, wenn die geplante Navigationsaktion durchgeführt würde; Bestimmen einer aktuellen Geschwindigkeit des Host-Fahrzeugs; Bestimmen einer aktuellen Geschwindigkeit des Zielfahrzeugs und Annehmen einer maximalen Bremsratenfähigkeit des Zielfahrzeugs basierend auf mindestens einer erkannten Charakteristik des Zielfahrzeugs, und Implementieren der geplanten Navigationsaktion, wenn das Host-Fahrzeug für die bestimmte aktuelle Geschwindigkeit des Host-Fahrzeugs und bei einer vorbestimmten submaximalen Bremsrate, die kleiner ist als eine maximale Bremsratenfähigkeit des Host-Fahrzeugs, innerhalb eines Anhaltewegs des Host-Fahrzeugs angehalten werden kann, der kleiner ist als die bestimmte Folgezustand-Distanz summiert mit einer Zielfahrzeug-Fahrstrecke, die basierend auf der aktuellen Geschwindigkeit des Zielfahrzeugs und der angenommenen maximalen Bremsratenfähigkeit des Zielfahrzeugs bestimmt ist.
System nach Anspruch 17, bei dem die vorbestimmte submaximale Bremsrate basierend auf einem vom Benutzer wählbaren Bremsmodus bestimmt wird, der einen Modus beinhaltet, in dem eine Bremse des Host-Fahrzeugs konstant mit der vorbestimmten submaximalen Bremsrate angewendet wird, bis das Host-Fahrzeug angehalten wird oder eine Bremsbedingung als nicht mehr vorhanden bestimmt wird.
System nach Anspruch 17, bei dem die vorbestimmte submaximale Bremsrate basierend auf einem vom Benutzer wählbaren Bremsmodus bestimmt wird, der einen Modus beinhaltet, in dem eine Bremse des Host-Fahrzeugs konstant mit der vorbestimmten submaximalen Bremsrate für mindestens einen Teil einer Zeitspanne angewendet wird, während der bestimmt wird, das seine Bremsbedingung vorliegt, gefolgt von einer Anwendung der Bremse des Host-Fahrzeugs mit einer maximalen Bremsrate für das Host-Fahrzeug.
System nach Anspruch 17, bei dem die vorbestimmte submaximale Bremsrate basierend auf einem vom Benutzer wählbaren Bremsmodus bestimmt wird, der einen Modus beinhaltet, in dem eine Bremse des Host-Fahrzeugs angewendet wird, beginnend mit der vorbestimmten submaximalen Bremsrate und progressiv ansteigend bis zu einer maximalen Bremsrate für das Host-Fahrzeug.
System nach Anspruch 17, wobei die vorbestimmte submaximale Bremsrate mit einer Abbremsrate assoziiert ist, die bis zu 50% einer Abbremsrate beträgt, die mit der maximalen Bremsratenfähigkeit für das Host-Fahrzeug assoziiert ist.
System nach Anspruch 17, wobei die vorbestimmte submaximale Bremsrate mit einer Abbremsrate assoziiert ist, die bis zu 25% einer Abbremsrate beträgt, die mit der maximalen Bremsratenfähigkeit für das Host-Fahrzeug assoziiert ist.
System nach Anspruch 17, wobei der Anhalteweg des Host-Fahrzeugs basierend auf der aktuellen Geschwindigkeit des Host-Fahrzeugs und der vorbestimmten submaximalen Bremsrate des Host-Fahrzeugs bestimmt wird.
System nach Anspruch 17, bei dem der Anhalteweg des Host-Fahrzeuges größer ist als die Summe eines Beschleunigungsweges, der einer Distanz entspricht, die das Host-Fahrzeug bei maximaler Beschleunigungsfähigkeit des Host-Fahrzeuges über eine vorbestimmte Zeitspanne zurücklegen kann, und eines maximalen Bremsratenweges, der einer Distanz entspricht, die das Host-Fahrzeug zurücklegen kann, während es von der aktuellen Geschwindigkeit des Host-Fahrzeuges auf Nullgeschwindigkeit bei maximaler Bremsratenfähigkeit des Host-Fahrzeuges abbremst.
System nach Anspruch 24, wobei die vorbestimmte Zeitspanne eine mit dem Host-Fahrzeug assoziierte Reaktionszeit ist.
System nach Anspruch 17, bei dem die maximale Bremsratenfähigkeit des Host-Fahrzeugs basierend auf einem erfassten Zustand einer Straßenoberfläche bestimmt wird.
System nach Anspruch 17, bei dem die maximale Bremsratenfähigkeit des Host-Fahrzeugs basierend auf einer erfassten Wetterbedingung bestimmt wird.
System nach Anspruch 17, bei dem die Geschwindigkeit des Zielfahrzeugs basierend auf Analyse des mindestens einen Bildes bestimmt wird.
System nach Anspruch 17, wobei die Geschwindigkeit des Zielfahrzeugs basierend auf Analyse einer Ausgabe von mindestens einem LIDAR-System oder RADAR-System bestimmt wird, das mit dem Host-Fahrzeug assoziiert ist.
System nach Anspruch 17, wobei die erkannte Charakteristik des Zielfahrzeugs einen Fahrzeugtyp beinhaltet.
System nach Anspruch 17, wobei die erkannte Charakteristik des Zielfahrzeugs eine Fahrzeuggröße ist.
System nach Anspruch 17, wobei die erkannte Charakteristik des Zielfahrzeugs ein Fahrzeugmodell beinhaltet.
System nach Anspruch 17, wobei die erkannte Charakteristik des Zielfahrzeugs basierend auf der Analyse des mindestens einen Bildes bestimmt wird.
System nach Anspruch 17, wobei die mindestens eine Charakteristik des Zielfahrzeugs basierend auf mindestens einer LIDAR-Ausgabe oder einer RADAR-Ausgabe bestimmt wird.
System nach Anspruch 17, wobei die geplante Navigationsaktion mindestens eines der folgenden Manöver beinhaltet: ein Fahrspurwechselmanöver, ein Zusammenführungsmanöver, ein Überholmanöver, ein Abstandsverringerungsmanöver oder eine Drosselungbeibehalten-Aktion.
System nach Anspruch 17, wobei die mindestens eine Verarbeitungsvorrichtung konfiguriert ist, die geplante Navigationsaktion zu implementieren, wenn der bestimmte Anhalteweg des Host-Fahrzeugs um mindestens einen vorbestimmten Mindestabstand kleiner ist als die bestimmte Folgezustand-Distanz, summiert mit einer Zielfahrzeug-Fahrstrecke, die basierend auf der aktuellen Geschwindigkeit des Zielfahrzeugs und der angenommenen maximalen Bremsratenfähigkeit des Zielfahrzeugs bestimmt wird.
System nach Anspruch 36, wobei der vorbestimmte Mindestabstand einer vorbestimmten Distanz entspricht, die zwischen dem Host-Fahrzeug und anderen Fahrzeugen einzuhalten ist.
System nach Anspruch 37, wobei die vorbestimmte Distanz mindestens 1 Meter beträgt.
System nach Anspruch 17, wobei der Anhalteweg des Host-Fahrzeuges eine erste Distanz beinhaltet, über die das Host-Fahrzeug mit der vorbestimmten submaximalen Bremsrate gebremst wird, und eine zweite Distanz, über die das Host-Fahrzeug mit der maximalen Bremsratenfähigkeit des Host-Fahrzeuges gebremst wird.
System nach Anspruch 39, wobei die mindestens eine Verarbeitungsvorrichtung so konfiguriert ist, dass sie das Host-Fahrzeug veranlasst, mit der vorbestimmten submaximalen Bremsrate über die erste Distanz zu bremsen, bevor das Host-Fahrzeug mit der maximalen Bremsratenfähigkeit des Host-Fahrzeugs über die zweite Distanz gebremst wird.
System zum Navigieren eines Host-Fahrzeugs, wobei das System umfasst: mindestens eine Verarbeitungsvorrichtung, die programmiert ist zum: Empfangen, von einer Bilderfassungsvorrichtung, mindestens eines Bildes, das repräsentativ für eine Umgebung des Host-Fahrzeugs ist; Bestimmen, basierend auf mindestens einer Fahrstrategie, einer geplanten Navigationsaktion zum Erreichen eines Navigationsziels des Host-Fahrzeugs; Analysieren des mindestens einen Bildes, um ein Zielfahrzeug in der Umgebung des Host-Fahrzeugs zu identifizieren; Bestimmen einer Folgezustand-Distanz zwischen dem Host-Fahrzeug und dem Zielfahrzeug, die sich ergeben würde, wenn die geplante Navigationsaktion durchgeführt würde; Bestimmen einer aktuellen Geschwindigkeit des Host-Fahrzeugs; Bestimmen einer aktuellen Geschwindigkeit des Zielfahrzeugs und Annehmen einer maximalen Bremsratenfähigkeit des Zielfahrzeugs basierend auf mindestens einer erkannten Charakteristik des Zielfahrzeugs; und Implementieren der geplanten Navigationsaktion, wenn für die bestimmte aktuelle Geschwindigkeit des Host-Fahrzeuges und für ein vorbestimmtes Bremsratenprofil das Host-Fahrzeug innerhalb eines Anhalteweges des Host-Fahrzeuges angehalten werden kann, die kleiner ist als die bestimmte Folgezustand-Distanz summiert mit einer Zielfahrzeug-Fahrstrecke, die basierend auf der aktuellen Geschwindigkeit des Zielfahrzeuges und der angenommenen maximalen Bremsratenfähigkeit des Zielfahrzeuges bestimmt wird, wobei das vorbestimmte Bremsratenprofil progressiv von einer submaximalen Bremsrate zu einer maximalen Bremsrate für das Host-Fahrzeug ansteigt.
System nach Anspruch 41, wobei das vorbestimmte Bremsratenprofil linear von der submaximalen Bremsrate auf die maximale Bremsrate für das Host-Fahrzeug ansteigt.
System nach Anspruch 41, wobei das vorbestimmte Bremsratenprofil nichtlinear von der submaximalen Bremsrate bis zur maximalen Bremsrate für das Host-Fahrzeug ansteigt.
System zum Bremsen eines Host-Fahrzeugs, wobei das System umfasst: mindestens eine Verarbeitungsvorrichtung, die programmiert ist zum: Empfangen, von mindestens einem Sensor, einer Ausgabe, die repräsentativ für eine Umgebung des Host-Fahrzeugs ist; Erkennen, basierend auf der Ausgabe, eines Zielfahrzeugs in der Umgebung des Host-Fahrzeugs; Bestimmen einer aktuellen Geschwindigkeit des Host-Fahrzeugs und einer aktuellen Distanz zwischen dem Host-Fahrzeug und dem Zielfahrzeug; Bestimmen, basierend mindestens auf der aktuellen Geschwindigkeit des Host-Fahrzeugs und dem aktuellen Abstand zwischen dem Host-Fahrzeug und dem Zielfahrzeug, ob eine Bremsbedingung vorliegt; und wenn bestimmt wird, dass eine Bremsbedingung vorliegt, Verursachen der Betätigung einer dem Host-Fahrzeug assoziierten Bremseinrichtung gemäß einem vorbestimmten Bremsprofil, das einen Abschnitt beinhaltet, der mit einer submaximalen Bremsrate für das Host-Fahrzeug beginnt und progressiv bis zu einer maximalen Bremsrate des Host-Fahrzeugs ansteigt.
System nach Anspruch 44, wobei, sobald die maximale Bremsrate des Host-Fahrzeuges erreicht ist, der mindestens eine Prozessor konfiguriert ist, die Anwendung der Bremsvorrichtung des Host-Fahrzeuges mit der maximalen Bremsrate des Host-Fahrzeuges fortzusetzen, bis die Bremsbedingung nicht mehr besteht.
System nach Anspruchs 44, wobei der progressive Anstieg nichtlinear ist.
System nach Anspruch 44, wobei der progressive Anstieg linear ist.
Autonomes System zur selektiven Ablösung der Steuerung eines Host-Fahrzeugs durch den menschlichen Fahrer, wobei das System umfasst: mindestens eine Verarbeitungsvorrichtung, die programmiert ist zum: Empfangen, von einer Bilderfassungsvorrichtung, mindestens eines Bildes, das repräsentativ für eine Umgebung des Host-Fahrzeuges ist; Erkennen mindestens eines Hindernisses in der Umgebung des Host-Fahrzeugs basierend auf Analyse des mindestens einen Bildes; Überwachen einer Fahrereingabe an mindestens einem von einer Drosselsteuerung, einer Bremssteuerung oder einer Lenksteuerung, die mit dem Host-Fahrzeug assoziiert sind, Bestimmen, ob die Fahrereingabe dazu führen würde, dass das Host-Fahrzeug innerhalb eines Näherungspuffers relativ zu dem mindestens einen Hindernis navigiert; Erlauben, dass die Fahrereingabe eine entsprechende Änderung in einem oder mehreren Bewegungssteuerungssystemen des Host-Fahrzeugs verursacht, wenn die mindestens eine Verarbeitungsvorrichtung bestimmt, dass die Fahrereingabe nicht dazu führen würde, dass das Host-Fahrzeug innerhalb des Näherungspuffers relativ zu dem mindestens einen Hindernis navigiert; und Verhindern, dass die Fahrereingabe die entsprechende Änderung in dem einen oder mehreren Bewegungssteuerungssystemen des Host-Fahrzeugs verursacht, wenn die mindestens eine Verarbeitungsvorrichtung bestimmt, dass die Fahrereingabe dazu führen würde, dass das Host-Fahrzeug innerhalb des Näherungspuffers relativ zu dem mindestens einen Hindernis navigiert.
System nach Anspruch 48, wobei das mindestens eine Hindernis ein Zielfahrzeug beinhaltet und der Näherungspuffer relativ zum Zielfahrzeug basierend auf einer erkannten aktuellen Geschwindigkeit des Host-Fahrzeugs, einer maximalen Bremsratenfähigkeit des Host-Fahrzeugs, einer bestimmten aktuellen Geschwindigkeit des Zielfahrzeugs und einer angenommenen maximalen Bremsratenfähigkeit des Zielfahrzeugs bestimmt wird, und wobei der Näherungspuffer relativ zum Zielfahrzeug weiterhin basierend auf einer maximalen Beschleunigungsfähigkeit des Host-Fahrzeugs bestimmt wird, so dass der Näherungspuffer mindestens eine Summe eines Beschleunigungsabstands des Host-Fahrzeugs beinhaltet, bestimmt als eine Distanz, über die das Host-Fahrzeug fährt, wenn es mit der maximalen Beschleunigungsfähigkeit des Host-Fahrzeugs über eine dem Host-Fahrzeug assoziierte Reaktionszeit beschleunigt wird, einen Anhalteweg des Host-Fahrzeugs, bestimmt als eine Distanz, die erforderlich ist, um die aktuelle Geschwindigkeit des Host-Fahrzeugs bei der maximalen Bremsratenfähigkeit des Host-Fahrzeugs auf Null zu reduzieren, und einen Anhalteweg des Zielfahrzeugs, bestimmt als eine Distanz, die erforderlich ist, um die aktuelle Geschwindigkeit des Zielfahrzeugs bei der angenommenen maximalen Bremsratenfähigkeit des Zielfahrzeugs auf Null zu reduzieren.
System nach Anspruch 49, wobei das mindestens eine Hindernis ein Zielfahrzeug beinhaltet und der Näherungspuffer relativ zum Zielfahrzeug basierend auf einer erkannten aktuellen Geschwindigkeit des Host-Fahrzeugs, einer maximalen Bremsratenfähigkeit des Host-Fahrzeugs, einer bestimmten aktuellen Geschwindigkeit des Zielfahrzeugs und einer angenommenen maximalen Bremsratenfähigkeit des Zielfahrzeugs bestimmt wird, und wobei der Näherungspuffer relativ zum Zielfahrzeug weiterhin basierend auf einer vorbestimmten submaximalen Bremsrate bestimmt wird, die geringer ist als die maximale Bremsratenfähigkeit des Host-Fahrzeugs, so dass der Näherungspuffer mindestens die Summe aus einem Anhalteweg des Host-Fahrzeugs, bestimmt als ein Abstand, der erforderlich ist, um die aktuelle Geschwindigkeit des Host-Fahrzeugs bei der vorbestimmten submaximalen Bremsfähigkeit des Host-Fahrzeugs auf Null zu reduzieren, und einem Anhalteweg des Zielfahrzeugs, bestimmt als ein Abstand, der erforderlich ist, um die aktuelle Geschwindigkeit des Zielfahrzeugs bei der angenommenen maximalen Bremsfähigkeit des Zielfahrzeugs auf Null zu reduzieren, enthält.
System nach Anspruch 49, wobei bestimmt wird, dass sich das Zielfahrzeug vor dem Host-Fahrzeug befindet, und die mindestens eine Verarbeitungsvorrichtung konfiguriert ist, um zu bestimmen, dass die Fahrereingabe zu einer Änderung des Längsabstands zwischen dem Zielfahrzeug und dem Host-Fahrzeug führen würde.
System nach Anspruch 49, wobei bestimmt wird, dass sich das Zielfahrzeug in einer anderen Fahrspur als das Host-Fahrzeug befindet, und die mindestens eine Verarbeitungsvorrichtung konfiguriert ist, um zu bestimmen, dass die Fahrereingabe zu einer seitlichen Bewegung des Host-Fahrzeugs führen würde, so dass sich das Zielfahrzeug nach der seitlichen Bewegung vor dem Host-Fahrzeug befindet.
System nach Anspruch 49, wobei bestimmt wird, dass sich das Zielfahrzeug in einer anderen Fahrspur als das Host-Fahrzeug befindet, und die mindestens eine Verarbeitungsvorrichtung konfiguriert ist, zu bestimmen, dass die Fahrereingabe zu einer seitlichen Bewegung des Host-Fahrzeugs führen würde, so dass sich das Host-Fahrzeug nach der seitlichen Bewegung vor dem Zielfahrzeug befindet.
System nach Anspruch 48, wobei der Näherungspuffer einem vorbestimmten seitlichen Distanz-Schwellenwert entspricht.
System nach Anspruch 49, wobei der Näherungspuffer relativ zum Zielfahrzeug weiterhin basierend auf einem vorbestimmten Mindestabstand bestimmt wird, der zwischen dem Host-Fahrzeug und dem Zielfahrzeug einzuhalten ist.
System nach Anspruch 48, wobei das mindestens eine Hindernis einen Fußgänger oder ein Objekt in einer Fahrbahn beinhaltet, und der Näherungspuffer bezüglich des mindestens einen Hindernisses mindestens einen einzuhaltenden Mindestabstand zwischen dem Host-Fahrzeug und dem mindestens einen Hindernis beinhaltet.
System nach Anspruch 48, wobei das mindestens eine Hindernis einen Fußgänger beinhaltet und der Näherungspuffer relativ zum Fußgänger basierend auf einer aktuellen Geschwindigkeit des Host-Fahrzeugs bestimmt wird und der Näherungspuffer mit steigender Geschwindigkeit des Host-Fahrzeugs zunimmt.
System nach Anspruch 48, wobei die Drosselsteuerung ein Gaspedal beinhaltet, die Bremssteuerung ein Bremspedal beinhaltet, und die Lenksteuerung ein Lenkrad beinhaltet, und wobei die Fahrereingabe mindestens eines der folgenden Ereignisse beinhaltet: ein Niederdrücken des Gaspedals, ein Niederdrücken des Bremspedals, ein Nicht-Drücken des Bremspedals, eine Drehung des Lenkrads oder eine Nicht-Drehung des Lenkrads.
System nach Anspruch 58, wobei das eine oder die mehreren Fahrzeugsteuerungssysteme des Host-Fahrzeugs mindestens einen Lenkaktuator zum Steuern eines Kurses des Host-Fahrzeugs, einen Bremsaktuator zum Verursachen der Betätigung einer Vorrichtung zum Bremsen des Host-Fahrzeugs oder einen Beschleunigungsaktuator zum Verursachen einer Betätigung einer Drosselsteuerung des Host-Fahrzeugs beinhalten.
System nach Anspruch 59, wobei das Verhindern, dass die Fahrereingabe die entsprechende Änderung in dem einen oder mehreren Host-Fahrzeug-Bewegungssteuerungssystemen verursacht, mindestens eines von den folgenden beinhaltet: Verhindern, dass die Fahrereingabe in das Lenkrad zu einer entsprechenden Reaktion durch den mindestens einen Lenkaktuator führt, Verhindern, dass die Fahrereingabe in das Bremspedal zu einer entsprechenden Reaktion durch den Bremsaktuator führt, oder Verhindern, dass die Fahrereingabe in das Gaspedal zu einer entsprechenden Reaktion durch den Beschleunigungsaktuator führt.
System nach Anspruch 48, wobei, um zu verhindern, dass die Fahrereingabe die korrespondierende Änderung in dem einen oder mehreren Host-Fahrzeug-Bewegungssteuerungssystemen verursacht, die mindestens eine Verarbeitungsvorrichtung konfiguriert ist, Bewegung von mindestens einer der Drosselsteuerung, der Bremssteuerung oder der Lenksteuerung zu verhindern.
System nach Anspruch 48, wobei, um zu verhindern, dass die Fahrereingabe die korrespondierende Änderung in einem oder mehreren Host-Fahrzeug-Bewegungssteuerungssystemen verursacht, die mindestens eine Verarbeitungsvorrichtung so konfiguriert ist, die Funktionsfähigkeit von mindestens einer der Drosselsteuerung, der Bremssteuerung oder der Lenksteuerung zu deaktiviert.
System nach Anspruch 48, wobei, um zu verhindern, dass die Fahrereingabe die entsprechende Änderung in dem einen oder mehreren Host-Fahrzeug-Bewegungssteuerungssystemen verursacht, die mindestens eine Verarbeitungsvorrichtung konfiguriert ist, um eine Bewegung von mindestens einer der Drosselsteuerung, der Bremssteuerung oder der Lenksteuerung als Reaktion auf die Fahrereingabe zu verhindern und eine Impulskraft auf mindestens eine der Drosselsteuerung, der Bremssteuerung oder der Lenksteuerung anzuwenden.
System nach Anspruch 63, wobei die mindestens eine Verarbeitungsvorrichtung konfiguriert ist, um weiterhin eine Bewegung von mindestens einer der Drosselsteuerung, der Bremssteuerung oder der Lenksteuerung zu verhindern und die Anwendung der Impulskraft auf mindestens eine der Drosselsteuerung, der Bremssteuerung oder der Lenksteuerung fortzusetzen, bis eine Fahrereingabe empfangen wird, die nicht dazu führen würde, dass das Host-Fahrzeug innerhalb eines Näherungspuffers relativ zu dem mindestens einen Hindernis navigiert.
System nach Anspruch 48, wobei die mindestens eine Verarbeitungsvorrichtung so konfiguriert ist, dass sie die Navigation des Host-Fahrzeugs autonomy während Intervallen steuert, in denen die mindestens eine Verarbeitungsvorrichtung verhindert, dass die Fahrereingabe die entsprechende Änderung in dem einen oder den mehreren Host-Fahrzeug-Bewegungssteuerungssystemen verursacht.
System nach Anspruch 65, wobei die mindestens eine Verarbeitungsvorrichtung konfiguriert ist, die Navigationssteuerung des Host-Fahrzeugs an einen Fahrer zurückzugeben, nachdem eine Fahrereingabe empfangen wurde, die nicht dazu führen würde, dass das Host-Fahrzeug innerhalb eines Näherungspuffers relativ zu dem mindestens einen Hindernis navigiert.
System nach Anspruch 48, weiterhin beinhaltend eine System-Override-Steuerung zur Deaktivierung des autonomen Systems zur selektiven Ablösung der Steuerung des menschlichen Fahrers, wobei sich die System-Override-Steuerung von der Drosselsteuerung, der Bremssteuerung und der Lenksteuerung unterscheidet.
System nach Anspruch 67, wobei die mindestens eine Verarbeitungsvorrichtung konfiguriert ist, um zu verfolgen, wann das autonome System zur selektiven Ablösung der Steuerung des menschlichen Fahrers durch die System-Override-Steuerung deaktiviert wurde.
System nach Anspruch 48, ferner beinhaltend eine Vielzahl von Bilderfassungsvorrichtungen, von denen jede ein anderes Sichtfeld relativ zur Umgebung des Host-Fahrzeugs hat, und wobei die mindestens eine Verarbeitungsvorrichtung konfiguriert ist, um ein oder mehrere Bilder von jeder der Vielzahl von Bilderfassungsvorrichtungen zu empfangen und das mindestens eine Hindernis in der Umgebung des Host-Fahrzeugs basierend auf der Analyse des einen oder der mehreren Bilder, die von irgendeiner der Vielzahl von Bilderfassungsvorrichtungen empfangen werden, zu erkennen.
System nach Anspruch 69, wobei mindestens eine der Vielzahl von Bilderfassungsvorrichtungen konfiguriert ist, um Bilder zu erfassen, die repräsentativ für eine Umgebung des Host-Fahrzeugs an einer Seite des Host-Fahrzeugs sind.
System nach Anspruch 69, wobei mindestens eine der Vielzahl von Bilderfassungsvorrichtungen konfiguriert ist, um Bilder zu erfassen, die repräsentativ für eine Umgebung des Host-Fahrzeugs an einem Heck des Host-Fahrzeugs sind.
Navigationssystem zum Navigieren eines autonomen Host-Fahrzeugs gemäß mindestens einem Navigationsziel des Host-Fahrzeugs, wobei das Navigationssystem umfasst: mindestens ein Prozessor, der programmiert ist zum: Empfangen, von einem oder mehreren Sensoren, einer Sensorausgabe, die mindestens einen Aspekt der Bewegung des Host-Fahrzeuges relativ zu einer Umgebung des Host-Fahrzeuges anzeigt, wobei die Sensorausgabe zu einer ersten Zeit erzeugt wird, die später als eine Datenerfassungszeit ist, wenn eine Messung oder Datenerfassung, auf der die Sensorausgabe basiert, erfasst wird, und früher als eine zweite Zeit, bei dem die Sensorausgabe von dem mindestens einen Prozessor empfangen wird; Generieren, für eine Bewegungsvorhersagezeit, einer Vorhersage von mindestens einem Aspekt der Bewegung des Host-Fahrzeugs basierend, zumindest teilweise, auf der empfangenen Sensorausgabe und einer Schätzung, wie sich der mindestens eine Aspekt der Bewegung des Host-Fahrzeugs über ein Zeitintervall zwischen der Datenerfassungszeit und der Bewegungsvorhersagezeit ändert; Bestimmen einer geplanten Navigationsaktion für das Host-Fahrzeug, basierend, zumindest teilweise, auf dem mindestens einen Navigationsziel des Host-Fahrzeugs und basierend auf der generierten Vorhersage des mindestens einen Aspekts der Bewegung des Host-Fahrzeugs, Generieren eines Navigationsbefehls zur Implementierung mindestens eines Teils der geplanten Navigationsaktion; und Bereitstellen des Navigationsbefehls für mindestens ein Betätigungssystem des Host-Fahrzeugs, so dass das mindestens eine Betätigungssystem den Navigationsbefehl zu einer dritten Zeit bereitstellt, der später als die zweite Zeit und früher oder im Wesentlichen gleich einer Betätigungszeit ist, zu dem eine Komponente des mindestens einen Betätigungssystems auf den empfangenen Befehl reagiert; wobei die Bewegungsvorhersagezeit nach der Datenerfassungszeit und früher oder gleich der Betätigungszeit liegt.
Navigationssystem nach Anspruch 72, wobei die Bewegungsvorhersagezeit im Wesentlichen zu der dritten zeit korrespondiert.
Navigationssystem nach Anspruch 72, wobei die Bewegungsvorhersagezeit im Wesentlichen zu der zweiten Zeit korrespondiert.
Navigationssystem nach Anspruch 72, wobei die Bewegungsvorhersagezeit im Wesentlichen zu der Betätigungszeit korrespondiert.
Navigationssystem nach Anspruch 72, wobei der eine oder die mehreren Sensoren einen Geschwindigkeitssensor, einen Beschleunigungsmesser, eine Kamera, ein LIDAR-System ode rein RADAR-System beinhalten.
Navigationssystem nach Anspruch 72, wobei die Vorhersage von mindestens einem Aspekt der Bewegung des Host-Fahrzeugs eine Vorhersage von mindestens einer Geschwindigkeit oder einer Beschleunigung des Host-Fahrzeugs zu der Bewegungsvorhersagezeit beinhaltet.
Navigationssystem nach Anspruch 72, wobei die Vorhersage mindestens eines Aspekts der Bewegung des Host-Fahrzeugs eine Vorhersage eines Fahrzeugwegs des Host-Fahrzeugs zu der Bewegungsvorhersagezeit beinhaltet.
Navigationssystem nach Anspruch 78, wobei die Vorhersage des Weges des Host-Fahrzeuges zu der Bewegungsvorhersagezeit eine Zielkursrichtung für das Host-Fahrzeug beinhaltet.
Navigationssystem nach Anspruch 78, wobei der eine oder die mehreren Sensoren eine Kamera beinhalten und die Vorhersage des Weges des Host-Fahrzeuges zu der Bewegungsvorhersagezeit auf mindestens einem von der Kamera erfassten Bild basiert.
Navigationssystem nach Anspruch 78, wobei die Vorhersage des Weges des Host-Fahrzeugs zu der Bewegungsvorhersagezeit auf mindestens einer bestimmten Geschwindigkeit für das Host-Fahrzeug und einer Zieltrajektorie für das Host-Fahrzeug basiert, die in einer Abbildung eines Straßenabschnitts enthalten ist, auf dem sich das Host-Fahrzeug bewegt.
Navigationssystem nach Anspruch 81, wobei die Zieltrajektorie einen vorbestimmten dreidimensionalen Spline beinhaltet, der einen bevorzugten Weg entlang mindestens einer Fahrspur des Straßenabschnitts darstellt.
Navigationssystem nach Anspruch 72, wobei die Vorhersage mindestens eines Aspekts der Bewegung des Host-Fahrzeugs auf mindestens einer bestimmten Bremspedalstellung, einer bestimmten Drosselstellung, einem bestimmten Luftwiderstand, der der Bewegung des Host-Fahrzeugs entgegenwirkt, Reibung oder Gefälle eines Straßenabschnitts, auf dem das Host-Fahrzeug fährt, basiert.
Navigationssystem nach Anspruch 72, wobei die Vorhersage mindestens eines Aspekts der Host-Fahrzeug-Bewegung zu der Bewegungsvorhersagezeit eine Diskrepanz zwischen einer Datenerfassungsrate, die mit dem einen oder mehreren Sensoren assoziiert ist, und einer Steuerrate berücksichtigt, die mit einer Rate assoziiert ist, mit der der mindestens eine Prozessor den Navigationsbefehl generiert.
Das Navigationssystem nach Anspruch 72, wobei die geplante Navigationsaktion mindestens eine Geschwindigkeitsänderung oder einen Kurswechsel für das Host-Fahrzeug beinhaltet.
Navigationssystem nach Anspruch 72, wobei das mindestens eine Betätigungssystem ein oder mehrere von einem Drosselbetätigungssystem, einem Bremsbetätigungssystem oder einem Lenkbetätigungssystem beinhaltet.
Navigationssystem nach Anspruch 72, wobei das Navigationsziel des Host-Fahrzeugs eine Übersetzung von einem ersten Ort zu einem zweiten Ort beinhaltet.
Navigationssystem nach Anspruch 72, wobei das Navigationsziel des Host-Fahrzeugs einen Fahrspurwechsel von einer vom Host-Fahrzeug besetzten aktuellen Fahrspur auf eine Nachbarspur beinhaltet.
Navigationssystem nach Anspruch 72, wobei das Navigationsziel des Host-Fahrzeugs das Aufrechterhalten eines Näherungspuffers zwischen dem Host-Fahrzeug und einem erkannten Zielfahrzeug beinhaltet, wobei der Näherungspuffer basierend auf einer erkannten aktuellen Geschwindigkeit des Host-Fahrzeugs, einer maximalen Bremsratenfähigkeit des Host-Fahrzeugs, einer bestimmten aktuellen Geschwindigkeit des Zielfahrzeugs und einer angenommenen maximalen Bremsratenfähigkeit des Zielfahrzeugs bestimmt wird, und wobei der Näherungspuffer relativ zum Zielfahrzeug weiterhin basierend auf einer maximalen Beschleunigungsfähigkeit des Host-Fahrzeugs bestimmt wird, so dass der Näherungspuffer mindestens eine Summe aus einem Beschleunigungsweg des Host-Fahrzeugs, bestimmt als eine Distanz, die das Host-Fahrzeug zurücklegt, wenn es mit der maximalen Beschleunigungsfähigkeit des Host-Fahrzeugs über eine dem Host-Fahrzeug zugeordnete Reaktionszeit beschleunigt wird, einem Anhalteweg des Host-Fahrzeugs, bestimmt als eine Distanz, die erforderlich ist, um die aktuelle Geschwindigkeit des Host-Fahrzeugs bei der maximalen Bremsratenfähigkeit des Host-Fahrzeugs auf Null zu reduzieren, und einem Anhalteweg des Zielfahrzeugs, bestimmt als eine Distanz, die erforderlich ist, um die aktuelle Geschwindigkeit des Zielfahrzeugs bei der angenommenen maximalen Bremsratenfähigkeit des Zielfahrzeugs auf Null zu reduzieren.
Navigationssystem nach Anspruch 72, wobei die Vorhersage mindestens eines Aspekts der Bewegung des Host-Fahrzeugs auf einer vorbestimmten Funktion basiert, die mit dem Host-Fahrzeug assoziiert ist, wobei die vorbestimmte Funktion die Vorhersage der zukünftigen Geschwindigkeit und Beschleunigung des Host-Fahrzeugs basierend auf einer bestimmten aktuellen Geschwindigkeit des Host-Fahrzeugs und einer bestimmten Bremspedalstellung oder einer bestimmten Drosselstellung für das Host-Fahrzeug ermöglicht.
Navigationssystem nach Anspruch 72, wobei die Bewegungsvorhersagezeit mindestens 100 Millisekunden nach der Zeit der Datenerfassung beträgt.
Navigationssystem nach Anspruch 72, wobei die Bewegungsvorhersagezeit mindestens 200 Millisekunden nach der Datenerfassungszeit beträgt.
Navigationssystem nach Anspruch 72, wobei der Navigationsbefehl mindestens einen Pedalbefehl zur Steuerung einer Geschwindigkeit des Host-Fahrzeugs oder einen Gierratenbefehl zur Steuerung einer Kursrichtung des Host-Fahrzeugs beinhaltet.