DE102020124755A1

DE102020124755A1 - Intelligente eskalationsstrategie für ein autonomes fahrzeug

Info

Publication number: DE102020124755A1
Application number: DE102020124755.9A
Authority: DE
Inventors: Ningsheng Qiao; Matthew R. Kirsch; Richard A. Weaver; Mark Gazda
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2019-10-11
Filing date: 2020-09-23
Publication date: 2021-04-15
Also published as: US10913464B1; CN112644511A

Abstract

Ein autonomes Fahrzeug, System und Verfahren zum Betreiben eines autonomen Fahrzeugs ist angegeben. Das System umfasst einen Prozessor für den Betrieb eines Außenzustandserkennungsmoduls, eines Fahrerfahrverhaltensaufmerksamkeitsmoduls und eines Eskalationsmoduls: Das Außenzustandserkennungsmodul ist so konfiguriert, dass es einen intelligenten Eskalationsfaktor bestimmt, der auf dem externen Zustand einer Umgebung und den Fahrverkehrsbedingungen des autonomen Fahrzeugs basiert. Das Fahrerfahrverhaltensaufmerksamkeitsmodul ist so konfiguriert, dass es einen verhaltensdisziplinierenden Faktor generiert, der auf einer Verhaltenshistorie eines Fahrers des autonomen Fahrzeugs basiert. Das Eskalationsmodul ist so konfiguriert, dass es ein Eskalationssignal zur Warnung des Fahrers auf der Grundlage des intelligenten Eskalationsfaktors und des verhaltensdisziplinierenden Faktors, eines Aufmerksamkeitslevels des Fahrers und einer Geschwindigkeit des Fahrzeugs erzeugt.

Description

EINLEITUNG
Die Offenbarung des Themas bezieht sich auf Eskalationsstrategien in halbautonomen Fahrzeugen und insbesondere auf eine Eskalationsstrategie, die auf den äußeren Bedingungen und dem Grad der Aufmerksamkeit des Fahrers beruht.
Ein Fahrzeug mit Teilautomatisierung oder bedingter Automatisierung ist in der Lage, dem menschlichen Fahrer einige dynamische Fahraufgaben abzunehmen, aber ein menschlicher Fahrer muss dennoch aktiv das Fortschreiten des Fahrzeugs überwachen und bereit sein, die Kontrolle über das Fahrzeug vollständig zu übernehmen, wenn die Bedingungen dies erfordern. Wenn das Fahrzeug in einem autonomen Modus betrieben wird, kann der Fahrer abgelenkt oder schläfrig werden. Das Fahrzeug muss eine Strategie anwenden, um die Aufmerksamkeit des Fahrers wieder auf die Straße zu lenken. Solche Strategien werden als Eskalationsstrategien bezeichnet. Gegenwärtige Eskalationsstrategien verwenden einfache Verfahren zur Warnung des Fahrers auf der Grundlage des relativen Aufmerksamkeitslevels des Fahrers, unabhängig von den Verkehrssituationen und Umweltbedingungen. Infolgedessen neigen diese Eskalationsstrategien dazu, Warnungen zu geben, die entweder unnötig oder unpassend sind. Dementsprechend ist es wünschenswert, eine Eskalationsstrategie anzuwenden, die anpassungsfähig ist, um den Fahrverkehrssituationen und Umgebungsbedingungen des Fahrzeugs sowie dem Aufmerksamkeitslevel des Fahrers Rechnung zu tragen.
BESCHREIBUNG
In einer beispielhaften Ausführungsform wird ein Verfahren zum Betrieb eines autonomen Fahrzeugs offenbart. Ein intelligenter Eskalationsfaktor wird auf der Grundlage eines äußeren Zustands einer Umgebung und Fahrverkehrsbedingungen des autonomen Fahrzeugs bestimmt. Ein verhaltensdisziplinierender Faktor wird auf der Grundlage einer Verhaltenshistorie eines Fahrers des autonomen Fahrzeugs generiert. Die Verhaltenshistorie eines Fahrers sollte mit der Gesichts-ID des Fahrers zusammenpassen. Ein Eskalationssignal wird erzeugt, um den Fahrer auf der Grundlage des intelligenten Eskalationsfaktors und des verhaltensdisziplinierenden Faktors, des Aufmerksamkeitslevels des Fahrers und der Geschwindigkeit des Fahrzeugs zu alarmieren.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale wird eine Reaktion des Fahrers auf das Eskalationssignal überwacht, und der verhaltensdisziplinierende Faktor wird auf der Grundlage der Verhaltenshistorie des Fahrers auf das Eskalationssignal generiert. Der intelligente Eskalationsfaktor wird auf der Grundlage von mindestens einer von einer Verkehrsbedingung, einer Wetterbedingung oder einer Beleuchtungsbedingung bestimmt. Das Eskalationssignal wird erzeugt, indem ein Produkt aus dem intelligenten Eskalationsfaktor und dem verhaltensdisziplinierenden Faktor gebildet wird. Ein Schwellenwert für die Erzeugung des Eskalationssignals wird mit dem Produkt aus dem intelligenten Eskalationsfaktor und dem verhaltensdisziplinierenden Faktor multipliziert. Der intelligente Eskalationsfaktor und der verhaltensdisziplinierende Faktor werden auf periodischer Basis aktualisiert. Das autonome Fahrzeug wird abgeschaltet, wenn der Fahrer nach mehreren inkrementellen Warnstufen für eine vorbestimmte Zeitspanne nicht auf das Eskalationssignal reagiert.
In einer weiteren beispielhaften Ausführungsform wird ein System zum Betrieb eines autonomen Fahrzeugs offenbart. Das System umfasst einen Prozessor für den Betrieb eines Außenzustandserkennungsmoduls, eines Fahrerfahrverhaltensaufmerksamkeitsmodul eines Eskalationsmoduls. Das Außenzustandserkennungsmodul ist so konfiguriert, dass es einen intelligenten Eskalationsfaktor auf der Grundlage eines externen Zustands einer Umgebung und der Fahrverkehrsbedingungen des autonomen Fahrzeugs bestimmt. Das Fahrerfahrverhaltensaufmerksamkeitsmodul ist so konfiguriert, dass es einen verhaltensdisziplinierenden Faktor auf der Grundlage einer Verhaltenshistorie eines Fahrers des autonomen Fahrzeugs erzeugt. Das Eskalationsmodul ist so konfiguriert, dass es ein Eskalationssignal zur Warnung des Fahrers auf der Grundlage des intelligenten Eskalationsfaktors und des verhaltensdisziplinierenden Faktors, eines Aufmerksamkeitslevels des Fahrers und einer Geschwindigkeit des Fahrzeugs erzeugt.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale umfasst das System ferner einen Monitor, der so konfiguriert ist, dass er eine Reaktion des Fahrers auf das Eskalationssignal überwacht, wobei das Fahreraufmerksamkeitsmodul den verhaltensdisziplinierenden Faktor auf der Grundlage der Verhaltenshistorie des Fahrers auf das Eskalationssignal erzeugt. Das System enthält ferner mindestens einen Verkehrszustandsprozessor, einen Wettersensor und einen Beleuchtungssensor zur Anzeige des äußeren Zustands für das Außenzustandsaufmerksamkeitsmodul. Das System enthält ferner einen Eskalationsschwellenmultiplikator, der so konfiguriert ist, dass er das Eskalationssignal erzeugt, indem er ein Produkt aus dem intelligenten Eskalationsfaktor und dem verhaltensdisziplinierenden Faktor bildet. Der Eskalationsschwellenmultiplikator multipliziert eine Schwelle zur Erzeugung des Eskalationssignals am Eskalationsmodul mit dem Produkt aus dem intelligenten Eskalationsfaktor und dem verhaltensdisziplinierenden Faktor, wobei die Eskalationsschwelle eine Funktion der Geschwindigkeit des Fahrzeugs ist. Das Außenzustandsaufmerksamkeitsmodul aktualisiert den intelligenten Eskalationsfaktor und das Fahrerfahrverhaltensaufmerksamkeitsmodul aktualisiert die dem verhaltensdisziplinierenden Faktor zugeordnete Gesichts-ID des Fahrers auf periodischer Basis. Der Prozessor ist ferner so konfiguriert, dass er das autonome Fahrzeug so steuert, dass es abschaltet, wenn der Fahrer nach mehreren inkrementellen Warnstufen für eine vorbestimmte Zeitspanne nicht auf das Eskalationssignal reagiert.
In einer weiteren beispielhaften Ausführungsform wird ein autonomes Fahrzeug offenbart. Das autonome Fahrzeug umfasst einen Prozessor für den Betrieb eines Außenzustandserkennungsmoduls, eines Fahrerfahrverhaltensaufmerksamkeitsmoduls und eines Eskalationsmodul. Das Außenzustandserkennungsmoduls ist so konfiguriert, dass es einen intelligenten Eskalationsfaktor bestimmt, der auf einem externen Zustand einer Umgebung des autonomen Fahrzeugs basiert. Das Fahrerfahrverhaltensaufmerksamkeitsmoduls ist so konfiguriert, dass es einen verhaltensdisziplinierenden Faktor auf der Grundlage einer Verhaltenshistorie eines Fahrers des autonomen Fahrzeugs erzeugt. Das Eskalationsmodul ist so konfiguriert, dass es ein Eskalationssignal zur Warnung des Fahrers auf der Grundlage des intelligenten Eskalationsfaktors und des verhaltensdisziplinierenden Faktors, eines Fahreraufmerksamkeitslevels und einer Geschwindigkeit des Fahrzeugs erzeugt.
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale enthält das Fahrzeug ferner einen Monitor, der so konfiguriert ist, dass er eine Reaktion des Fahrers auf das Eskalationssignal überwacht, wobei das Fahrerfahrverhaltensaufmerksamkeitsmodul den verhaltensdisziplinierenden Faktor auf der Grundlage der Verhaltenshistorie des Fahrers auf das Eskalationssignal erzeugt. Das Fahrzeug enthält ferner mindestens einen Verkehrszustandsprozessor, einen Wettersensor und einen Beleuchtungssensor zur Anzeige des äußeren Zustands an das Außenzustandserkennungsmoduls. Das Fahrzeug enthält ferner einen Eskalationsschwellenmultiplikator, der so konfiguriert ist, dass er das Eskalationssignal erzeugt, indem er ein Produkt aus dem intelligenten Eskalationsfaktor und dem verhaltensdisziplinierenden Faktor sowie der Geschwindigkeit des Fahrzeugs bildet. Der Eskalationsschwellenmultiplikator multipliziert eine Schwelle zur Erzeugung des Fahrereskalationssignals am Eskalationsmodul mit dem Produkt aus dem intelligenten Eskalationsfaktor und dem verhaltensdisziplinierenden Faktor, wobei die Eskalationsschwelle eine Funktion der Geschwindigkeit des Fahrzeugs ist. Das Außenzustandserkennungsmoduls aktualisiert den intelligenten Eskalationsfaktor und das Fahrerfahrverhaltensaufmerksamkeitsmodul aktualisiert den verhaltensdisziplinierenden Faktor auf periodischer Basis.
Die oben genannten Merkmale und Vorteile sowie andere Merkmale und Vorteile der Offenbarung sind aus der folgenden detaillierten Beschreibung leicht ersichtlich, wenn sie in Verbindung mit den beigefügten Zeichnungen aufgenommen werden.
Figurenliste
Weitere Merkmale, Vorteile und Details erscheinen nur beispielhaft in der folgenden ausführlichen Beschreibung, wobei sich die ausführliche Beschreibung auf die Zeichnungen bezieht, in denen:

1 ein Fahrzeug gemäß einer Ausführungsform zeigt;
2 ein Armaturenbrett für das Fahrzeug aus 1 in einer Ausführungsform zeigt;
3 eine schematische Darstellung eines Eskalationssteuerungssystems zur Durchführung einer Eskalationsstrategie zeigt;
4 ein Diagramm zeigt, das Einzelheiten der Funktionsweise des Eskalationssteuerungssystems, eines Verkehrszustandsprozessors, eines Wettersensors und eines Beleuchtungssensors veranschaulicht;
5 ein Blockdiagramm ist, das verschiedene Komponenten des Eskalationssteuerungsmoduls in einer Ausführungsform zeigt;
6 ein Flussdiagramm zeigt, das ein Verfahren zur Steuerung eines Eskalationsprozesses in einer Ausführungsform veranschaulicht; und
7 ein Flussdiagramm zeigt, das ein Verfahren zur Steuerung eines Eskalationsprozesses in einer Ausführungsform veranschaulicht.

DETAILLIERTE BESCHREIBUNG
Die folgende Beschreibung hat lediglich beispielhaften Charakter und soll die vorliegende Offenbarung, ihre Anwendung oder ihren Gebrauch nicht einschränken. Es ist zu verstehen, dass in den Zeichnungen durchgehend entsprechende Referenzziffern auf gleiche oder entsprechende Teile und Merkmale hinweisen. Wie hier verwendet, bezieht sich der Begriff Modul auf Verarbeitungsschaltungen, die eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder gruppiert) und Speicher, der ein oder mehrere Software- oder Firmware-Programme ausführt, eine kombinierte Logikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen, umfassen können.
Entsprechend einer beispielhaften Ausführungsform zeigt 1 ein Fahrzeug 10. In einer beispielhaften Ausführungsform ist das Fahrzeug 10 ein Fahrzeug mit Teilautomatisierung oder bedingter Automatisierung. In verschiedenen Ausführungsformen enthält das Fahrzeug 10 mindestens ein Fahrerassistenzsystem sowohl für die Lenkung als auch für die Beschleunigung/Verzögerung, das Informationen über die Fahrumgebung nutzt, wie z.B. adaptive Geschwindigkeitsregelung und Spurführung. Während der Fahrer von der physischen Bedienung des Fahrzeugs 10 abgekoppelt werden kann, indem er gleichzeitig die Hände vom Lenkrad und den Fuß vom Pedal nimmt, muss der Fahrer bereit sein, die Kontrolle über das Fahrzeug zu übernehmen.
Das Fahrzeug 10 enthält ein zugehöriges Trajektorieplanungssystem 100, das im Allgemeinen in verschiedenen Ausführungsformen gezeigt wird. Im Allgemeinen bestimmt das Trajektorieplanungssystem 100 einen Trajektorienplan für das automatisierte Fahren des Fahrzeugs 10. Das Fahrzeug 10 umfasst im Allgemeinen ein Fahrgestell 12, eine Karosserie 14, Vorderräder 16 und Hinterräder 18. Die Karosserie 14 ist auf dem Fahrgestell 12 angeordnet und umschließt im wesentlichen Komponenten des Fahrzeugs 10. Die Karosserie 14 und das Fahrgestell 12 können gemeinsam einen Rahmen bilden. Die Räder 16 und 18 sind jeweils in der Nähe der jeweiligen Ecken der Karosserie 14 mit dem Fahrgestell 12 drehgekoppelt.
Wie gezeigt, umfasst das Fahrzeug 10 im Allgemeinen ein Antriebssystem 20, ein Getriebesystem 22, ein Lenksystem 24, ein Bremssystem 26, ein Sensorsystem 28, ein Aktuatorsystem 30, eine Datenspeichervorrichtung 32, eine Steuerung 34 und ein Kommunikationssystem 36. Das Antriebssystem 20 kann in verschiedenen Ausführungsformen einen Verbrennungsmotor, eine elektrische Maschine wie z.B. einen Traktionsmotor und/oder ein Brennstoffzellenantriebssystem umfassen. Das Getriebesystem 22 ist so konfiguriert, dass es die Leistung vom Antriebssystem 20 auf die Fahrzeugräder 16 und 18 entsprechend wählbarer Geschwindigkeitsverhältnisse überträgt. Je nach verschiedenen Ausführungsformen kann das Getriebesystem 22 ein Stufenautomatikgetriebe, ein stufenloses Getriebe oder ein anderes geeignetes Getriebe umfassen. Das Bremssystem 26 ist so konfiguriert, dass es Bremsmoment an die Fahrzeugräder 16 und 18 abgibt. Das Bremssystem 26 kann in verschiedenen Ausführungsformen Reibungsbremsen, Brake-by-Wire, ein regeneratives Bremssystem, wie z.B. eine elektrische Maschine, und/oder andere geeignete Bremssysteme umfassen. Das Lenksystem 24 beeinflusst die Stellung der Fahrzeugräder 16 und 18. Obwohl zur Veranschaulichung ein Lenkrad 25 dargestellt wird, kann das Lenksystem 24 in einigen Ausführungsformen, die im Rahmen dieser Offenbarung in Betracht gezogen werden, kein Lenkrad enthalten.
Das Sensorsystem 28 umfasst eine oder mehrere Sensorvorrichtungen 40a-40n, die beobachtbare Bedingungen der äußeren Umgebung und/oder der inneren Umgebung des Fahrzeugs erfassen 10. Die Sensorvorrichtungen 40a-40n können unter anderem Radare, Lidare, globale Positionierungssysteme, optische Kameras, Wärmebildkameras, Ultraschallsensoren und/oder andere Sensoren zur Beobachtung und Messung von Parametern der äußeren Umgebung umfassen. Die Sensorvorrichtungen 40a-40n können ferner Bremssensoren, Lenkwinkelsensoren, Radgeschwindigkeitssensoren usw. zur Beobachtung und Messung fahrzeuginterner Parameter des Fahrzeugs umfassen. Die Kameras können zwei oder mehrere Digitalkameras umfassen, die in einem ausgewählten Abstand voneinander angeordnet sind, wobei die zwei oder mehreren Digitalkameras dazu verwendet werden, stereoskopische Bilder der Umgebung zu erhalten, um ein dreidimensionales Bild zu erhalten. Die Sensorvorrichtungen 40a-40n können ferner Kameras und Monitore umfassen, die den Fahrer beobachten und dem Fahrzeug einen Hinweis auf den Zustand des Fahrers geben 10. Das Aktuatorsystem 30 umfasst eine oder mehrere Aktuatorvorrichtungen 42a-42n, die ein oder mehrere Fahrzeugmerkmale steuern, wie z.B., aber nicht beschränkt auf, das Antriebssystem 20, das Getriebesystem 22, das Lenksystem 24 und das Bremssystem 26. In verschiedenen Ausführungsformen können die Fahrzeugmerkmale darüber hinaus innere und/oder äußere Fahrzeugmerkmale umfassen, wie z.B., aber nicht beschränkt auf, Türen, einen Kofferraum und Kabinenmerkmale wie Luft, Musik, Beleuchtung usw. (nicht nummeriert).
Die Steuerung 34 umfasst einen Prozessor 44 und ein computerlesbares Speichergerät oder -medium 46. Bei dem Prozessor 44 kann es sich um einen beliebigen kundenspezifischen oder handelsüblichen Prozessor, eine zentrale Prozessoreinheit (CPU), eine Graphikverarbeitungseinheit (GPU), einen Hilfsprozessor unter mehreren mit der Steuerung 34 verbundenen Prozessoren, einen Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chipsatzes), einen Makroprozessor, eine beliebige Kombination davon oder allgemein eine beliebige Vorrichtung zur Ausführung von Befehlen handeln. Das computerlesbare Speichergerät oder die computerlesbaren Speichermedien 46 können z.B. flüchtige und nichtflüchtige Speicherung in Nur-Lesespeicher (ROM), Direktzugriffsspeicher (RAM) und Keep-Alive-Speicher (KAM) enthalten. KAM ist ein persistenter oder nichtflüchtiger Speicher, der zur Speicherung verschiedener Betriebsvariablen verwendet werden kann, während der Prozessor 44 abgeschaltet ist. Das computerlesbare Speichergerät oder -medium 46 kann unter Verwendung eines beliebigen aus einer Reihe bekannter Speichergeräte wie PROMs (programmierbarer Nur-Lesespeicher), EPROMs (elektrischer PROM), EEPROMs (elektrisch löschbarer PROM), Flash-Speicher oder jedes anderen elektrischen, magnetischen, optischen oder kombinierten Speichergeräts implementiert werden, das in der Lage ist, Daten zu speichern, von denen einige ausführbare Befehle darstellen, die von der Steuerung 34 bei der Steuerung des Fahrzeugs 10 verwendet werden.
Die Anweisungen können ein oder mehrere separate Programme umfassen, von denen jedes eine geordnete Auflistung ausführbarer Anweisungen zur Implementierung logischer Funktionen enthält. Wenn die Anweisungen vom Prozessor 44 ausgeführt werden, empfangen und verarbeiten sie Signale vom Sensorsystem 28, führen Logik, Berechnungen, Verfahren und/oder Algorithmen zur automatischen Steuerung der Komponenten des Fahrzeugs 10 aus und erzeugen Steuersignale für das Aktuatorsystem 30, um die Komponenten des Fahrzeugs 10 auf der Grundlage der Logik, Berechnungen, Verfahren und/oder Algorithmen automatisch zu steuern. Obwohl in 1 nur eine Steuerung 34 dargestellt ist, können Ausführungsformen des Fahrzeugs 10 eine beliebige Anzahl von Steuerungen enthalten, die über ein geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und die zusammenarbeiten, um die Sensorsignale zu verarbeiten, Logik, Berechnungen, Verfahren und/oder Algorithmen durchzuführen und Steuersignale zur automatischen Steuerung von Merkmalen des Fahrzeugs 10 zu erzeugen. In verschiedenen Ausführungsformen sind ein oder mehrere Befehle der Steuerung 34 im Trajektorieplanungssystem 100 verkörpert und erzeugen bei Ausführung durch den Prozessor 44 eine Trajektorieausgabe. Die Instruktionen können ferner eine oder mehrere Instruktionen zur Durchführung einer intelligenten Eskalationsstrategie enthalten, die auf verschiedenen externen Parametern und einem Verhalten oder einer Aufmerksamkeit eines Fahrers basiert, wie hierin diskutiert.
Das Fahrzeug 10 verfügt außerdem über ein Fahrerüberwachungssystem 50, das einen Fahreraufmerksamkeitszustand zur Steuerung einer Eskalationsstrategie in Bezug auf einen Fahrer oder Insassen bietet. Das Fahrerüberwachungssystem 50 kann entweder ein Prozess sein, der in der Steuerung 34 arbeitet, oder ein separates Modul, die Eskalationsstrategie kann in der Steuerung 34 liegen, wie in 1 dargestellt.
Das Kommunikationssystem 36 ist so konfiguriert, dass es drahtlos Informationen zu und von anderen Entitäten 48 übermittelt, wie z.B., aber nicht beschränkt auf, andere Fahrzeuge („V2V“-Kommunikation), Infrastruktur („V2I“-Kommunikation), entfernte Systeme und/oder persönliche Geräte. In einer beispielhaften Ausführungsform ist das Kommunikationssystem 36 ein drahtloses Kommunikationssystem, das so konfiguriert ist, dass es über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung des IEEE 802.11 -Standards oder unter Verwendung zellularer Datenkommunikation kommuniziert. Zusätzliche oder alternative Kommunikationsverfahren, wie z.B. ein dedizierter Nahbereichskommunikationskanal (DSRC-Kanal), werden jedoch auch im Rahmen dieser Offenbarung in Betracht gezogen. DSRC-Kanäle beziehen sich auf einseitige oder zweiseitige drahtlose Kommunikationskanäle mit kurzer bis mittlerer Reichweite, die speziell für den Einsatz in Kraftfahrzeugen entwickelt wurden, sowie auf einen entsprechenden Satz von Protokollen und Standards. Das Kommunikationssystem 36 kann zum Empfang von Informationen wie z.B. hochauflösenden Karten verwendet werden, bei denen Crowdsourcing-GPS-Daten und Daten, die mit Hilfe von Präzisions-LiDAR-Überwachungstechniken gewonnen werden, verwendet werden.
2 zeigt ein Armaturenbrett 200 für das Fahrzeug 10 in einer Ausführungsform. Das Armaturenbrett 200 enthält das Lenkrad 25 und eine Warnvorrichtung 202 zur eskalierenden Steuerung des Fahrzeugs 10 für den Fahrer. Die Warnvorrichtung 202 kann verschiedene Alarme, Leuchten, haptische Schnittstellen usw. enthalten, um den Fahrer zu warnen oder den Fahrer auf das Fahrzeug 10 aufmerksam zu machen. Das Armaturenbrett 200 enthält ferner einen Fahrermonitor 204 zur Bestimmung des Bewusstseins oder der Aufmerksamkeit des Fahrers, einschließlich der Fähigkeit des Fahrers, auf Warnsignale der Warnvorrichtung 202 zu reagieren. Der Fahrermonitor 204 kann verschiedene Eingabegeräte enthalten, wie z.B. eine Kamera, einen Augenscanner, ein Gesichtserkennungsgerät, einen Biofeedback-Monitor usw. Der Fahrermonitor 204 verfolgt die Augen des Fahrers, um den Aufmerksamkeitszustand oder das Aufmerksamkeitslevel eines Fahrers in Bezug auf die umgebenden Straßenbedingungen zu bestimmen.
3 zeigt eine schematische Darstellung eines Eskalationssystems 300 zur Durchführung einer Eskalationsstrategie oder anderweitigen Benachrichtigung des Fahrers über die Notwendigkeit, die Kontrolle über das Fahrzeug zu übernehmen 10. Die Eskalationsstrategie kann das Senden verschiedener Signale und verschiedener Erinnerungssignale, die Änderung der Frequenz der Signale, der Lautstärke oder Intensität der Signale usw. umfassen, um die Aufmerksamkeit des Fahrers zu gewinnen. Falls nach mehreren Eskalationen keine Reaktion des Fahrers erfolgt, kann der „autonome Modus“ das Fahrzeug anhalten 10.
Das Eskalationssystem 300 umfasst ein Eskalationssteuerungssystem 302, das verschiedene Aspekte der Eskalationsstrategie steuert. Das Eskalationssteuerungssystem 302 kann auf Prozessor 44 oder einem separaten Prozessor in verschiedenen Ausführungsformen betrieben werden. Das Eskalationssteuerungssystem 302 erhält verschiedene Parameter als Eingabe und legt auf der Grundlage der Eingabe eine Eskalationsstrategie fest. Zu den Parametern gehören verschiedene externe Parameter bezüglich der Umgebungsbedingungen in der Umgebung des Fahrzeugs und ein oder mehrere Verhaltensparameter, die auf einen Bewusstseinsstand des Fahrers hinweisen, wenn das Fahrzeug im autonomen Modus betrieben wird. Die externen Parameter werden dem Eskalationssteuerungssystem 302 durch mindestens einen Verkehrszustandsprozessor 304, einen Wettersensor 306 und einen Beleuchtungssensor 308 zur Verfügung gestellt. Die Parameter der Fahrverhaltenshistorie des Fahrers werden dem Eskalationssteuerungssystem 302 auf der Grundlage der Eskalationshistorie des Fahrers, die im Eskalationssteuerungssystem gespeichert ist, zur Verfügung gestellt.
Der Verkehrszustandsprozessor 304 verarbeitet Verkehrsdaten bezüglich des Verkehrs in der Umgebung oder in unmittelbarer Nähe des Fahrzeugs an das Eskalationssteuerungssystem 302. Der Verkehrszustandsprozessor 304 kann die Signale aus einer oder mehreren Datenquellen zur Bestimmung des Verkehrszustands verwenden, wie z.B. Radar, Lidar, Fahrspurzentriersteuerung, „V2V“-Kommunikation, hochauflösende Karten, Crowdsourcing-GPS-Daten usw. Zusätzlich oder alternativ kann der Verkehrszustandsprozessor 304 einen Empfänger enthalten, der Verkehrsdaten empfängt, die von einem entfernten Standort an den Verkehrszustandsprozessor 304 übertragen werden.
Der Wettersensor 306 sendet Wetterdaten für das Fahrzeug an das Eskalationssteuerungssystem 302. Der Beleuchtungssensor 308 sendet Lichtzustandsdaten für das Fahrzeug an das Eskalationssteuerungssystem 302. Ähnlich wie der Verkehrszustandsprozessor 304 können der Wettersensor 306 und der Beleuchtungssensor 308 Sensoren und/oder Empfänger sein, die relevante, von einem entfernten Ort übertragene Daten empfangen.
Das Eskalationssteuerungssystem 302 bestimmt die Eskalationsstrategie auf der Grundlage der externen Parameter und der Parameter der Fahrverhaltenshistorie des Fahrers, die im Eskalationssteuerungssystem 302 gespeichert sind. Die Eskalationsstrategie kann sich auf der Grundlage der Art der externen Parameter und der Parameter der Fahrverhaltenshistorie des Fahrers sowie aller Änderungen dieser Parameter ändern. Als Teil der Eskalationsstrategie sendet das Eskalationssteuerungssystem 302 über die Warnvorrichtung 202 ein Eskalationssignal oder Warnsignal an den Fahrer und überwacht über den Fahrermonitor 204 das Verhalten oder die Reaktion des Fahrers auf das Warnsignal. Das Eskalationssteuerungssystem 302 kann die Eskalationsstrategie auf der Grundlage von Änderungen entweder der externen Parameter oder der Parameter der Fahrverhaltenshistorie des Fahrers modifizieren.
4 zeigt ein Diagramm 400, das Einzelheiten der Funktionsweise des Eskalationssteuerungssystems 302, des Verkehrszustandsprozessors 304, des Wettersensors 306 und des Beleuchtungssensors 308 veranschaulicht. Der Verkehrszustandsprozessor 304 erhält verschiedene Eingaben über den Verkehrszustand, die sowohl den Zustand der umgebenden Fahrzeuge als auch den Zustand der kommenden Straßenabschnitte umfassen können. Zum Beispiel kann der Verkehrszustandsprozessor 304 Daten über umliegende oder nahegelegene Zielfahrzeuge oder Zielobjekte empfangen oder bestimmen und so ein Bewusstsein für Objekte in seiner Umgebung schaffen. Zusätzlich kann der Verkehrszustandsprozessor 304 Daten über seinen eigenen Standort auf der Straße erhalten. Ein Sensor für die rechte Fahrspur kann einen Abstand zu einer rechten Fahrbahnmarkierung bestimmen. Ein Sensor für die linke Fahrbahn kann den Abstand zu einer linken Fahrbahnmarkierung bestimmen. Zusätzlich können dem Verkehrszustandsprozessor 304 von einem entfernten Standort aus Straßenmetadaten oder Straßenbedingungen zur Verfügung gestellt werden. Der Verkehrszustandsprozessor 304 sendet dabei einen oder mehrere Verkehrsparameter an das Eskalationssteuerungssystem 302. Beispielsweise kann der Verkehrszustandsprozessor 304 Daten über den Verkehr auf einer Nachbarspur senden. In Bezug auf den Verkehr auf einer Fahrspur links vom Fahrzeug kann ein Wert eines Parameters für den Verkehrszustand auf der linken Nachbarspur aus einem Satz wie z.B. {viel, leichter, kein Verkehr} ausgewählt werden. In Bezug auf den Verkehr auf einer Fahrspur rechts vom Fahrzeug kann ein Wert eines Parameters für den Verkehrszustand der rechten Nachbarspur aus einem Satz wie z. B. {viel, leichter, kein Verkehr} ausgewählt werden. Auf der Grundlage der Abstände zu den linken und rechten Fahrbahnmarkierungen kann ein Wert eines Fahrbahnsteuerungsparameters OK-Parameters aus einem binären Satz von {Wahr, Falsch} ausgewählt werden. Auf der Grundlage der Straßenmetadaten oder Straßenzustände aus hochauflösenden Karten, Crowdsourcing-GPS-Daten usw. kann ein Wert eines Vorausverkehrszustandsparameters aus einem Satz wie {viel, leichter, Baustelle/Hindernis/Schlagloch, Ausgang/Eingang, kein Verkehr} ausgewählt werden. Die hier besprochenen Sätze und Parameter dienen der Veranschaulichung und sind nicht als eine Einschränkung der Erfindung gedacht.
Der Wettersensor 306 kann einen Wetterzustandsparameter an das Eskalationssteuerungssystem 302 senden. Beispielhafte Werte des Wetterzustandsparameters können aus einem Satz wie {Klarwetter, Nebel, Schnee, Regen} ausgewählt werden. Der Beleuchtungssensor 308 kann einen Beleuchtungszustandsparameter an das Eskalationssteuerungssystem 302 senden. Beispielhafte Werte des Beleuchtungszustandsparameters können aus einem Satz wie {unbekannt, Tag, Morgendämmerung/Abenddämmerung, vor der Morgendämmerung /nach der Abenddämmerung; Nacht/beleuchtet, Nacht/unbeleuchtet} ausgewählt werden. Zusätzlich können Beleuchtungsdaten von einem lokalen Beleuchtungssensor am Eskalationssteuerungssystem 302 empfangen werden. Die hier besprochenen Sätze und Parameter dienen der Veranschaulichung und sollen keine Einschränkung der Erfindung darstellen.
5 ist ein Blockdiagramm 500, das verschiedene Komponenten des Eskalationssteuerungssystems 302 in einer Ausführungsform zeigt. Das Eskalationssteuerungssystem 302 umfasst ein nichtintelligentes Eskalationsmodul 502 einschließlich eines Fahreraufmerksamkeitseskalationsmoduls 504und eines Fehlereskalationsmoduls 506. Das Fehlereskalationsmodul 506 kann verschiedene Fehlersignale von verschiedenen Diagnosegeräten empfangen, zu denen Sensoren, OnStar-Kommunikation, Fahrerüberwachungssysteme, GPS-Daten und Kartendaten gehören. Liegt ein Fehlersignal vor, deaktiviert das Eskalationssteuerungssystem 302 den autonomen Modus des Fahrzeugs, und das Fehlereskalationsmodul 506 sendet eine Eskalationsanfrage an das Fahreraufmerksamkeitseskalationsmodul 504. Das Fahreraufmerksamkeitseskalationsmodul 504 empfängt die Eskalationsanfrage und einen Fahreraufmerksamkeitszustand und sendet über die Warneinrichtung 202 ein Eskalationssignal oder ein Warnsignal an den Fahrer und fordert diesen auf, die Kontrolle über das Fahrzeug zu übernehmen.
Das Eskalationssteuerungssystem 302 umfasst ferner ein Außenzustandsinterpretationsmodul 508, ein Fahrerfahrverhaltensaufmerksamkeitsmodul 510 und einen Eskalationsschwellenmultiplikator 512. Das Außenzustandsinterpretationsmodul 508 empfängt die externen Parameter (d.h. Verkehrszustandsparameter, Wetterzustandsparameter, Beleuchtungsparameter) und interpretiert und generiert einen intelligenten Eskalationsfaktor (λ_E). In verschiedenen Ausführungsformen werden die externen Parameter in eine Interpretationsmatrix abgelegt und Berechnungen auf der Interpretationsmatrix durchgeführt, um den intelligenten Eskalationsfaktor zu generieren (λ_E). Die Matrix kann eine Fuzzy-Logik-Matrix sein. Das Außenzustandsinterpretationsmodul 508 empfängt die externen Parameter auf periodischer Basis (z.B. einmal pro Sekunde) und gibt auf periodischer Basis einen entsprechenden intelligenten Eskalationsfaktor aus.
Das Fahrerfahrverhaltensaufmerksamkeitsmodul 510 beobachtet über den Fahrermonitor 204 eine Reaktion oder Aufmerksamkeit des Fahrers auf das Eskalationssignal oder Warnsignal und speichert den Fahrerfahrverhaltenshistorienparameter für eine Fahrt oder eine Zeitdauer für das Fahren des Fahrzeugs. Das Fahrerfahrverhaltensaufmerksamkeitsmodul 510 kann eine Gesichtsidentifikation 514 des Fahrers empfangen, um das Fahrerverhalten mit dem früheren Verhalten des Fahrers zu identifizieren. Die Gesichtserkennungssoftware kann ferner dazu verwendet werden, die Aufmerksamkeit des Fahrers zu bestimmen. Das Fahrerfahrverhaltensaufmerksamkeitsmodul 510 empfängt die Fahrerfahrverhaltenshistorienparameter, wie z.B. das Fahrteskalationssignal und eine im System gespeicherte Fahrteskalationszählung, sowie Daten bezüglich des Aufmerksamkeitslevels des Fahrers vom Fahrermonitor 204 und bestimmt aus diesen Daten einen verhaltensdisziplinierenden Faktor (λ_D).
Der Eskalationsschwellenmultiplikator-Konstruktor 512 erhält sowohl den intelligenten Eskalationsfaktor (λ_E) als auch den verhaltensdisziplinierenden Faktor (λ_D) und bestimmt einen Eskalationsschwellenmultiplikator 513, der dem Fahreraufmerksamkeitseskalationsmodul 504 zur Verfügung gestellt werden kann, um den Betrieb des nicht-intelligenten Eskalationsmoduls 502 zu beeinflussen. In verschiedenen Ausführungsformen ist der Eskalationsschwellenmultiplikator 513 ein Produkt des intelligenten Eskalationsfaktors und des verhaltensdisziplinierenden Faktors (z.B. λ_E × λ_D).
Der Eskalationsschwellenmultiplikator kann eine Zahl innerhalb eines geeigneten Bereichs sein. In verschiedenen Ausführungsformen könnte der intelligente Eskalationsfaktor zwischen 0,1 und 16 liegen. In ähnlicher Weise kann der verhaltensdisziplinierende Faktor λ_D eine Zahl innerhalb eines geeigneten Bereichs sein, wie z.B. 0 und 1. Daher ist der Eskalationsschwellenmultiplikator 513 im Allgemeinen eine Zahl zwischen 0,1 und 16. Der Eskalationsschwellenmultiplikator 513 wird beim Fahreraufmerksamkeitseskalationsmodul 504 eingesetzt, um den Eskalationsprozess zu modifizieren.
Das Fahreraufmerksamkeitseskalationsmodul 504, das Fahrerfahrverhaltensaufmerksamkeitsmodul 510 und der Eskalationsschwellenmultiplikator-Konstruktor 512 liefern sich gegenseitig Informationen in einer Schleife. Eine Reaktion auf das Eskalationssignal vom Fahreraufmerksamkeitseskalationsmodul 504 wird am Fahrerfahrverhaltensaufmerksamkeitsmodul 510 beobachtet, das den verhaltensdisziplinierenden Faktor erzeugt. Der verhaltensdisziplinierende Faktor wird in den Eskalationsschwellenmultiplikator-Konstruktor 512 eingegeben, der den Eskalationsschwellenmultiplikator 513 erzeugt. Der Eskalationsschwellenmultiplikator 513 wird verwendet, um das Fahreraufmerksamkeitseskalationsmodul 504 zu steuern und dadurch den Eskalationsprozess zu kontrollieren.
6 zeigt ein Flussdiagramm 600 eines Prozesses zur Fahreraufmerksamkeitseskalation, der im Allgemeinen im Fahreraufmerksamkeitseskalationsmodul 504 von 5 durchgeführt wird. In Kasten 602 wird dem Fahreraufmerksamkeitseskalationsmodul 504 vom Fahrermonitor 204 der Fahreraufmerksamkeitsstatus angezeigt. Der Fahreraufmerksamkeitsstatus kann einer von drei möglichen Zuständen sein: „Auf der Straße“ (Kasten 604), „Abseits der Straße“ (Kasten 606) und „Unbekannt“ (Kasten 616). Der Zustand „Auf der Straße“ zeigt an, dass der Fahrer den Fortschritt des Fahrzeugs aktiv überwacht. Der Zustand „Abseits der Straße“ zeigt an, dass der Fahrer abgelenkt oder schläfrig ist oder schläft. Der Zustand „Unbekannt“ deutet auf eine Fehlfunktion der Sensoren zur Verfolgung des Fahrers hin, wie z.B. ein Eye-Tracking-Gerät aufgrund von Problemen mit der Kamerahardware oder dem Steuermodul oder beidem.
Wenn der Fahreraufmerksamkeitsstatus „Auf der Straße“ (Kasten 604) ist, wird kein Eskalationssignal ausgegeben. Wenn der Fahreraufmerksamkeitsstatus „Abseits der Straße“ (Kasten 606) ist, wird ein Verzögerungszeitgeber gestartet. In Kasten 608 wird der Zeitgeber mit der endgültigen Eskalationsschwelle verglichen. Wenn der Zeitgeber unter dem endgültigen Eskalationsschwellenwert liegt, wird das Verfahren in Kasten 608 zurückgeführt, wodurch der Zeitgeber kontinuierlich überwacht wird. Wenn der Zeitgeber größer oder gleich der endgültigen Eskalationsschwelle ist, wird in Kasten 610 ein Eskalationsprozess gestartet und eine Warnmeldung an den Fahrer gesendet, um seine Aufmerksamkeit wieder auf die Straße zu lenken. Die endgültige Eskalationsschwelle kann mit verschiedenen Parametern eingestellt werden. In Kasten 612 wird eine Geschwindigkeit 613 des Fahrzeugs empfangen und eine Verzögerungsschwelle auf der Grundlage der Geschwindigkeit des Fahrzeugs berechnet. In Kasten 614 wird der Eskalationsschwellenmultiplikator 513 mit der Verzögerungsschwelle multipliziert, um die endgültige Eskalationsschwelle zu erhalten, die dann in Kasten 608 verwendet wird, um zu kontrollieren, wann der Eskalationsprozess gestartet wird.
Wenn der Fahreraufmerksamkeitszustand „Unbekannt“ ist, kann ein Standard-Fehlereskalationsverfahren aktiviert werden.
7 zeigt ein Flussdiagramm 700, das ein Verfahren zur Steuerung eines Eskalationsprozesses in einer Ausführungsform veranschaulicht. In Kasten 702 wird ein intelligenter Eskalationsfaktor auf der Grundlage externer Parameter wie Verkehrsbedingungen, Wetterbedingungen und Umgebungslichtverhältnisse bestimmt. In Kasten 704 wird ein verhaltensdisziplinierender Faktor auf der Grundlage der Fahrverhaltenshistorie des Fahrers berechnet. Die Fahrverhaltenshistorie des Fahrers wird verwendet, um zu verhindern oder zu reduzieren, dass der Fahrer die Modi Teilautomatisierung oder bedingte Automatisierung des Fahrzeugs falsch gebraucht. In Kasten 706 wird auf der Grundlage des intelligenten Eskalationsfaktors und des verhaltensdisziplinierenden Faktors ein Eskalationsschwellenmultiplikator berechnet.
In Kasten 710 wird die Eskalationsstrategie auf der Grundlage des in Kasten 706 ermittelten Eskalationsschwellenmultiplikators eskaliert, indem der Eskalationsschwellenmultiplikator auf den Betrieb des nichtintelligenten Eskalationsmoduls 502 angewendet wird, wobei die Fahrzeuggeschwindigkeit berücksichtigt wird. In Kasten 712 wird das Verhalten, die Aufmerksamkeit oder die Reaktionsfähigkeit des Fahrers auf das Eskalationssignal überwacht und aufgezeichnet. In Kasten 714 bestimmt das Verfahren, ob der Fahrer die Kontrolle über das Fahrzeug übernommen hat. Wenn ja, dann fährt das Verfahren mit Kasten 716 fort, wo das Verfahren endet. Wenn nein, kehrt das Verfahren zu den Feldern 702 und 704 zurück, um aktualisierte Werte des intelligenten Eskalationsfaktors und des verhaltensdisziplinierenden Faktors zu bestimmen. Wenn der Fahrer nicht reagiert, kann das Fahrzeug in einem autonomen Modus arbeiten, um abzuschalten, indem es z.B. an einen Straßenrand fährt und abschaltet.
Während die obige Offenbarung unter Bezugnahme auf beispielhafte Ausführungsformen beschrieben wurde, wird es von den Fachleuten verstanden werden, dass verschiedene Änderungen vorgenommen werden können und Elemente davon durch Äquivalente ersetzt werden können, ohne von ihrem Anwendungsbereich abzuweichen. Darüber hinaus können viele Änderungen vorgenommen werden, um eine bestimmte Situation oder ein bestimmtes Material an die Lehren der Offenbarung anzupassen, ohne von ihrem wesentlichen Anwendungsbereich abzuweichen. Es ist daher beabsichtigt, dass die vorliegende Offenbarung nicht auf die einzelnen offenbarten Ausführungsformen beschränkt ist, sondern alle Ausführungsformen einschließt, die in ihren Umfang fallen.

Claims

Verfahren zum Betreiben eines autonomen Fahrzeugs, umfassend: Bestimmen eines intelligenten Eskalationsfaktors basierend auf einem äußeren Zustand einer Umgebung des autonomen Fahrzeugs; Erzeugen eines verhaltensdisziplinierenden Faktors basierend auf einer Verhaltenshistorie eines Fahrers des autonomen Fahrzeugs; und Erzeugen eines Eskalationssignals zur Warnung des Fahrers basierend auf dem intelligenten Eskalationsfaktor und dem verhaltensdisziplinierenden Faktor, einem Fahreraufmerksamkeitslevel und einer Geschwindigkeit des Fahrzeugs.
Verfahren nach Anspruch 1, ferner umfassend das Überwachen einer Reaktion des Fahrers auf das Eskalationssignal und das Erzeugen des verhaltensdisziplinierenden Faktors basierend auf der Verhaltenshistorie des Fahrers auf das Eskalationssignal.
Verfahren von Anspruch 1, ferner umfassend das Erzeugen des Eskalationssignals durch Bilden eines Produkts aus dem intelligenten Eskalationsfaktor und dem verhaltensdisziplinierenden Faktor.
Verfahren von Anspruch 1, ferner umfassend das Aktualisieren des intelligenten Eskalationsfaktors und des verhaltensdisziplinierenden Faktors auf einer periodischen Basis.
Verfahren des Anspruchs 1, ferner umfassend das Betreiben des autonomen Fahrzeugs zur Abschaltung, wenn der Fahrer nicht auf das Eskalationssignal reagiert.
System zum Betreiben eines autonomen Fahrzeugs, umfassend: ein Außenzustandserkennungsmodul, das auf einem Prozessor betreibbar und so konfiguriert ist, dass es einen intelligenten Eskalationsfaktor basierend auf einem externen Zustand einer Umgebung des autonomen Fahrzeugs bestimmt; ein Fahrerfahrverhaltensaufmerksamkeitsmodul, das auf dem Prozessor betreibbar und so konfiguriert ist, dass es einen verhaltensdisziplinierenden Faktor basierend auf einer Verhaltenshistorie eines Fahrers des autonomen Fahrzeugs erzeugt; und ein Eskalationsmodul, das auf dem Prozessor betreibbar und so konfiguriert ist, dass es ein Eskalationssignal erzeugt, um den Fahrer zu warnen, basierend auf dem intelligenten Eskalationsfaktor und dem verhaltensdisziplinierenden Faktor, einem Aufmerksamkeitslevel des Fahrers und einer Geschwindigkeit des Fahrzeugs.
System nach Anspruch 6, ferner einen umfassend einen Monitor, der so konfiguriert ist, dass er eine Reaktion des Fahrers auf das Eskalationssignal überwacht, wobei das Fahreraufmerksamkeitsmodul den verhaltensdisziplinierenden Faktor basierend auf der Verhaltenshistorie des Fahrers auf das Eskalationssignal erzeugt.
System von Anspruch 6, ferner umfassend einen Eskalationsschwellenmultiplikator, der so konfiguriert ist, dass er das Eskalationssignal erzeugt, indem er ein Produkt aus dem intelligenten Eskalationsfaktor und dem verhaltensdisziplinierenden Faktor bildet.
System von Anspruch 6, wobei das Außenzustandserkennungsmodul den intelligenten Eskalationsfaktor und das Fahrerfahrverhaltensaufmerksamkeitsmodul den verhaltensdisziplinierenden Faktor auf periodischer Basis aktualisiert.
System nach Anspruch 6, wobei der Prozessor ferner so konfiguriert ist, dass er das autonome Fahrzeug so steuert, dass es abschaltet, wenn der Fahrer für eine vorgegebene Zeitspanne nach mehreren inkrementellen Warnstufen nicht auf das Eskalationssignal reagiert.