DE102021109360A1

DE102021109360A1 - Systeme und verfahren zur erkennung der absicht von spurmanövern

Info

Publication number: DE102021109360A1
Application number: DE102021109360.0A
Authority: DE
Inventors: Ningsheng Qiao; Stanley J. Modjeski; Dalia I. Karana; Christopher A. Kinser
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2020-09-18
Filing date: 2021-04-14
Publication date: 2022-03-24
Also published as: US20220089163A1; CN114194190A; US11535253B2

Abstract

In verschiedenen Ausführungsformen werden Verfahren, Systeme und Fahrzeuge zur Steuerung eines Fahrzeugs bereitgestellt. In einer beispielhaften Ausführungsform umfasst ein Verfahren: Überwachen eines Blicks eines Fahrers des Fahrzeugs; Überwachen der aktuellen Verkehrsbedingungen in der Umgebung des Fahrzeugs; Vorhersagen einer Absicht des Fahrers, ein Spurwechselmanöver durchzuführen, basierend auf dem Blick, einer Historie des Blicks des Fahrers und den aktuellen Verkehrsbedingungen; und Steuern des Fahrzeugs durch den Prozessor basierend auf der vorhergesagten Absicht des Fahrers, ein Spurwechselmanöver durchzuführen.

Description

TECHNISCHES GEBIET
Das technische Gebiet bezieht sich im Allgemeinen auf das Gebiet Bereich der Fahrzeuge und im Speziellen auf Verfahren und Systeme zur Erkennung von Absichten eines Fahrers, ein Spurwechselmanöver durchzuführen.
Techniken der künstlichen Intelligenz können verwendet werden, um den Blick eines Fahrers zu verfolgen. Beim Fahren schaut ein Fahrer normalerweise in bestimmte Richtungen, um zu sehen, ob die Straße frei von Hindernissen ist, bevor er in diese Richtung fährt. Daher kann der Blick eines Fahrers verwendet werden, um die Absicht des Fahrers zu bestimmen, ein Fahrmanöver durchzuführen.
Dementsprechend ist es wünschenswert, computergestützte Verfahren und Systeme bereitzustellen, die den Blick eines Fahrers zur Vorhersage der Fahrerabsicht verwenden. Darüber hinaus werden weitere wünschenswerte Merkmale und Eigenschaften der vorliegenden Erfindung aus der nachfolgenden detaillierten Beschreibung der Erfindung und den beigefügten Ansprüchen ersichtlich, die in Verbindung mit den beigefügten Zeichnungen und diesem Hintergrund der Erfindung genommen werden.
ZUSAMMENFASSUNG
In Übereinstimmung mit einer beispielhaften Ausführungsform wird ein Verfahren zur Steuerung eines Fahrzeugs bereitgestellt. Das Verfahren umfasst: Überwachen eines Blicks eines Fahrers des Fahrzeugs; Überwachen der aktuellen Verkehrsbedingungen in der Umgebung des Fahrzeugs; Vorhersagen einer Absicht des Fahrers, ein Spurwechselmanöver durchzuführen, basierend auf dem Blick, einer Historie des Blicks des Fahrers und den aktuellen Verkehrsbedingungen; und Steuern des Fahrzeugs durch den Prozessor basierend auf der vorhergesagten Absicht des Fahrers, ein Spurwechselmanöver durchzuführen.
In verschiedenen Ausführungsformen umfasst das Verfahren das Erhalten eines Kamerabildes des Fahrers des Fahrzeugs über eine Kamera des Fahrzeugs, und wobei die Überwachung des Blicks auf dem Kamerabild basiert.
In verschiedenen Ausführungsformen umfasst das Überwachen des Blicks das Zählen einer Anzahl von Augenwechseln des Fahrers von einer ersten Richtung auf der Straße zu einer zweiten Richtung eines Seitenspiegels, und wobei die Vorhersage der Absicht des Fahrers, ein Spurwechselmanöver durchzuführen, auf der Anzahl basiert. In verschiedenen Ausführungsformen umfasst das Überwachen des Blicks das Akkumulieren einer Fokuszeit des Blicks auf einen Seitenspiegel, und wobei die Vorhersage der Absicht des Fahrers, das Spurwechselmanöver durchzuführen, auf der akkumulierten Fokuszeit basiert.
In verschiedenen Ausführungsformen umfasst das Verfahren das Lernen des Verlaufs des Blicks und der vorhergesagten Absicht des Fahrers sowie die Vorhersage zukünftiger Absichten des Fahrers auf der Grundlage des Verlaufs des Blicks.
In verschiedenen Ausführungsformen umfasst das Verfahren das Bestätigen der vorhergesagten Absicht des Fahrers mit dem Fahrer über eine Mensch-Maschine-Schnittstelle.
In verschiedenen Ausführungsformen umfasst das Fahrspurwechselmanöver mindestens einen von einem linken Fahrspurwechsel und einem rechten Fahrspurwechsel. In verschiedenen Ausführungsformen umfassen die Verkehrsbedingungen, wobei die Verkehrsbedingungen eine angrenzende Fahrspur umfassen, das Aufrechterhalten der Sicherheitsabstände zu allen relevanten Verkehrsteilnehmern und Objekten, und das Positionieren des Fahrzeugs innerhalb eines Sicherheitskorridors, wobei der Sicherheitskorridor obere und untere Grenzen definiert, die mit einer Längsposition eines Spurwechselmanövers verbunden sind.
In verschiedenen Ausführungsformen umfasst das Spurwechselmanöver einen Überholvorgang. In verschiedenen Ausführungsformen umfassen die Verkehrsbedingungen eine Fahrzeuggeschwindigkeit eines vorderen, in der Spur befindlichen Fahrzeugs und eine Anzahl von Fahrspuren.
In einer anderen beispielhaften Ausführungsform umfasst ein System: ein Fahrerüberwachungssystem, das so konfiguriert ist, dass es Blickdaten des Fahrers erfasst; ein Wahrnehmungssystem, das so konfiguriert ist, dass es Wahrnehmungsdaten erfasst, die mit der Umgebung des Fahrzeugs verbunden sind; und einen Prozessor, der so konfiguriert ist, dass er die Fahrerblickdaten überwacht, um einen Blick eines Fahrers des Fahrzeugs zu bestimmen; die Wahrnehmungsdaten zu überwachen, um aktuelle Verkehrsbedingungen in der Umgebung des Fahrzeugs zu bestimmen; eine Absicht des Fahrers, ein Spurwechselmanöver durchzuführen, auf der Grundlage des Blicks, einer Historie des Blicks und der aktuellen Verkehrsbedingungen vorherzusagen; und das Fahrzeug auf der Grundlage der vorhergesagten Absicht des Fahrers, ein Spurwechselmanöver durchzuführen, zu steuern. In verschiedenen Ausführungsformen ist das Fahrerüberwachungssystem ferner so konfiguriert, dass es über eine Kamera des Fahrzeugs ein Kamerabild des Fahrers des Fahrzeugs erhält, und wobei der Prozessor den Blick auf der Grundlage des Kamerabilds überwacht.
In verschiedenen Ausführungsformen ist der Prozessor so konfiguriert, dass er den Blick überwacht, indem er eine Anzahl von Augenwechseln des Fahrers von einer ersten Richtung auf der Straße in eine zweite Richtung eines Seitenspiegels zählt, und wobei der Prozessor so konfiguriert ist, dass er die Absicht des Fahrers, ein Spurwechselmanöver durchzuführen, basierend auf der Anzahl vorhersagt.
In verschiedenen Ausführungsformen ist der Prozessor so konfiguriert, dass er den Blick überwacht, indem er eine Zeit der Fokussierung des Blicks auf einen Seitenspiegel akkumuliert, und wobei der Prozessor so konfiguriert ist, dass er die Absicht des Fahrers, das Spurwechselmanöver durchzuführen, basierend auf der akkumulierten Zeit der Fokussierung vorhersagt.
In verschiedenen Ausführungsformen ist der Prozessor ferner so konfiguriert, dass er einen Verlauf des Blicks und die vorhergesagte Absicht des Fahrers lernt und zukünftige Absichten des Fahrers auf der Grundlage des Verlaufs des Blicks vorhersagt.
In verschiedenen Ausführungsformen ist der Prozessor außerdem so konfiguriert, dass er die vorhergesagte Absicht des Fahrers mit dem Fahrer über eine Mensch-Maschine-Schnittstelle bestätigt.
In verschiedenen Ausführungsformen umfasst das Fahrspurwechselmanöver mindestens einen von einem linken Fahrspurwechsel und einem rechten Fahrspurwechsel. In verschiedenen Ausführungsformen umfassen die Verkehrsbedingungen, wobei die Verkehrsbedingungen eine angrenzende Fahrspur umfassen, die Sicherheitsabstände zu allen relevanten Verkehrsteilnehmern und Objekten aufrechterhält, und das Fahrzeug innerhalb eines Sicherheitskorridors positioniert ist, wobei der Sicherheitskorridor obere und untere Grenzen definiert, die mit einer Längsposition eines Spurwechselmanövers verbunden sind.
In verschiedenen Ausführungsformen beinhaltet das Spurwechselmanöver einen Überholvorgang. In verschiedenen Ausführungsformen umfassen die Verkehrsbedingungen eine Fahrzeuggeschwindigkeit eines vorderen, in der Spur befindlichen Fahrzeugs und eine Anzahl von Fahrspuren.
Figurenliste
Die vorliegende Offenbarung wird im Folgenden in Verbindung mit den folgenden Zeichnungsfiguren beschrieben, wobei gleiche Ziffern gleiche Elemente bezeichnen, und wobei:

1 ist ein funktionales Blockdiagramm eines Fahrzeugs, das ein Steuersystem zur Vorhersage von Fahrspurwechselmanövern des Fahrers gemäß verschiedenen Ausführungsformen umfasst;
2 ist ein Datenflussdiagramm zur Veranschaulichung des Steuerungssystems zur Vorhersage der Fahrerabsicht bei Spurwechselmanövern gemäß verschiedener Ausführungsformen;
3, 4 und 5 sind Flussdiagramme zur Veranschaulichung von Verfahren zur Vorhersage der Fahrerabsicht bei Spurwechselmanövern gemäß verschiedenen Ausführungsformen; und
6 ist ein Diagramm, das eine Datenstruktur zum Speichern des Verlaufs des Aktivitätsmusters der Blickdaten des Fahrers während eines Spurwechselmanövers des Steuersystems darstellt.

DETAILLIERTE BESCHREIBUNG
Die folgende detaillierte Beschreibung ist lediglich beispielhaft und soll die Offenbarung oder deren Anwendung und Verwendungen nicht einschränken. Darüber hinaus besteht nicht die Absicht, an eine Theorie gebunden zu sein, die im vorangegangenen Hintergrund oder in der folgenden detaillierten Beschreibung vorgestellt wurde.
1 veranschaulicht ein Fahrzeug 100 gemäß einer beispielhaften Ausführungsform. Wie weiter unten ausführlicher beschrieben, umfasst das Fahrzeug 100 ein Steuersystem 102 zur Vorhersage der Absichten eines Fahrers des Fahrzeugs 100, ein Spurwechselmanöver wie einen Spurwechsel oder ein Überholen eines anderen Fahrzeugs durchzuführen. In verschiedenen Ausführungsformen ist das Steuersystem 102 so konfiguriert, dass es den Blick der Augen des Fahrers des Fahrzeugs 100 verfolgt, um die Absichten vorherzusagen, wobei Techniken verwendet werden, die in Verbindung mit den 2-6 beschrieben sind. In verschiedenen Ausführungsformen ist das Steuersystem 102 so konfiguriert, dass es die aktuellen Verkehrsbedingungen überwacht, um die Absichten vorherzusagen, wobei Techniken verwendet werden, die im Zusammenhang mit den 2-6 beschrieben sind.
In verschiedenen Ausführungsformen kann das Fahrzeug 100 eine beliebige Anzahl verschiedener Arten von Fahrzeugen oder mobilen Plattformen umfassen. In bestimmten Ausführungsformen umfasst das Fahrzeug 100 ein landgestütztes Fahrzeug, wie z. B. eine beliebige Anzahl verschiedener Arten von Automobilen, wie z. B. eine Limousine, ein Kombi, ein LKW oder ein Sport Utility Vehicle (SUV), ein Motorrad und/oder andere landgestützte Fahrzeuge. In verschiedenen Ausführungsformen ist das Fahrzeug 100 ein autonomes Fahrzeug mit einer oder mehreren autonomen oder teilautonomen Fahrfunktionen.
In der dargestellten beispielhaften Ausführungsform umfasst das Fahrzeug 100 einen Aufbau 110, der auf einem Fahrgestell 109 angeordnet ist. Die Karosserie 110 umschließt im Wesentlichen andere Komponenten des Fahrzeugs 100. Die Karosserie 110 und das Fahrgestell 109 können gemeinsam einen Rahmen bilden. Das Fahrzeug 100 umfasst außerdem eine Vielzahl von Achsen 112 und Rädern 114. Die Räder 114 sind jeweils drehbar mit einer oder mehreren der Achsen 112 in der Nähe einer jeweiligen Ecke des Aufbaus 110 verbunden, um die Bewegung des Fahrzeugs 100 zu erleichtern. In einer Ausführungsform umfasst das Fahrzeug 100 vier Räder 114, obwohl dies in anderen Ausführungsformen (z. B. für Lastwagen und bestimmte andere Fahrzeuge) variieren kann.
Auch in der dargestellten beispielhaften Ausführungsform ist ein Antriebssystem 116 am Fahrgestell 109 angebracht und treibt die Räder 114 an. Das Antriebssystem 116 umfasst vorzugsweise ein Propulsionssystem. In bestimmten beispielhaften Ausführungsformen umfasst das Antriebssystem 116 einen Verbrennungsmotor und/oder einen Elektromotor/Generator, gekoppelt mit einem Getriebe davon. In bestimmten Ausführungsformen kann das Antriebssystem 116 variieren, und/oder es können zwei oder mehr Antriebssysteme 116 verwendet werden. Beispielhaft kann das Fahrzeug 100 auch eine beliebige oder eine Kombination von verschiedenen Arten von Antriebssystemen umfassen, wie z. B. einen mit Benzin oder Diesel betriebenen Verbrennungsmotor, einen „Flex-Fuel-Vehicle“-Motor (d. h. mit einer Mischung aus Benzin und Alkohol), einen mit einer gasförmigen Verbindung (z. B. Wasserstoff und/oder Erdgas) betriebenen Motor, einen Verbrennungs-/Elektromotor-Hybridmotor und einen Elektromotor.
Wie in 1 dargestellt, umfasst das Steuersystem 102 in verschiedenen Ausführungsformen eine Sensoranordnung 130 und ein Computersystem 140. In verschiedenen Ausführungsformen ist das Steuersystem 102 auf dem Fahrgestell 109 montiert.
In verschiedenen Ausführungsformen umfasst die Sensoranordnung 130 eine oder mehrere Kameras 132 in der Nähe des Fahrers. In bestimmten Ausführungsformen ist die Kamera 132 innerhalb einer Head-up-Einheit 120 des Fahrzeugs 100 positioniert (z. B. innerhalb oder auf einem vorderen Armaturenbrett des Fahrzeugs 100). In bestimmten anderen Ausführungsformen ist die Kamera 132 innerhalb oder an einem Spiegel 118 des Fahrzeugs 100 positioniert, z. B. einem Rückspiegel. In verschiedenen Ausführungsformen ist die Kamera 132 in Richtung des Fahrers positioniert, insbesondere in Richtung eines Gesichts des Fahrers, um Bilder des Gesichts des Fahrers aufzunehmen.
In bestimmten Ausführungsformen umfasst die Sensoranordnung 130 einen oder mehrere andere Sensoren, die zur Erfassung von Informationen über die Umgebung des Fahrzeugs 100 oder das Fahrzeug selbst verwendet werden. Solche Sensoren können als Wahrnehmungssystem bezeichnet werden und können Kameras, Radare, Lidare, GPS usw. oder andere Fahrzeugsensoren umfassen, sind aber nicht darauf beschränkt. Ein solcher Sensor kann an einer Außenseite des Fahrzeugs 100 angebracht werden.
In verschiedenen Ausführungsformen ist das Computersystem 140 über eine Kommunikationsverbindung 111 mit dem Sensorarray 130 gekoppelt und empfängt Kamerabilder und Wahrnehmungssystemdaten über die Kommunikationsverbindung 111. In bestimmten Ausführungsformen umfasst die Kommunikationsverbindung 111 eine oder mehrere verdrahtete Verbindungen, wie ein oder mehrere Kabel (z. B. Koaxialkabel und/oder eine oder mehrere andere Arten von Kabeln), und/oder eine oder mehrere drahtlose Verbindungen (z. B. unter Verwendung von drahtloser Bustechnologie).
In verschiedenen Ausführungsformen empfängt das Rechnersystem 140 die Kamerabilder von der Kamera 132 und identifiziert anhand der Kamerabilder die Blickrichtung der Augen (oder des Auges) des Fahrers des Fahrzeugs 100. In verschiedenen Ausführungsformen empfängt das Rechnersystem 140 die Sensordaten vom Wahrnehmungssystem und identifiziert anhand der Sensordaten die aktuellen Verkehrsbedingungen.
In der dargestellten Ausführungsform umfasst das Computersystem 140 einen Prozessor 142, einen Speicher 144, eine Schnittstelle 146, eine Speichereinrichtung 148 und einen Bus 150. Der Prozessor 142 führt die Berechnungs- und Steuerfunktionen des Computersystems 140 aus und kann jede Art von Prozessor oder mehrere Prozessoren, einzelne integrierte Schaltkreise wie einen Mikroprozessor oder jede geeignete Anzahl von integrierten Schaltkreisen und/oder Leiterplatten umfassen, die zusammenarbeiten, um die Funktionen einer Verarbeitungseinheit zu erfüllen. Während des Betriebs führt der Prozessor 142 ein oder mehrere Programme 152 aus, die in dem Speicher 144 umfassen sind, und steuert als solcher den allgemeinen Betrieb des Computersystems 140 und des Computersystems des Computersystems 140, im Allgemeinen bei der Ausführung der hierin beschriebenen Prozesse, wie z.B. des in Verbindung mit den 2-4 beschriebenen Prozesses 200.
Der Speicher 144 kann ein beliebiger Typ eines geeigneten Speichers sein. Zum Beispiel kann der Speicher 144 verschiedene Arten von dynamischem Direktzugriffsspeicher (DRAM) wie SDRAM, die verschiedenen Arten von statischem RAM (SRAM) und die verschiedenen Arten von nichtflüchtigem Speicher (PROM, EPROM und Flash) umfassen. In bestimmten Beispielen befindet sich der Speicher 144 auf demselben Computerchip wie der Prozessor 142 und/oder ist auf diesem angeordnet. In der dargestellten Ausführungsform speichert der Speicher 144 das oben erwähnte Programm 152 zusammen mit einem oder mehreren gespeicherten Werten 154.
Der Bus 150 dient der Übertragung von Programmen, Daten, Status und anderen Informationen oder Signalen zwischen den verschiedenen Komponenten des Computersystems des Computersystems 140. Die Schnittstelle 146 ermöglicht die Kommunikation mit dem Rechnersystem des Rechnersystems 140, z. B. von einem Systemtreiber und/oder einem anderen Rechnersystem, und kann mit jedem geeigneten Verfahren und Vorrichtung realisiert werden. In einer Ausführungsform bezieht die Schnittstelle 146 die verschiedenen Daten von der Kamera 132. Die Schnittstelle 146 kann eine oder mehrere Netzwerkschnittstellen umfassen, um mit anderen Systemen oder Komponenten zu kommunizieren. Die Schnittstelle 146 kann auch eine oder mehrere Netzwerkschnittstellen umfassen, um mit Technikern zu kommunizieren, und/oder eine oder mehrere Speicherschnittstellen, um sich mit Speichergeräten, wie dem Speichergerät 148, zu verbinden.
Die Speichervorrichtung 148 kann jeder geeignete Typ von Speichergerät sein, einschließlich Speichergeräten mit direktem Zugriff wie Festplattenlaufwerke, Flash-Systeme, Diskettenlaufwerke und optische Laufwerke. In einer beispielhaften Ausführungsform umfasst die Speichervorrichtung 148 ein Programmprodukt, von dem der Speicher 144 ein Programm 152 empfangen kann, das eine oder mehrere Ausführungsformen eines oder mehrerer Prozesse oder Verfahren der vorliegenden Offenbarung ausführt, wie z. B. die Schritte des Prozesses 200 (und beliebige Unterprozesse davon), die in Verbindung mit den 2-6 beschrieben sind. In einer anderen beispielhaften Ausführungsform kann das Programmprodukt direkt in dem Speicher 144 und/oder einer Platte (z. B. Platte 156), wie im Folgenden beschrieben, gespeichert und/oder anderweitig darauf zugegriffen werden.
Der Bus 150 kann jedes geeignete physikalische oder logische Mittel zur Verbindung von Computersystemen und Komponenten sein. Dazu gehören unter anderem direkte, fest verdrahtete Verbindungen, Glasfaser, Infrarot und drahtlose Bustechnologien. Während des Betriebs wird das Programm 152 im Speicher 144 gespeichert und vom Prozessor 142 ausgeführt.
Während diese beispielhafte Ausführungsform im Zusammenhang mit einem voll funktionsfähigen Computersystem beschrieben wird, wird der Fachmann erkennen, dass die Mechanismen der vorliegenden Offenbarung als Programmprodukt mit einer oder mehreren Arten von nichttransitorischen, computerlesbaren, signaltragenden Medien verteilt werden können, die verwendet werden, um das Programm und seine Anweisungen zu speichern und seine Verteilung durchzuführen, wie z. B. ein nicht-transitorisches, computerlesbares Medium, das das Programm trägt und darin gespeicherte Computeranweisungen umfasst, um einen Computerprozessor (wie den Prozessor 142) zu veranlassen, das Programm durchzuführen und auszuführen. Ein solches Programmprodukt kann eine Vielzahl von Formen annehmen, und die vorliegende Offenbarung gilt gleichermaßen unabhängig von der besonderen Art des computerlesbaren signaltragenden Mediums, das zur Durchführung der Verteilung verwendet wird. Beispiele für signaltragende Medien sind beschreibbare Medien wie Disketten, Festplatten, Speicherkarten und optische Platten sowie Übertragungsmedien wie digitale und analoge Kommunikationsverbindungen. In bestimmten Ausführungsformen können auch Cloud-basierte Speicher und/oder andere Techniken verwendet werden. Es wird ebenfalls anerkannt, dass sich das Computersystem des Computersystems 140 auch anderweitig von der in 1 dargestellten Ausführungsform unterscheiden kann, zum Beispiel dadurch, dass das Computersystem des Computersystems 140 mit einem oder mehreren entfernten Computersystemen und/oder anderen Steuersystemen gekoppelt sein oder diese anderweitig nutzen kann.
Unter Bezugnahme auf 2 und unter fortgesetzter Bezugnahme auf 1 veranschaulicht ein Datenflussdiagramm das Steuersystem 102, das ein oder mehrere Module zur Vorhersage von Fahrerabsichten für die Durchführung eines Spurwechselmanövers umfasst. Wie hierin verwendet, bezieht sich der Begriff „Modul“ auf jede Hardware, Software, Firmware, elektronische Steuerkomponente, Verarbeitungslogik und/oder Prozessorvorrichtung, einzeln oder in beliebiger Kombination, einschließlich, aber nicht beschränkt auf anwendungsspezifische integrierte Schaltungen (ASIC), ein feldprogrammierbares Gate-Array (FPGA), eine elektronische Schaltung, einen Prozessor (gemeinsam, dediziert oder Gruppe) und Speicher, der ein oder mehrere Software- oder Firmwareprogramme ausführt, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen. Wie zu erkennen ist, können in verschiedenen Ausführungsformen die in 2 dargestellten Module kombiniert oder weiter unterteilt werden. In verschiedenen Ausführungsformen umfasst das Steuerungssystem 102 ein Verkehrszustandsüberwachungsmodul 160, ein Absichtsvorhersagemodul 162, ein Absichtsbestätigungsmodul 164, ein Verlaufsdaten-Lernmodul 166 und einen Verlaufsdaten-Datenspeicher 168.
In verschiedenen Ausführungsformen empfängt das Verkehrszustandsüberwachungsmodul 160 als Eingabe Sensordaten 170 vom Wahrnehmungssystem. Das Verkehrszustandsüberwachungsmodul 160 wertet die Sensordaten 170 aus, um zu bestimmen, wann bestimmte Verkehrsbedingungen für ein Fahrspurwechselmanöver erfüllt sind. Das Verkehrszustandsüberwachungsmodul 170 setzt auf Basis der Auswertung ein oder mehrere Verkehrszustandsflags 172.
In verschiedenen Ausführungsformen können die Sensordaten 170 eine Fahrzeuggeschwindigkeit, eine aktuelle Straßenkonfiguration (die Anzahl der Fahrspuren, die Art der Fahrspur, die Geschwindigkeitsbegrenzung auf der Fahrspur usw.) und/oder einen Strom von Fahrzeugen anzeigen, die auf den Fahrspuren unterwegs sind. Die Verkehrsbedingungen sind so definiert, dass sie für einen linken Spurwechsel erfüllt sind, wenn die linke Nachbarspur Sicherheitsabstände zu allen relevanten Verkehrsteilnehmern und Objekten (z. B. Fahrzeugen, Fußgängern und Straßenabsperrungen usw.) einhält und das Ego-Fahrzeug während der Ausführung eines linken Spurwechselmanövers innerhalb eines Sicherheitskorridors positioniert sein könnte, der obere und untere Grenzen für seine Längsposition definiert. Die Verkehrsbedingungen sind so definiert, dass sie für einen rechten Spurwechsel erfüllt sind, wenn die rechte Nachbarspur Sicherheitsabstände zu allen relevanten Verkehrsteilnehmern und Objekten (z.B. Fahrzeugen, Fußgängern und Straßenabsperrungen, etc.) einhält und das Ego-Fahrzeug innerhalb eines Sicherheitskorridors positioniert werden könnte, der obere und untere Grenzen auf seiner Längsposition während der Ausführung eines rechten Spurwechselmanövers definiert. Die Verkehrsbedingungen sind so definiert, dass sie für ein Überholspurwechselmanöver erfüllt sind, wenn die Fahrzeuggeschwindigkeit eines Fahrzeugs vor dem Fahrzeug 100 kleiner als die Geschwindigkeitsbegrenzung abzüglich eines Geschwindigkeitsoffsets ist und eine Gesamtzahl von zwei Fahrspuren auf der Straße vorhanden ist.
In verschiedenen Ausführungsformen gehört zu den Bedingungen des Spurwechsels die Einhaltung von Sicherheitsabständen zu allen relevanten Verkehrsteilnehmern und Objekten, z. B. Fahrzeugen, Fußgängern und Straßenabsperrungen im umgebenden Verkehrsumfeld. Dies bedeutet, dass sich das Ego-Fahrzeug während der Ausführung eines Manövers, wie z. B. eines linken oder rechten Spurwechsels, innerhalb eines Sicherheitskorridors befinden muss, der obere und untere Grenzen für seine Längsposition definiert.
Wenn die Auswertung der Sensordaten 170 anzeigt, dass die Verkehrsbedingungen für einen Spurwechsel nach links erfüllt sind, setzt das Verkehrszustandsüberwachungsmodul 160 ein Zustandsflag 174 für den linken Spurwechsel auf TRUE. Andernfalls bleibt das linke Spurwechselzustandsflag 174 auf FALSE. Wenn die Auswertung der Sensordaten 170 anzeigt, dass die Verkehrsbedingungen für einen Spurwechsel nach rechts erfüllt sind, setzt das Verkehrszustandsüberwachungsmodul 160 ein rechtes Spurwechselzustandsflag 176 auf TRUE. Andernfalls bleibt das Zustandsflag 176 für den rechten Spurwechsel auf FALSE. Wenn die Auswertung der Sensordaten 170 anzeigt, dass die Verkehrsbedingungen für das Überholen eines Fahrzeugs erfüllt sind, setzt das Verkehrszustandsüberwachungsmodul 160 ein Überholzustandsflag 178 auf TRUE. Andernfalls bleibt das Überholzustandsflag 178 auf FALSE.
In verschiedenen Ausführungsformen empfängt das Absichtsvorhersagemodul 162 als Eingabe die Zustandsflags 172, Fahrerblickdaten 180 und Fahrergesichtserkennungsdaten 182. In verschiedenen Ausführungsformen zeigen die Fahrer-Blickdaten 180 eine Blickrichtung und/oder Position der Augen des Fahrers an. In verschiedenen Ausführungsformen umfassen die FahrerGesichtserkennungsdaten 82 Merkmalsdaten, die Parameter zur Identifizierung von Gesichtsmerkmalen des Fahrers angeben, die als Fahreridentifikation verwendet werden können, um die Historie des Augen-Blick-Aktivitätsmusters des Fahrers während eines Spurwechselmanövers zu laden, um die Absicht des Fahrers für das Spurwechselmanöver zu bestimmen.
Das Absichtsvorhersagemodul 162 wertet die Zustandsflags 172, die Fahrerblickdaten 180 und die Fahrergesichtserkennungsdaten 182 als Fahreridentifikation aus, um die Historie der Blickaktivitätsmuster des Fahrers während eines Spurwechselmanövers zu laden, um die Absichten 184 des Fahrers vorherzusagen, ein Spurwechselmanöver durchzuführen (z. B. rechter Spurwechsel, linker Spurwechsel, Überholen usw.). Beispielsweise wertet das Intentionsvorhersagemodul 162 die Fahrerblickdaten 180 während eines Spurwechselmanövers über die Zeit aus, um das Blickverhalten des Fahrers zu bestimmen. Das Blickverhalten des Fahrers kann z. B. die Augenaktivität des Fahrers umfassen, einschließlich der Anzahl, wie oft der Blick des Fahrers in einem kurzen Zeitintervall von der Straße zu einem Seitenspiegel oder Fenster (links oder rechts) wechselt, und der Zeit, in der der Blick des Fahrers auf den Seitenspiegel oder das Fenster (links oder rechts) gerichtet ist. mit unterschiedlichen Verkehrsbedingungen für das Spurwechselmanöver.
Das Modul 162 für die Absichtsvorhersage erkennt dann den Fahrer auf der Grundlage der Gesichtsdaten des Fahrers und ruft für den erkannten Fahrer die gleichen Verlaufsdaten 186 zum Blickverhalten des Fahrers ab. Das Absichtsvorhersagemodul 162 wertet dann die Zustandsflags 172 aus und vergleicht die aktuellen Fahrerblickverhaltensdaten mit den Verlaufsdaten, um die vorhergesagten Absichten 184 zu bestimmen. Beispielsweise setzt das Modul 162 für die Absichtsvorhersage ein Flag für den linken Spurwechsel auf WAHR, wenn das Flag 174 für die Verkehrsbedingung für den linken Spurwechsel WAHR ist und die aktuellen Verhaltensdaten kleiner oder gleich den Verlaufsdaten 186 für den linken Spurwechsel (in einigen Fällen plus oder minus einem Offset) mit ähnlichen Verkehrsbedingungen für den Spurwechsel sind, wie z. B. die Geschwindigkeit des Ego-Fahrzeugs und der Verkehr auf der Nachbarspur usw. In einem anderen Beispiel setzt das Absichtsvorhersagemodul 162 ein Flag für den rechten Spurwechsel auf WAHR, wenn das Flag für die rechte Spurwechselbedingung 176 WAHR ist und die aktuellen Verhaltensdaten kleiner oder gleich den Verlaufsdaten 185 für den rechten Spurwechsel sind (plus oder minus einem Offset in einigen Fällen), mit ähnlichen Spurwechsel-Verkehrsbedingungen wie der Geschwindigkeit des Ego-Fahrzeugs und dem Verkehr auf der Nachbarspur usw. In einem anderen Beispiel setzt das Absichtsvorhersagemodul 162 ein Überholflag auf WAHR, wenn das Absichtsvorhersageflag für den rechten Spurwechsel oder den linken Spurwechsel WAHR ist und das Überholwechsel-Zustandsflag 178 WAHR ist.
Danach setzt das Modul 162 für die Absichtsvorhersage die vorhergesagte Absicht 184 auf eine der Optionen „Rechter Spurwechsel“, „Linker Spurwechsel“ und „Überholen“, basierend auf den Flags, die einen TRUE-Wert anzeigen. Die vorhergesagte Absicht 184 wird dann mit den Verkehrsbedingungen und dem erkannten Fahrer verknüpft.
Das Bestätigungsmodul 164 empfängt die Daten der vorausgesagten Absicht 184. Das Bestätigungsmodul 164 bestätigt die vorhergesagte Absicht mit dem Fahrer. Beispielsweise erzeugt das Bestätigungsmodul 164 eine Absichtsbestätigungsanforderungsnachricht 188, die von einem Mensch-Maschine-Schnittstellenmodul (HMI) (nicht dargestellt) empfangen und dem Benutzer präsentiert wird. Das HMI-Modul wiederum liefert eine Absichtsbestätigungs-Antwortnachricht 190, wenn der Fahrer die Absicht, ein Spurwechselmanöver durchzuführen, bestätigt oder verneint. Das Bestätigungsmodul 164 liefert die Bestätigungsinformation 192 einschließlich der Verweigerung oder Bestätigung des vorausgesagten Spurwechselmanövers für den erkannten Fahrer. Wenn der Prozess des Lernens der Blickdaten des Fahrers stabilisiert ist, könnte die Vorhersage der Fahrerabsicht eine sehr hohe Genauigkeit aufweisen. Der Fahrer könnte der Vorhersage vertrauen und hätte die Möglichkeit, ohne Bestätigung anzufordern.
Das Verlaufslernmodul 166 aktualisiert den Verlaufsdatenspeicher 168 mit aktuellen Fahrerblickdaten in einer entsprechenden Datenspeicherzelle, die durch die Fahrzeuggeschwindigkeit und die Wartezeit auf erfüllte Verkehrsbedingungen indiziert ist, nachdem es die Bestätigungsinformation 192 erhalten hat. Beispielsweise lernt das Verlaufslernmodul 166 das Blickverhalten des Fahrers für ein Spurwechselmanöver für einen Fahrer und speichert die Informationen in einer Lernzellenverlaufsdatenstruktur, die für diesen Fahrer bestimmt ist. 6 illustriert eine beispielhafte Verlaufsdatenstruktur 500. In verschiedenen Ausführungsformen ist die Datenstruktur 500 durch die Fahrzeuggeschwindigkeit (MPH) auf der x-Achse 502 und die Wartezeit für ein Spurwechselmanöver bei erfüllten Verkehrsbedingungen auf der y-Achse 504 definiert. Jede Zelle 506 der Datenstruktur 500 speichert einen berechneten gleitenden Durchschnitt der Daten zum Blickverhalten des Fahrers, einschließlich eines berechneten gleitenden Durchschnitts der Anzahl der Augen, die sich den Seitenspiegeln zuwenden, und eines berechneten gleitenden Durchschnitts der akkumulierten Zeit, in der die Augen während eines Spurwechselmanövers auf dem Seitenspiegel sind. Die gespeicherten Verlaufsdaten werden dann vom Absichtsvorhersagemodul 162 verwendet, um die nächste Vorhersage für denselben Fahrer zu bestimmen.
Unter Bezugnahme auf die 3-5 und unter fortgesetzter Bezugnahme auf die 1 und 2 veranschaulichen Flussdiagramme beispielhafte Verfahren zur Vorhersage von Fahrerabsichten, die von den Systemen der 1 und 2 durchgeführt werden können. Wie zu erkennen ist, kann die Reihenfolge der Schritte des Verfahrens in verschiedenen Ausführungsformen geändert, hinzugefügt oder entfernt werden.
3 zeigt ein beispielhaftes Verfahren 200 zur Vorhersage von Fahrerabsichten. In einem Beispiel kann das Verfahren 200 bei 205 beginnen. Die Anzahl der Augenschaltungen des Fahrers und die Fokussierungszeit des Fahrers werden bei 210 bestimmt, beispielsweise wie in 4 näher erläutert. Die Verkehrszustandsflags 172 werden bei 220 bestimmt. Wenn ein Verkehrszustandsflag für den linken oder rechten Spurwechsel bei 230 WAHR ist, werden die Fahrerhistoriendaten 186 bei 240 abgerufen, z. B. basierend auf der Gesichtserkennung des Fahrers und der Bedingung, die WAHR ist. Die aktuelle Anzahl der Augenschaltungen des Fahrers und die Fokussierungszeit des Fahrers werden mit den Verlaufsdaten 186 (plus oder minus einem Offset) mit der entsprechenden Datenspeicherzelle verglichen, die ähnliche Fahrbedingungen wie die Fahrzeuggeschwindigkeit und die Verkehrsbedingungen für den Spurwechsel bei 250 aufweist. Wenn die aktuelle Fahrer-Augenschalterzahl und die aktuelle Fahrer-Fokuszeit kleiner oder gleich den historischen Daten (plus oder minus einem Offset) mit der entsprechenden Datenspeicherzelle sind, die die ähnlichen Fahrbedingungen wie Fahrzeuggeschwindigkeit und Spurwechsel-Verkehrsbedingungen bei 260 hat, wird das Spurwechsel-Absichtsflag bei 270 auf TRUE gesetzt. Danach wird das Verkehrszustandsflag für das Überholen bei 280 ausgewertet. Wenn das Verkehrszustandsflag für das Überholen bei 280 WAHR ist, wird die Überholabsicht bei 290 auf WAHR gesetzt und eine Bestätigungsprozedur bei 300 durchgeführt, zum Beispiel wie in 5 näher erläutert. Danach kann das Verfahren bei 310 enden. Wenn das Verkehrszustandsflag für das Überholen bei 280 FALSCH ist, wird die Überholabsicht bei 305 auf FALSCH gesetzt, die Bestätigungsprozedur wird bei 300 durchgeführt und das Verfahren kann bei 310 enden.
Wenn die Anzahl der aktuellen Fahrer-Augenschalter und die aktuelle Fahrer-Fokuszeit größer sind als die Verlaufsdaten mit der entsprechenden Datenspeicherzelle, die ähnliche Fahrbedingungen wie die Fahrzeuggeschwindigkeit und die Verkehrsbedingungen für den Spurwechsel bei 250 aufweist, wird das Flag für die Spurwechselabsicht bei 160 auf FALSCH gesetzt. Danach kann das Verfahren bei 290 enden.
4 zeigt ein beispielhaftes Verfahren zur Bestimmung der Daten zum Fahrerverhalten (Schritt 210 von 3) einschließlich der Anzahl der Fahrerschalter und der Fahrerfokuszeit. In 4 kann das Verfahren bei 315 beginnen. Die Fahrerblickdaten 180 werden empfangen und die Augenbewegung des Fahrers wird ausgewertet, um eine Richtung oder einen Punkt des Interesses des Fahrerblicks bei 320 zu bestimmen. Wenn festgestellt wird, dass der Blick des Fahrers von der Straße zu einem Seitenspiegel oder Fenster (links oder rechts) bei 325 wechselt, werden Zeitgeber und Zähler, die das Blickverhalten des Fahrers verfolgen, aktualisiert. Zum Beispiel wird ein Augen-auf-Seitenspiegel-AUS-Timer bei 330 zurückgesetzt. Ein Timer „Augen am Spiegel EIN“ wird um 340 erhöht. Ein Augen-auf-Spiegel-Zähler wird an der steigenden Flanke bei 350 erhöht. Danach wird das Verfahren mit 355 fortgesetzt, wo der Schritt 220 (3) des Verfahrens 200 durchgeführt wird.
Wenn bei 320 nicht festgestellt wird, dass der Blick des Fahrers von der Straße zum Seitenspiegel wechselt (in der gleichen Richtung bleibt), werden die Timer und der Zähler, die das Verhalten des Fahrers verfolgen, aktualisiert. Zum Beispiel wird der Timer „Augen auf Seitenspiegel AUS“ bei 360 erhöht. Wenn der Timer „Augen auf Seitenspiegel AUS“ bei 370 über einem Schwellenwert liegt, wird der Timer „Augen auf Spiegel EIN“ bei 380 zurückgesetzt. Der Zähler „Augen am Spiegel“ wird bei 390 zurückgesetzt. Danach kann das Verfahren bei 290 enden. Wenn der Zeitgeber „Augen am Seitenspiegel AUS“ kleiner oder gleich dem Schwellenwert bei 370 ist, kann das Verfahren bei 310 enden.
5 zeigt ein beispielhaftes Verfahren zur Durchführung des Bestätigungsverfahrens (Schritt 300 von 3). In 5 kann das Verfahren bei 405 beginnen. Die Antwortdaten der Absichtsbestätigung 190 werden bei 410 empfangen. Wenn die vorhergesagte Fahrerabsicht vom Fahrer bei 420 bestätigt wird, werden die Daten zum Fahrerverhalten im Verlaufsdatenspeicher 168 mit den ähnlichen Fahrbedingungen wie Fahrzeuggeschwindigkeit und Spurwechselverkehrsbedingungen bei 430-460 aktualisiert. Zum Beispiel wird der „Augen am Spiegel EIN“-Timer in der Zelle des Verlaufsdatenspeichers 168 mit den ähnlichen Fahrbedingungen wie Fahrzeuggeschwindigkeit und Spurwechsel-Verkehrsbedingungen bei 430 gespeichert. Der gleitende Durchschnitt des Timers „Augen am Spiegel ein“ wird für die Datenstruktur 500 bei 440 berechnet. Der „Augen am Spiegel“-Zähler wird im Historien-Datenspeicher 168 mit den ähnlichen Fahrbedingungen, wie Fahrzeuggeschwindigkeit und Spurwechsel-Verkehrsbedingungen, bei 450 gespeichert. Der gleitende Durchschnitt des Zählers „Augen am Spiegel“ wird für die Datenstruktur 500 bei 460 berechnet. Danach kann das Verfahren bei 310 enden. Wenn die vorhergesagte Fahrerabsicht vom Fahrer bei 420 nicht bestätigt wird, kann das Verfahren bei 310 enden.
Dementsprechend ermöglichen die offengelegten Verfahren, Systeme und Fahrzeuge die Vorhersage der Absicht eines Fahrers, ein oder mehrere Spurwechselmanöver durchzuführen. In verschiedenen Ausführungsformen werden die Vorhersagen dann verwendet, um Fahrer-Spurwechsel-Historiendaten zu entwickeln und ein Fahrzeug auf der Grundlage dieser Daten zu steuern.
Es wird deutlich, dass die Systeme, Fahrzeuge und Verfahren von den in den Figuren dargestellten und hier beschriebenen abweichen können. Zum Beispiel können das Fahrzeug 100, das Steuersystem 102 und/oder verschiedene Komponenten davon in verschiedenen Ausführungsformen von dem in 1 dargestellten und in Verbindung damit beschriebenen abweichen. Es wird ebenfalls deutlich, dass sich die Schritte und/oder Implementierungen des Systems und der Verfahren von den in den 2-6 dargestellten unterscheiden können, und/oder dass verschiedene Schritte der Verfahren in verschiedenen Ausführungsformen gleichzeitig und/oder in einer anderen Reihenfolge als in den 2-6 dargestellt auftreten können.
Obwohl in der vorangegangenen detaillierten Beschreibung mindestens eine beispielhafte Ausführungsform vorgestellt wurde, sollte man sich darüber im Klaren sein, dass es eine große Anzahl von Variationen gibt. Es sollte auch gewürdigt werden, dass die beispielhafte Ausführungsform oder die beispielhaften Ausführungsformen nur Beispiele sind und nicht dazu gedacht sind, den Umfang, die Anwendbarkeit oder die Konfiguration der Offenbarung in irgendeiner Weise zu begrenzen. Vielmehr soll die vorstehende detaillierte Beschreibung dem Fachmann eine praktische Anleitung zur Umsetzung der beispielhaften Ausführungsform oder der beispielhaften Ausführungsformen geben. Es sollte verstanden werden, dass verschiedene Änderungen in der Funktion und Anordnung der Elemente vorgenommen werden können, ohne vom Umfang der Offenbarung, wie in den beigefügten Ansprüchen und den gesetzlichen Äquivalenten davon dargelegt, abzuweichen.

Claims

Ein Verfahren zur Steuerung eines Fahrzeugs ist vorgesehen, wobei das Verfahren umfasst: Überwachung des Blicks eines Fahrers des Fahrzeugs; Überwachung der aktuellen Verkehrsbedingungen in der Umgebung des Fahrzeugs; Vorhersage einer Absicht des Fahrers, ein Fahrspurwechselmanöver durchzuführen, basierend auf dem Blick, einer Historie des Blicks des Fahrers und den aktuellen Verkehrsbedingungen; und Steuerung des Fahrzeugs durch den Prozessor, basierend auf der vorhergesagten Absicht des Fahrers, ein Spurwechselmanöver durchzuführen.
Verfahren nach Anspruch 1, das ferner umfasst: Erhalten eines Kamerabildes des Fahrers des Fahrzeugs über eine Kamera des Fahrzeugs, und wobei das Überwachen des Blicks auf dem Kamerabild basiert.
Verfahren nach Anspruch 1, wobei das Überwachen des Blicks das Zählen einer Anzahl von Augenwechseln des Fahrers von einer ersten Richtung auf der Straße zu einer zweiten Richtung eines Seitenspiegels umfasst, und wobei die Vorhersage der Absicht des Fahrers, ein Spurwechselmanöver durchzuführen, auf der Anzahl basiert.
Verfahren nach Anspruch 1, wobei das Überwachen des Blicks das Akkumulieren einer Fokuszeit des Blicks auf einen Seitenspiegel umfasst, und wobei das Vorhersagen der Absicht des Fahrers, das Spurwechselmanöver durchzuführen, auf der akkumulierten Fokuszeit basiert.
Verfahren nach Anspruch 1, das ferner das Lernen des Verlaufs des Blicks des Fahrers und der vorhergesagten Absicht des Fahrers und das Vorhersagen zukünftiger Absichten des Fahrers auf der Grundlage des gelernten Verlaufs des Blicks umfasst.
Verfahren nach Anspruch 1, das ferner das Bestätigen der vorhergesagten Absicht des Fahrers mit dem Fahrer über eine Mensch-Maschine-Schnittstelle umfasst.
Verfahren nach Anspruch 1, wobei das Fahrspurwechselmanöver mindestens einen Spurwechsel nach links oder nach rechts umfasst.
Verfahren nach Anspruch 1, wobei das Spurwechselmanöver einen Überholvorgang umfasst.
Verfahren nach Anspruch 8, wobei die Verkehrsbedingungen eine Fahrzeuggeschwindigkeit eines vorderen, in der Spur befindlichen Fahrzeugs und eine Anzahl von Fahrspuren umfassen.
System zur Steuerung eines Fahrzeugs ist vorgesehen, das System umfassend: ein Fahrerüberwachungssystem, das so konfiguriert ist, dass es die Blickdaten des Fahrers erfasst; ein Wahrnehmungssystem, das so konfiguriert ist, dass es mit der Umgebung des Fahrzeugs verbundene Wahrnehmungsdaten erfasst; und einen Prozessor, der so konfiguriert ist, dass er: die Blickdaten des Fahrers überwacht, um einen Blick eines Fahrers des Fahrzeugs zu bestimmen; die Wahrnehmungsdaten überwacht, um die aktuellen Verkehrsbedingungen in der Umgebung des Fahrzeugs zu ermitteln; eine Absicht des Fahrers, ein Fahrspurwechselmanöver durchzuführen, basierend auf dem Blick, einer Historie des Blicks und den aktuellen Verkehrsbedingungen vorhersagt; und das Fahrzeug auf der Grundlage der vorhergesagten Absicht des Fahrers, ein Spurwechselmanöver durchzuführen, steuert.