DE102021129887A1

DE102021129887A1 - Prädiktive bewertung der fahreraufmerksamkeit

Info

Publication number: DE102021129887A1
Application number: DE102021129887.3A
Authority: DE
Inventors: Xiaofeng F. Song; Benjamin D. DiDonato
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2021-03-11
Filing date: 2021-11-16
Publication date: 2022-09-15
Also published as: US11760318B2; US20220289151A1; CN115071721A

Abstract

In einer beispielhaften Ausführungsform wird ein System bereitgestellt, das einen oder mehrere erste Sensoren, einen oder mehrere zweite Sensoren und einen an Bord eines Fahrzeugs angeordneten Prozessor umfasst. Die ersten Sensoren sind so konfiguriert, dass sie es zumindest ermöglichen, erste Sensordaten in Bezug auf eine externe Umgebung außerhalb des Fahrzeugs zu erhalten. Die zweiten Sensoren sind so konfiguriert, dass sie es zumindest ermöglichen, zweite Sensordaten in Bezug auf ein oder mehrere Augen eines Fahrers des Fahrzeugs zu erhalten. Der Prozessor ist so konfiguriert, dass er zumindest Folgendes ermöglicht: Bestimmen eines vorhergesagten Blickwinkels des einen oder der mehreren Augen des Fahrers auf der Grundlage der externen Umgebung außerhalb des Fahrzeugs unter Verwendung der ersten Sensordaten; Bestimmen eines gemessenen Blickwinkels des einen oder der mehreren Augen des Fahrers unter Verwendung der zweiten Sensordaten; und Steuern einer oder mehrerer Fahrzeugaktionen auf der Grundlage eines Vergleichs der vorhergesagten und gemessenen Blickwinkel.

Description

EINFUHRUNG
Das technische Gebiet bezieht sich im Allgemeinen auf Fahrzeuge und im Besonderen auf Verfahren und Systeme zur Bewertung der Wachsamkeit des Fahrers eines Fahrzeugs.
Bestimmte Fahrzeuge sind heute mit einem oder mehreren Systemen ausgestattet, die das Verhalten des Fahrzeugführers überwachen. Diese bestehenden Systeme liefern jedoch nicht immer eine optimale Bewertung der Wachsamkeit des Fahrers.
Dementsprechend ist es wünschenswert, verbesserte Verfahren und Systeme für die Überwachung der Fahreraufmerksamkeit in Fahrzeugen bereitzustellen. Darüber hinaus werden weitere wünschenswerte Merkmale und Eigenschaften der vorliegenden Erfindung aus der nachfolgenden detaillierten Beschreibung der Erfindung und den beigefügten Ansprüchen in Verbindung mit den beigefügten Figuren und diesem Hintergrund der Erfindung deutlich werden.
BESCHREIBUNG
In Übereinstimmung mit einer beispielhaften Ausführungsform wird ein System bereitgestellt, das einen oder mehrere erste Sensoren, einen oder mehrere zweite Sensoren und einen Prozessor umfasst. Der eine oder die mehreren ersten Sensoren sind an Bord eines Fahrzeugs angeordnet und so konfiguriert, dass sie zumindest das Erhalten von ersten Sensordaten in Bezug auf eine externe Umgebung außerhalb des Fahrzeugs ermöglichen. Der eine oder die mehreren zweiten Sensoren sind an Bord des Fahrzeugs angeordnet und sind so konfiguriert, dass sie zumindest das Erhalten von zweiten Sensordaten in Bezug auf einen oder mehrere Augen eines Fahrers des Fahrzeugs ermöglichen. Der Prozessor ist an Bord des Fahrzeugs angeordnet und so konfiguriert, dass er zumindest Folgendes ermöglicht: Bestimmen eines vorhergesagten Blickwinkels des einen oder der mehreren Augen des Fahrers auf der Grundlage der externen Umgebung außerhalb des Fahrzeugs unter Verwendung der ersten Sensordaten; Bestimmen eines gemessenen Blickwinkels des einen oder der mehreren Augen des Fahrers unter Verwendung der zweiten Sensordaten; und Steuern einer oder mehrerer Fahrzeugaktionen auf der Grundlage eines Vergleichs des vorhergesagten Blickwinkels und des gemessenen Blickwinkels.
Ebenfalls in einer beispielhaften Ausführungsform umfassen der eine oder die mehreren ersten Sensoren eine oder mehrere Außenkameras, die nach außen gerichtet sind und so konfiguriert sind, dass sie externe Kamerabilder der äußeren Umgebung außerhalb des Fahrzeugs erhalten; und der eine oder die mehreren zweiten Sensoren umfassen eine oder mehrere Innenkameras, die nach innen gerichtet sind und so konfiguriert sind, dass sie interne Kamerabilder des Fahrers im Fahrzeug erhalten.
In einer beispielhaften Ausführungsform ist der Prozessor außerdem so konfiguriert, dass er zumindest Folgendes ermöglicht: Bestimmen einer Bahnkrümmung einer Trajektorie, auf der das Fahrzeug fährt, auf der Grundlage der ersten Sensordaten; und Bestimmen des vorhergesagten Blickwinkels des einen oder der mehreren Augen des Fahrers auf der Grundlage der Bahnkrümmung der Trajektorie.
In einer beispielhaften Ausführungsform ist der Prozessor außerdem so konfiguriert, dass er zumindest Folgendes ermöglicht: Bestimmen eines oder mehrerer Infrastrukturobjekte einer Trajektorie, auf der das Fahrzeug fährt, auf der Grundlage der ersten Sensordaten; und Bestimmen des vorhergesagten Blickwinkels des einen oder der mehreren Augen des Fahrers auf der Grundlage des einen oder der mehreren Infrastrukturobjekte.
In einer beispielhaften Ausführungsform ist der Prozessor ferner so konfiguriert, dass er zumindest die Steuerung der einen oder mehreren Fahrzeugaktionen auf der Grundlage eines absoluten Fehlers zwischen dem vorhergesagten Blickwinkel und dem gemessenen Blickwinkel ermöglicht.
In einer beispielhaften Ausführungsform ist der Prozessor außerdem so konfiguriert, dass er zumindest die Bereitstellung einer Benachrichtigung ermöglicht, wenn der absolute Fehler größer als ein vorgegebener Schwellenwert ist.
In einer beispielhaften Ausführungsform ist der Prozessor außerdem so konfiguriert, dass er zumindest die automatische Steuerung der Bewegung des Fahrzeugs ermöglicht, wenn der absolute Fehler größer als ein vorgegebener Schwellenwert ist.
In einer beispielhaften Ausführungsform ist der Prozessor außerdem so konfiguriert, dass er zumindest die Durchführung einer automatischen Bremsung des Fahrzeugs ermöglicht, wenn der absolute Fehler größer ist als ein vorgegebener Schwellenwert.
In einer beispielhaften Ausführungsform ist der Prozessor außerdem so konfiguriert, dass er zumindest die Anwendung der automatischen Lenkung für das Fahrzeug ermöglicht, wenn der absolute Fehler größer als ein vorgegebener Schwellenwert ist.
In einer beispielhaften Ausführungsform ist der Prozessor außerdem so konfiguriert, dass er zumindest die Einstellung eines Schwellenwerts für eine oder mehrere automatische Steuerungsfunktionen für das Fahrzeug ermöglicht, wenn der absolute Fehler größer als ein vorgegebener Schwellenwert ist.
In einer anderen beispielhaften Ausführungsform wird ein Verfahren bereitgestellt, das Folgendes umfasst: Erhalten von ersten Sensordaten in Bezug auf eine externe Umgebung außerhalb eines Fahrzeugs; Erhalten von zweiten Sensordaten in Bezug auf ein oder mehrere Augen eines Fahrers des Fahrzeugs; Bestimmen, über einen Prozessor, eines vorhergesagten Blickwinkels des einen oder der mehreren Augen des Fahrers basierend auf der externen Umgebung außerhalb des Fahrzeugs, unter Verwendung der ersten Sensordaten; Bestimmen, über den Prozessor, eines gemessenen Blickwinkels des einen oder der mehreren Augen des Fahrers, unter Verwendung der zweiten Sensordaten, und Steuern, über den Prozessor, einer oder mehrerer Fahrzeugaktionen basierend auf einem Vergleich des vorhergesagten Blickwinkels und des gemessenen Blickwinkels.
Ebenfalls in einer beispielhaften Ausführungsform umfasst der Schritt des Erhaltens der ersten Sensordaten das Erhalten der ersten Sensordaten über eine externe Kamera des Fahrzeugs, die nach außen gerichtet ist und die so konfiguriert ist, dass sie externe Kamerabilder der äußeren Umgebung außerhalb des Fahrzeugs erhält; und der Schritt des Erhaltens der zweiten Sensordaten umfasst das Erhalten der zweiten Sensordaten über eine interne Kamera des Fahrzeugs, die ins Innere des Fahrzeugs gerichtet ist und die so konfiguriert ist, dass sie interne Kamerabilder des Fahrers im Inneren des Fahrzeugs erhält.
In einer beispielhaften Ausführungsform umfasst das Verfahren außerdem: Bestimmen einer Bahnkrümmung einer Trajektorie, auf der das Fahrzeug fährt, über den Prozessor, basierend auf den ersten Sensordaten; wobei der Schritt des Bestimmens des vorhergesagten Blickwinkels das Bestimmen des vorhergesagten Blickwinkels des einen oder der mehreren Augen des Fahrers über den Prozessor umfasst, basierend auf der Bahnkrümmung der Trajektorie.
In einer beispielhaften Ausführungsform umfasst das Verfahren außerdem: Bestimmen eines oder mehrerer Infrastrukturobjekte einer Trajektorie, auf der das Fahrzeug fährt, über den Prozessor, basierend auf den ersten Sensordaten; wobei der Schritt des Bestimmens des vorhergesagten Blickwinkels das Bestimmen des vorhergesagten Blickwinkels des einen oder der mehreren Augen des Fahrers über den Prozessor umfasst, basierend auf dem einen oder den mehreren Infrastrukturobjekten.
Ebenfalls in einer beispielhaften Ausführungsform umfasst der Schritt der Steuerung der einen oder mehreren Fahrzeugaktionen die Steuerung der einen oder mehreren Fahrzeugaktionen über den Prozessor auf der Grundlage eines absoluten Fehlers zwischen dem vorhergesagten Blickwinkel und dem gemessenen Blickwinkel.
In einer beispielhaften Ausführungsform umfasst der Schritt der Steuerung der einen oder mehreren Fahrzeugaktionen auch die Durchführung einer automatischen Bremsung des Fahrzeugs über Anweisungen, die vom Prozessor bereitgestellt werden, wenn der absolute Fehler größer als ein vorgegebener Schwellenwert ist.
Ebenfalls in einer beispielhaften Ausführungsform umfasst der Schritt der Steuerung der einen oder mehreren Fahrzeugaktionen die Anwendung einer automatischen Lenkung für das Fahrzeug über Anweisungen, die vom Prozessor bereitgestellt werden, wenn der absolute Fehler größer als ein vorbestimmter Schwellenwert ist.
In einer anderen beispielhaften Ausführungsform wird ein Fahrzeug bereitgestellt, das eine Karosserie, ein Antriebssystem, einen oder mehrere erste Sensoren, einen oder mehrere zweite Sensoren und einen Prozessor umfasst. Das Antriebssystem ist so konfiguriert, dass es eine Bewegung der Karosserie erzeugt. Der eine oder die mehreren ersten Sensoren sind an Bord des Fahrzeugs angeordnet und so konfiguriert, dass sie zumindest den Erhalt von ersten Sensordaten in Bezug auf eine externe Umgebung außerhalb des Fahrzeugs ermöglichen. Der eine oder die mehreren zweiten Sensoren sind an Bord des Fahrzeugs angeordnet und so konfiguriert, dass sie zumindest das Erhalten von zweiten Sensordaten in Bezug auf ein oder mehrere Augen eines Fahrers des Fahrzeugs ermöglichen. Der Prozessor ist an Bord des Fahrzeugs angeordnet und so konfiguriert, dass er zumindest Folgendes ermöglicht: Bestimmen eines vorhergesagten Blickwinkels des einen oder der mehreren Augen des Fahrers auf der Grundlage der externen Umgebung außerhalb des Fahrzeugs unter Verwendung der ersten Sensordaten; Bestimmen eines gemessenen Blickwinkels des einen oder der mehreren Augen des Fahrers unter Verwendung der zweiten Sensordaten; und Steuern einer oder mehrerer Fahrzeugaktionen auf der Grundlage eines Vergleichs des vorhergesagten Blickwinkels und des gemessenen Blickwinkels.
Ebenfalls in einer beispielhaften Ausführungsform umfassen der eine oder die mehreren ersten Sensoren eine oder mehrere Außenkameras, die nach außen gerichtet sind und so konfiguriert sind, dass sie externe Kamerabilder der äußeren Umgebung außerhalb des Fahrzeugs erhalten; und der eine oder die mehreren zweiten Sensoren umfassen eine oder mehrere Innenkameras, die nach innen gerichtet sind und so konfiguriert sind, dass sie interne Kamerabilder des Fahrers im Fahrzeug erhalten.
In einer beispielhaften Ausführungsform ist der Prozessor außerdem so konfiguriert, dass er zumindest Folgendes ermöglicht: Bestimmen einer Bahnkrümmung einer Trajektorie, auf der das Fahrzeug fährt, auf der Grundlage der ersten Sensordaten; und Bestimmen des vorhergesagten Blickwinkels des einen oder der mehreren Augen des Fahrers auf der Grundlage der Bahnkrümmung der Trajektorie.
Figurenliste
Die vorliegende Offenbarung wird im Folgenden in Verbindung mit den folgenden Figuren beschrieben, wobei gleiche Bezugsziffern gleiche Elemente bezeichnen und wobei:

1 ist ein funktionales Blockdiagramm eines Fahrzeugs mit einem Kontrollsystem zur Bewertung der Wachsamkeit eines Fahrzeugführers gemäß beispielhaften Ausführungsformen,
2 ist ein Flussdiagramm eines Verfahrens zur Bewertung der Wachsamkeit eines Fahrzeugführers, das in Verbindung mit dem Fahrzeug von 1 in Übereinstimmung mit beispielhaften Ausführungsformen verwendet werden kann; und
3-6 zeigen beispielhafte Implementierungen des Verfahrens von 2, in Übereinstimmung mit beispielhaften Ausführungsformen.

AUSFÜHRLICHE BESCHREIBUNG
Die folgende detaillierte Beschreibung ist lediglich beispielhaft und soll die Offenbarung oder deren Anwendung und Verwendung nicht einschränken. Darüber hinaus besteht nicht die Absicht, durch die im vorangegangenen Hintergrund oder in der folgenden detaillierten Beschreibung dargestellte Theorie gebunden zu sein.
1 zeigt ein Fahrzeug 100. In verschiedenen Ausführungsformen und wie nachstehend beschrieben, umfasst das Fahrzeug 100 ein Kontrollsystem 102 zur Bewertung der Wachsamkeit eines Fahrers des Fahrzeugs 100 auf der Grundlage eines Vergleichs zwischen gemessenen und vorhergesagten Blickwinkeln des Fahrers, auch in Bezug auf eine das Fahrzeug 100 umgebende Fahrumgebung.
In verschiedenen Ausführungsformen umfasst das Fahrzeug 100 ein Automobil. Bei dem Fahrzeug 100 kann es sich um eine beliebige Art von Automobilen handeln, wie z. B. eine Limousine, einen Kombi, einen Lastwagen oder ein Sport Utility Vehicle (SUV), und es kann einen Zweiradantrieb (2WD) (d. h. Hinterradantrieb oder Vorderradantrieb), einen Vierradantrieb (4WD) oder einen Allradantrieb (AWD) und/oder verschiedene andere Fahrzeugtypen in bestimmten Ausführungsformen aufweisen. In bestimmten Ausführungsformen kann das Fahrzeug 100 auch ein Motorrad oder ein anderes Fahrzeug, wie z. B. ein Luftfahrzeug, ein Raumfahrzeug, ein Wasserfahrzeug usw., und/oder eine oder mehrere andere Arten von mobilen Plattformen umfassen.
Das Fahrzeug 100 umfasst eine Karosserie 104, die auf einem Fahrgestell 116 angeordnet ist. Die Karosserie 104 umschließt im Wesentlichen andere Komponenten des Fahrzeugs 100. Die Karosserie 104 und das Fahrgestell 116 können gemeinsam einen Rahmen bilden. Das Fahrzeug 100 umfasst auch eine Vielzahl von Rädern 112. Die Räder 112 sind jeweils in der Nähe einer Ecke der Karosserie 104 drehbar mit dem Fahrgestell 116 verbunden, um die Bewegung des Fahrzeugs 100 zu ermöglichen. In einer Ausführungsform umfasst das Fahrzeug 100 vier Räder 112, obwohl dies in anderen Ausführungsformen (z. B. für Lastwagen und bestimmte andere Fahrzeuge) variieren kann.
Auf dem Fahrgestell 116 ist ein Antriebssystem 110 montiert, das die Räder 112 antreibt, zum Beispiel über die Achsen 114. In bestimmten Ausführungsformen umfasst das Antriebssystem 110 ein Antriebssystem. In bestimmten beispielhaften Ausführungsformen umfasst das Antriebssystem 110 einen Verbrennungsmotor und/oder einen Elektromotor/Generator, der mit einem Getriebe gekoppelt ist. In bestimmten Ausführungsformen kann das Antriebssystem 110 variieren, und/oder es können zwei oder mehr Antriebssysteme 110 verwendet werden. Beispielsweise kann das Fahrzeug 100 auch eine beliebige oder eine Kombination von verschiedenen Arten von Antriebssystemen aufweisen, wie z. B. einen mit Benzin oder Diesel betriebenen Verbrennungsmotor, einen „Flex-Fuel-Vehicle“-Motor (d. h. mit einer Mischung aus Benzin und Alkohol), einen mit einer gasförmigen Verbindung (z. B. Wasserstoff und/oder Erdgas) betriebenen Motor, einen Verbrennungs-/Elektromotor-Hybridmotor und einen Elektromotor.
In verschiedenen Ausführungsformen umfasst das Fahrzeug 100 eine oder mehrere Funktionen, die automatisch über das Steuersystem 102 gesteuert werden. In bestimmten Ausführungsformen umfassen solche Funktionen das oben erwähnte Antriebssystem 110 sowie ein Bremssystem 106 und ein Lenksystem 108, wie unten beschrieben.
In beispielhaften Ausführungsformen steuert das Bremssystem 106 das Bremsen des Fahrzeugs 100 mit Hilfe von Bremskomponenten, die über Eingaben eines Fahrers (z. B. über ein Bremspedal in bestimmten Ausführungsformen) und/oder automatisch über das Steuersystem 102 gesteuert werden. Ebenfalls in beispielhaften Ausführungsformen steuert das Lenksystem 108 die Lenkung des Fahrzeugs 100 über Lenkkomponenten (z. B. eine mit den Achsen 114 und/oder den Rädern 112 gekoppelte Lenksäule), die über Eingaben eines Fahrers (z. B. über ein Lenkrad in bestimmten Ausführungsformen) und/oder automatisch über das Steuersystem 102 gesteuert werden.
In der in 1 dargestellten Ausführungsform ist das Steuersystem 102 mit dem Bremssystem 106, dem Lenksystem 108 und dem Antriebssystem 110 verbunden. Wie ebenfalls in 1 dargestellt, umfasst das Steuersystem 102 in verschiedenen Ausführungsformen eine Sensoranordnung 120, ein Ortungssystem 130, ein Benachrichtigungssystem 135 und ein Steuergerät 140.
In verschiedenen Ausführungsformen umfasst die Sensoranordnung 120 verschiedene Sensoren, die Sensordaten zum Erhalt von Informationen über die Bewegung des Fahrzeugs 100 innerhalb einer geeigneten Fahrspur erhalten. In der dargestellten Ausführungsform umfasst die Sensoranordnung 120 eine Vielzahl von Kameras 122, 123 sowie einen oder mehrere Geschwindigkeitssensoren 124 und/oder andere Sensoren 126.
In verschiedenen Ausführungsformen umfassen die Kameras 122, 123 eine oder mehrere Außenkameras 122 und eine oder mehrere Innenkameras 123. In verschiedenen Ausführungsformen sind die Außenkameras 122 auf die Außenseite des Fahrzeugs 100 gerichtet und nehmen Kamerabilder von dort auf. In verschiedenen Ausführungsformen sind die Außenkameras 122 an der Karosserie 104 des Fahrzeugs 100 angeordnet (z. B. an einem vorderen Stoßfänger, auf dem Dach, an oder in der Nähe einer Frontscheibe oder ähnlichem) und sind vor das Fahrzeug 100 gerichtet und erhalten Außenkameradaten in Bezug auf eine Fahrumgebung vor dem Fahrzeug 100, einschließlich einer Richtungsgeometrie der Trajektorie vor dem Fahrzeug 100.
In verschiedenen Ausführungsformen sind die Innenraumkameras 123 auch auf den Innenraum des Fahrzeugs 100 (z. B. die Kabine des Fahrzeugs 100) gerichtet und erfassen dort Bilder. In verschiedenen Ausführungsformen sind die Innenraumkameras 123 so konfiguriert, dass sie Bilder eines Fahrers des Fahrzeugs 100, einschließlich seines Gesichts (und seiner Augen), als Innenraumkameradaten erfassen. In bestimmten Ausführungsformen können die Innenraumkameras 123 auf oder in der Nähe eines vorderen Armaturenbretts, des Dachs, eines Rückspiegels und/oder eines anderen Teils des Fahrzeugs 100 mit Blick auf das Gesicht (einschließlich der Augen) des Fahrers angeordnet sein.
In verschiedenen Ausführungsformen umfassen die Geschwindigkeitssensoren 124 auch einen oder mehrere Raddrehzahlsensoren und/oder andere Sensoren, die eine Geschwindigkeit des Fahrzeugs 100 und/oder Informationen messen, die zur Ermittlung der Geschwindigkeit des Fahrzeugs 100 verwendet werden können (z. B. eine Beschleunigung des Fahrzeugs 100). Darüber hinaus können in bestimmten Ausführungsformen der eine oder die mehreren anderen Sensoren 126 einen oder mehrere andere Erfassungssensoren (z. B. Radar, Lidar, Sonar), die Sensordaten in Bezug auf die äußere Umgebung des Fahrzeugs 100 erhalten, und/oder einen oder mehrere Fahrzeugsensoren, die Sensordaten in Bezug auf einen oder mehrere Fahrzeugfahrzustände oder Eingaben des Fahrers erhalten (z. B. in bestimmten Ausführungsformen einen oder mehrere Lenkwinkelsensoren, Bremspedal-Eingriffssensoren, Gaspedal-Eingriffssensoren, Touchscreen-Eingabesensoren und dergleichen), umfassen.
In bestimmten Ausführungsformen ist das Ortungssystem 130 so konfiguriert, dass es Daten über eine Position und/oder einen Ort, an dem sich das Fahrzeug 100 befindet und fährt, einschließlich einer Trajektorie und einer Fahrtrichtung, in der das Fahrzeug 100 fährt, erhält und/oder erzeugt. In bestimmten Ausführungsformen umfasst das Ortungssystem 130 ein satellitengestütztes Netzwerk und/oder System, wie z. B. ein globales Positionierungssystem (GPS) und/oder ein anderes satellitengestütztes System, und/oder ist mit diesem gekoppelt.
In verschiedenen Ausführungsformen ist das Benachrichtigungssystem 135 so konfiguriert, dass es eine oder mehrere Benachrichtigungen bereitstellt, auch in Bezug auf die Wachsamkeit des Fahrers des Fahrzeugs 100. In verschiedenen Ausführungsformen liefert das Benachrichtigungssystem 135 eine oder mehrere akustische, visuelle, haptische und/oder andere Benachrichtigungen, auch innerhalb des Fahrzeugs 100, wenn festgestellt wird, dass der Fahrer nicht ausreichend aufmerksam ist.
In verschiedenen Ausführungsformen ist das Steuergerät 140 mit der Sensoranordnung 120, dem Ortungssystem 130 und dem Benachrichtigungssystem 135 verbunden. In verschiedenen Ausführungsformen umfasst das Steuergerät 140 auch ein Computersystem mit einem Prozessor 142, einem Speicher 144, einer Schnittstelle 146, einem Speichergerät 148 und einem Computerbus 150. In verschiedenen Ausführungsformen steuert das Steuergerät (oder Computersystem) 140 verschiedene Aktionen des Fahrzeugs 100 (einschließlich der Bereitstellung von Benachrichtigungen und der Steuerung von Beschleunigung, Bremsen und Lenkung des Fahrzeugs 100) auf der Grundlage eines Bestimmens des Aufmerksamkeitsgrads des Fahrers des Fahrzeugs 100. In verschiedenen Ausführungsformen stellt das Steuergerät 140 diese und andere Funktionen in Übereinstimmung mit den Schritten des Prozesses 200 von 2 und den weiter unten beschriebenen Implementierungen bereit, beispielsweise in Verbindung mit 3-6.
In verschiedenen Ausführungsformen ist das Steuergerät 140 (und in bestimmten Ausführungsformen das Steuersystem 102 selbst) innerhalb der Karosserie 104 des Fahrzeugs 100 angeordnet. In einer Ausführungsform ist das Steuersystem 102 auf dem Fahrgestell 116 montiert. In bestimmten Ausführungsformen kann das Steuergerät 140 und/oder das Steuersystem 102 und/oder eine oder mehrere Komponenten davon außerhalb der Karosserie 104 angeordnet sein, zum Beispiel auf einem entfernten Server, in der Cloud oder einem anderen Gerät, auf dem die Bildverarbeitung aus der Ferne durchgeführt wird.
Es wird deutlich, dass sich das Steuergerät 140 von der in 1 dargestellten Ausführungsform unterscheiden kann. Zum Beispiel kann das Steuergerät 140 mit einem oder mehreren entfernten Computersystemen und/oder anderen Steuersystemen gekoppelt sein oder diese anderweitig nutzen, zum Beispiel als Teil eines oder mehrerer der oben genannten Geräte und Systeme des Fahrzeugs 100.
In der dargestellten Ausführungsform umfasst das Computersystem des Steuergeräts 140 einen Prozessor 142, einen Speicher 144, eine Schnittstelle 146, eine Speichereinrichtung 148 und einen Bus 150. Der Prozessor 142 führt die Berechnungs- und Steuerfunktionen des Steuergeräts 140 aus und kann jede Art von Prozessor oder mehrere Prozessoren, einzelne integrierte Schaltungen wie einen Mikroprozessor oder eine beliebige Anzahl von integrierten Schaltkreisen und/oder Leiterplatten umfassen, die zusammenarbeiten, um die Funktionen einer Verarbeitungseinheit zu erfüllen. Während des Betriebs führt der Prozessor 142 ein oder mehrere Programme 152 aus, die im Speicher 144 enthalten sind, und steuert als solcher den allgemeinen Betrieb des Steuergeräts 140 und des Computersystems des Steuergeräts 140, im Allgemeinen bei der Ausführung der hierin beschriebenen Prozesse, wie z. B. des Prozesses von 2 und der weiter unten beschriebenen Implementierungen, z. B. in Verbindung mit den 3-6.
Bei dem Speicher 144 kann es sich um jede Art von geeignetem Speicher handeln. Zum Beispiel kann der Speicher 144 verschiedene Arten von dynamischem Direktzugriffsspeicher (DRAM) wie SDRAM, die verschiedenen Arten von statischem RAM (SRAM) und die verschiedenen Arten von nichtflüchtigem Speicher (PROM, EPROM und Flash) umfassen. In bestimmten Beispielen befindet sich der Speicher 144 auf demselben Computerchip wie der Prozessor 142 und/oder ist auf diesem angeordnet. In der dargestellten Ausführungsform speichert der Speicher 144 das oben erwähnte Programm 152 zusammen mit einer Kartendatenbank 154 (z.B. einer Datenbank mit Daten über eine Trajektorie, einschließlich ihrer Richtung und Geometrie, auf der das Fahrzeug 100 fährt, z.B. wie in Verbindung mit dem Ortungssystem 130 ermittelt) und einem oder mehreren gespeicherten Werten 156 (z.B., einschließlich, in verschiedenen Ausführungsformen, Schwellenwerte in Bezug auf eine gemessene Wachsamkeit des Fahrers, z.B. in Bezug auf eine absolute Differenz zwischen einem gemessenen Blickwinkel und einem vorhergesagten Blickwinkel des Fahrers, basierend auf der Fahrumgebung außerhalb des Fahrzeugs 100).
Der Bus 150 dient der Übertragung von Programmen, Daten, Status und anderen Informationen oder Signalen zwischen den verschiedenen Komponenten des Rechnersystems des Steuergeräts 140. Die Schnittstelle 146 ermöglicht die Kommunikation mit dem Computersystem des Steuergeräts 140, zum Beispiel von einem Systemtreiber und/oder einem anderen Computersystem, und kann mit jeder geeigneten Methode und Vorrichtung implementiert werden. In einer Ausführungsform erhält die Schnittstelle 146 die verschiedenen Daten von der Sensoranordnung 120, dem Ortungssystem 130 und/oder dem Benachrichtigungssystem 135. Die Schnittstelle 146 kann eine oder mehrere Netzwerkschnittstellen enthalten, um mit anderen Systemen oder Komponenten zu kommunizieren. Die Schnittstelle 146 kann auch eine oder mehrere Netzwerkschnittstellen für die Kommunikation mit Technikern und/oder eine oder mehrere Speicherschnittstellen für die Verbindung mit Speichergeräten, wie dem Speichergerät 148, enthalten.
Bei der Speichervorrichtung 148 kann es sich um jede geeignete Art von Speichergerät handeln, einschließlich verschiedener Arten von Direktzugriffsspeichern und/oder anderen Speichervorrichtungen. In einer beispielhaften Ausführungsform umfasst die Speichervorrichtung 148 ein Programmprodukt, von dem der Speicher 144 ein Programm 152 empfangen kann, das eine oder mehrere Ausführungsformen eines oder mehrerer Prozesse der vorliegenden Offenbarung ausführt, wie z. B. die Schritte des Prozesses von 2 und Implementierungen, die weiter unten beschrieben werden, z. B. in Verbindung mit 3-6. In einer anderen beispielhaften Ausführungsform kann das Programmprodukt direkt in dem Speicher 144 und/oder einer Platte (z. B. Platte 157), wie nachstehend beschrieben, gespeichert und/oder anderweitig darauf zugegriffen werden.
Der Bus 150 kann jedes geeignete physikalische oder logische Mittel zur Verbindung von Computersystemen und -komponenten sein. Dazu gehören unter anderem direkte, fest verdrahtete Verbindungen, Glasfasertechnik, Infrarot und drahtlose Bustechnologien. Während des Betriebs wird das Programm 152 in dem Speicher 144 gespeichert und von dem Prozessor 142 ausgeführt.
Es wird deutlich, dass diese beispielhafte Ausführungsform zwar im Zusammenhang mit einem voll funktionsfähigen Computersystem beschrieben wird, dass aber Fachleute erkennen werden, dass die Mechanismen der vorliegenden Offenbarung als Programmprodukt mit einer oder mehreren Arten von nicht transitorischen, computerlesbaren, signaltragenden Medien verteilt werden können, die zum Speichern des Programms und seiner Anweisungen und zur Durchführung seiner Verteilung verwendet werden, wie z. B. ein nicht transitorisches, computerlesbares Medium, das das Programm trägt und darin gespeicherte Computeranweisungen enthält, um einen Computerprozessor (wie den Prozessor 142) zu veranlassen, das Programm auszuführen und auszuführen. Ein solches Programmprodukt kann eine Vielzahl von Formen annehmen, und die vorliegende Offenbarung gilt gleichermaßen unabhängig von der besonderen Art des computerlesbaren signaltragenden Mediums, das zur Durchführung der Verteilung verwendet wird. Beispiele für signaltragende Medien sind: beschreibbare Medien wie Disketten, Festplatten, Speicherkarten und optische Platten sowie Übertragungsmedien wie digitale und analoge Kommunikationsverbindungen. In bestimmten Ausführungsformen können auch Cloud-basierte Speicher und/oder andere Techniken verwendet werden. Es wird ebenfalls anerkannt, dass sich das Computersystem des Steuergeräts 140 auch anderweitig von der in 1 dargestellten Ausführungsform unterscheiden kann, zum Beispiel dadurch, dass das Computersystem des Steuergeräts 140 mit einem oder mehreren entfernten Computersystemen und/oder anderen Steuersystemen gekoppelt sein oder diese anderweitig nutzen kann.
Unter Bezugnahme auf 2 wird ein Flussdiagramm eines Prozesses 200 zur Bewertung der Wachsamkeit eines Fahrzeugführers gemäß beispielhaften Ausführungsformen dargestellt. Das Verfahren 200 kann gemäß beispielhaften Ausführungsformen in Verbindung mit dem Fahrzeug 100 von 1 implementiert werden. Das Verfahren 200 wird im Folgenden in Verbindung mit 2 sowie den 3-6 beschrieben, die beispielhafte Implementierungen des Verfahrens 200 darstellen.
Wie in 2 dargestellt, beginnt der Prozess 200 in Schritt 202. In einer Ausführungsform beginnt der Prozess 200, wenn ein Fahr- oder Zündzyklus des Fahrzeugs beginnt, z. B. wenn ein Fahrer oder ein anderer Benutzer sich dem Fahrzeug 100 nähert oder es betritt, oder wenn der Fahrer oder ein anderer Benutzer das Fahrzeug und/oder eine Zündung dafür einschaltet (z. B. durch Drehen eines Schlüssels, Betätigen eines Schlüsselanhängers oder einer Starttaste usw.). In einer Ausführungsform werden die Schritte des Verfahrens 200 kontinuierlich während des Betriebs des Fahrzeugs durchgeführt.
In verschiedenen Ausführungsformen werden Daten in Bezug auf die Fahrt des Fahrzeugs gewonnen (Schritt 203). In verschiedenen Ausführungsformen werden die Daten in Bezug auf die äußere Umgebung des Fahrzeugs (einschließlich der Krümmung der Trajektorie) sowie die Aktivität eines Fahrers des Fahrzeugs (einschließlich eines gemessenen Blickwinkels des Fahrers) und den Betrieb des Fahrzeugs (einschließlich der Geschwindigkeit des Fahrzeugs) ermittelt. In verschiedenen Ausführungsformen werden die erhaltenen Daten während des Schritts 203 aus dem Sensorarray 120, dem Ortungssystem 130 und der Kartendatenbank 154 von 1 gewonnen.
Insbesondere erhalten die Außenkameras 122 in verschiedenen Ausführungsformen Kameradaten in Bezug auf eine Umgebung, die das Fahrzeug 100 umgibt, einschließlich der Geometrie und der Krümmung der Trajektorie vor dem Fahrzeug 100 (und in bestimmten Ausführungsformen auch in Bezug auf Verkehrsschilder und/oder andere Infrastruktur auf oder entlang der Trajektorie).
In verschiedenen Ausführungsformen erhalten die Innenraumkameras 123 während des Schritts 203 Kameradaten in Bezug auf den Fahrer des Fahrzeugs 100, einschließlich in Bezug auf die Augen des Fahrers.
Darüber hinaus werden in verschiedenen Ausführungsformen auch während des Schritts 203 Standortdaten über das Ortungssystem 130 in Bezug auf die Trajektorie, auf der das Fahrzeug 100 fährt, und Kartendaten über die Kartendatenbank 154 aus dem Speicher 144 von 1 bezogen, die sich auf die Trajektorie beziehen (z. B. auf der Grundlage der Standortdaten).
Darüber hinaus werden in bestimmten Ausführungsformen zusätzliche Sensordaten in Bezug auf das Fahrzeug 100 selbst und dessen Bewegung erfasst (z. B. einschließlich Geschwindigkeit, Beschleunigung, Kurs und/oder anderer Daten in Bezug auf das Fahrzeug 100).
In verschiedenen Ausführungsformen wird eine Fahrspurabtastung und Objekterkennung durchgeführt (Schritt 204). In verschiedenen Ausführungsformen wird eine Identifizierung in Bezug auf die Trajektorie (und die entsprechende Fahrspur und alle entsprechenden Verkehrsschilder, Ampeln, andere Infrastruktur und/oder andere Objekte in Verbindung damit), auf der das Fahrzeug 100 fährt, auf der Grundlage von Sensordaten aus Schritt 202 (z. B. auf der Grundlage der Kameradaten von den Außenkameras 122 von 1) von Schritt 203 vorgenommen.
In verschiedenen Ausführungsformen werden auch zusätzliche Informationen über die Fahrumgebung ermittelt (Schritt 206). In verschiedenen Ausführungsformen werden die Standortdaten und Kartendaten aus Schritt 203 verwendet, um detaillierte Informationen zu generieren, einschließlich eines elektronischen Horizonts und der Straßengeometrie (und Straßenrichtung) vor dem Fahrzeug 100.
In verschiedenen Ausführungsformen werden die Fahrspurerkennungs- und Objekterkennungsinformationen (aus Schritt 204) und die zusätzlichen Informationen über die Fahrumgebung (aus Schritt 206) stärker fusioniert (Schritt 208). In verschiedenen Ausführungsformen fusioniert der Prozessor 142 von 1 die Daten aus den Schritten 206 und 208, um fusionierte Daten bezüglich der Fahrumgebung für das Fahrzeug 100 zu erzeugen. In verschiedenen Ausführungsformen beziehen sich die fusionierten Daten auf verschiedene Aspekte der Fahrumgebung für das Fahrzeug 100, wie zum Beispiel: eine Richtung und Geometrie der Trajektorie vor dem Fahrzeug 100 sowie indizierte Straßenkrümmungen vor dem Fahrzeug 100, Straßeneinmündungen und/oder -abzweigungen nach links und rechts, Straßenschilder, Ampeln und so weiter. In verschiedenen Ausführungsformen beziehen sich die fusionierten Daten auch darauf, ob die unmittelbare Vorderseite des Fahrzeugs 100 durch ein anderes Fahrzeug behindert wird und/oder die Sicht vom Fahrzeug 100 aus blockiert ist (z. B. zur Verwendung beim Filtern von gültigen gegenüber ungültigen gemessenen Fahrerblickdatenpunkten usw.).
In verschiedenen Ausführungsformen wird auch eine Trajektorienkrümmung berechnet (Schritt 210). In verschiedenen Ausführungsformen werden Flugbahnkrümmungen durch den Prozessor 142 von 1 in Bezug auf die Trajektorie (und deren Fahrspur) in verschiedenen Abständen vor dem Fahrzeug 100 berechnet. Darüber hinaus können in bestimmten Ausführungsformen, je nach Einrichtung der Kartendatenbank und des Ortungssystems (z. B. des Navigationssystems), wenn das Ortungssystem die Krümmung der Traj ektorie liefert, diese Informationen ohne weiteres in dem Verfahren 200 verwendet werden. Andernfalls kann in verschiedenen Ausführungsformen, wenn Informationen über den Straßenradius empfangen werden, die Krümmung des Kehrwerts des Radius bestimmt werden. Zusätzlich kann in verschiedenen Ausführungsformen, wenn die Informationen in Form von Straßenverlaufspunkten vorliegen, ein Kurvenanpassungsprozess verwendet werden, um die beste Schätzung der Straßenkrümmung in einer bestimmten Entfernung zu erhalten. In verschiedenen Ausführungsformen können die in Schritt 210 verwendeten Entfernungen einen kalibrierbaren Wert der vorausliegenden Trajektorienentfernung in km oder Sekunden (Zeit auf der Grundlage von Entfernung und Fahrzeuggeschwindigkeit) und die folgenden Entfernungen der vorausfahrenden Fahrzeuge auf derselben Spur umfassen, sind aber nicht darauf beschränkt.
In verschiedenen Ausführungsformen wird ein vorhergesagter Blickwinkel erzeugt (Schritt 212). In verschiedenen Ausführungsformen erzeugt der Prozessor 142 von 1 einen vorhergesagten Euler-Blickwinkel für die Pupillen der Augen des Fahrers des Fahrzeugs 100 auf der Grundlage der Trajektorienkrümmungen von Schritt 210. Beispielsweise wird in verschiedenen Ausführungsformen der vorhergesagte Euler-Blickwinkel auf der Grundlage einer vorhergesagten Richtung bestimmt, in die die Augen des Fahrers angesichts der Trajektorienkrümmungen voraussichtlich gerichtet sein werden (z. B. so, dass der Fahrer auf die vor ihm liegende Straße schaut, einschließlich ihrer Krümmung, und/oder in bestimmten Ausführungsformen auf ein zutreffendes Verkehrsschild oder eine Ampel usw.). In bestimmten Ausführungsformen kann der vorhergesagte Blickwinkel auch einen oder mehrere andere Fahrzeugparameter, wie z.B. die Geschwindigkeit des Fahrzeugs, enthalten und wird beispielsweise auf der Grundlage der Fahrzeuggeschwindigkeit gefiltert. In verschiedenen Ausführungsformen wird in Schritt 212: (i) wird ein Winkel zwischen einem Straßenbahnpunkt und einer Fahrzeugvorderachse ermittelt; (ii) wird ein Array aus den Blickstrahlwinkeln in inkrementellen Abständen erstellt; und (iii) wird das Winkelelement im interessierenden Abstand ausgewählt.
In verschiedenen Ausführungsformen wird auch festgestellt, ob die Sicht der Außenkamera blockiert ist (Schritt 214). Insbesondere stellt der Prozessor 142 in verschiedenen Ausführungsformen zunächst fest, ob eine Vorwärtssicht der Außenkamera 122 von 1 blockiert ist, so dass aussagekräftige Kameradaten vor dem Fahrzeug 100 zum gegenwärtigen Zeitpunkt und am gegenwärtigen Ort nicht zu erhalten sind. In verschiedenen Ausführungsformen wird dieses Bestimmen auf der Grundlage der Sensordaten aus Schritt 203 (nämlich von den Außenkameras 122) vorgenommen.
In verschiedenen Ausführungsformen kehrt der Prozess zu Schritt 203 zurück, wenn in Schritt 214 festgestellt wird, dass die Sicht der Außenkamera blockiert ist, da die Daten in einer neuen Iteration weiter erfasst werden. In verschiedenen Ausführungsformen wird der Prozess 200 dadurch in einer neuen Iteration mit aktualisierten Daten aus Schritt 203 fortgesetzt.
Wenn hingegen in Schritt 214 festgestellt wird, dass die Außenkamerasicht nicht blockiert ist, geht der Prozess 200 stattdessen zu den Schritten 216 und 218 über, die im Folgenden beschrieben werden.
In verschiedenen Ausführungsformen wird in Schritt 216 ein gemessener Blickwinkel der Augen des Fahrers auf der Grundlage der Daten von Schritt 203 identifiziert (d. h. bestimmt). In verschiedenen Ausführungsformen umfasst der gemessene Blickwinkel ein Maß, das die erfassten Eulerschen Blickwinkel beider Augen repräsentiert (falls zutreffend, z. B. wenn der Fahrer zwei funktionierende Augen hat usw.). In verschiedenen Ausführungsformen umfasst der gemessene Blickwinkel einen Durchschnitt (z. B. ein arithmetisches Mittel) der Blick-Euler-Winkel der Pupillen der Augen des Fahrers. In bestimmten anderen Ausführungsformen wird der gemessene Blickwinkel durch den Prozessor 142 von 1 auf der Grundlage der über die Innenkameras 123 erhaltenen Kameradaten ermittelt. In bestimmten Ausführungsformen kann der gemessene Blickwinkel auch einen oder mehrere andere Fahrzeugparameter enthalten, wie z. B. die Geschwindigkeit des Fahrzeugs, und wird beispielsweise auf der Grundlage der Fahrzeuggeschwindigkeit gefiltert. In bestimmten Ausführungsformen kann eine Mindestgeschwindigkeit definiert werden, wobei das Verfahren die Straßentrajektorie und die Vorhersagen nicht berechnet, wenn die gemessene Geschwindigkeit unter der Mindestgeschwindigkeit liegt (z. B. wenn das Fahrzeug 100 in einer Seitenstraße fährt und/oder sich sehr langsam bewegt usw.).
In verschiedenen Ausführungsformen wird in Schritt 218 auch ein Vergleich zwischen dem vorhergesagten Blickwinkel von Schritt 212 und dem gemessenen Blickwinkel von Schritt 216 durchgeführt. In bestimmten Ausführungsformen vergleicht der Prozessor 142 von 1 den vorhergesagten Euler-Blickwinkel der Augen des Fahrers von Schritt 212 mit dem Durchschnitt der gemessenen (oder erkannten) Euler-Blickwinkel von Schritt 216 und bestimmt einen absoluten Fehler, indem er einen dieser Werte vom anderen subtrahiert und einen absoluten Wert davon nimmt.
In verschiedenen Ausführungsformen wird bestimmt, ob die Differenz zwischen dem vorhergesagten Blickwinkel und dem gemessenen Blickwinkel größer ist als ein vorgegebener Schwellenwert (Schritt 220). In verschiedenen Ausführungsformen bestimmt der Prozessor 142 von 1, ob der in Schritt 218 berechnete absolute Fehler größer ist als der vorbestimmte Schwellenwert (z.B. gespeichert im Speicher 144 von 1 als ein oder mehrere gespeicherte Werte 156 davon). In bestimmten Ausführungsformen ist der vorbestimmte Schwellenwert von Schritt 218 gleich ungefähr sieben Grad; dies kann jedoch in anderen Ausführungsformen variieren.
In verschiedenen Ausführungsformen kehrt das Verfahren zu Schritt 203 zurück, wenn der Absolutwert der Differenz zwischen dem vorhergesagten Blickwinkel und dem gemessenen Blickwinkel kleiner oder gleich dem vorgegebenen Schwellenwert ist, da in einer neuen Iteration weiterhin Daten gewonnen werden. In verschiedenen Ausführungsformen wird der Prozess 200 dadurch in einer neuen Iteration mit aktualisierten Daten aus Schritt 203 fortgesetzt.
Umgekehrt wird in verschiedenen Ausführungsformen stattdessen mit Schritt 222 fortgefahren, wenn der absolute Wert der Differenz zwischen dem vorhergesagten Blickwinkel und dem gemessenen Blickwinkel größer ist als der vorgegebene Schwellenwert. In verschiedenen Ausführungsformen wird in Schritt 222 ein Wert für die Aufmerksamkeit des Fahrers berechnet. In verschiedenen Ausführungsformen berechnet der Prozessor 142 von 1 in Schritt 222 die Fahreraufmerksamkeitsbewertung auf der Grundlage der absoluten Differenz von Schritt 218. In verschiedenen Ausführungsformen kann die Aufmerksamkeitsbewertung des Fahrers eine Reihe verschiedener Faktoren berücksichtigen, wie zum Beispiel: Fahrzeuggeschwindigkeit, Fahrzeugbeschleunigung, Lenkaktivitäten, Filterung, Reifezeitfenster, Sichtfeld (z. B., ob es durch ein anderes Fahrzeug vor dem Fahrer behindert wird) und/oder Straßentyp (z. B. Wohngebiet, kontrolliert unkontrolliert und so weiter), neben anderen möglichen Faktoren).
Darüber hinaus werden in verschiedenen Ausführungsformen eine oder mehrere Fahrzeugsteuerungsaktionen durchgeführt, wenn der Absolutwert der Differenz zwischen dem vorhergesagten Blickwinkel und dem gemessenen Blickwinkel größer als der vorgegebene Schwellenwert ist (Schritt 224).
In bestimmten Ausführungsformen werden während des Schritts 224 eine oder mehrere Benachrichtigungen bereitgestellt, wie eine oder mehrere akustische, visuelle und/oder haptische Benachrichtigungen, die über das Benachrichtigungssystem 135 von 1 auf der Grundlage von Anweisungen bereitgestellt werden, die vom Prozessor 142 von 1 bereitgestellt werden. In bestimmten Ausführungsformen können eine oder mehrere andere Benachrichtigungen bereitgestellt werden, z. B. über eine Textnachricht, eine E-Mail und/oder eine andere Benachrichtigung an ein elektronisches Gerät des Fahrers und/oder an einen oder mehrere entfernte Server (z. B. einschließlich der Fahreraufmerksamkeitsbewertung von Schritt 222).
Darüber hinaus können in bestimmten Ausführungsformen während des Schritts 224 eine oder mehrere zusätzliche Steuerungsmaßnahmen vorgesehen werden, beispielsweise im Hinblick auf die automatische Steuerung der Bewegung des Fahrzeugs 100. Zum Beispiel kann in bestimmten Ausführungsformen eine automatische Bremsung und/oder eine automatische Lenkung durch das Bremssystem 106 und/oder das Lenksystem 108 von 1 in Übereinstimmung mit Anweisungen, die durch den Prozessor 142 von 1 bereitgestellt werden, erfolgen. In bestimmten Ausführungsformen kann auch die Beschleunigung und/oder eine andere Bewegung des Fahrzeugs 100 automatisch durch das Antriebssystem 110 von 1 gemäß den vom Prozessor 142 bereitgestellten Anweisungen gesteuert werden.
Darüber hinaus können in bestimmten Ausführungsformen die Schwellenwerte für eine oder mehrere automatische Fahrerfunktionen des Fahrzeugs 100 angepasst werden. Beispielsweise können in verschiedenen Ausführungsformen ein oder mehrere Schwellenwerte für die Bereitstellung einer automatischen Lenkung, eines automatischen Bremssystems, eines Spurhalteassistenten oder Ähnlichem so angepasst werden, dass solche automatischen Funktionen im Vergleich zum herkömmlichen oder Standardbetrieb des Fahrzeugs, bei dem der Fahrer voll aufmerksam ist, früher aktiviert werden, weil der Fahrer möglicherweise beeinträchtigt oder abgelenkt ist.
Unter Bezugnahme auf 3-6 werden beispielhafte Implementierungen für das Verfahren 200 von 2 in Übereinstimmung mit beispielhaften Ausführungsformen dargestellt.
3 zeigt eine erste Illustration des Gesichts eines ersten Fahrers 300, der gemäß einer beispielhaften Ausführungsform als wachsam (oder aufmerksam) gilt. Wie in 3 dargestellt, werden ein erstes Auge 302 und ein zweites Auge 304 des ersten Fahrers 300 analysiert, und zwar in Bezug auf ein Koordinatensystem mit einer x-Achse 310 und einer y-Achse 312 in Bezug auf einen Horizont vor dem Fahrzeug 100. Wie in 3 dargestellt, hat das erste Auge 302 einen ersten Blickwinkel 306 und das zweite Auge einen zweiten Blickwinkel 308 in Bezug auf dieses Koordinatensystem.
4 zeigt eine zweite Darstellung des Gesichts eines zweiten Fahrers 400, der gemäß einer beispielhaften Ausführungsform als abgelenkt (d. h. nicht wach oder unaufmerksam) gilt. Wie in 4 dargestellt, werden ein erstes Auge 402 und ein zweites Auge 404 des zweiten Fahrers 400 analysiert, und zwar in Bezug auf ein Koordinatensystem mit einer x-Achse 410 und einer y-Achse 412 in Bezug auf einen Horizont vor dem Fahrzeug 100. Wie in 4 dargestellt, hat das erste Auge 402 einen ersten Blickwinkel 406 und das zweite Auge einen zweiten Blickwinkel 408 in Bezug auf dieses Koordinatensystem.
5 zeigt einen ersten Vergleich 500 eines vorhergesagten Blickwinkels 510 mit einem gemessenen Blickwinkel 512 in Übereinstimmung mit einer beispielhaften Ausführungsform, die dem ersten Fahrer 300 von 3 entspricht. In der Ausführungsform von 5 wird der erste Vergleich 500 in Verbindung mit einer Koordinatenebene mit einer x-Achse 502, die die Zeit (z. B. in Sekunden oder Millisekunden, in bestimmten Ausführungsformen) umfasst, und einer y-Achse 504, die den Blickwinkel (oder den durchschnittlichen Euler-Blickwinkel) der Augen des ersten Fahrers 300 umfasst, durchgeführt. In verschiedenen Ausführungsformen wird der gemessene Blickwinkel 512 über Schritt 216 des Prozesses 200 von 2 erzeugt und auch über die Fahrzeuggeschwindigkeit gefiltert. Wie in 5 dargestellt, stimmt in diesem Beispiel der gemessene Blickwinkel 512 aufgrund der Wachsamkeit des ersten Fahrers 300 aus 3 (und im Gegensatz zu dem unten in Verbindung mit 6 dargestellten Vergleich) eng mit dem vorhergesagten Blickwinkel 510 überein.
6 zeigt einen zweiten Vergleich 600 eines vorhergesagten Blickwinkels 610 mit einem gemessenen Blickwinkel 612 in Übereinstimmung mit einer beispielhaften Ausführungsform, die dem zweiten Fahrer 400 von 4 entspricht. In der Ausführungsform von 6 wird der zweite Vergleich 600 in Verbindung mit einer Koordinatenebene mit einer x-Achse 602, die die Zeit (z. B. in Sekunden oder Millisekunden, in bestimmten Ausführungsformen) umfasst, und einer y-Achse 604, die den Blickwinkel (oder den durchschnittlichen Euler-Blickwinkel) der Augen des zweiten Fahrers 400 umfasst, durchgeführt. In verschiedenen Ausführungsformen wird der gemessene Blickwinkel 612 über Schritt 216 des Prozesses 200 von 2 erzeugt und auch über die Fahrzeuggeschwindigkeit gefiltert. Wie in 6 dargestellt, stimmt in diesem Beispiel der gemessene Blickwinkel 612 nicht so genau mit dem vorhergesagten Blickwinkel 610 überein (z. B. im Gegensatz zum ersten Vergleich 500 von 5), da der zweite Fahrer 400 von 4 abgelenkt ist.
Dementsprechend werden Verfahren, Systeme und Fahrzeuge zur Bewertung der Wachsamkeit eines Fahrzeugführers bereitgestellt. In verschiedenen Ausführungsformen wird die Wachsamkeit des Fahrers auf der Grundlage ermittelt, wie stark die Augen des Fahrers während der Fahrt auf Umgebungsmerkmale außerhalb des Fahrzeugs gerichtet sind. In bestimmten Ausführungsformen wird die Wachsamkeit des Fahrers auf der Grundlage eines Vergleichs eines vorhergesagten Blickwinkels mit einem gemessenen Blickwinkel der Augen des Fahrers auf der Grundlage einer Trajektorienkrümmung der Trajektorie vor dem Fahrzeug und in bestimmten Ausführungsformen auch auf der Grundlage von Straßenschildern, Ampeln und/oder Infrastruktur und/oder Objekten entlang der Trajektorie vor dem Fahrzeug bestimmt.
In verschiedenen Ausführungsformen können die offenbarten Techniken im Vergleich zu bestehenden Techniken schneller einen Hinweis auf die Wachsamkeit des Fahrers (oder deren Fehlen) liefern, zum Beispiel dadurch, dass die offenbarten Techniken den Blickwinkel des Fahrers mit dem vergleichen, der auf der Grundlage der spezifischen Umgebung vor dem Fahrzeug vorhergesagt wird. In bestimmten Ausführungsformen ist es beispielsweise möglich, dass die Augen des Fahrers, auch wenn er aus dem Fahrzeug herausschaut (oder sogar auf die Trajektorie im Allgemeinen), nicht auf die bevorstehende Bahnkrümmung bevorstehender Trajektorienabschnitte ausgerichtet sind (was beispielsweise mit den offenbarten Techniken im Vergleich zu anderen Techniken, die sich nicht auf die Bahnkrümmung oder andere Merkmale der äußeren Umgebung außerhalb und vor dem Fahrzeug konzentrieren, schneller beobachtet werden kann).
In verschiedenen Ausführungsformen werden die offenbarten Techniken auch zur Durchführung einer oder mehrerer Fahrzeugkontrollmaßnahmen verwendet. In bestimmten Ausführungsformen werden Benachrichtigungen für den Fahrer und/oder eine oder mehrere andere interessierte Parteien bereitgestellt. In verschiedenen Ausführungsformen kann die Bewegung des Fahrzeugs auf der Grundlage einer Bewertung der Aufmerksamkeit des Fahrers automatisch gesteuert werden, z. B. durch automatisches Bremsen, automatisches Lenken, automatische Steuerung des Antriebssystems (z. B. zur Verzögerung), Anpassung der Schwellenwerte für die Spurhaltefunktionen und/oder eine oder mehrere andere automatische Funktionen usw.
Es wird deutlich, dass die Systeme, Fahrzeuge und Verfahren von den in den Abbildungen dargestellten und hier beschriebenen abweichen können. So kann sich beispielsweise das Fahrzeug 100 von 1 von dem in 1 dargestellten Fahrzeug unterscheiden. Ebenso können sich die Schritte des Prozesses 200 von den in 2 dargestellten unterscheiden und/oder verschiedene Schritte des Prozesses 200 können gleichzeitig und/oder in einer anderen Reihenfolge als in 2 dargestellt ablaufen. Es wird ebenfalls deutlich, dass die verschiedenen Implementierungen der 3-6 in verschiedenen Ausführungsformen unterschiedlich sein können.
Obwohl in der vorangegangenen detaillierten Beschreibung mindestens eine beispielhafte Ausführungsform vorgestellt wurde, sollte man sich darüber im Klaren sein, dass es eine Vielzahl von Varianten gibt. Es sollte auch gewürdigt werden, dass die beispielhafte Ausführungsform oder die beispielhaften Ausführungsformen nur Beispiele sind und nicht dazu gedacht sind, den Umfang, die Anwendbarkeit oder die Konfiguration der Offenbarung in irgendeiner Weise zu begrenzen. Vielmehr soll die vorstehende detaillierte Beschreibung dem Fachmann einen praktischen Leitfaden für die Umsetzung der beispielhaften Ausführungsform oder der beispielhaften Ausführungsformen an die Hand geben. Es versteht sich von selbst, dass verschiedene Änderungen in der Funktion und Anordnung der Elemente vorgenommen werden können, ohne dass der Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und deren gesetzlichen Entsprechungen dargelegt ist, verlassen wird.

Claims

System, umfassend: einen oder mehrere erste Sensoren, die an Bord eines Fahrzeugs angeordnet und so konfiguriert sind, dass sie zumindest Erhalten das Erhalten von ersten Sensordaten in Bezug auf eine externe Umgebung außerhalb des Fahrzeugs ermöglichen; einen oder mehrere zweite Sensoren, die an Bord des Fahrzeugs angeordnet und so konfiguriert sind, dass sie zumindest das Erhalten von zweiten Sensordaten in Bezug auf ein oder mehrere Augen eines Fahrers des Fahrzeugs ermöglichen; und einen Prozessor, der sich an Bord des Fahrzeugs befindet und so konfiguriert ist, dass er zumindest ermöglicht: Bestimmen eines vorhergesagten Blickwinkels des einen oder der mehreren Augen des Fahrers auf der Grundlage der äußeren Umgebung außerhalb des Fahrzeugs unter Verwendung der ersten Sensordaten; Bestimmen eines gemessenen Blickwinkels des einen oder der mehreren Augen des Fahrers unter Verwendung der zweiten Sensordaten, und Steuern einer oder mehrerer Fahrzeugaktionen auf der Grundlage eines Vergleichs des vorhergesagten Blickwinkels und des gemessenen Blickwinkels.
System nach Anspruch 1, wobei: der eine oder die mehreren ersten Sensoren eine oder mehrere Außenkameras umfassen, die zur Außenseite des Fahrzeugs gerichtet und so konfiguriert sind, dass sie externe Kamerabilder der äußeren Umgebung außerhalb des Fahrzeugs erhalten; und der eine oder die mehreren zweiten Sensoren eine oder mehrere Innenraumkameras umfassen, die in das Innere des Fahrzeugs gerichtet und so konfiguriert sind, dass sie Innenraumkamerabilder des Fahrers im Inneren des Fahrzeugs erhalten.
System nach Anspruch 1, wobei der Prozessor ferner so konfiguriert ist, dass er zumindest ermöglicht: Bestimmen einer Trajektorienkrümmung einer Trajektorie, auf der das Fahrzeug fährt, auf der Grundlage der ersten Sensordaten; und Bestimmen des voraussichtlichen Blickwinkels des einen oder der mehreren Augen des Fahrers auf der Grundlage der Bahnkrümmung der Trajektorie.
System nach Anspruch 1, wobei der Prozessor ferner so konfiguriert ist, dass er zumindest ermöglicht: Bestimmen eines oder mehrerer Infrastrukturobjekte einer Trajektorie, auf der das Fahrzeug fährt, basierend auf den ersten Sensordaten; und Bestimmen des vorhergesagten Blickwinkels des einen oder der mehreren Augen des Fahrers auf der Grundlage des einen oder der mehreren Infrastrukturobjekte.
System nach Anspruch 1, wobei der Prozessor ferner so konfiguriert ist, dass er zumindest das Steuern der einen oder mehreren Fahrzeugaktionen auf der Grundlage eines absoluten Fehlers zwischen dem vorhergesagten Blickwinkel und dem gemessenen Blickwinkel ermöglicht.
System nach Anspruch 5, wobei der Prozessor ferner so konfiguriert ist, dass er zumindest das Bereitstellen einer Benachrichtigung ermöglicht, wenn der absolute Fehler größer als ein vorgegebener Schwellenwert ist.
System nach Anspruch 5, wobei der Prozessor ferner so konfiguriert ist, dass er zumindest Folgendes ermöglicht: automatisches Steuern der Bewegung des Fahrzeugs, wenn der absolute Fehler größer als ein vorbestimmter Schwellenwert ist.
System nach Anspruch 5, wobei der Prozessor ferner so konfiguriert ist, dass er zumindest das Durchführen einer automatischen Bremsung des Fahrzeugs ermöglicht, wenn der absolute Fehler größer als ein vorbestimmter Schwellenwert ist.
System nach Anspruch 5, wobei der Prozessor ferner so konfiguriert ist, dass er zumindest das Anwenden einer automatischen Lenkung für das Fahrzeug ermöglicht, wenn der absolute Fehler größer als ein vorgegebener Schwellenwert ist.
Ein Verfahren, das Folgendes umfasst: Erhalten erster Sensordaten in Bezug auf eine externe Umgebung außerhalb eines Fahrzeugs; Erhalten von zweiten Sensordaten in Bezug auf ein oder mehrere Augen eines Fahrers des Fahrzeugs; Bestimmen, über einen Prozessor, eines vorhergesagten Blickwinkels des einen oder der mehreren Augen des Fahrers, basierend auf der äußeren Umgebung außerhalb des Fahrzeugs, unter Verwendung der ersten Sensordaten; Bestimmen, über den Prozessor, eines gemessenen Blickwinkels des einen oder der mehreren Augen des Fahrers unter Verwendung der zweiten Sensordaten, und Steuern, über den Prozessor, einer oder mehrerer Fahrzeugaktionen auf der Grundlage eines Vergleichs des vorhergesagten Blickwinkels und des gemessenen Blickwinkels.