DE102016013806B4

DE102016013806B4 - System und Verfahren zur Erkennung einer Blickrichtung eines Fahrers in einem Fahrzeug

Info

Publication number: DE102016013806B4
Application number: DE102016013806.8A
Authority: DE
Inventors: Emin Tarayan
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2016-11-18
Filing date: 2016-11-18
Publication date: 2018-12-20
Anticipated expiration: 2036-11-19
Also published as: DE102016013806A1

Abstract

System zur Erkennung einer Blickrichtung eines Fahrers in einem Fahrzeug, bei welchem eine Beleuchtungseinheit (9) und eine Bildaufnahmeeinheit (11) direkt nebeneinander angeordnet sind, wobei sich ein Auge (21) des Fahrers (13) im Erfassungsbereich der Bildaufnahmeeinheit (11) befindet und ein durch die Beleuchtungseinheit (9) auf dem Auge (21) infolge einer cornealen Reflexion erzeugter Reflexpunkt (19) zur Blickrichtungserkennung von der Bildaufnahmeeinheit (11) aufgenommen und von einer Auswerteeinheit ausgewertet wird,
dadurch gekennzeichnet, dass
die Beleuchtungseinheit (9) und die Bildaufnahmeeinheit (11) in einer Trennebene(15) zwischen einem Cockpit (3) und einer Frontscheibe (1) des Fahrzeuges angeordnet sind, wobei mittels einer jeweiligen Abweichung des auf dem Auge (21) erzeugten Reflexpunktes (19) zu einem durch ein Pupillenzentrum dargestellten Referenzpunkt (17)
eine Blickrichtung in Richtung Cockpit (3) unterhalb der Trennebene erkennbar ist wenn der detektierte Reflexpunkt (19) in eine erste Richtung von dem Referenzpunkt (17) abweicht oder
eine Blickrichtung in Richtung Frontscheibe (1) oberhalb der Trennebene erkennbar ist, wenn der detektierte Reflexpunkt (19) in eine der ersten Richtung entgegengesetzte zweite Richtungen vom Referenzpunkt (17) abweicht.

Description

Die Erfindung betrifft ein System zur Erkennung einer Blickrichtung eines Fahrers in einem Fahrzeug, bei welchem eine Beleuchtungseinheit und eine Bildaufnahmeeinheit direkt nebeneinander angeordnet sind, wobei sich ein Auge des Fahrers im Erfassungsbereich der Bildaufnahmeeinheit befindet und ein durch die Beleuchtungseinheit auf dem Auge infolge einer cornealen Reflexion erzeugter Reflexpunkt zur Blickrichtungserkennung von der Bildaufnahmeeinheit aufgenommen und von einer Auswerteeinheit ausgewertet wird.
Aus der DE 103 39 314 B3 ist eine Vorrichtung bekannt, bei welcher eine bildmessende Videokamera unterhalb eines Displays angeordnet ist, wobei Infrarot-Leuchtdioden direkt unterhalb der Videokamera positioniert sind. Blickt ein Fahrer direkt in die Videokamera bzw. auf das Display, erfasst das Kamerabild das Auge, in welchem ein zentraler Reflexpunkt auf der Hornhaut des Auges mit Iris und Pupille dargestellt ist. Blickt der Fahrer seitlich am Display vorbei, ist in dem Kamerabild ein dezentraler Reflexpunkt auf der Hornhaut zu erkennen. Die Blickrichtung wird aus der cornealen Reflexion auf der Hornhaut bestimmt.
Die DE 10 2014 216 053 A1 offenbart ein Augenerfassungssystem für Fahrzeuge, bei dem die Beleuchtungswellenlänge dynamisch abhängig von der Intensität des Umgebungslichts bei verschiedenen Wellenlängen angepasst wird. Zur Bestimmung der Ausrichtung des Auges wird eine Position einer Reflektion am Augapfel relativ zur Pupille verwendet.
Die DE 11 2014 005 389 T5 offenbart eine Blickbereichsabschätzvorrichtung, bei der mit einer Kamera Bilder eines Gesichts einer zu überwachenden Person chronologisch aufgenommen werden. Ein Blickbereich der Person wird auf der Grundlage der Gesichtsrichtung und einem Stillstandzustand der Gesichtsrichtung abgeschätzt.
Aus der DE 103 39 314 B3 ist ein Verfahren zur Anzeigesteuerung von unterschiedlichen Informationen auf einem gemeinsamen Dual-View-Display bekannt, wobei die aktuelle Blickrichtung automatisch durch eine videobasierte Detektion der Kopfdrehung und/oder Augenbewegung des Fahrers auf der Basis eines statischen oder dynamischen Detektionsverfahrens ermittelt wird.
Die DE 10 2014 206 629 A1 offenbart ein Infotainmentsystem mit einer Blickrichtungserfassungseinrichtung, welche zur Erfassung einer aktuellen Blickrichtung des Fahrers relativ zum Fahrzeuginnenraum ausgebildet ist. Die Bestimmung der Blickrichtung kann beispielsweise so erfolgen, dass die Auswerteeinrichtung in den Bildern nach Augenreflexen sucht und die Blickrichtung abhängig von den detektierten Augenreflexen bestimmt.
Aufgabe der Erfindung ist es, ein Verfahren anzugeben, bei welchem die Lösung des Stands der Technik weiter verbessert wird.
Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche. Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung, sowie der Erläuterung von Ausführungsbeispielen der Erfindung, die in den Figuren dargestellt sind.
Die Aufgabe ist mit einem System dadurch gelöst, dass die Beleuchtungseinheit und die Bildaufnahmeeinheit in einer Trennebene zwischen einem Cockpit und einer Frontscheibe des Fahrzeuges angeordnet sind, wobei mittels einer jeweiligen Abweichung des auf dem Auge erzeugten Reflexpunktes zu einem Referenzpunkt eine Blickrichtung in Richtung Cockpit oder Frontscheibe detektierbar ist. Das hat den Vorteil, dass mit einem niedrigen Hardware- und Softwareaufwand, insbesondere nur durch die Anordnung von Beleuchtungseinheit und Bildaufnahmeeinheit in der Trennebene zwischen Cockpit und Frontscheibe, eine nutzerunabhängige und kalibrierungsfreie Unterscheidung der Blickrichtung des Fahrers ermöglicht wird.
Vorteilhafterweise sind die Beleuchtungseinheit und die Bildaufnahmeeinheit in einer Wurzel der Frontscheibe positioniert. Da durch simple geometrische Annahmen die Blickrichtung des Fahrers auf die Bildaufnahmeeinrichtung bestimmt wird, lässt sich ein solches Konzept einfach im Fahrzeug umsetzen, wobei ein geringer Softwareaufwand benötigt wird.
In einer Ausgestaltung sind die Beleuchtungseinheit als Infrarotlichtquelle und/oder die Bildaufnahmeeinheit als Videokamera ausgebildet. Sowohl die Infrarotlichtquelle als auch die Videokamera sind gebräuchliche Vorrichtungen, die kostengünstig zu erwerben sind und somit die Herstellungskosten des Systems reduzieren.
In einer Variante ist eine Blickrichtung in Richtung Cockpit erkennbar, wenn der definierte Reflexpunkt in eine erste Richtung von dem Referenzpunkt abweicht und eine Blickrichtung in Richtung der Frontscheibe ist ermittelbar, wenn der Reflexpunkt in eine der ersten Richtung entgegengesetzte zweite Richtung zum Referenzpunkt abweicht. Durch diese einfache Unterscheidung in lediglich zwei Richtungen lässt sich zuverlässig die Blickrichtung des Fahrzeuginsassen ermitteln.
Eine Weiterbildung der Erfindung betrifft ein Verfahren zur Bewertung einer Blickrichtung eines Fahrers in einem Fahrzeug, bei welchem ein Auge des Fahrers von einer Beleuchtungsquelle punktuell angestrahlt wird und ein sich auf dem Auge infolge einer cornealen Reflexion widerspiegelnder Reflexpunkt hinsichtlich seiner Position bezüglich eines Referenzpunktes ausgewertet wird. Bei einem Verfahren wird bei einer Abweichung der Position des Reflexpunktes von der Position des Referenzpunktes mindestens eine Maßnahme zur Erhöhung einer Fahrzeugsicherheit ausgelöst. Auch Komfortfunktionen lassen sich somit umsetzen. Da durch das erfindungsgemäße Verfahren sicher festgestellt werden kann, ob der Fahrer ein Verkehrsumfeld im Blick hat oder nicht, lassen sich einfach Rückschlüsse auf eine Gefährdung und somit die Verkehrssicherheit ziehen. Um der Verkehrssicherheit Rechnung zu tragen, wird eine entsprechende Maßnahme ausgelöst, um den Fahrer darauf hinzuweisen, dass er sein Verkehrsumfeld betrachten muss.
Vorteilhafterweise wird die mindestens eine Maßnahme zur Erhöhung der Fahrzeugsicherheit ausgelöst, wenn ein Abstand zwischen dem Reflexpunkt und dem Referenzpunkt einen vorgegebenen Schwellwert überschreitet. Dabei kann davon ausgegangen werden, dass eine genaue Unterscheidung getroffen werden kann, ob der Fahrer das Verkehrsgeschehen oder ein anderes Blickfeld betrachtet.
In einer Ausgestaltung werden mehrere gestaffelte Schwellwerte für den Abstand zwischen Reflexpunkt und Referenzpunkt vorgesehen, wobei bei Überschreitung je eines Schwellwertes eine andere Maßnahme zur Erhöhung der Fahrzeugsicherheit ausgelöst wird. Je größer der Abstand von Reflexpunkt und Referenzpunkt ist, umso weiter ist die Aufmerksamkeit des Fahrers von dem allgemeinen Verkehrsgeschehen abgelenkt, so dass immer drastischere Maßnahmen ergriffen werden müssen, um den Fahrer wieder auf das Verkehrsgeschehen aufmerksam zu machen.
In einer Ausführungsform wird bei Überschreitung eines der Schwellwerte ein Warnsignal ausgelöst. Mittels dieses Warnsignals wird ein Hinweis erzeugt, dass der Fahrer seinen Blick vom aktuellen Verkehrsgeschehen abgewendet hat. Dieses Warnsignal kann sowohl optisch als auch akustisch innerhalb des Fahrzeuges mit an sich vorhandenen Geräten generiert werden.
In einer Variante wird nach Überschreitung eines der Schwellwerte für einen vorgegebenen Zeitraum ein autonomes Fahren des Fahrzeuges abgebrochen und eine Fahrzeugführung manuell ausgeführt. Da beim autonomen Fahren der Fahrer trotzdem die Verantwortung für die Fahrzeugführung innehat, wird bei längerer Blickabwendung vom Verkehr, d.h. von der Frontscheibe, die autonome Fahrfunktion abgebrochen, um den Fahrer bei der Übernahme der Fahrzeugführung wieder zu zwingen, den Verkehr zu beobachten.
In einer weiteren Ausführungsform wird der Referenzpunkt bestimmt, wenn der Fahrer direkt in eine Bildaufnahmeeinheit schaut. Es wird davon ausgegangen, dass die corneale Reflexion sich dabei im Zentrum der Iris bzw. der Pupille widerspiegelt.
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale können für sich oder in beliebiger, sinnvoller Kombination den Gegenstand der Erfindung bilden, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegenstand einer oder mehrerer separater Anmeldung/en sein. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
Es zeigen:

1 ein Ausführungsbeispiel des erfindungsgemäßen Systems,
2 eine Darstellung des cornealen Reflexes bei einer Beleuchtung mit einer Infrarotlichtquelle,
3 ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens.

In 1 ist ein Ausführungsbeispiel des erfindungsgemäßen Systems zur Bestimmung der Blickrichtung eines Fahrzeugführers in einem Kraftfahrzeug dargestellt, bei welchem von dem Kraftfahrzeug der Einfachheit halber nur die Frontscheibe 1 und das Cockpit 3 dargestellt sind, wobei sich vor dem Cockpit 3 das Lenkrad 5 erstreckt. In einer Scheibenwurzel 7 der Frontscheibe 1 sind direkt nebeneinander eine Infrarotlichtquelle 9 und eine Videokamera 11 angeordnet. Diese Infrarotlichtquelle 9 und die Videokamera 11 erfassen den Bewegungsbereich des Kopfes des Fahrers 13. Die Ausrichtungsrichtung der Videokamera 11 und der Infrarotlichtquelle 9 in Richtung des Fahrers 13 bildet eine Trennebene 15 zur Unterscheidung der zu betrachtenden Bereiche Frontscheibe 1 und Cockpit 3.
Das Prinzip der cornealen Reflexion, auf welchem das erfindungsgemäße Verfahren beruht, soll im Zusammenhang mit 2 erläutert werden. In 2 ist ein Auge 21 des Fahrers 13 dargestellt, bei dem durch dessen Pupillenzentrum 17 die Trennebene 15 waagerecht verläuft. Der infolge der cornealen Reflexion auftretende Reflexpunkt der Infrarotbeleuchtung ist durch das Bezugszeichen 19 gekennzeichnet. Die Unterscheidung der Blickrichtung des Fahrers zur Frontscheibe 1 bzw. zum Cockpit 3 erfolgt durch einen Vergleich der vertikalen Ausrichtung des Pupillenzentrums 17 bzw. des Irismittelpunktes mit der Position des durch die interne Beleuchtung der Infrarotlichtquelle 9 provozierten Reflexpunktes 19 der cornealen Reflexion. Liegt der detektierte Mittelpunkt des Pupillenzentrums 17 bzw. der Irismittelpunkt geometrisch über dem detektierten, infolge der cornealen Reflexion auftretenden Reflexpunktes 19, wie es in 2a dargestellt ist, so ist der Blickrichtungsvektor des Fahrers 13 über die Trennebene 15 gerichtet. Liegt der detektierte Mittelpunkt des Pupillenzentrums 17 bzw. der Irismittelpunkt geometrisch unter dem Reflexpunkt 19, so ist der Blickrichtungsvektor der Blickrichtung des Fahrers unter der Trennebene 15 gerichtet (2b). Wie in 1 dargestellt, ist bei einer Ausrichtung des Reflexpunktes 19 oberhalb der Trennebene 15 der Blick des Fahrers 13 auf das Cockpit 3 gerichtet, während bei einer Ausrichtung des Reflexpunktes 19 unterhalb der Trennebene der Fahrer die Frontscheibe 1 und somit das Verkehrsgeschehen beobachtet.
In Abhängigkeit von diesen Erfassungsrichtungen soll ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens anhand 3 erläutert werden. Im Block 100 detektiert die Videokamera 11 kontinuierlich die Blickrichtung des Fahrers, indem der Reflexpunkt 19 aufgezeichnet wird. Eine in der Videokamera 11 angeordnete Auswerteeinheit vergleicht im Block 110 den von der Videokamera 11 erfasste Position des Reflexpunktes 19 mit einem Referenzpunkt, welcher durch das Pupillenzentrum 17 gebildet wird. Im Block 120 wird bewertet, ob der Fahrer nach oben oder unten schaut. Bei einer Blickrichtung zur Frontscheibe 1 wird zu Block 100 zurückgegangen, während bei einer Blickrichtung auf das Cockpit 3 zu Block 130 übergegangen wird. Im Block 130 wird ein Abstand zwischen dem Reflexpunkt 19 und dem, einen Referenzpunkt darstellenden Pupillenzentrum 17 ermittelt. Im Block 140 wird dieser Abstand mit einem Schwellwert verglichen. Wird der Schwellwert unterschritten, wird zum Block 100 zurückgegangen, während bei Überschreitung des Schwellwertes im Block 150 eine Maßnahme zur Erhöhung der Fahrzeugsicherheit ausgelöst wird.
Im Block 130 kann der Abstand mit mehreren ansteigenden Schwellwerten verglichen werden. Bei der Überschreitung des kleinsten Schwellwertes wird lediglich ein Warnsignal an den Fahrer ausgegeben, dass er seine Aufmerksamkeit dem Verkehrsumfeld zuwenden soll. Hilft dieses nicht, so wird beim nächsten Überschreiten eines größeren Schwellwertes in das Fahrgeschehen eingegriffen, indem das Fahrzeug beispielsweise abgebremst wird. Bei der Verwendung eines autonomen Fahrens kann bei der Überschreitung des maximal größten Schwellwertes der autonome Fahrbetrieb abgebrochen werden, so dass der Fahrer zur Übernahme der Fahrzeugführung veranlasst wird.
Wird festgestellt, dass der Fahrer auf das Cockpit 3 blickt, können entsprechende Einstellungen des Cockpits betreffend Helligkeit, Kontraste oder Anzeigeinhalte verändert werden. Da sich im Blickbereich der Straße auch ein Head-up-Display (HDU) befinden kann, können auch Interaktionen mit dem Head-up-Display ausgelöst werden. Der Bedienfokus kann dabei automatisch auf das Head-up-Display gesetzt werden, wenn der Fahrer 13 in diese Richtung schaut. Schaut der Fahrer 13 auf ein Kombidisplay wird der Bedienfokus entsprechend verlagert. Der Fahrer 13 muss dann nicht mittels Tastenbetätigung zwischen Head-up-Display und Kombidisplay wählen, sondern kann den Fokus mittels Blick setzen.
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.
Bezugszeichenliste

1: Frontscheibe
3: Cockpit
5: Lenkrad
7: Scheibenwurzel
9: Infrarotlichtquelle
11: Videokamera
13: Fahrer
15: Trennebene
17: Pupillenzentrum
19: Reflexpunkt
21: Auge

Claims

System zur Erkennung einer Blickrichtung eines Fahrers in einem Fahrzeug, bei welchem eine Beleuchtungseinheit (9) und eine Bildaufnahmeeinheit (11) direkt nebeneinander angeordnet sind, wobei sich ein Auge (21) des Fahrers (13) im Erfassungsbereich der Bildaufnahmeeinheit (11) befindet und ein durch die Beleuchtungseinheit (9) auf dem Auge (21) infolge einer cornealen Reflexion erzeugter Reflexpunkt (19) zur Blickrichtungserkennung von der Bildaufnahmeeinheit (11) aufgenommen und von einer Auswerteeinheit ausgewertet wird, dadurch gekennzeichnet, dass die Beleuchtungseinheit (9) und die Bildaufnahmeeinheit (11) in einer Trennebene(15) zwischen einem Cockpit (3) und einer Frontscheibe (1) des Fahrzeuges angeordnet sind, wobei mittels einer jeweiligen Abweichung des auf dem Auge (21) erzeugten Reflexpunktes (19) zu einem durch ein Pupillenzentrum dargestellten Referenzpunkt (17) eine Blickrichtung in Richtung Cockpit (3) unterhalb der Trennebene erkennbar ist wenn der detektierte Reflexpunkt (19) in eine erste Richtung von dem Referenzpunkt (17) abweicht oder eine Blickrichtung in Richtung Frontscheibe (1) oberhalb der Trennebene erkennbar ist, wenn der detektierte Reflexpunkt (19) in eine der ersten Richtung entgegengesetzte zweite Richtungen vom Referenzpunkt (17) abweicht.
System nach Anspruch 1, dadurch gekennzeichnet, dass die Beleuchtungseinheit (9) und die Bildaufnahmeeinheit (11) in einer Wurzel der Frontscheibe (1) positioniert sind.
System nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Beleuchtungseinheit als Infrarotlichtquelle (9) und/oder die Bildaufnahmeeinheit als Videokamera (11) ausgebildet sind.
Verfahren zur Bewertung einer Blickrichtung eines Fahrers in einem Fahrzeug mittels einer Vorrichtung nach einem der Ansprüche 1 bis 3, bei welchem ein Auge (21) des Fahrers (13) von einer Beleuchtungsquelle (9) punktuell angestrahlt wird und ein sich auf dem Auge (21) infolge einer cornealen Reflexion widerspiegelnder Reflexpunkt (19) hinsichtlich seiner Position bezüglich eines durch ein Pupillenzentrum dargestellten Referenzpunktes (17) ausgewertet wird, dadurch gekennzeichnet, dass bei einer Abweichung der Position des Reflexpunktes (19) von der Position des Referenzpunktes (17) mindestens eine Maßnahme zur Erhöhung einer Fahrzeugsicherheit und/oder eine Komfortfunktion ausgelöst wird, wobei die mindestens eine Maßnahme zur Erhöhung der Fahrzeugsicherheit ausgelöst wird, wenn ein Abstand zwischen dem Reflexpunkt (19) und dem Referenzpunkt (17) einen vorgegebenen Schwellwert überschreitet.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass mehrere gestaffelte Schwellwerte für den Abstand zwischen Reflexpunkt (19) und Referenzpunkt (17) vorgesehen werden, wobei bei Überschreitung je eines Schwellwertes eine andere Maßnahme zur Erhöhung der Fahrzeugsicherheit ausgelöst wird.
Verfahren nach mindestens einem der vorhergehenden Ansprüche 4 oder 5, dadurch gekennzeichnet, dass bei Überschreitung eines der Schwellwerte ein Warnsignal ausgelöst wird.
Verfahren nach mindestens einem der vorhergehenden Ansprüche 4 bis 6, dadurch gekennzeichnet, dass nach Überschreitung eines der Schwellwerte für einen vorgegebenen Zeitraum ein autonomes Fahren des Fahrzeuges abgebrochen wird und eine Fahrzeugführung manuell ausgeführt wird.
Verfahren nach mindestens einem der vorhergehenden Ansprüche 4 bis 7, dadurch gekennzeichnet, dass der Referenzpunkt (17) bestimmt wird, wenn der Fahrer (13) direkt in eine Bildaufnahmeeinheit (11) schaut.