DE102014226185B4 - Verfahren und Blickrichtungserkennungssystem zum Bestimmen einer Blickrichtung einer Person, sowie Verwendung des Blickrichtungserkennungssystems in einem Kraftfahrzeug - Google Patents

Verfahren und Blickrichtungserkennungssystem zum Bestimmen einer Blickrichtung einer Person, sowie Verwendung des Blickrichtungserkennungssystems in einem Kraftfahrzeug Download PDF

Info

Publication number
DE102014226185B4
DE102014226185B4 DE102014226185.6A DE102014226185A DE102014226185B4 DE 102014226185 B4 DE102014226185 B4 DE 102014226185B4 DE 102014226185 A DE102014226185 A DE 102014226185A DE 102014226185 B4 DE102014226185 B4 DE 102014226185B4
Authority
DE
Germany
Prior art keywords
eye
viewing direction
person
line
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102014226185.6A
Other languages
English (en)
Other versions
DE102014226185A1 (de
Inventor
Matthias Roland Kaufmann
Felix Schwarz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102014226185.6A priority Critical patent/DE102014226185B4/de
Priority to PCT/EP2015/075735 priority patent/WO2016096235A1/de
Publication of DE102014226185A1 publication Critical patent/DE102014226185A1/de
Priority to US15/625,521 priority patent/US10504237B2/en
Application granted granted Critical
Publication of DE102014226185B4 publication Critical patent/DE102014226185B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K31/00—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Eye Examination Apparatus (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

Verfahren zum Bestimmen einer Blickrichtung einer Person, insbesondere eines Fahrers in einem Kraftfahrzeug, mit folgenden Schritten:- Erfassen (S4) einer Oberflächenkontur einer Oberfläche eines Auges (2) der Person,- Ermitteln (S7) eines Normalenvektors (N) auf der Oberfläche des Auges (2) abhängig von der erfassten Oberflächenkontur;- Bestimmen (S8) der Blickrichtung (B) der Person abhängig von dem Normalenvektor (N).

Description

  • Technisches Gebiet
  • Die Erfindung betrifft allgemein Verfahren und Vorrichtungen zur Erkennung einer Blickrichtung einer Person, insbesondere eines Fahrers in einem Kraftfahrzeug.
  • Technischer Hintergrund
  • Eine Erkennung der Blickrichtung eines Fahrers eines Kraftfahrzeugs kann für verschiedene Fahrerassistenzfunktionen verwendet werden. So kann beispielsweise die Anzeige des Head-up Displays abhängig von der Blickrichtung des Fahrers angepasst werden bzw. nachgeführt werden, so dass einem Fahrer wichtige Informationen ohne Augen- oder Kopfbewegungen bereitgestellt werden können.
  • Weiterhin können Warneinrichtungen vorgesehen sein, die durch Analysieren der Blickrichtung des Fahrers erkennen, wenn dieser für einen längeren Zeitraum den Blick von einem vorausliegenden Verkehrsgeschehen abwendet, z.B. wenn dieser auf eine Instrumententafel blickt, einen Gegenstand im Fahrgastinnenraum sucht oder dergleichen.
  • Beispielsweise ist aus der Druckschrift DE 199 51 001 A1 eine Vorrichtung bekannt, bei der basierend auf einer Blickrichtung eines Fahrers Informationen aus verschiedenen Datenquellen in das Blickfeld des Fahrers eingeblendet werden.
  • Es sind verschiedene Verfahren zur Erkennung der Blickrichtung eines Fahrers bekannt. Beispielsweise kann mit Hilfe einer Infrarotkamera und Infrarotlichtstrahl durch die Messung der Position eines Infrarot-Reflexpunktes auf der Pupille des Fahrers die Position der Iris erkannt werden und daraus eine Blickrichtung abgeleitet werden.
  • Ein weiteres Verfahren nutzt eine optische Mustererkennung, um die Grenze zwischen der Sklera und der Iris des Auges zu erkennen und daraus eine Blickrichtung des Auges abzuleiten.
  • Weiterhin sind auf Reflexion eines Lichtstrahls im Auge basierende Erkennungsverfahren bekannt. Beispielsweise kann die Anordnung von mehreren Reflexionspunkten im Auge an verschiedenen optischen Grenzflächen erfasst werden. Dadurch kann die Ausrichtung des Auges erkannt und die Blickrichtung abgeleitet werden. Dieses Verfahren wird Purkinje-Verfahren genannt.
  • Weiterhin sind Eye-Tracking-Verfahren bekannt, in denen mittels mehrerer Kameras eine Oberfläche der Pupille eines Auges sowie der darauf stehende Normalenvektor berechnet wird, der im Wesentlichen der Blickrichtung entspricht oder von dem die Blickrichtung abgeleitet werden kann.
  • Die bisher bekannten Verfahren verwenden Kamerasysteme im Infrarotbereich zur Erkennung der Blickrichtung. Diese sind stark störanfällig, insbesondere bei ungünstigem Gegenlicht oder wechselnden Lichtsituationen, wie sie beispielsweise bei einer Fahrt durch Tunnel sowie auf im Halbschatten befindlichen Straßen auftreten können. Weiterhin sind bisherige Systeme aufwändig zu kalibrieren, insbesondere wenn diese mit Hilfe eines Infrarot-Reflexpunktes auf dem Auge arbeiten.
  • Die Druckschrift US 2014/0211995A1 offenbart ein Verfahren zum Schätzen des Blickwinkels eines Benutzers, der auf eine Anzeige schaut, wobei das Verfahren umfasst: Verarbeiten eines Bildes eines Auges des Benutzers, um Koordinaten in dem Bild einer Vielzahl von definierten Augenmerkmalen zu bestimmen; Bestimmen eines Winkels proportional zu einem Winkel zwischen einer Linie, die mit einer Kante der Anzeige zusammenfällt, und einem Schnittpunkt der Sagittalebene des Kopfes des Benutzers mit einer Ebene der Anzeige; und Schätzen eines Schnittpunkts der Sichtlinie des Auges des Benutzers mit der Ebene der Anzeige unter Verwendung der optischen Achse des Auges, wobei der Winkel verwendet wird, um die Drehung des Kopfes des Benutzers oder der Anzeige zu bewerten.
  • Die Druckschrift H.R. Chennamma et al. , „A Survey on Eye-Gaze Tracking Techniques“, Computer Vision and Pattern Recognition, Indian Journal of Computer Science and Engineering, ISSN : 0976-5166, Vol. 4, No. 5, Oct-Nov 2013, pp. 388-393 betrifft allgemein die videobasierte Verfolgung von Augenbewegungen im Bereich der Computer Vision.
  • Es ist daher Aufgabe der vorliegenden Erfindung, eine verbesserte; störunempfindlichere Blickrichtungserkennung bereitzustellen, die die Nachteile des Standes der Technik vermeidet und sich insbesondere zum Einsatz in einem Kraftfahrzeug eignet.
  • Offenbarung der Erfindung
  • Diese Aufgabe wird durch das Verfahren zum Erkennen einer Blickrichtung einer Person, insbesondere eines Fahrers in einem Kraftfahrzeug gemäß Anspruch 1 sowie durch das Blickrichtungserkennungssystem gemäß dem nebengeordneten Anspruch gelöst.
  • Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.
  • Gemäß einem ersten Aspekt ist ein Verfahren zum Bestimmen einer Blickrichtung einer Person, insbesondere eines Fahrers in einem Kraftfahrzeug, vorgesehen, mit folgenden Schritten:
    • - Erfassen einer Oberflächenkontur einer Oberfläche eines Auges der Person;
    • - Ermitteln eines Normalenvektors auf der Oberfläche des Auges abhängig von der erfassten Oberflächenkontur;
    • - Bestimmen der Blickrichtung der Person abhängig von dem Normalenvektor.
  • Eine Idee des obigen Verfahrens besteht darin, den sichtbaren Teil eines Auges dreidimensional zu erfassen und aus der so ermittelten Oberflächenkontur der Pupille einen Normalenvektor zu bestimmen, aus dem eine Blickrichtung des Fahrers abgeleitet werden kann. Dadurch kann eine störungsarme Erkennung einer Blickrichtung eines Fahrers realisiert werden, da dieses Verfahren nicht auf einer Erfassung eines Reflexionspunktes im Auge beruht. Zudem bietet die Erfassung der Oberflächenkontur des Auges die Möglichkeit, in Verbindung mit anderen Blickrichtungserkennungsverfahren die Genauigkeit und Verfügbarkeit einer Blickrichtungsangabe zu erhöhen.
  • Weiterhin kann ein Kalibrierungsaufwand durch Kombination mit einem anderen Blickrichtungserkennungsverfahren reduziert werden.
  • Weiterhin kann das Erfassen der Oberflächenkontur der Oberfläche des Auges der Person mithilfe eines Tiefensensors, insbesondere einer TOF-Kamera oder einem LIDAR-Sensor, durchgeführt werden.
  • Es kann vorgesehen sein, dass der Normalenvektor abhängig von einem aus der Oberflächenkontur ermittelten Pupillenbereich und einer Krümmung des Pupillenbereichs ermittelt wird.
  • Insbesondere kann der Pupillenbereich als eine über eine sphärische Fläche eines Augapfels des Auges hervorstehende Erhebung auf der Oberfläche des Auges bestimmt werden.
  • Es kann vorgesehen sein, dass der Normalenvektor an der Mitte des Pupillenbereichs abhängig von der Krümmung an der Mitte des Pupillenbereichs ermittelt wird
  • Gemäß einer Ausführungsform kann das Erfassen der Oberflächenkontur der Oberfläche des Auges durchgeführt werden, indem zunächst mithilfe einer sonstigen Kamera die Position des Auges erfasst und die Oberflächenkontur an der Position des Auges erfasst wird.
  • Es kann vorgesehen sein, dass die Blickrichtung durch Beaufschlagen des Normalenvektors, der als optische Sehachse angenommen werden kann, mit einem oder zwei vorgegebenen oder durch eine Kalibration festgestellten Korrekturwinkeln bestimmt wird, wobei der eine oder die mehreren Korrekturwinkel mithilfe eines Kalibrierungsverfahrens bestimmt wird.
  • Gemäß einem weiteren Aspekt ist ein Blickrichtungserkennungssystem zum Bestimmen einer Blickrichtung einer Person, insbesondere eines Fahrers in einem Kraftfahrzeug, vorgesehen, umfassend:
    • - einen Tiefensensor zum Erfassen einer Oberflächenkontur einer Oberfläche eines Auges der Person;
    • - eine Steuereinheit, die ausgebildet ist,
      • - um einen Normalenvektor auf der Oberfläche des Auges abhängig von der erfassten Oberflächenkontur zu ermitteln;
      • - um die Blickrichtung der Person abhängig von dem Normalenvektor zu bestimmen.
  • Weiterhin kann das Blickrichtungserkennungssystem mit einer weiteren Vorrichtung zum Bestimmen der Blickrichtung einer Person versehen sein, wobei die Steuereinheit ausgebildet sein, um die Blickrichtung mithilfe einer durch die weitere Vorrichtung erfassten weiteren Blickrichtung zu plausibilisieren und / oder zu fusionieren.
  • Gemäß einem weiteren Aspekt ist eine Verwendung des Blickrichtungserkennungssystems in einem Kraftfahrzeug vorgesehen, um eine Blickrichtung eines Fahrers des Kraftfahrzeugs zu ermitteln.
  • Figurenliste
  • Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:
    • 1 ein Blickrichtungserkennungssystem zum Einsatz in einem Kraftfahrzeug;
    • 2 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zur Bestimmung einer Blickrichtung aus einer erfassten dreidimensionalen Pupillenform.
  • Beschreibung von Ausführungsformen
  • In 1 ist ein Blickrichtungserkennungssystem 1 dargestellt, mit dem eine Blickrichtung B eines Auges 2 erkannt werden kann. Beispielsweise kann das Auge das Auge eines Fahrers eines Kraftfahrzeugs sein, und anhand einer erkannten Blickrichtung B können Funktionen des Kraftfahrzeugs, insbesondere Fahrerassistenzfunktionen und Warnfunktionen, aktiviert werden.
  • Das Blickrichtungserkennungssystem 1 kann eine herkömmliche Kamera 3 umfassen, die auf den Kopf des Fahrers gerichtet ist. Die Kamera 3 ist mit einer Steuereinheit 4 verbunden, wobei mithilfe der Steuereinheit 4 über an sich bekannte Bilderkennungsverfahren die Position mindestens eines Auges 2 des Fahrers ermittelt werden kann. Die so ermittelte Augenposition wird von einem Tiefensensor 5 benutzt, um eine detaillierte dreidimensionale Oberflächenkontur des Auges 2, zumindest jedoch der Pupille des Auges 2 aufzuzeichnen bzw. zu erfassen. Alternativ kann auf die Kamera 3 verzichtet werden und der Tiefensensor 5 für die Ermittlung der Position des mindestens einen Auges 2 verwendet werden.
  • Der Tiefensensor 5 entspricht einem 3D-Kamerasystem, das in der Lage ist, eine dreidimensionale Oberflächenkontur eines Objekts aufzuzeichnen.
  • Ein Beispiel für einen solchen Tiefensensor 5 stellt eine TOF-Kamera dar, die mit dem Laufzeitverfahren (TOF: Time of Light) Distanzen zwischen einer optischen Aufzeichnungseinrichtung und einer Oberfläche des abzubildenden Objekts misst. Dazu wird das Objekt mit Lichtpulsen beleuchtet. Die 3D-Kamera misst für jeden Bildpunkt die Zeit, die zwischen dem Aussenden des Lichtpulses und einem Empfangen des an dem Objekt reflektierten Lichtpulses in der 3D-Kamera liegt. Die benötigte Zeit ist direkt proportional zum Abstand zwischen der optischen Aufzeichnungseinrichtung und dem Objekt. Die optische Aufzeichnungseinrichtung liefert somit für jeden Bildpunkt eine Entfernung zu einem Punkt an der Oberfläche des zu erfassenden Objektes.
  • Während eine solche TOF-Kamera für jeden ausgesendeten Lichtpuls mehrere Bildpunkte erfasst, ist bei dem Laserscanning vorgesehen, jeden Punkt mit einem einzelnen Lichtpuls abzutasten und so durch Abtasten des zu erfassenden Bereichs eine 3D-Kontur des Objektes zu erfassen.
  • Der Tiefensensor 5 ist also ausgebildet, Konturdaten, die eine Oberflächenkontur des Auges 2 angeben, an das Steuergerät 4 zu übermitteln und den Ort der Pupille 21 durch die detektierte Oberflächenkontur des Auges 2 festzustellen. Die Pupille 21 kann als Erhebung auf dem Augapfel erkannt werden. Der Tiefensensor 5 sollte daher so vorgesehen sein, dass die Oberflächenkontur des Auges mit einer ausreichenden Genauigkeit erkannt werden kann.
  • Durch Feststellen des Orts und den Abmessungen der Erhebung der Pupille 21 und deren Krümmung kann ein von der Mitte der Pupille 21 ausgehender Normalenvektor auf der Pupille als Blickrichtung B ermittelt werden. Die Blickrichtung B des Auges 2 hat einen festen Bezug zu diesem Normalenvektor und weicht von diesem in der Regel um nicht mehr als 5° ab. Durch die Steuereinheit 4 kann die Blickrichtung B entsprechend korrigiert werden, z.B. mithilfe eines Kalibrierungsverfahrens.
  • In 2 ist ein Flussdiagramm zur Beschreibung eines Verfahrens zum Erkennen einer Blickrichtung B beschrieben.
  • In Schritt S1 wird zunächst mit Hilfe der Kamera 3 ein Kopfbereich des Fahrerplatzes in dem Kraftfahrzeug aufgezeichnet. Der Kopfbereich entspricht dem Bereich, den der Kopf des Fahrers bei normalem Sitzen auf dem Fahrersitz einnehmen wird. Aus dem erfassten Bild des Kopfbereichs wird in Schritt S2 mithilfe eines Bilderkennungsalgorithmus in der Steuereinheit 4 die Position des Kopfes des Fahrers erkannt und daraus die Augenposition ermittelt.
  • Die Augenposition wird in Schritt S3 dem Tiefensensor 5 übermittelt, der sich gegebenenfalls ausrichtet und eine dreidimensionale Erfassung der Oberflächenkontur des Auges 2 an der Augenposition in Schritt S4 vornimmt.
  • In Schritt S5 werden die Konturdaten, die die Oberflächenkontur des Auges 2 dreidimensional beschreiben, an die Steuereinheit 4 übermittelt.
  • Im Schritt S6 bestimmt die Steuereinheit die Position der Pupille 21 des Auges 2. Die Pupille 21 entspricht einer Erhebung der Oberflächenkontur über einer Region, die über eine im Wesentlichen sphärische Oberfläche eines Augapfels 22 des Auges 2 mit einer davon verschiedenen Krümmung hervorsteht. Der Pupillenbereich P ist ein im wesentlichen runder Bereich auf der Oberfläche des Augapfels 22.
  • In Schritt S7 wird ein Mittelpunkt M des Pupillenbereichs P bestimmt und darauf anhand der Umfangslinie des Pupillenbereichs P oder einer aus der Oberflächenkontur zu bestimmenden Krümmung der Pupille 21 ein Normalenvektor N auf der Mitte der Pupille 21 bestimmt.
  • Der mit Hilfe des Tiefensensors 5 bestimmten Normalenvektor N entspricht einer optischen Achse des Auges 2 und kann einer Blickrichtung B entsprechen bzw. kann die Blickrichtung B aus dem Normalenvektor N durch Beaufschlagung mit einem oder zwei (verschieden gerichteten) Korrekturwinkeln bis zu 5° ermittelt werden.
  • In Schritt S8 wird die so bestimmte Blickrichtung B durch ein Kalibrierungsverfahren korrigiert, indem durch Abgleich der Richtung zwischen der Pupille 21 und einem anzublickenden Objekt und der Blickrichtung B in einem Lernverfahren ein oder zwei rechtwinklig zueinander orientierte Korrekturwinkel bestimmt werden, die die Abweichung zwischen dem Normalenvektor N und der Blickrichtung B des Auges 2 angeben.
  • Durch die Verwendung von sehr kurzen Lichtpulsen durch den Lichtsensor 5 ist die Störanfälligkeit bei der Erfassung der Oberflächenkontur des Auges sehr gering, und somit eignet sich ein solcher Tiefensensor für den Einsatz in einem Kraftfahrzeug auch bei schnell wechselnden Lichtsituationen.
  • Da zur Ausrichtung des Tiefensensors 5 eine herkömmliche Kamera 3 vorteilhaft ist, kann das Augenform-Erfassungsverfahren auch mit anderen Verfahren zum Ermitteln der Blickrichtung basierend auf einer einfachen zweidimensionalen Bilderfassung durch die Kamera 3 kombiniert werden. Dadurch kann die erfasste Blickrichtung präzisiert werden, indem die mit einem der Verfahren erfasste Blickrichtung durch die durch das weitere Verfahren erfasste Blickrichtung plausibilisiert wird.
  • Bezugszeichenliste
    • 1
    Blickrichtungserkennungssystem
    2
    Auge
    21
    Pupille
    22
    Augapfel
    3
    Kamera
    4
    Steuereinheit
    5
    Tiefensensor
    B
    Blickrichtung
    N
    Normalenvektor
    P
    Pupillenbereich

Claims (10)

  1. Verfahren zum Bestimmen einer Blickrichtung einer Person, insbesondere eines Fahrers in einem Kraftfahrzeug, mit folgenden Schritten: - Erfassen (S4) einer Oberflächenkontur einer Oberfläche eines Auges (2) der Person, - Ermitteln (S7) eines Normalenvektors (N) auf der Oberfläche des Auges (2) abhängig von der erfassten Oberflächenkontur; - Bestimmen (S8) der Blickrichtung (B) der Person abhängig von dem Normalenvektor (N).
  2. Verfahren nach Anspruch 1, wobei das Erfassen der Oberflächenkontur der Oberfläche des Auges (2) der Person mithilfe eines Tiefensensors (5), insbesondere einer TOF-Kamera oder einem LIDAR-Sensor, durchgeführt wird.
  3. Verfahren nach Anspruch 1 oder 2, wobei der Normalenvektor (N) abhängig von einem aus der Oberflächenkontur ermittelten Pupillenbereich (P) und einer Krümmung des Pupillenbereichs ermittelt wird.
  4. Verfahren nach Anspruch 3, wobei der Pupillenbereich (P) als eine über eine sphärische Fläche eines Augapfels des Auges hervorstehende Erhebung auf der Oberfläche des Auges bestimmt wird.
  5. Verfahren nach Anspruch 3 oder 4, wobei der Normalenvektor (N) an der Mitte (M) des Pupillenbereichs (P) abhängig von der Krümmung an der Mitte des Pupillenbereichs (P) ermittelt wird.
  6. Verfahren nach einem der Ansprüche 1 bis 4, wobei das Erfassen der Oberflächenkontur der Oberfläche des Auges (2) durchgeführt wird, indem zunächst mithilfe einer sonstigen Kamera (3) die Position des Auges (2) erfasst und die Oberflächenkontur an der Position des Auges (2) erfasst wird.
  7. Verfahren nach einem der Ansprüche 1 bis 6, wobei die Blickrichtung (B) durch Beaufschlagen des Normalenvektors (N) mit einem oder zwei Korrekturwinkeln bestimmt wird, wobei der eine oder die mehreren Korrekturwinkel mithilfe eines Kalibrierungsverfahrens bestimmt wird.
  8. Blickrichtungserkennungssystem (1) zum Bestimmen einer Blickrichtung (B) einer Person, insbesondere eines Fahrers in einem Kraftfahrzeug, umfassend: - einen Tiefensensor (5) zum Erfassen einer Oberflächenkontur einer Oberfläche eines Auges (2) der Person; - eine Steuereinheit (4), die ausgebildet ist, - um einen Normalenvektor (N) auf der Oberfläche des Auges (2) abhängig von der erfassten Oberflächenkontur zu ermitteln; - um die Blickrichtung (B) der Person abhängig von dem Normalenvektor (N) zu bestimmen.
  9. Blickrichtungserkennungssystem (1) nach Anspruch 8 mit einer weiteren Vorrichtung zum Bestimmen der Blickrichtung (B) einer Person, wobei die Steuereinheit (4) ausgebildet ist, um die Blickrichtung (B) mithilfe einer durch die weitere Vorrichtung erfassten weiteren Blickrichtung (B) zu plausibilisieren.
  10. Verwendung des Blickrichtungserkennungssystems (1) in einem Kraftfahrzeug, um eine Blickrichtung (B) eines Fahrers des Kraftfahrzeugs zu ermitteln.
DE102014226185.6A 2014-12-17 2014-12-17 Verfahren und Blickrichtungserkennungssystem zum Bestimmen einer Blickrichtung einer Person, sowie Verwendung des Blickrichtungserkennungssystems in einem Kraftfahrzeug Active DE102014226185B4 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102014226185.6A DE102014226185B4 (de) 2014-12-17 2014-12-17 Verfahren und Blickrichtungserkennungssystem zum Bestimmen einer Blickrichtung einer Person, sowie Verwendung des Blickrichtungserkennungssystems in einem Kraftfahrzeug
PCT/EP2015/075735 WO2016096235A1 (de) 2014-12-17 2015-11-04 Verfahren zum bestimmen einer blickrichtung einer person
US15/625,521 US10504237B2 (en) 2014-12-17 2017-06-16 Method for determining a viewing direction of a person

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014226185.6A DE102014226185B4 (de) 2014-12-17 2014-12-17 Verfahren und Blickrichtungserkennungssystem zum Bestimmen einer Blickrichtung einer Person, sowie Verwendung des Blickrichtungserkennungssystems in einem Kraftfahrzeug

Publications (2)

Publication Number Publication Date
DE102014226185A1 DE102014226185A1 (de) 2016-06-23
DE102014226185B4 true DE102014226185B4 (de) 2022-09-29

Family

ID=54540037

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014226185.6A Active DE102014226185B4 (de) 2014-12-17 2014-12-17 Verfahren und Blickrichtungserkennungssystem zum Bestimmen einer Blickrichtung einer Person, sowie Verwendung des Blickrichtungserkennungssystems in einem Kraftfahrzeug

Country Status (3)

Country Link
US (1) US10504237B2 (de)
DE (1) DE102014226185B4 (de)
WO (1) WO2016096235A1 (de)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018009567A1 (en) 2016-07-05 2018-01-11 Nauto Global Limited System and method for automatic driver identification
EP3497405B1 (de) 2016-08-09 2022-06-15 Nauto, Inc. System und verfahren zur präzisionsortung und kartierung
WO2018053175A1 (en) 2016-09-14 2018-03-22 Nauto Global Limited Systems and methods for near-crash determination
US10733460B2 (en) 2016-09-14 2020-08-04 Nauto, Inc. Systems and methods for safe route determination
JP7290567B2 (ja) 2016-11-07 2023-06-13 ナウト，インコーポレイテッド 運転者の注意散漫決定のためのシステム及び方法
WO2018229549A2 (en) 2017-06-16 2018-12-20 Nauto Global Limited System and method for digital environment reconstruction
EP3638542B1 (de) 2017-06-16 2022-01-26 Nauto, Inc. System und verfahren zur bestimmung des kontextualisierten betriebs eines fahrzeugs
US10453150B2 (en) 2017-06-16 2019-10-22 Nauto, Inc. System and method for adverse vehicle event determination
WO2019169031A1 (en) 2018-02-27 2019-09-06 Nauto, Inc. Method for determining driving policy
DE102019000060A1 (de) 2019-01-03 2020-07-09 Preh Car Connect Gmbh Steuern eines Fahrzeugs unter Verwendung eines Steuerungssystems

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19951001A1 (de) 1999-10-22 2001-05-31 Bosch Gmbh Robert Vorrichtung zur Darstellung von Informationen in einem Fahrzeug
US20140211995A1 (en) 2013-01-27 2014-07-31 Dmitri Model Point-of-gaze estimation robust to head rotations and/or estimation device rotations

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19734307C2 (de) * 1997-08-08 1999-06-10 Bosch Gmbh Robert Verfahren und Vorrichtung zur Überwachung und/oder Beeinflussung des Fahrzeugverhaltens eines fahrergesteuerten Kraftfahrzeugs
US20100020170A1 (en) * 2008-07-24 2010-01-28 Higgins-Luthman Michael J Vehicle Imaging System
US8408706B2 (en) * 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
EP2551636A1 (de) * 2011-07-25 2013-01-30 Leica Geosystems AG Berührungslos bedienbare Vermessungsvorrichtung und Steuerverfahren für eine solche
EP2583619B1 (de) * 2011-10-22 2022-03-16 Alcon Inc. Vorrichtung zur Überwachung eines oder mehrerer Augenparameter
US8929589B2 (en) * 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19951001A1 (de) 1999-10-22 2001-05-31 Bosch Gmbh Robert Vorrichtung zur Darstellung von Informationen in einem Fahrzeug
US20140211995A1 (en) 2013-01-27 2014-07-31 Dmitri Model Point-of-gaze estimation robust to head rotations and/or estimation device rotations

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHENNAMMA, H. R.; YUAN, Xiaohui. A survey on eye-gaze tracking techniques. arXiv preprint arXiv:1312.6410, 2013.

Also Published As

Publication number Publication date
US10504237B2 (en) 2019-12-10
WO2016096235A1 (de) 2016-06-23
DE102014226185A1 (de) 2016-06-23
US20170287163A1 (en) 2017-10-05

Similar Documents

Publication Publication Date Title
DE102014226185B4 (de) Verfahren und Blickrichtungserkennungssystem zum Bestimmen einer Blickrichtung einer Person, sowie Verwendung des Blickrichtungserkennungssystems in einem Kraftfahrzeug
DE102015218162B4 (de) Augmentiertes Realitäts-Head-up-Display-Anzeigeverfahren und Vorrichtung für Fahrzeug
DE102013223039B4 (de) Vorrichtung und Verfahren zum Bereitstellen eines AVM-Bildes
DE102013110339B4 (de) Visuelles leitsystem
WO2012152475A1 (de) Verfahren und vorrichtung zur kalibrierung einer projektionseinrichtung eines fahrzeugs
DE102013206707A1 (de) Verfahren zur Überprüfung eines Umfelderfassungssystems eines Fahrzeugs
DE102017222534B3 (de) Verfahren, computerlesbares Speichermedium mit Instruktionen, Vorrichtung und System zum Einmessen einer Augmented-Reality-Brille in einem Fahrzeug, für das Verfahren geeignetes Fahrzeug und für das Verfahren geeignete Augmented-Reality-Brille
DE102019103197B4 (de) Insassenüberwachungsvorrichtung
DE102015214116A1 (de) Verfahren und Einrichtung zum Schätzen einer Blickrichtung eines Fahrzeuginsassen, Verfahren und Einrichtung zum Bestimmen eines für einen Fahrzeuginsassen spezifischen Kopfbewegungsverstärkungsparameters und Verfahren und Vorrichtung zum Blickrichtungsschätzen eines Fahrzeuginsassen
EP3483654A1 (de) Erkennung und visualisierung von systemunsicherheit bei der darstellung augmentierter bildinhalte in head-up-displays
EP1787847A2 (de) Fahrerassistenzsystem mit Abstandserfassung
DE102014207398A1 (de) Objektassoziation zur kontaktanalogen Anzeige auf einem HMD
DE102014116812B4 (de) Vorrichtung zur Kamerabildkompensation und zugehöriges Verfahren zum Betreiben der Vorrichtung
DE102017221317A1 (de) Verfahren und Vorrichtung zum Betreiben einer Datenbrille in einem Kraftfahrzeug
EP3707547A1 (de) System und verfahren zum bestimmen einer pose einer augmented-reality-brille, system und verfahren zum einmessen einer augmented-reality-brille, verfahren zum unterstützen einer posenbestimmung einer augmented-reality-brille und für das verfahren geeignetes kraftfahrzeug
WO2018077520A1 (de) Verfahren und vorrichtung zum betreiben eines anzeigesystems mit einer datenbrille
DE102019103360A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
EP2688768B1 (de) Fahrerassistenzsystem und fahrerassistenzverfahren für ein fahrzeug
DE102016225265A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102019201134B4 (de) Verfahren, Computerprogramm mit Instruktionen und System zum Einmessen einer Augmented-Reality-Brille und Augmented-Reality-Brille zur Verwendung in einem Kraftfahrzeug
DE102017209802A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102017212446A1 (de) Verfahren zum Überwachen einer Anzeigevorrichtung
DE102011085643A1 (de) Verfahren zur Verstellung eines Außenspiegels für ein Kraftfahrzeug und Anordnung hierzu
DE102016215704A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102018208833A1 (de) System und Verfahren für Ansteuerung der Kartennavigation eines Fahrzeuges

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final