DE102019125751A1 - Augapfelinformationenschätzvorrichtung, Augapfelinformationenschätzverfahren und Augapfelinformationenschätzprogramm - Google Patents

Augapfelinformationenschätzvorrichtung, Augapfelinformationenschätzverfahren und Augapfelinformationenschätzprogramm Download PDF

Info

Publication number
DE102019125751A1
DE102019125751A1 DE102019125751.4A DE102019125751A DE102019125751A1 DE 102019125751 A1 DE102019125751 A1 DE 102019125751A1 DE 102019125751 A DE102019125751 A DE 102019125751A DE 102019125751 A1 DE102019125751 A1 DE 102019125751A1
Authority
DE
Germany
Prior art keywords
pupil
line
purkinje
eyeball
center position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019125751.4A
Other languages
English (en)
Inventor
Yuya Yamada
Takashi Kato
Hironobu Hoda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of DE102019125751A1 publication Critical patent/DE102019125751A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

Eine Augapfelinformationenschätzvorrichtung (100) umfasst eine Beschaffungseinheit (48), die ein Bild mit einer Pupille (36) eines Subjekts (302) und ein Purkinje-Bild (34) des Subjekts beschafft, eine Erfassungseinheit (50), die eine Mittenposition (36a) der Pupille und eine Position des Purkinje-Bildes erfasst, eine Auswahleinheit (54), die auswählt, ob eine erste oder zweite Sichtlinienwinkelberechnungsverarbeitung eines Berechnens eines Sichtlinienwinkels des Auges des Subjekts auszuführen ist, und eine Verarbeitungseinheit (56), die eine Augapfelmittenposition des Subjekts beruhend auf einem dreidimensionalen Gesichtsmodell schätzt und eine Augapfelmittenposition einer Speichereinheit zumindest unter einer Bedingung aktualisiert, dass eine Pupillenzuverlässigkeit größer als ein erster Pupillenschwellenwert ist, und eine Purkinje-Zuverlässigkeit größer als ein erster Purkinje-Schwellenwert ist, wenn die erste Sichtlinienwinkelberechnungsverarbeitung ausgewählt wird.

Description

  • TECHNISCHES GEBIET
  • Diese Offenbarung bezieht sich auf eine Augapfelinformationenschätzvorrichtung, ein Augapfelinformationenschätzverfahren und ein Augapfelinformationenschätzprogram m.
  • BESCHREIBUNG DES TECHNISCHEN HINTERGRUNDS
  • Die JP 2013-252301 A (Druckschrift 1) offenbart ein Verfahren zum Schätzen einer dreidimensionalen Position eines Auges (Augapfels) eines in einem erfassten Bild (Stehbild oder Bewegtbild) enthaltenen Gesichts. Eine geschätzte Augapfelmittenposition kann beispielsweise zur Berechnung eines Sichtlinienwinkels (einer Sichtlinienrichtung) verwendet werden. Da sich die Augapfelmittenposition in Abhängigkeit vom Knochengerüst oder der Kontur jedes Subjekts unterscheidet, war eine vorhergehende Kalibrierung erforderlich, um die Augapfelmittenposition mit größerer Genauigkeit zu schätzen, und die Verarbeitung war kompliziert. Hier wird eine Schätzvorrichtung vorgeschlagen, die die dreidimensionale Position der Augapfelmitte ohne Durchführung einer Kalibrierung mit hoher Genauigkeit schätzt. Die Schätzvorrichtung berechnet zu der dreidimensionalen Position der Pupillenmitte orientierte dreidimensionale Sichtlinienvektoren anhand einer voreingestellten statistischen dreidimensionalen Position der Augapfelmitte jeweils für das linke und rechte Auge beruhend auf einer geschätzten dreidimensionalen Stellung des Gesichts und einer erfassten zweidimensionalen Position der Pupillenmitte in einem Gesichtsbild. Außerdem werden beispielsweise beruhend auf einer Zeitreihe der dreidimensionalen Sichtlinienvektoren des linken und rechten Auges optimale Werte der dreidimensionalen Positionen der Augapfelmitten des linken und rechten Auges in einem Gesichtsmodellkoordinatensystem derart geschätzt, dass die Fehler der dreidimensionalen Positionen visueller Ziele, wie des linken und rechten Auges, minimiert werden.
  • In einer Situation beispielsweise, in der der Sichtlinienwinkel (beziehungsweise die Sichtlinienrichtung) verwendet wird, besteht allerdings eine geringe Wahrscheinlichkeit, dass ein Subjekt, dessen Augapfelmittenposition geschätzt wird, über eine lange Zeit stillhält, und es gibt einen Fall, in dem sich die Gesichtsrichtung unregelmäßig ändert. Daher gibt es einen Fall, in dem die Erfassung der zweidimensionalen Position der Pupillenmitte, das Koordinatensystem des dreidimensionalen Gesichtsmodells und dergleichen instabil werden. Wenn in einem derartigen Fall die Position der Augapfelmitte nach dem Stand der Dinge geschätzt wird, wird nach dem Stand der Dinge ein Fehler, der in der zweidimensionalen Position der Pupillenmitte oder dem Koordinatensystem des dreidimensionalen Gesichtsmodells auftritt, auf die geschätzte dreidimensionale Position der Augapfelposition reflektiert, und es ergibt sich ein Problem, dass sich die Genauigkeit verschlechtert. Infolgedessen gibt es Fälle, in denen der Sichtlinienwinkel (beziehungsweise die Sichtlinienrichtung) nicht korrekt berechnet werden kann. Daher ist es sinnvoll, eine Augapfelinformationenschätzvorrichtung, ein Augapfelinformationenschätzverfahren und ein Augapfelinformationenschätzprogramm bereitstellen zu können, die eine Verschlechterung einer Schätzgenauigkeit der Augapfelmittenposition unterdrücken können, da bei verschiedenen Verarbeitungsarten, die die Augapfelmittenposition verwenden, beispielsweise bei der Berechnung des Sichtlinienwinkels, eine hohe Genauigkeit erforderlich ist.
  • KURZZUSAMMENFASSUNG
  • Gemäß einer Ausgestaltung der Offenbarung umfasst eine Augapfelinformationenschätzvorrichtung beispielsweise eine Beschaffungseinheit zur Beschaffung eines Bildes, das eine Pupille eines Auges eines Subjekts enthält, und eines Purkinje-Bildes einer Lichtquelle auf einer Kornea-Oberfläche des Auges des Subjekts, eine Erfassungseinheit zur Erfassung einer Mittenposition der Pupille und einer Position des Purkinje-Bildes, eine Auswahleinheit zum Auswählen, ob eine erste Sichtlinienwinkelberechnungsverarbeitung einer Berechnung eines Sichtlinienwinkels des Auges des Subjekts beruhend auf der Mittenposition der Pupille und der Position des Purkinje-Bildes oder eine zweite Sichtlinienwinkelberechnungsverarbeitung einer Berechnung des Sichtlinienwinkels des Auges des Subjekts beruhend auf der Mittenposition der Pupille und einer Augapfelmittenposition des Auges, die aus einer Speichereinheit gelesen wird und dem Subjekt entspricht, auszuführen ist, und eine Verarbeitungseinheit zum Schätzen einer Augapfelmittenposition des Auges des Subjekts beruhend auf einem dreidimensionalen Gesichtsmodell, das beruhend auf dem Sichtlinienwinkel bestimmt wird, und Aktualisieren der Augapfelmittenposition der Speichereinheit zumindest unter einer Bedingung, dass eine Pupillenzuverlässigkeit, die eine Wahrscheinlichkeit angibt, dass es sich um die Pupille handelt, größer als ein vorbestimmter erster Pupillenschwellenwert ist, und eine Purkinje-Zuverlässigkeit, die eine Wahrscheinlichkeit angibt, dass es sich um das Purkinje-Bild handelt, größer als ein vorbestimmter erster Purkinje-Schwellenwert ist, in einem Fall, in dem die erste Sichtlinienwinkelberechnungsverarbeitung ausgewählt wird. Mit dieser Konfiguration wird beispielsweise in einem Fall, in dem die Pupillenzuverlässigkeit und die Purkinje-Zuverlässigkeit hoch sind (in einem Fall, in dem diese jeweils eine vorbestimmte Zuverlässigkeit aufweisen), die Augapfelmittenposition unter Verwendung des Sichtlinienwinkels geschätzt, der beruhend auf der Pupillenmittenposition und der Position des Purkinje-Bildes mit einer hohen Zuverlässigkeit geschätzt wird. Infolgedessen kann vermieden werden, dass die Augapfelmittenposition durch einen Wert mit geringer Zuverlässigkeit geschätzt wird. Daher kann eine Verschlechterung der Sichtlinienwinkelberechnungsgenauigkeit unter Verwendung der Augapfelmittenposition bei der nachfolgenden Verarbeitung unterdrückt und zum Aufrechterhalten oder Verbessern der Berechnungsgenauigkeit des Sichtlinienwinkels insgesamt beigetragen werden.
  • Bei der Augapfelinformationenschätzvorrichtung gemäß der Ausgestaltung der Offenbarung kann die Bedingung zur Aktualisierung der Augapfelmittenposition durch die Verarbeitungseinheit beispielsweise ferner zumindest eine folgender Bedingungen enthalten: eine Augenzuverlässigkeit, die eine Wahrscheinlichkeit angibt, dass es sich um das Auge des Subjekts handelt, ist größer als ein vorbestimmter Augenschwellenwert, eine Zuverlässigkeit einer dreidimensionalen Anpassung (bzw. Fitting) von Merkmalspunkten eines Gesichts des Subjekts ist größer als ein vorbestimmter Anpassungsschwellenwert, ein Änderungsbetrag des bei der ersten Sichtlinienwinkelberechnungsverarbeitung berechneten Sichtlinienwinkels bezüglich eines bei der vorhergehenden Verarbeitung berechneten Sichtlinienwinkels ist kleiner als ein vorbestimmter Winkeländerungsschwellenwert, eine Position des Gesichts des Subjekts befindet sich innerhalb eines vorbestimmten Bereichs des Bildes, und eine Gesichtsrichtung des Subjekts ist eine vorbestimmte Richtung in dem Bild. Indem die Bedingungen zum Erlauben der Schätzung der Augapfelmittenposition gemäß diesem Aufbau strenger gemacht werden, wird die Augapfelmittenposition beispielsweise in einer zuverlässigeren Situation geschätzt, und es wird möglich, eine Verschlechterung der Schätzungsgenauigkeit der Augapfelmittenposition weiter zu unterdrücken.
  • Bei der Augapfelinformationenschätzvorrichtung gemäß der Ausgestaltung der Offenbarung kann die Auswahleinheit beispielsweise in einem Fall, in dem die Pupillenzuverlässigkeit der Pupille in dem durch die Beschaffungseinheit beschafften Bild kleiner oder gleich einem zweiten Pupillenschwellenwert ist, der kleiner als der erste Pupillenschwellenwert ist, weder die erste Sichtlinienwinkelberechnungsverarbeitung noch die zweite Sichtlinienwinkelberechnungsverarbeitung auswählen. In einem Fall, in dem die Erfassungsgenauigkeit (Pupillenzuverlässigkeit) der Mittenposition der Pupille gering ist, wird bei diesem Aufbau die Sichtlinienwinkelberechnung nicht ausgeführt, und es wird beispielsweise möglich, die Verwendung eines ungenauen Verarbeitungsergebnisses zu vermeiden.
  • Bei der Augapfelinformationenschätzvorrichtung gemäß der Ausgestaltung der Offenbarung kann die Auswahleinheit beispielsweise die erste Sichtlinienwinkelberechnungsverarbeitung in einem Fall auswählen, in dem die Purkinje-Zuverlässigkeit des Purkinje-Bildes in dem durch die Beschaffungseinheit beschafften Bild größer als ein zweiter Purkinje-Schwellenwert ist, der kleiner als der erste Purkinje-Schwellenwert ist, und beispielsweise die zweite Sichtlinienwinkelberechnungsverarbeitung in einem Fall auswählen, in dem die Purkinje-Zuverlässigkeit kleiner oder gleich dem zweiten Purkinje-Schwellenwert ist. Mit diesem Aufbau ist es beispielsweise möglich, eine geeignete Sichtlinienwinkelberechnungsverarbeitung auszuführen, die dem Inhalt des beschafften Bildes entspricht.
  • Ein Augapfelinformationenschätzverfahren gemäß einer anderen Ausgestaltung dieser Offenbarung enthält beispielsweise einen Beschaffungsschritt eines Beschaffens eines Bildes, das eine Pupille eines Auges eines Subjekts enthält, und eines Purkinje-Bildes einer Lichtquelle auf einer Kornea-Oberfläche des Auges des Subjekts, einen Erfassungsschritts eines Erfassens einer Mittenposition der Pupille und einer Position des Purkinje-Bildes, einen Auswahlschritt eines Auswählens, ob eine erste Sichtlinienwinkelberechnungsverarbeitung eines Berechnens eines Sichtlinienwinkels des Auges des Subjekts beruhend auf der Mittenposition der Pupille und der Position des Purkinje-Bildes oder eine zweite Sichtlinienberechnungsverarbeitung eines Berechnens des Sichtlinienwinkels des Auges des Subjekts beruhend auf der Mittenposition der Pupille und einer Augapfelmittenposition des Auges auszuführen ist, die aus einer Speichereinheit gelesen wird und dem Subjekt entspricht, und einen Verarbeitungsschritt eines Schätzens einer Augapfelmittenposition des Auges des Subjekts beruhend auf einem dreidimensionalen Gesichtsmodell, das beruhend auf dem Sichtlinienwinkel bestimmt wird, und eines Aktualisierens der Augapfelmittenposition der Speichereinheit zumindest unter einer Bedingung, dass eine Pupillenzuverlässigkeit, die eine Wahrscheinlichkeit angibt, dass es sich um die Pupille handelt, größer als ein vorbestimmter erster Pupillenschwellenwert ist, und eine Purkinje-Zuverlässigkeit, die eine Wahrscheinlichkeit angibt, dass es sich um das Purkinje-Bild handelt, größer als ein vorbestimmter erster Purkinje-Schwellenwert ist, in einem Fall, in dem die erste Sichtlinienwinkelberechnungsverarbeitung ausgewählt wird. Mit dieser Konfiguration wird beispielsweise in einem Fall, in dem die Pupillenzuverlässigkeit und die Purkinje-Zuverlässigkeit hoch sind (in einem Fall, in dem diese jeweils eine vorbestimmte Zuverlässigkeit haben), die Augapfelmittenposition unter Verwendung des Sichtlinienwinkels geschätzt, der beruhend auf der Pupillenmittenposition und der Position des Purkinje-Bildes mit einer Zuverlässigkeit berechnet wird. Infolgedessen kann vermieden werden, dass die Augapfelmittenposition durch einen Wert mit geringer Zuverlässigkeit geschätzt wird. Daher ist es möglich, in der nachfolgenden Verarbeitung eine Verschlechterung der Genauigkeit der Sichtlinienwinkelberechnung zu unterdrücken, die die Augapfelmittenposition verwendet, und zur Beibehaltung oder Verbesserung der Berechnungsgenauigkeit des Sichtlinienwinkels insgesamt beizutragen.
  • Gemäß einer weiteren Ausgestaltung dieser Offenbarung veranlasst ein Augapfelinformationenschätzprogramm einen Computer beispielweise zur Ausführung eines Beschaffungsschritts eines Beschaffens eines Bildes, das eine Pupille eines Auges eines Subjekts enthält, und eines Purkinje-Bildes einer Lichtquelle auf einer Kornea-Oberfläche des Auges des Subjekts, eines Erfassungsschritts eines Erfassens einer Mittenposition der Pupille und einer Position des Purkinje-Bildes, eines Auswahlschritts eines Auswählens, ob eine erste Sichtlinienwinkelberechnungsverarbeitung eines Berechnens eines Sichtlinienwinkels des Auges des Subjekts beruhend auf der Mittenposition der Pupille und der Position des Purkinje-Bildes oder eine zweite Sichtlinienwinkelberechnungsverarbeitung eines Berechnens des Sichtlinienwinkels des Auges des Subjekts beruhend auf der Mittenposition der Pupille und einer Augapfelmittenposition des Auges auszuführen ist, die aus einer Speichereinheit gelesen wird und dem Subjekt entspricht, und eines Verarbeitungsschritts eines Schätzens einer Augapfelmittenposition des Auges des Subjekts beruhend auf einem dreidimensionalen Gesichtsmodell, das beruhend auf dem Sichtlinienwinkel bestimmt wird, und Aktualisierens der Augapfelmittenposition der Speichereinheit unter einer Bedingung, dass eine Pupillenzuverlässigkeit, die eine Wahrscheinlichkeit angibt, dass es sich um die Pupille handelt, größer als ein vorbestimmter erster Pupillenschwellenwert ist, und eine Purkinje-Zuverlässigkeit, die eine Wahrscheinlichkeit angibt, dass es sich um das Purkinje-Bild handelt, größer als ein vorbestimmter erster Purkinje-Schwellenwert ist, in einem Fall, in dem die erste Sichtlinienwinkelberechnungsverarbeitung ausgewählt wird. Mit diesem Aufbau kann ein Computer beispielsweise in einem Fall, in dem die Pupillenzuverlässigkeit und die Purkinje-Zuverlässigkeit groß sind (in einem Fall, in dem diese eine vorbestimmte Zuverlässigkeit aufweisen), zur Ausführung der Verarbeitung eines Schätzens der Augapfelmittenposition unter Verwendung des Sichtlinienwinkels veranlasst werden, der beruhend auf der Pupillenmittenposition und der Position des Purkinje-Bildes mit einer Zuverlässigkeit berechnet wird. Infolgedessen kann vermieden werden, dass die Augapfelmittenposition durch einen Wert mit geringer Zuverlässigkeit geschätzt wird. Daher kann in der nachfolgenden Verarbeitung eine Verschlechterung der Genauigkeit der Sichtlinienwinkelberechnung unterdrückt werden, die die Augapfelmittenposition verwendet, und zum Beibehalten oder Verbessern der Berechnungsgenauigkeit des Sichtlinienwinkels insgesamt beigetragen werden.
  • Figurenliste
  • Die vorstehenden und weitere Merkmale und Eigenschaften dieser Offenbarung werden aus der folgenden näheren Beschreibung unter Berücksichtigung der beiliegenden Zeichnungen ersichtlich. Es zeigen:
    • 1 eine perspektivische Beispieldarstellung eines Zustands, in dem ein Teil eines Fahrzeuginneren eines Fahrzeugs zu sehen ist, bei dem eine Augapfelinformationenschätzvorrichtung gemäß dem Ausführungsbeispiel angebracht werden kann,
    • 2 eine schematische Darstellung eines Beispiels einer Anordnung einer Bildgebungseinheit und einer Infrarotbestrahlungseinrichtung zur Abbildung eines Bildes, das durch die Augapfelinformationenschätzvorrichtung gemäß dem Ausführungsbeispiel verwendet wird,
    • 3 eine schematische Darstellung, die einen Überblick über eine erste Sichtlinienwinkelberechnungsverarbeitung zur Berechnung eines Sichtlinienwinkels unter Verwendung einer Mittenposition einer Pupille und einer Position eines Purkinje-Bildes beschreibt, die bei der Augapfelinformationenschätzvorrichtung gemäß dem Ausführungsbeispiel verwendet werden kann,
    • 4 eine schematische Darstellung, die einen Überblick über eine zweite Sichtlinienwinkelberechnungsverarbeitung zur Berechnung eines Sichtlinienwinkels unter Verwendung der Mittenposition der Pupille und einer Augapfelmittenposition beschreibt, die bei der Augapfelinformationenschätzvorrichtung gemäß dem Ausführungsbeispiel verwendet werden kann,
    • 5 ein Blockschaltbild, das ein Beispiel eines Aufbaus der Augapfelinformationenschätzvorrichtung gemäß dem Ausführungsbeispiel veranschaulicht,
    • 6 eine schematische Beispieldarstellung, die korrekte Antwortinformationen beschreibt, die zum Lernen bei einem Prozess eines Tiefenlernens verwendet werden, der bei der Augapfelinformationenschätzvorrichtung gemäß dem Ausführungsbeispiel verwendet werden kann,
    • 7 eine schematische Beispieldarstellung, die inkorrekte Antwortinformationen beschreibt, die zum Lernen in einem Prozess eines Tiefenlernens verwendet werden, der bei der Augapfelinformationenschätzvorrichtung gemäß dem Ausführungsbeispiel verwendet werden kann,
    • 8 eine schematische Beispieldarstellung zur Beschreibung einer Anpassung eines dreidimensionalen Gesichtsmodells unter Verwendung von Gesichtsmerkmalspunkten beruhend auf dem beschafften Bild bei der Augapfelinformationenschätzvorrichtung gemäß einem Ausführungsbeispiel,
    • 9 eine schematische Beispieldarstellung zur Beschreibung einer Schätzung der Augapfelmittenposition bei der Augapfelinformationenschätzvorrichtung gemäß dem Ausführungsbeispiel,
    • 10 ein Ablaufdiagramm eines Beispielablaufs einer Sichtlinienwinkelberechnungsverarbeitung und Verarbeitung eines Aktualisierens der Augapfelmittenposition bei der Augapfelinformationenschätzvorrichtung gemäß dem Ausführungsbeispiel,
    • 11 ein Ablaufdiagramm eines Beispielablaufs eines Korneareflexionsverfahrens (einer ersten Sichtlinienwinkelberechnungsverarbeitung) in dem Ablaufdiagramm von 10,
    • 12 ein Ablaufdiagramm eines ausführlichen Beispielverarbeitungsablaufs einer Schätzungsaktualisierungsverarbeitung der Augapfelmittenposition im Ablaufdiagramm von 10 und
    • 13 ein Ablaufdiagramm eines Beispielablaufs eines Korneamodellverfahrens (einer zweiten Sichtlinienwinkelberechnungsverarbeitung) im Ablaufdiagramm von 10.
  • BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
  • Nachstehend wird ein Ausführungsbeispiel beschrieben. Der Aufbau des nachstehend beschriebenen Ausführungsbeispiels sowie die Arbeitsweise, Ergebnisse und Wirkungen, die durch den Aufbau bereitgestellt werden, stellen Beispiele dar. Die Offenbarung kann durch einen Aufbau realisiert werden, der vom Aufbau des folgenden Ausführungsbeispiels verschieden ist, und zumindest eine der verschiedenen auf dem Grundaufbau beruhenden Wirkungen und abgeleitete Wirkungen können erhalten werden.
  • Im nachstehenden Ausführungsbeispiel wird ein Fall beschrieben, in dem eine Augapfelinformationenschätzvorrichtung an einem Fahrzeug befestigt ist, und ein Schätzen und Aktualisieren von Augapfelinformationen, insbesondere einer Augapfelmittenposition, durchgeführt werden, wobei ein Insasse (beispielsweise ein Fahrer) ein Subjekt darstellt.
  • Ein in 1 gezeigtes Fahrzeug 1 kann beispielsweise ein Automobil (Automobil mit Verbrennungsmotor) mit Verbrennungsmotor (Maschine, nicht gezeigt) als Antriebsquelle, ein Automobil (Elektroauto, Brennstoffbatterieauto und dergleichen) mit einem Elektromotor (Motor, nicht gezeigt) als Antriebsquelle oder ein Automobil (Hybridauto) sowohl mit Verbrennungsmotor als auch Elektromotor als Antriebsquelle sein. Außerdem können an dem Fahrzeug 1 verschiedene Übertragungseinrichtungen montiert sein, und es können verschiedene Vorrichtungen (Systeme, Komponenten und dergleichen) an dem Fahrzeug 1 montiert sein, die zum Ansteuern des Verbrennungsmotors oder Elektromotors erforderlich sind. Ferner können das Verfahren, die Anzahl, das Layout und dergleichen von Einrichtungen hinsichtlich des Antreibens der Räder 3 im Fahrzeug verschiedentlich eingestellt sein.
  • Wie in 1 gezeigt konfiguriert eine Karosserie 2 des Fahrzeugs 1 ein Fahrzeuginneres 2a, in dem sich ein Fahrer (nicht gezeigt) befindet. Eine Lenkeinheit 4 und dergleichen sind im Fahrzeuginneren 2a vorgesehen, sodass sie zu einem Sitz 2b des Fahrers als Insasse zeigen. Bei dem Ausführungsbeispiel ist die Lenkeinheit 4 beispielsweise ein Lenkrad, das aus einem Armaturenbrett 12 (einer Instrumententafel) hervortritt.
  • Wie in 1 gezeigt ist das Fahrzeug 1 beispielsweise ein Fahrzeug mit vier Rädern (Vierradautomobil) und weist zwei, ein linkes und rechts Vorderrad 3f und zwei, ein linkes und rechtes Hinterrad 3r auf. Bei dem Ausführungsbeispiel ist jedes der vier Räder 3 derart eingerichtet, dass es lenkbar sein kann.
  • Eine Monitoreinrichtung 11 ist an einem Mittenabschnitt in Fahrzeugbreitenrichtung, das heißt, einer Links-Rechts-Richtung des Armaturenbretts 12 im Fahrzeuginneren 2a vorgesehen. Die Monitoreinrichtung 11 ist mit einer Anzeigeeinrichtung oder einer Sprachausgabeeinrichtung versehen. Die Anzeigeeinrichtung ist beispielsweise eine Flüssigkristallanzeige (LCD), eine organische Elektrolumineszenzanzeige (OLED) oder dergleichen. Die Sprachausgabeeinrichtung ist beispielsweise ein Lautsprecher. Die Anzeigeeinrichtung ist außerdem mit einer durchsichtigen Bedieneingabeeinheit wie einem interaktiven Bedienfeld bedeckt. Der Insasse kann das auf einem Anzeigeschirm der Anzeigeeinrichtung angezeigte Bild durch die Bedieneingabeeinheit hindurch visuell erkennen. Der Insasse kann die Bedieneingabe durch Bedienen der Bedieneingabeeinheit mit einem Finger oder dergleichen durch Berühren, Drücken oder Bewegen der Bedieneingabeeinheit an einer Position ausführen, die einem auf dem Anzeigeschirm der Anzeigeeinrichtung angezeigten Bild entspricht. Die Monitoreinrichtung 11 kann beispielsweise als Navigationssystem oder Audiosystem verwendet werden.
  • Wie in 2 gezeigt sind im Fahrzeuginneren 2a eine Bildgebungseinheit 201 und eine Infrarotbestrahlungseinrichtung 203 (Lichtquelle) an einer Lenkradsäule 202 vorgesehen, die die Lenkeinheit 4 trägt. Die Infrarotbestrahlungseinrichtung 203 kann beispielsweise eine lichtemittierende Diode (LED) sein, die Infrarotstrahlen emittiert. Die Bildgebungseinheit 201 kann beispielsweise eine Kamera mit Ladungskopplungsbaustein (CCD) oder dergleichen sein, die eine Bildgebung mittels Infrarotstrahlen durchführen kann.
  • Die Bildgebungseinheit 201 ist im Blickwinkel und einer Stellung derart eingerichtet, dass ein Gesicht eines Fahrers 302, der auf dem Sitz 2b sitzt, im Zentrum eines Sichtfeldes positioniert ist. Die Infrarotbestrahlungseinrichtung 203 ist derart eingerichtet, dass eine optische Achse des durch die Infrarotbestrahlungseinrichtung 203 emittierten Lichts sich in der Nähe des Gesichts des Fahrers 302 befindet, der auf dem Sitz 2b sitzt.
  • In Folge der vorstehend beschriebenen Gestaltung emittiert die Infrarotbestrahlungseinrichtung 203 Infrarotstrahlen 212 in einen Bereich 250, wo das Gesicht einer Person vorhanden sein kann, wenn die Person auf dem Sitz 2b des Fahrzeugs 1 sitzt. Die Infrarotstrahlen 212 werden vom menschlichen Auge nicht als Licht erkannt. Selbst wenn die Infrarotstrahlen zum Gesicht der Person emittiert werden, fühlt sich die Person, die zu einem Bestrahlungsziel wurde, nicht geblendet. Während der Komfort zur Zeit des Fahrens sichergestellt wird, wird so die Abbildung des Gesichts der Person durch die Bildgebungseinheit 201 einfach.
  • Infolge der vorstehend beschriebenen Gestaltung bildet die Bildgebungseinheit 201 den Bereich 250 ab, wo das Gesicht der Person vorhanden sein kann, zu dem die Infrarotbestrahlungseinrichtung 203 die Infrarotstrahlen emittiert. Während das Fahren des Fahrzeugs 1 durchgeführt wird, kann die Bildgebungseinheit 201 beispielsweise die Abbildung des Gesichts des Fahrers 302 fortsetzen und kann sequenziell Bewegtbilddaten (erfasste Bilddaten) mit einer vorbestimmten Bildrate ausgeben. In diesem Fall können die erfassten Bilddaten ein virtuelles Bild (das nachstehend als „Purkinje-Bild“ bezeichnet wird) enthalten, das in einem Fall erscheint, in dem die von der Infrarotbestrahlungseinrichtung 203 emittierten Infrarotstrahlen durch eine Kornea-Oberfläche des Auges des Fahrers 302 reflektiert werden. Das Purkinje-Bild erscheint beispielsweise dann nicht, wenn das Augenlid geschlossen ist, da das Purkinje-Bild auf der Kornea-Oberfläche des Auges erscheint. Ferner gibt es gemäß dem Grad der Öffnung des Augenlids (Augenlidöffnungsgrad) einen Fall, in dem das Purkinje-Bild erscheint, und einen Fall, in dem das Purkinje-Bild nicht erscheint. Einzelheiten des Purkinje-Bildes werden später beschrieben.
  • Wenn eine Infrarotkamera als Bildgebungseinheit 201 verwendet wird, ist die Beeinflussung durch Umgebungslicht schwierig, und die Abbildung einer Region, wo das Gesicht vorhanden sein kann, ohne dem Fahrer 302 ein unbehagliches Gefühl zu bereiten, kann außerordentlich gut durchgeführt werden. Anstelle der Infrarotbestrahlungseinrichtung 203 kann außerdem ein Projektor verwendet werden, der sichtbares Licht emittiert. In diesem Fall ist es beispielsweise möglich, zur Vereinfachung des Systems beizutragen. In diesem Fall sollte allerdings die Anordnung des Projektors oder die Anpassung der Lichtmenge so durchgeführt werden, dass es für den Insassen, wie den Fahrer 302, schwierig ist, sich durch das sichtbare Licht geblendet zu fühlen. Außerdem sind die Installationspositionen der Bildgebungseinheit 201 und der Infrarotbestrahlungseinrichtung 203 nicht auf die Lenkradsäule 202 beschränkt. Wenn es möglich ist, den Bereich 250, wo das Gesicht des Fahrers 302 im Allgemeinen vorhanden sein kann, von einer Frontfläche aus abzubilden, kann die Installationsposition geeignet verändert werden. Die Bildgebungseinheit 201 und die Infrarotbestrahlungseinrichtung 203 können beispielsweise am Armaturenbrett 12 vorgesehen sein, oder können an der Decke, einem Spiegel im Raum oder dergleichen installiert sein. Die Bildgebungseinheit 201 und die Infrarotbestrahlungseinrichtung 203 können getrennt voneinander vorgesehen sein.
  • Die Augapfelinformationenschätzvorrichtung des Ausführungsbeispiels unterdrückt eine Verschlechterung einer Schätzgenauigkeit der Augapfelmittenposition als Augapfelinformationen während der Berechnung des Sichtlinienwinkels (beziehungsweise der Sichtlinienrichtung) des Fahrers 302, und verbessert demnach die Berechnungsgenauigkeit des Sichtlinienwinkels. Die Augapfelinformationenschätzvorrichtung unterdrückt insbesondere die Verschlechterung der Schätzgenauigkeit der Augapfelmittenposition durch Aktualisieren der Augapfelmittenposition, die geschätzt werden kann, zusammen mit der Berechnung des Sichtlinienwinkels nur in einem Fall, wenn die Bedingungen erfüllt sind, unter denen die Berechnung des Sichtlinienwinkels mit hoher Genauigkeit erreicht werden kann. Infolgedessen kann dann durch Verwenden der aktualisierten Augapfelmittenposition ein genauerer Sichtlinienwinkel berechnet werden.
  • Bei dem Ausführungsbeispiel kann bei der Berechnung des Sichtlinienwinkels die bekannte erste Sichtlinienwinkelberechnungsverarbeitung und/oder die bekannte zweite Sichtlinienwinkelberechnungsverarbeitung wahlweise beruhend auf einem Zustand (Inhalten) des durch die Bildgebungseinheit 201 erfassten Bildes verwendet werden. Zuerst wird eine Übersicht über die erste Sichtlinienwinkelberechnungsverarbeitung und die zweite Sichtlinienwinkelberechnungsverarbeitung beschrieben.
  • 3 zeigt eine Darstellung zur Beschreibung eines Überblicks über ein sogenanntes „Korneareflexionsverfahren“, welches die erste Sichtlinienwinkelberechnungsverarbeitung bei dem Ausführungsbeispiel darstellt. Das Korneareflexionsverfahren ist ein Verfahren zur Erfassung eines Sichtlinienwinkels L (einer Sichtlinienrichtung) beruhend auf einer Positionsbeziehung zwischen einer Mittenposition 36a einer Pupille 36 und einer Position eines Purkinje-Bildes 34, in dem Licht der Infrarotbestrahlungseinrichtung 203 auf einer Kornea 32 erscheint (in einem Fall erscheint, wenn es von der Oberfläche der Kornea 32 reflektiert wird), die an einem vorderen Teil des Augapfels 30 positioniert ist. Die Position des Purkinje-Bildes 34 bewegt sich aufgrund eines Unterschieds (Unterschieds im Rotationszentrum) zwischen einer Korneakrümmungsmittenposition 32a der Kornea 32 und einer Augapfelmittenposition 30a parallel zu der Augapfelbewegung. Wenn die Pupille 36 beispielsweise näher auf der Seite des äußeren Augenwinkels als das Purkinje-Bildes 34 des linken Auges ist, kann erwogen werden, dass der Fahrer 302 nach links schaut. Wenn die Pupille 36 näher an der Seite des inneren Augenwinkels als das Purkinje-Bild 34 des linken Auges ist, kann erwogen werden, dass der Fahrer 302 nach rechts schaut.
  • 4 zeigt eine Darstellung zur Beschreibung eines Überblicks über ein sogenanntes „Augapfelmodellverfahren“, welches die zweite Sichtlinienwinkelberechnungsverarbeitung bei dem Ausführungsbeispiel darstellt. Das Augapfelmodellverfahren ist ein Verfahren zur Erfassung einer Richtung, die die Mittenposition 36a und die Augapfelmittenposition 30a miteinander als Sichtlinienwinkel L (Sichtlinienrichtung) durch Verwenden der Mittenposition 36a der Pupille 36 und der Augapfelmittenposition 30a im Augapfel 30 verbindet, die vorab statistisch erhalten wird.
  • 5 zeigt ein Blockschaltbild eines Aufbaus der Augapfelinformationenschätzvorrichtung 100 gemäß dem Ausführungsbeispiel. Bei dem Ausführungsbeispiel kooperiert die Augapfelinformationenschätzvorrichtung 100 mit Hardware und Software (einem Augapfelinformationenschätzprogramm) zur Ausführung einer Verarbeitung einer sequenziellen Berechnung des Sichtlinienwinkels L (der Sichtlinienrichtung) des Fahrers 302, der ein Beispiel eines Schätzungsziels der Augapfelinformationen aus dem durch die Bildgebungseinheit 201 erfassten Bilddaten ist, und zur Ausführung einer Schätzverarbeitung der Augapfelmittenposition. Die Augapfelinformationenschätzvorrichtung 100 kann auf einem Computer realisiert werden, der mit einer Zentralverarbeitungseinheit (CPU) 40, einem Nur-Lesespeicher (ROM) 42, einem Speicher mit wahlfreiem Zugriff (RAM) 44 und einem Solid-State-Laufwerk (SSD, Flashspeicher) 46 konfiguriert ist. Wenn die Augapfelinformationenschätzvorrichtung 100 im Fahrzeug 1 montiert ist, kann die Augapfelinformationenschätzvorrichtung 100 außerdem in der CPU einer Vielzahl elektronischer Steuereinheiten (ECUs) realisiert sein, die das Fahrzeug 1 steuern, kann durch eine ECU realisiert werden, die von einer ECU für die Fahrzeugsteuerung verschieden ist, oder kann als unabhängige Augapfelinformationenschätzvorrichtung 100 montiert sein.
    Die CPU 40 kann ein in einer nicht flüchtigen Speichereinrichtung, wie dem ROM 42 installiertes und gespeichertes Augapfelinformationenschätzprogramm 42a lesen und eine arithmetische Verarbeitung gemäß dem Augapfelinformationenschätzprogramm 42a ausführen. Zusätzlich zu dem Augapfelinformationenschätzprogramm 42a sind im ROM 42a in einer Statistikdatenspeichereinheit gespeicherte statistische Daten, in einer Schwellenwertdatenspeichereinheit 42c gespeicherte Schwellenwertdaten, in einer Gelernte-Daten-Speichereinheit 42e gespeicherte gelernte Daten, in einer Bedingungsdatenspeichereinheit 42e gespeicherte Bedingungsdaten und dergleichen gespeichert. Der RAM 44 wird als Arbeitsbereich verwendet, wenn das Augapfelinformationenschätzprogramm 42a durch die CPU 40 ausgeführt wird, und wird auch als temporärer Speicherbereich verschiedener Daten verwendet, die bei der Berechnung durch die CPU 40 verwendet werden. Im RAM 44 sind beispielsweise unter anderem eine Kamerabildkoordinatenspeichereinheit 44a, die Kamerakoordinatendaten speichert, eine Bildschirmkoordinatenspeichereinheit 44b, die zu verarbeitende Bildschirmkoordinatendaten speichert, eine Gesichtsmodellkoordinatenspeichereinheit 44c, die Gesichtsmodellkoordinatendaten speichert, und eine Zuverlässigkeitsdatenspeichereinheit 44d vorgesehen, die die Zuverlässigkeitsdaten speichert. Außerdem ist das SSD 46 eine wiederbeschreibbare nichtflüchtige Speichereinheit, und kann Daten selbst dann speichern, wenn die Leistungsquelle der Augapfelinformationenschätzvorrichtung 100 ausgeschaltet ist. Die CPU 40, der ROM 42, der RAM 44 und dergleichen können in derselben Gerätebaugruppe integriert sein. Die Augapfelinformationenschätzvorrichtung 100 kann konfiguriert sein, anstelle der CPU 40 einen anderen Logikoperationsprozessor zu verwenden, wie einen digitalen Signalprozessor (DSP) oder eine Logikschaltung. Außerdem kann anstelle des SSD 46 ein Festplattenlaufwerk (HDD) vorgesehen sein, oder das HDD kann getrennt von der Augapfelinformationenschätzvorrichtung 100 vorgesehen sein.
  • Die CPU 40 enthält verschiedene Module zum Realisieren der Funktion der Augapfelinformationenschätzvorrichtung 100. Wie in 5 gezeigt, realisiert die CPU 40 beispielsweise eine Beschaffungseinheit 48, eine Erfassungseinheit 50, eine Zuverlässigkeitsberechnungseinheit 52, eine Auswahleinheit 54, eine Verarbeitungseinheit 56 und dergleichen. Außerdem können die Module als dedizierte Hardware konfiguriert sein.
  • Die Beschaffungseinheit 48 beschafft sequenziell erfasste Bilddaten, die durch die Bildgebungseinheit 201 erfasst werden, und speichert die erfassten Bilddaten in der Kamerabildkoordinatenspeichereinheit 44a des RAM 44 für jedes Bild. Die Beschaffungseinheit 48 kann die erfassten Bilddaten beschaffen, die durch die Bildgebungseinheit 201 sequenziell erfasst werden, oder die Beschaffungseinheit 48 kann die Bildgebungseinheit 201 zur Ausführung einer Bildgebungsverarbeitung zu einer vorbestimmten Zeit zur Beschaffung der erfassten Bilddaten veranlassen.
  • Die Erfassungseinheit 50 liest die erfassten Bilddaten aus der Kamerabildkoordinatensystemspeichereinheit 44a aus und erfasst die Position oder Gesichtskomponenten (beispielsweise Mund, Nase und Augen) des Gesichts des Fahrers 302. Außerdem erfasst die Erfassungseinheit 50 Gesichtsmerkmalspunkte (beispielsweise Mund, Nase und Augen (äußerer Augenwinkel, innerer Augenwinkel)) des Gesichts in der Region, wo das Gesicht des Fahrers 302 erfasst wird. Als Verfahren zur Erfassung der Position, von Gesichtskomponenten, Gesichtsmerkmalspunkten und dergleichen des Gesichts des Fahrers 302 können verschiedene bekannte Verfahren angewendet werden, aber beispielsweise kann ein Verfahren unter Verwendung eines neuronalen Netzwerks (NN), einer individuellen Gesichtsvorlage und dergleichen angewendet werden. Bei einem anderen Verfahren kann beispielsweise ein bekanntes dreidimensionales Modellfittingverfahren angewendet werden. Die Erfassungseinheit 50 erfasst die Position, Gesichtskomponenten, Gesichtsmerkmalspunkte und dergleichen des Gesichts des Fahrers 302 unter anderem durch Bewegen, Drehen, Skalieren eines temporären Modells hinsichtlich der Merkmalspunkte, die in einem statistischen Gesichtsformmodell definiert sind, was vorab in der Statistikdatenspeichereinheit 42b des ROM 42 gespeichert wurde, das heißt, des vorab erzeugten temporären Modells eines Durchschnittsgesichts als Anfangszustand. Zu diesem Zeitpunkt werden auch Gesichtspositionskoordinaten des Bildes des Fahrers 302, ein Gesichtsrichtungswinkel und dergleichen erfasst.
  • Die Erfassungseinheit 50 erfasst ferner ein oberes Augenlid und ein unteres Augenlid unter Bezugnahme auf den erfassten inneren Augenwinkel und den erfassten äußeren Augenwinkel eines Auges. Beispielsweise kann ein Kurvenanpassungsverfahren oder dergleichen als Verfahren zur Erfassung des oberen und unteren Augenlids verwendet werden. Die Erfassungseinheit 50 kann den Augenlidöffnungsgrad beruhend auf der berechneten Entfernung zwischen dem oberen und unteren Augenlid berechnen. Die Erfassungseinheit 50 erfasst außerdem die Pupille 36 und die Mittenposition 36a der Pupille 36 in den erfassten Bilddaten. Die Erfassungseinheit 50 erfasst ferner das Purkinje-Bild 34 in den erfassten Bilddaten aus einer Nachbarregion zwischen dem erfassten oberen Augenlid und dem erfassten unteren Augenlid. Die Pupille 36 oder das Purkinje-Bild 34 wird durch ein Verfahren maschinellen Lernens erzeugt, wie tiefes Lernen zum Lernen beruhend auf den korrekten Antwortinformationen und den inkorrekten Antwortinformationen auf eine große Menge an Gesichtskomponentenpositionen, die in der Vergangenheit beschafft wurden, und kann unter Verwendung der gelernten Daten erfasst werden, die in der Gelernte-Daten-Speichereinheit 42d des ROM 42 gespeichert sind.
  • Als Beispiel werden hier die korrekten Antwortinformationen und die inkorrekten Antwortinformationen, die zum Lernen bei dem tiefen Lernen verwendet werden, unter Verwendung der 6 und 7 beschrieben.
  • Die korrekten Antwortinformationen der Pupille 36 können als Bild in der Nähe des Auges definiert werden, indem die Pupillenmitte geeignet durch eine Kennzeichnung T in einem Projektionsbild angegeben wird, das auf den erfassten Bilddaten beruht. Die inkorrekten Antwortinformationen der Pupille 36 können als Bild in der Nähe des Auges definiert werden, indem die Kennzeichnung T an einer Position angegeben wird, die von einer ursprünglichen Position der Pupillenmitte in dem erfassten Bild abweicht. Zur Durchführung des Lernens werden außerdem die wie vorstehend beschrieben definierten korrekten Antwortinformationen und inkorrekten Antwortinformationen erzeugt. 6 veranschaulicht ein Beispiel der korrekten Antwortinformationen der Pupille 36, und 7 veranschaulicht ein Beispiel der inkorrekten Antwortinformationen der Pupille 36. Bezüglich der korrekten Antwortinformationen kann ein Fall erwogen werden, in dem der Benutzer die Kennzeichnung T manuell setzt. Für die inkorrekten Antwortinformationen erzeugt die Informationsverarbeitungseinrichtung, wie ein Personalcomputer, nachdem der Benutzer eine Regel zur Erzeugung der inkorrekten Antwortinformationen eingestellt (erzeugt) hat, eine Vielzahl inkorrekter Antwortinformationsstücke beruhend auf der gesetzten Regel. Demnach kann auf ausgewogene Weise eine große Menge inkorrekter Antwortdaten erzeugt werden.
  • Die Gelernte-Daten-Speichereinheit 42d kann ferner durch ein maschinelles Lernverfahren, wie das tiefe Lernen, erzeugte gelernte Daten beruhend auf korrekten Antwortinformationen und inkorrekten Antwortinformationen des Purkinje-Bildes 34 speichern. Die korrekten Antwortinformationen des Purkinje-Bildes 34 können als Bild in der nahen Umgebung des Auges definiert werden, indem die Mitte des Purkinje-Bildes durch das Kennzeichnen T in dem erfassten Bild angegeben wird. Die inkorrekten Antwortinformationen des Purkinje-Bildes 34 können als Bild in der nahen Umgebung des Auges definiert werden, indem das Kennzeichen T an einer Position angegeben wird, die aus der Mitte des ursprünglichen Purkinje-Bildes verschoben ist. Da das Verfahren der Erzeugung der korrekten Antwortinformationen und der inkorrekten Antwortinformationen des Purkinje-Bildes 34 dasselbe wie das Verfahren des Erzeugens der korrekten Antwortinformationen und der inkorrekten Antwortinformationen der Pupille 36 ist, wird auf eine Wiederholung der Beschreibung hier verzichtet. Bei dem Ausführungsbeispiel können die gelernten Daten gleichermaßen für von der Pupille 36 oder dem Purkinje-Bild 34 verschiedene Elemente erzeugt werden.
  • Dann werden die gelernten Daten, die auf den wie vorstehend beschrieben erzeugten korrekten Antwortinformationen und inkorrekten Antwortinformationen beruhen, in der Gelernte-Daten-Speichereinheit 42d gespeichert. Demnach können die Erfassungseinheit 50 und die Zuverlässigkeitsberechnungseinheit 52 eine Punktzahl berechnen, die eine Wahrscheinlichkeit angibt, dass es sich beruhend auf den gelernten Daten um die Pupille 36 und das Purkinje-Bild 34 handelt. Daten, die als ähnlich zu den korrekten Antwortinformationen der gelernten Pupille 36 bestimmt werden, sind Daten (Daten mit hoher Punktzahl) mit hoher Wahrscheinlichkeit, dass sie die Pupille 36 sind, und Daten, die als ähnlich zu den inkorrekten Antwortinformationen der gelernten Pupille 36 bestimmt werden, sind Daten (Daten mit niedriger Punktzahl) mit geringer Wahrscheinlichkeit, dass sie die Pupille 36 sind. Auf diese Weise wird unter Verwendung der gelernten Daten eine Punktzahl, die die Wahrscheinlichkeit angibt, dass es sich um die Pupille 36 handelt, zu den erfassten Bilddaten (dem erfassten Bild) hinzugefügt, und wenn die Punktzahl größer als ein vorbestimmter Wert ist, wird bestimmt, dass es sich um die Pupille 36 handelt. Gleichermaßen wird unter Verwendung der gelernten Daten eine Punktzahl, die die Wahrscheinlichkeit angibt, dass es sich um das Purkinje-Bild 34 handelt, zu den erfassten Bilddaten hinzugefügt, und wenn die Punktzahl größer als ein vorbestimmter Wert ist, wird bestimmt, dass es sich um das Purkinje-Bild 34 handelt. Die Pupille 36 oder das Purkinje-Bild 34 können außerdem beispielsweise durch Analysieren eines Luminanzwerts in der Umgebung zwischen dem oberen und unteren Augenlid erfasst werden. Die Erfassungseinheit 50 speichert verschiedene Erfassungsergebnisse in der Kamerabildkoordinatenspeichereinheit 44a oder der Gesichtsmodellkoordinatenspeichereinheit 44c, und wenn die Verarbeitung für das nächste Bild durchgeführt wird, kann das Erfassungsergebnis der vorhergehenden Verarbeitung verwendet werden, und die Region (Position) beziehungsweise jede Gesichtskomponente des Gesichts, die Richtung des Gesichts und dergleichen können einfach erfasst werden.
  • Die Zuverlässigkeitsberechnungseinheit 52 berechnet eine Zuverlässigkeit des Ziels, das als Gesichtskomponente erachtet wird, die in den erfassten Bilddaten erscheint, beispielsweise eine Pupillenzuverlässigkeit, die die Wahrscheinlichkeit angibt, dass es sich um die Pupille 36 handelt, eine Purkinje-Wahrscheinlichkeit, die die Wahrscheinlichkeit angibt, dass es sich um das Purkinje-Bild 34 handelt, eine Augenwahrscheinlichkeit, die angibt, dass das Ziel ein Auge ist, und dergleichen. Wird beispielsweise die Pupille 36, das Purkinje-Bild 34 und dergleichen unter Verwendung der gelernten Daten erfasst, die durch ein maschinelles Lernverfahren, wie tiefes Lernen erzeugt werden, wird bei der Verarbeitung eine Punktzahl erhalten, die die jeweilige Wahrscheinlichkeit angibt. Die Zuverlässigkeitsberechnungseinheit 52 berechnet die Punktzahl als jeweilige Zuverlässigkeit. Das heißt, je größer die Punktzahl, desto größer ist die Wahrscheinlichkeit, dass es sich um die Pupille 36 handelt, und desto größer ist die Wahrscheinlichkeit, dass es sich um das Purkinje-Bild 34 handelt. Die Zuverlässigkeitsberechnungseinheit 52 speichert die jeweils berechnete Zuverlässigkeit in der Zuverlässigkeitsdatenspeichereinheit 44d des RAM 44.
  • Die Auswahleinheit 54 wählt aus, ob das in 3 beschriebene Korneareflexionsverfahren (die erste Sichtlinienwinkelberechnungsverarbeitung) oder das in 4 beschriebene Augapfelmodellverfahren (die zweite Sichtlinienwinkelberechnungsverarbeitung) bei der Berechnung des Sichtlinienwinkels auszuführen ist. Die Auswahleinheit 54 wählt das Verarbeitungsverfahren beispielsweise beruhend auf einem Vergleich der Pupillenzuverlässigkeit und der Purkinje-Zuverlässigkeit, die durch die Zuverlässigkeitsberechnungseinheit 52 berechnet werden, mit den Schwellenwertdaten aus, die in der Schwellenwertdatenspeichereinheit 42c des ROM 42 gespeichert sind. Die Schwellenwertdatenspeichereinheit 42c speichert beispielsweise einen ersten Pupillenschwellenwert oder einen ersten Purkinje-Schwellenwert, auf die bei der Bestimmung in der Verarbeitungseinheit 56 (nachstehend beschrieben) Bezug genommen wird, ob die Augapfelmittenposition zu schätzen und aktualisieren ist, einen zweiten Pupillenschwellenwert, der niedriger als der erste Pupillenschwellenwert ist, oder einen zweiten Purkinje-Schwellenwert, der niedriger als der erste Purkinje-Schwellenwert ist, auf die durch die Auswahleinheit 54 Bezug genommen wird, und dergleichen.
  • Bei dem aktuell verarbeiteten Bild kann die Auswahleinheit 54 außerdem die Sichtlinienwinkelberechnungsverarbeitung in einem Fall nicht ausführen, in dem die Pupillenzuverlässigkeit der Pupille 36 kleiner oder gleich dem zweiten Pupillenschwellenwert ist, beispielsweise einem Fall, in dem die Pupille 36 nicht erkannt werden kann. Daher wählt die Auswahleinheit 54 bei dem aktuell verarbeiteten Bild aus, ob das Korneareflexionsverfahren (die erste Sichtlinienwinkelberechnungsverarbeitung) beruhend auf der Purkinje-Zuverlässigkeit oder das Augapfelmodellverfahren (die zweite Sichtlinienwinkelberechnungsverarbeitung) ausgeführt wird, wenn die Pupillenzuverlässigkeit der Pupille 36 größer als der zweite Pupillenschwellenwert ist, das heißt, wenn die Pupille 36 im Allgemeinen erkannt werden kann.
  • Die Schwellenwertdatenspeichereinheit 42c enthält eine Vielzahl von Schwellenwerten, wie einen Augenschwellenwert, einen Anpassungsschwellenwert, einen Winkeländerungsschwellenwert, einen Gesichtspositionsbestimmungsschwellenwert und einen Gesichtsrichtungsbestimmungsschwellenwert zusätzlich zu den ersten und zweiten Pupillenschwellenwerten und den ersten und zweiten Purkinje-Schwellenwerten, die vorstehend beschrieben wurden. Der Augenschwellenwert ist außerdem ein Schwellenwert, auf den in jedem Verarbeitungszyklus der Augapfelinformationenschätzvorrichtung Bezug zu nehmen ist, wenn die Augenzuverlässigkeit berechnet wird, die die Wahrscheinlichkeit angibt, dass es sich um ein Auge handelt. Der Winkeländerungsschwellenwert ist ein Schwellenwert, auf den Bezug zu nehmen ist, wenn bestimmt wird, ob ein Änderungsbetrag des bei der Sichtlinienberechnungsverarbeitung berechneten Sichtlinienwinkels innerhalb eines erlaubten Bereichs liegt. Der Gesichtspositionsbestimmungsschwellenwert ist ein Schwellenwert, auf den bei der Bestimmung Bezug zu nehmen ist, ob die Position des Gesichts des Fahrers 302 (Subjekts) sich innerhalb einer vorbestimmten Region des durch die Beschaffungseinheit 48 beschafften Bildes befindet. Der Anpassungsschwellenwert ist ein Schwellenwert, auf den bei der Bestimmung des Übereinstimmungsgrads zwischen den Gesichtsmerkmalspunkten des Gesichts des Fahrers 302 und dem dreidimensionalen Anpassungsmodell Bezug zu nehmen ist. Der Gesichtsrichtungsbestimmungsschwellenwert ist ein Schwellenwert, auf dem bei der Bestimmung Bezug zu nehmen ist, ob die Gesichtsrichtung des Fahrers 302 in dem durch die Beschaffungseinheit 48 beschafften Bild eine vorbestimmte Richtung ist, beispielsweise zu der Front orientiert ist. Der Pupillenschwellenwert ist ein Schwellenwert, auf den im Fall der Bestimmung eines Augenlidöffnungsgrads Bezug zu nehmen ist.
  • Die Verarbeitungseinheit 56 führt die Sichtlinienwinkelberechnung gemäß der durch die Auswahleinheit 54 ausgewählten Sichtlinienwinkelberechnungsverarbeitung aus. Wenn beispielsweise das Korneareflexionsverfahren (die erste Sichtlinienwinkelberechnungsverarbeitung) ausgewählt wird, wird der Sichtlinienwinkel beruhend auf der Mittenposition 36a der Pupille 36, die durch die Erfassungseinheit 50 erfasst wird, und die Position des Purkinje-Bildes 34 berechnet. Wenn ferner das Augapfelmodellverfahren (die zweite Sichtlinienwinkelberechnungsverarbeitung) ausgewählt wird, wird der Sichtlinienwinkel beruhend auf der Mittenposition 36a der Pupille 36, die durch die Erfassungseinheit 50 erfasst wird, und die vorab berechnete Augapfelmittenposition 30a berechnet. Wenn das Augapfelmodellverfahren das erste Mal ausgeführt wird, wird der Sichtlinienwinkel unter Verwendung der in der Statistikdatenspeichereinheit 42b gespeicherten statistischen Augapfelmittenposition 30a berechnet. Wenn die Augapfelmittenposition 30a durch die Verarbeitungseinheit 56 aktualisiert (korrigiert) wird, wird bei der nachfolgenden Verarbeitung auf die aktualisierte Augapfelmittenposition 30a Bezug genommen.
  • Wenn das Korneareflexionsverfahren (die erste Sichtlinienwinkelberechnungsverarbeitung) als Verfahren der Sichtlinienwinkelberechnungsverarbeitung durch die Auswahleinheit 54 ausgewählt wird, bestimmt die Verarbeitungseinheit 56 unter Bezugnahme auf die in der Bedingungsdatenspeichereinheit 42e des ROM 42 gespeicherte Aktualisierungsbedingung, ob die Augapfelmittenposition 30a zu aktualisieren ist, und aktualisiert (korrigiert) die Augapfelmittenposition 30a, wenn die Aktualisierungsbedingung erfüllt ist. Aus den durch die Zuverlässigkeitsberechnungseinheit 52 berechneten Zuverlässigkeiten wird zumindest dann, wenn die Pupillenzuverlässigkeit, die die Wahrscheinlichkeit angibt, dass es sich um die Pupille 36 handelt, größer als der erste Pupillenschwellenwert ist, und die Purkinje-Zuverlässigkeit, die die Wahrscheinlichkeit angibt, dass es sich um das Purkinje-Bild handelt, größer als der erste Purkinje-Schwellenwert ist, bestimmt, dass die Aktualisierungsbedingung erfüllt ist, und die Augapfelmittenposition wird aktualisiert. Der in der Schwellenwertdatenspeichereinheit 42c gespeicherte erste Pupillenschwellenwert ist auf einen größeren (strengeren) Wert als der zweite Pupillenschwellenwert eingestellt, auf den Bezug genommen wird, wenn die Auswahleinheit 44 auswählt, welche Sichtlinienwinkelberechnungsverarbeitung auszuführen ist. Gleichermaßen ist der erste Purkinje-Schwellenwert auf den größeren (strengeren) Wert als der zweite Purkinje-Schwellenwert eingestellt, auf den Bezug genommen wird, wenn die Auswahleinheit 54 auswählt, welche Sichtlinienwinkelberechnungsverarbeitung auszuführen ist. Daher wird die Augapfelmittenposition nur in einem Fall aktualisiert, in dem die Erfassungsgenauigkeit des Auges größer ist. Wenn die Erfassung des Auges instabil ist, beispielsweise wenn die Pupille 36 des Fahrers 302 (Subjekts) oder das Purkinje-Bild 34 nicht in einem sehr zuverlässigen Zustand erfasst werden kann, wird die Aktualisierung in einem Zustand vermieden, in dem die Augapfelmittenposition 30a, die bei dem Augapfelmodellverfahren (der zweiten Sichtlinienwinkelberechnungsverarbeitung) verwendet wird, Fehler enthält. Das heißt, eine Verschlechterung der Sichtlinienwinkelerfassungsgenauigkeit durch das Augapfelmodellverfahren kann verhindert werden, und die Zuverlässigkeit als Augapfelinformationenschätzvorrichtung kann verbessert werden, indem die Schätzgenauigkeit der Augapfelmittenposition 30a verbessert wird.
  • Die Aktualisierungsbedingung zur Bestimmung, ob die Augapfelmittenposition 30a durch die Verarbeitungseinheit 56 zu aktualisieren ist, kann ferner die Augenzuverlässigkeit des aktuell verarbeiteten Bildes und/oder die Zuverlässigkeit der dreidimensionalen Anpassung der Merkmalspunkte des Gesichts und/oder den Änderungsbetrag des zuvor berechneten Sichtlinienwinkels und des gegenwärtig berechneten Sichtlinienwinkels und/oder die Position des Gesichts und/oder den Gesichtsrichtungswinkel des Subjekts enthalten. Wenn beispielsweise die Augapfelzuverlässigkeit kleiner oder gleich einem vorbestimmten Augenschwellenwert ist, wird geschätzt, dass beispielsweise Augenbrauen oder ein Brillenrahmen fälschlicherweise als Auge erkannt werden, und somit wird die Aktualisierung der Augapfelmittenposition 30a untersagt. Wenn die Zuverlässigkeit der dreidimensionalen Anpassung der Merkmalspunkte des Gesichts kleiner oder gleich einem vorbestimmten Anpassungsschwellenwert ist, wird außerdem geschätzt, dass beispielsweise eine Veränderung des Fahrers 302 oder dergleichen auftritt oder der innere Augenwinkel oder der äußere Augenwinkel des Auges fälschlicherweise als Pupille erkannt wird, und somit wird die Aktualisierung der Augapfelmittenposition 30a untersagt. Die Aktualisierung der Augapfelmittenposition 30a wird in einem Fall untersagt, wenn sich der Änderungsbetrag des Sichtlinienwinkels ändert, wobei er den vorbestimmten Winkeländerungsschwellenwert überschreitet, das heißt, wenn die Bewegung der Sichtlinie instabil ist. Der Grund, warum die Bewegung der Sichtlinie instabil ist, umfasst einen Fall, in dem die tatsächliche Position oder die erfasste Position der Pupille 36 auf dem Bildschirm instabil ist (wackelt), einen Fall, wenn die Erfassung der Pupille 36 oder des Purkinje-Bildes 34 instabil ist, und dergleichen. In einem Fall, wenn die Position des Gesichts des Fahrers 302 von dem vorbestimmten Bereichsschwellenwert des Bildes abweicht, beispielsweise wenn der Fahrer 302 mit einem Versatz zu der Position des Sitzes 2b sitzt oder in schräger Stellung sitzt und keine normale Fahrposition eingenommen wird, wird die Erfassung der Pupille 36 ungenau, und somit wird die Aktualisierung der Augapfelmittenposition 30a untersagt. Wenn die Gesichtsrichtung des Fahrers 302 von dem vorbestimmten Richtungsschwellenwert in dem Bild abweicht, wenn sie beispielsweise nicht zu der Frontfläche orientiert ist, oder wenn sie wegschaut oder aufgrund eines Schläfchens nach oben oder unten gerichtet ist, wird die Erfassung der Pupille 36 gleichermaßen ungenau, und somit wird die Aktualisierung der Augapfelmittenposition 30a untersagt. Zusätzlich dazu kann der Augenlidöffnungsgrad in der Bestimmungsbedingung enthalten sein. Wenn der Augenlidöffnungsgrad kleiner oder gleich einem vorbestimmten Augenlidschwellenwert ist, wird selbst dann, wenn es vorübergehend möglich ist, die Pupille 36 oder das Purkinje-Bild 34 zu erfassen, geschätzt, dass die Erfassungsgenauigkeit gering ist, und somit kann die Aktualisierung der Augapfelmittenposition 30a untersagt werden. Jeder Schwellenwert ist außerdem in der Schwellenwertdatenspeichereinheit 42c des ROM 42 gespeichert.
  • Wie vorstehend beschrieben schätzt die Verarbeitungseinheit 56 in einem Fall, in dem die Aktualisierung der Augapfelmittenposition 30a erlaubt wird, die Augapfelmittenposition 30a des Auges des Fahrers 302 beruhend auf dem dreidimensionalen Gesichtsmodell, das beruhend auf dem Sichtlinienwinkel L bestimmt wird, der durch das Korneareflexionsverfahren (die erste Sichtlinienwinkelberechnungsverarbeitung) berechnet wird. Wie in 8 veranschaulicht, wird eine Anpassung an das Gesicht auf dem Bild durch Bewegen, Drehen, Verkleinern, Vergrößern und dergleichen eines dreidimensionalen Gesichtsmodells M durchgeführt, sodass es Merkmalspunkten P (Gesichtsmerkmalspunkten anderer Umrisslinien eines Auges 60, einer Nase 62, eines Mundes 64 und dergleichen) des Gesichts des Fahrers 302 entspricht, die durch die Erfassungseinheit 50 erfasst werden. Wenn das dreidimensionale Gesichtsmodell M ein statistisches Gesichtsformmodell ist und die Position des Auges 60 in den dreidimensionalen Gesichtskoordinaten des dreidimensionalen Gesichtsmodells M bestimmt wird, werden die Bewegung, Drehung, Verkleinerung, Vergrößerung und dergleichen auch gemäß dem Augapfel 30 (in 9 gezeigt) durchgeführt, der in dem dreidimensionalen Gesichtsmodell M vorhanden ist. Infolgedessen können die Position des Augapfels 30 in den dreidimensionalen Gesichtskoordinaten und die Koordinaten der Augapfelmittenposition 30a geschätzt werden. Wenn der berechnete Sichtlinienwinkel L unter Verwendung des Korneareflexionsverfahrens (der ersten Sichtlinienwinkelberechnungsverarbeitung) durch die Verarbeitungseinheit 56 verwendet wird, kann die Anpassungsgenauigkeit des dreidimensionalen Gesichtsmodells M bezüglich des Gesichts auf dem Bild verbessert werden. Das heißt, die geschätzte Genauigkeit der Augapfelmittenposition 30a in dem dreidimensionalen Gesichtsmodell M kann verbessert werden. Die Verarbeitungseinheit 56 speichert die geschätzte Augapfelmittenposition 32a in der Gesichtsmodellkoordinatenspeichereinheit 44c des RAM 44. Auf die zu diesem Zeitpunkt gespeicherte Augapfelmittenposition 30a wird in einem Fall Bezug genommen, wenn das Augapfelmodellverfahren (die zweite Sichtlinienwinkelberechnungsverarbeitung) bei der nächsten Verarbeitung ausgeführt wird. Infolgedessen kann die Berechnungsgenauigkeit des Sichtlinienwinkels durch das Augapfelmodellverfahren verbessert werden.
  • Ein in 5 veranschaulichter Modulaufbau ist ein Beispiel, und wenn eine ähnliche Verarbeitung durchgeführt wird, sind eine Teilung oder Integration von Funktionen geeignet möglich.
  • Unter Bezugnahme auf die Ablaufdiagramme in den 10 bis 13 wird ein Beispiel des Ablaufs der Berechnung des Sichtlinienwinkels L und der Aktualisierungsverarbeitung der Augapfelmittenposition 30a durch die Augapfelinformationenschätzvorrichtung 100 beschrieben, die wie vorstehend angeführt konfiguriert ist. 10 ist dabei ein Hauptablaufdiagramm, 11 ist ein ausführlicheres Ablaufdiagramm der Sichtlinienwinkelberechnungsverarbeitung anhand des Korneareflexionsverfahrens, 12 ist ein ausführlicheres Ablaufdiagramm einer Schätzungsaktualisierungsverarbeitung der Augapfelmittenposition 30a und 13 ist ein ausführlicheres Ablaufdiagramm einer Sichtlinienwinkelberechnungsverarbeitung anhand des Augapfelmodellverfahrens.
  • Die Bildgebungseinheit 201 und die Infrarotbestrahlungseinrichtung 203 befinden sich beispielsweise immer in einem aktivierten Zustand, wenn die Leistungsquelle des Fahrzeugs 1 eingeschaltet ist, und die Bildgebungseinheit 201 ist eine Einheit, die Bilder eines Bereichs sequenziell abbildet, wo das Gesicht des Fahrers 302, der auf dem Sitz 2b sitzt, vorhanden sein kann. Außerdem wird angenommen, dass die erfassten Bilddaten sequenziell durch die Beschaffungseinheit 48 im RAM 44 gespeichert werden.
  • Wenn die Augapfelinformationenschätzvorrichtung 100 zu arbeiten beginnt, beschafft die Beschaffungseinheit 48 zuerst die statistisch vorab bestimmte Augapfelmittenposition (Anfangswert: Gesichtsmodellkoordinatendaten) aus der Statistikdatenspeichereinheit 42b des ROM 42, oder das dreidimensionale Gesichtsmodell M (Anfangsmodell), und führt die in der Gesichtsmodellkoordinatenspeichereinheit 44c des RAM 44 gespeicherte Anfangswerteinstellung aus (S100). Danach beschafft die Erfassungseinheit 50 die zu verarbeitenden erfassten Bilddaten von der Kamerabildkoordinatenspeichereinheit 44a (Beschaffungsschritt) und führt die Gesichtspositionserfassung zur Erfassung einer Gesichtsposition oder einer Gesichtskomponente (Auge, Nase, Mund, Knochengerüst) aus (S102). Außerdem erfasst die Erfassungseinheit 50 die Gesichtsmerkmalspunkte P, die den erfassten Gesichtskomponenten entsprechen (S104). Unter Verwendung der erfassten Gesichtsmerkmalspunkte P führt die Erfassungseinheit 50 ferner die dreidimensionale Anpassung der bei den erfassten Bilddaten (dem erfassten Bild) erfassten Gesichtsmerkmalspunkte P und der durch das dreidimensionale Gesichtsmodell M (Anfangsmodell) bestimmten Gesichtsmerkmalspunkte P aus (S106). Beruhend auf dem dreidimensionalen Gesichtsmodell M, das durch die dreidimensionale Anpassung angepasst, bewegt, rotiert und skaliert wurde, erfasst die Erfassungseinheit 50 die Gesichtspositionskoordinaten oder den Gesichtsrichtungswinkel auf dem Bildschirm und speichert die erfassten Gesichtspositionskoordinaten oder den Gesichtsrichtungswinkel in der Gesichtsmodellkoordinatenspeichereinheit 44c des RAM 44.
  • Danach erfasst die Erfassungseinheit 50 die Pupille 36, die Mittenposition 36a der Pupille 36 und das Purkinje-Bild 34 aus der Nachbarregion zwischen dem oberen und unteren Augenlid aus den erfassten Gesichtskomponenten in den erfassten Bilddaten (S108: Erfassungsschritt). Außerdem speichert die Erfassungseinheit 50 die erfasste Pupille 36 (Positionskoordinaten der Mittenposition 36a) und das Purkinje-Bild 34 (Positionskoordinaten) in der Bildschirmkoordinatenspeichereinheit 44b des RAM 44. Als Nächstes berechnet die Zuverlässigkeitsberechnungseinheit 52 die Zuverlässigkeit hinsichtlich der Pupille 36 und des Purkinje-Bildes 34, die in der Bildschirmkoordinatenspeichereinheit 44b gespeichert sind, jeweils unter Bezugnahme auf Schwellenwertdaten der Schwellenwertdatenspeichereinheit 42c (S110) und speichert die berechnete Zuverlässigkeit in der Zuverlässigkeitsdatenspeichereinheit 44d.
  • Die Auswahleinheit 54 bestimmt, ob die Sichtlinienwinkelberechnungsverarbeitung unter Verwendung der in S110 berechneten Zuverlässigkeit (S112) auszuführen ist, und wählt dann das Verfahren der Sichtlinienwinkelberechnungsverarbeitung aus (S114). Wenn die Pupillenpunktzahl der Zuverlässigkeit der Pupille 36 größer als der zweite Pupillenschwellenwert ist (ja in S112) und die Purkinje-Punktzahl der Zuverlässigkeit des Purkinje-Bildes 34 größer als der zweite Purkinje-Schwellenwert ist (ja in S114), wählt die Auswahleinheit 54 das Korneareflexionsverfahren (die erste Sichtlinienwinkelberechnungsverarbeitung) aus (Auswahlschritt). Dann führt die Verarbeitungseinheit 56 die Sichtlinienwinkelberechnungsverarbeitung durch das Korneareflexionsverfahren aus (S116).
  • 11 zeigt ein Ablaufdiagramm von Einzelheiten eines Beispiels des Korneareflexionsverfahrens. Die Verarbeitungseinheit 56 beschafft die Position des Purkinje-Bildes 34 und die Position der Pupille 36, die in S108 erfasst werden, von der Bildschirmkoordinatenspeichereinheit 44b (S200). Die Verarbeitungseinheit 56 beschafft ferner die Gesichtspositionskoordinaten und den Gesichtsrichtungswinkel, die durch die dreidimensionale Anpassung in S106 beschafft werden, von der Gesichtsmodellkoordinatenspeichereinheit 44c (S202). Danach berechnet die Verarbeitungseinheit 56 die temporäre Augapfelmittenposition 30a im Kamerakoordinatensystem und Gesichtsmodellkoordinatensystem beruhend auf der beschafften Position der Pupille 36, der Position des Purkinje-Bildes 34, den Gesichtspositionskoordinaten und dem Gesichtsrichtungswinkel und speichert die berechnete temporäre Augapfelmittenposition 30a jeweils in der Kamerabildkoordinatenspeichereinheit 44a und der Gesichtsmodellkoordinatenspeichereinheit 44c (S204). Die Verarbeitungseinheit 56 berechnet ferner die dreidimensionale Position der Pupille 36 des Kamerakoordinatensystems beruhend auf der von der Bildschirmkoordinatenspeichereinheit 44b beschafften Position der Pupille 36 und speichert die berechnete dreidimensionale Position in der Kamerabildkoordinatenspeichereinheit 44a (S206). Beruhend auf der temporären Augapfelmittenposition 30a und der Position der Pupille 36 berechnet die Verarbeitungseinheit 56 dann den Sichtlinienwinkel (S208), speichert den berechneten Sichtlinienwinkel im RAM 44 und beendet den Ablauf vorläufig.
  • Wenn die Sichtlinienwinkelberechnungsverarbeitung durch das Korneareflexionsverfahren abgeschlossen ist, führt die Verarbeitungseinheit 56 gemäß 10 die Schätzungsaktualisierungsverarbeitung der Augapfelmittenposition aus (S118: Verarbeitungsschritt).
  • 12 zeigt ein Ablaufdiagramm von Einzelheiten eines Beispiels der Schätzungsaktualisierungsverarbeitung der Augapfelmittenposition. Die Verarbeitungseinheit 56 erhält beispielsweise die Pupillenzuverlässigkeit und die Purkinje-Zuverlässigkeit, die in S120 berechnet und in der Zuverlässigkeitsdatenspeichereinheit 44d gespeichert wurden (S300). Wenn die Pupillenpunktzahl der Zuverlässigkeit der Pupille 36 größer als der erste Pupillenschwellenwert ist (ja in S302), und die Purkinje-Punktzahl der Zuverlässigkeit des Purkinje-Bildes 34 größer als der erste Purkinje-Schwellenwert ist (ja in S304), veranlasst die Verarbeitungseinheit 56 die Zuverlässigkeitsberechnungseinheit 52 zur Berechnung der Augenzuverlässigkeit (S306). Wenn die Augenpunktzahl größer als der Augenschwellenwert ist (ja in S308), berechnet die Verarbeitungseinheit 56 den Änderungsbetrag zwischen dem Sichtlinienwinkel L der aktuellen Verarbeitung, der in S116 berechnet wird, und dem Sichtlinienwinkel L, der bei der vorhergehenden Verarbeitung berechnet wurde (S310). Wenn die Augapfelinformationenschätzvorrichtung 100 die erste Verarbeitung ausführt, existiert der Sichtlinienwinkel der vorhergehenden Verarbeitung nicht, und somit wird der durch das Korneareflexionsverfahren der aktuellen Verarbeitung berechnete Sichtlinienwinkel zu dem Änderungsbetrag. Wenn der Sichtlinienwinkel zudem durch das Korneareflexionsverfahren oder das Augapfelmodellverfahren als vorhergehende Verarbeitung berechnet wird, wird die Differenz zwischen dem in der vorhergehenden Verarbeitung berechneten Sichtlinienwinkel und dem bei der aktuellen Verarbeitung berechneten Sichtlinienwinkel zu dem Änderungsbetrag. Wenn der berechnete Änderungsbetrag des Sichtlinienwinkels kleiner als der aus der Schwellenwertdatenspeichereinheit 42c ausgelesene Winkeländerungsschwellenwert ist (ja in S312), wird in der Verarbeitungseinheit 56 bestimmt, dass die Sichtlinienwinkelberechnungsverarbeitung durch das Korneareflexionsverfahren bei der aktuellen Verarbeitung exzellent durchgeführt wird, und wie in den 8 und 9 beschrieben, wird die Augapfelmittenposition 30a beruhend auf dem dreidimensionalen Gesichtsmodell M geschätzt, das beruhend auf dem berechneten Sichtlinienwinkel L bestimmt wird, und die temporär durch das Korneareflexionsverfahren berechnete Augapfelmittenposition 30a wird durch die geschätzte Augapfelmittenposition 30a aktualisiert (korrigiert) (S314). Die Verarbeitungseinheit 56 speichert (aktualisiert) die korrigierte Augapfelmittenposition 30a in der Gesichtsmodellkoordinatenspeichereinheit 44c. Wie vorstehend beschrieben wird die Augapfelmittenposition 30a in einem Fall aktualisiert, in dem der Änderungsbetrag des Sichtlinienwinkels L kleiner als der Winkeländerungsschwellenwert ist. Das heißt, wenn der Sichtlinienwinkel L kontinuierlich eine große Anzahl oft (zumindest zwei Mal) stabil berechnet wird, wird die Augapfelmittenposition 30a aktualisiert. Infolgedessen kann die Aktualisierungszuverlässigkeit der Augapfelmittenposition 30a verbessert werden.
  • Wenn in S302 die Pupillenpunktzahl der Zuverlässigkeit der Pupille 36 kleiner oder gleich dem ersten Pupillenschwellenwert ist (nein in S302), bestimmt die Verarbeitungseinheit 56, dass die Erfassungsgenauigkeit der Pupille 36 gering ist, und aktualisiert die Augapfelmittenposition 30a nicht (S316). Wenn in S304 die Purkinje-Punktzahl der Zuverlässigkeit des Purkinje-Bildes 34 kleiner oder gleich dem ersten Purkinje-Schwellenwert ist (nein in S304), bestimmt die Verarbeitungseinheit 56, dass die Erfassungsgenauigkeit des Purkinje-Bildes gering ist. Wenn in S308 die Augenpunktzahl kleiner oder gleich dem Augenschwellenwert ist (nein in S308), bestimmt die Verarbeitungseinheit 56, dass die Erfassungsgenauigkeit des Auges 60 gering ist. Wenn in S312 der Änderungsbetrag des Sichtlinienwinkels größer als der Winkeländerungsschwellenwert ist (nein in S312), bestimmt die Verarbeitungseinheit 56 beispielsweise, dass die Gesichtserfassungsgenauigkeit gering ist. Das heißt, in jedem Fall wird bestimmt, dass die geschätzte Genauigkeit der Augapfelmittenposition 30a beruhend auf dem dreidimensionalen Gesichtsmodell, das beruhend auf dem Sichtlinienwinkel bestimmt wird, der durch das Korneareflexionsverfahren berechnet wird, gering ist, und die Augapfelmittenposition 30a wird nicht aktualisiert (S16).
  • Wenn die geschätzte Aktualisierungsverarbeitung der Augapfelmittenposition in S118 in 10 abgeschlossen ist, ist der Ablauf vorübergehend beendet. Wenn in S114 außerdem die Purkinje-Punktzahl der Zuverlässigkeit des Purkinje-Bildes 34 kleiner oder gleich dem zweiten Purkinje-Schwellenwert ist (nein in S114), wählt die Auswahleinheit 54 das Augapfelmodellverfahren (die zweite Sichtlinienwinkelberechnungsverarbeitung) (Auswahlschritt), und die Verarbeitungseinheit 56 führt die Sichtlinienwinkelberechnungsverarbeitung durch das Augapfelmodellverfahren aus (S120).
  • 13 zeigt ein Ablaufdiagramm eines Beispiels von Einzelheiten des Augapfelmodellverfahrens. Wenn das Augapfelmodellverfahren das erste Mal ausgeführt wird, beschafft die Verarbeitungseinheit 56 die statistische Augapfelmittenposition 30a als Anfangswert, die in der Gesichtsmodellkoordinatenspeichereinheit 44c in S100 gespeichert wird (S400). Wenn in S314 außerdem die Augapfelmittenposition 30a aktualisiert wird, wird die aktualisierte Augapfelmittenposition 30a beschafft (S400). Die Verarbeitungseinheit 56 beschafft außerdem die Position der in S108 erfassten Pupille 36 aus der Bildschirmkoordinatenspeichereinheit 44b (S402). Die Verarbeitungseinheit 56 beschafft ferner die Gesichtspositionskoordinaten und den Gesichtsrichtungswinkel, die durch die dreidimensionale Anpassung in S106 beschafft werden, von der Gesichtsmodellkoordinatenspeichereinheit 44c (S404). Die Verarbeitungseinheit 56 berechnet die Augapfelmittenposition 30a in dem Kamerakoordinatensystem beruhend auf der beschafften Augapfelmittenposition 30a, den Gesichtspositionskoordinaten und dem Gesichtsrichtungswinkel und speichert die berechnete Augapfelmittenposition 30a in der Kamerabildkoordinatensystemspeichereinheit 44a (S406). Die Verarbeitungseinheit 56 berechnet ferner die dreidimensionale Position der Pupille 36 im Kamerakoordinatensystem beruhend auf der Position der Pupille 36 und speichert die berechnete dreidimensionale Position in der Kamerabildkoordinatenspeichereinheit 44a (S408). Beruhend auf der Augapfelmittenposition 30a und der Position der Pupille 36 in den Kamerakoordinaten berechnet die Verarbeitungseinheit 56 dann den Sichtlinienwinkel (S410) und speichert den berechneten Sichtlinienwinkel im RAM 44. Auf den hier gespeicherten Sichtlinienwinkel wird auch Bezug genommen, wenn der Sichtlinienwinkeländerungsbetrag in S310 berechnet wird.
  • Wenn die Sichtlinienwinkelberechnungsverarbeitung anhand des Augapfelmodellverfahrens in S120 in 10 abgeschlossen ist, wird der Ablauf vorübergehend beendet, ohne die Schätzungsaktualisierungsverarbeitung der Augapfelmittenposition in S118 auszuführen. Wenn in S112 die Pupillenpunktzahl der Zuverlässigkeit der Pupille 36 kleiner oder gleich dem zweiten Pupillenschwellenwert ist (nein in S112), bestimmt die Auswahleinheit 44 außerdem, dass die Pupille 36 im Wesentlichen nicht erfasst werden kann, die Sichtlinienwinkelberechnungsverarbeitung wird beendet (S122) und der Ablauf wird vorübergehend beendet.
  • Auf diese Weise wird die Augapfelmittenposition 30a mit der Augapfelinformationenschätzvorrichtung 100 des Ausführungsbeispiels nur in einem Fall aktualisiert, wenn die vorbestimmte Aktualisierungsbedingung erfüllt ist, beispielsweise wenn die Pupillenzuverlässigkeit, die Purkinje-Zuverlässigkeit oder dergleichen größer als der vorbestimmte Schwellenwert ist. Infolgedessen kann vermieden werden, dass die Augapfelmittenposition anhand eines Werts mit geringer Zuverlässigkeit geschätzt wird. Daher kann eine Verschlechterung der Sichtlinienwinkelberechnungsgenauigkeit unter Verwendung der Augapfelmittenposition bei der nachfolgenden Verarbeitung unterdrückt werden, um zur Beibehaltung oder Verbesserung der Berechnungsgenauigkeit des Sichtlinienwinkels insgesamt beizutragen.
  • Obwohl das in 12 veranschaulichte Ablaufdiagramm einen Fall zeigt, in dem die Pupillenzuverlässigkeit, die Purkinje-Zuverlässigkeit, die Augenzuverlässigkeit und die Sichtlinienwinkelzuverlässigkeit als Aktualisierungsbedingung verwendet werden, ist die Aktualisierungsbedingung ein Beispiel, und wenn zumindest die Pupillenzuverlässigkeit und die Purkinje-Zuverlässigkeit enthalten sind, kann die Aktualisierungsbedingung geeignet verstärkt oder gelockert werden. Beispielsweise ist es möglich, zumindest eine der Aktualisierungsbedingungen auszuwählen und hinzuzufügen, wie Bedingungen, bei denen die Zuverlässigkeit der dreidimensionalen Anpassung der Merkmalspunkte des Gesichts des Fahrers 302 größer als der vorbestimmte Anpassungsschwellenwert ist, die Position des Gesichts des Fahrers 302 innerhalb eines vorbestimmten Bereichs des Bildes liegt, die Richtung des Gesichts des Fahrers 302 eine vorbestimmte Richtung in dem Bild ist, und der Augenlidöffnungsgrad einen vorbestimmten Augenlidschwellenwert überschreitet. Durch Erhöhen oder Verringern der Anzahl an Aktualisierungsbedingungen kann die Zuverlässigkeit der Augapfelmittenposition 30a und ferner die Zuverlässigkeit der Augapfelinformationenschätzvorrichtung 100 angepasst werden.
  • Bei dem vorstehend beschriebenen Ausführungsbeispiel ist ein Fall beschrieben, in dem die Augapfelinformationenschätzvorrichtung 100 bei dem auf dem Sitz 2b des Fahrzeugs 1 sitzenden Fahrer 302 angewendet wird, aber selbst dann, wenn die Augapfelinformationenschätzvorrichtung 100 bei den anderen auf den anderen Sitzen 2b des Fahrzeugs sitzenden Insassen angewendet wird, können ähnliche Wirkungen erhalten werden. Ferner ist die Offenbarung nicht auf die Person in dem Fahrzeug 1 beschränkt, sondern kann auch bei einer Person angewendet werden, deren Gesicht in dem Bildgebungsbereich der Bildgebungseinheit 201 vorhanden ist, wie einer Person, die auf einem Stuhl oder dergleichen in einem Raum wie einem Messraum sitzt oder steht, und ähnliche Wirkungen können erhalten werden.
  • Ein Programm für die Augapfelinformationenschätzverarbeitung, das durch die CPU 40 des Ausführungsbeispiels ausgeführt wird (Augapfelinformationenschätzprogramm) kann dazu eingerichtet sein, auf einem lesbaren Aufzeichnungsmedium in einem Computer aufgezeichnet und bereitgestellt zu sein, wie als CD-ROM, flexible Scheibe (FD), CD-R und Digitale Versatile Disk (DVD), als Datei in instabiler Form oder ausführbarer Form.
  • Ferner kann das Augapfelinformationenschätzprogramm dazu eingerichtet sein, auf einem Computer, der mit einem Netzwerk, wie dem Internet verbunden ist, gespeichert zu sein und bereitgestellt zu werden, indem es über ein Netzwerk heruntergeladen wird. Das bei dem Ausführungsbeispiel ausgeführte Augapfelinformationenschätzprogramm kann ferner dazu eingerichtet sein, über das Netzwerk, wie das Internet, bereitgestellt oder verteilt zu werden.
  • Obwohl das Ausführungsbeispiel und Modifikationsbeispiel der Offenbarung beschrieben wurden, sind das Ausführungsbeispiel und das Modifikationsbeispiel Beispiele, und sollen den Schutzbereich der Offenbarung nicht einschränken. Das vorstehend beschriebene Ausführungsbeispiel kann in verschiedenen Formen implementiert werden, und verschiedene Weglassungen, Ersetzungen und Modifikationen können durchgeführt werden, ohne vom Schutzbereich der Offenbarung abzuweichen. Das vorstehend beschriebene Ausführungsbeispiel und seine Modifizierung sind im Schutzbereich der Offenbarung enthalten, und sind in der in den Patentansprüchen beschriebenen Offenbarung und ihren Äquivalenten enthalten.
  • Eine Augapfelinformationenschätzvorrichtung (100) umfasst eine Beschaffungseinheit (48), die ein Bild mit einer Pupille (36) eines Subjekts (302) und ein Purkinje-Bild (34) des Subjekts beschafft, eine Erfassungseinheit (50), die eine Mittenposition (36a) der Pupille und eine Position des Purkinje-Bildes erfasst, eine Auswahleinheit (54), die auswählt, ob eine erste oder zweite Sichtlinienwinkelberechnungsverarbeitung eines Berechnens eines Sichtlinienwinkels des Auges des Subjekts auszuführen ist, und eine Verarbeitungseinheit (56), die eine Augapfelmittenposition des Subjekts beruhend auf einem dreidimensionalen Gesichtsmodell schätzt und eine Augapfelmittenposition einer Speichereinheit zumindest unter einer Bedingung aktualisiert, dass eine Pupillenzuverlässigkeit größer als ein erster Pupillenschwellenwert ist, und eine Purkinje-Zuverlässigkeit größer als ein erster Purkinje-Schwellenwert ist, wenn die erste Sichtlinienwinkelberechnungsverarbeitung ausgewählt wird.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2013252301 A [0002]

Claims (6)

  1. Augapfelinformationenschätzvorrichtung (100) mit einer Beschaffungseinheit (48) zur Beschaffung eines Bildes, das eine Pupille (36) eines Auges eines Objekts (302) enthält, und eines Purkinje-Bildes (34) einer Lichtquelle (203) auf einer Kornea-Oberfläche (32) des Auges des Subjekts (302) einer Erfassungseinheit (50) zur Erfassung einer Mittenposition (36a) der Pupille und einer Position des Purkinje-Bildes, einer Auswahleinheit (54) zum Auswählen, ob eine erste Sichtlinienwinkelberechnungsverarbeitung eines Berechnens eines Sichtlinienwinkels (L) des Auges des Subjekts beruhend auf der Mittenposition der Pupille und der Position des Purkinje-Bildes oder eine zweite Sichtlinienwinkelberechnungsverarbeitung eines Berechnens des Sichtlinienwinkels des Auges des Subjekts beruhend auf der Mittenposition der Pupille und einer Augapfelmittenposition (30a) des Auges auszuführen ist, die aus einer Speichereinheit gelesen wird und dem Subjekt entspricht, und einer Verarbeitungseinheit (56) zum Schätzen einer Augapfelmittenposition des Auges des Subjekts beruhend auf einem dreidimensionalen Gesichtsmodell (M), das beruhend auf dem Sichtlinienwinkel bestimmt wird, und Aktualisieren der Augapfelmittenposition der Speichereinheit zumindest unter einer Bedingung, dass eine Pupillenzuverlässigkeit, die eine Wahrscheinlichkeit angibt, dass es sich um die Pupille handelt, größer als ein vorbestimmter erster Pupillenschwellenwert ist, und eine Purkinje-Zuverlässigkeit, die eine Wahrscheinlichkeit angibt, dass es sich um das Purkinje-Bild handelt, größer als ein vorbestimmter erster Purkinje-Schwellenwert ist, wenn die erste Sichtlinienwinkelberechnungsverarbeitung ausgewählt wird.
  2. Augapfelinformationenschätzvorrichtung (100) nach Anspruch 1, wobei die Bedingung zum Aktualisieren der Augapfelmittenposition durch die Verarbeitungseinheit (56) ferner zumindest eine aus Bedingungen enthält, in denen eine Augenzuverlässigkeit, die eine Wahrscheinlichkeit angibt, dass es sich um das Auge des Subjekts handelt, größer als ein vorbestimmter Augenschwellenwert ist, eine Zuverlässigkeit einer dreidimensionalen Anpassung von Merkmalspunkten eines Gesichts des Subjekts größer als ein vorbestimmter Anpassungsschwellenwert ist, ein Änderungsbetrag des bei der ersten Sichtlinienwinkelberechnungsverarbeitung berechneten Sichtlinienwinkels hinsichtlich eines bei einer vorhergehenden Verarbeitung berechneten Sichtlinienwinkels kleiner als ein vorbestimmter Winkeländerungsschwellenwert ist, eine Position des Gesichts des Subjekts innerhalb eines vorbestimmten Bereichs des Bildes liegt, und eine Gesichtsrichtung des Subjekts eine vorbestimmte Richtung in dem Bild ist.
  3. Augapfelinformationenschätzvorrichtung nach Anspruch 1 oder 2, wobei, wenn die Pupillenzuverlässigkeit der Pupille in dem durch die Beschaffungseinheit beschafften Bild kleiner oder gleich einem zweiten Pupillenschwellenwert ist, der kleiner als der erste Pupillenschwellenwert ist, die Auswahleinheit weder die erste Sichtlinienwinkelberechnungsverarbeitung noch die zweite Sichtlinienwinkelberechnungsverarbeitung zur Ausführung auswählt.
  4. Augapfelinformationenschätzvorrichtung (100) nach einem der Ansprüche 1 bis 3, wobei die Auswahleinheit die erste Sichtlinienwinkelberechnungsverarbeitung auswählt, wenn die Purkinje-Zuverlässigkeit des Purkinje-Bildes in dem durch die Beschaffungseinheit beschafften Bild größer als ein zweiter Purkinje-Schwellenwert ist, der kleiner als der erste Purkinje-Schwellenwert ist, und die zweite Sichtlinienwinkelberechnungsverarbeitung auswählt, wenn die Purkinje-Zuverlässigkeit kleiner oder gleich dem zweiten Purkinje-Schwellenwert ist.
  5. Augapfelinformationenschätzverfahren mit einem Beschaffungsschritt eines Beschaffens eines Bildes, das eine Pupille (36) eines Auges eines Subjekts (302) enthält, und eines Purkinje-Bildes (34) einer Lichtquelle (203) auf einer Kornea-Oberfläche (32) des Auges des Subjekts (302), einem Erfassungsschritt eines Erfassens einer Mittenposition (36a) der Pupille und einer Position des Purkinje-Bildes, einem Auswahlschritt eines Auswählens, ob eine erste Sichtlinienwinkelberechnungsverarbeitung eines Berechnens eines Sichtlinienwinkels (L) des Auges des Subjekts beruhend auf der Mittenposition der Pupille und der Position des Purkinje-Bildes oder eine zweite Sichtlinienwinkelberechnungsverarbeitung eines Berechnens des Sichtlinienwinkels des Auges des Subjekts beruhend auf der Mittenposition der Pupille und einer Augapfelmittenposition (30a) des Auges auszuführen ist, die aus einer Speichereinheit gelesen wird und dem Subjekt entspricht, und einem Verarbeitungsschritt eines Schätzens einer Augapfelmittenposition des Auges des Subjekts beruhend auf einem dreidimensionalen Gesichtsmodell (M), das beruhend auf dem Sichtlinienwinkel bestimmt wird, und Aktualisierens der Augapfelmittenposition der Speichereinheit zumindest unter einer Bedingung, dass eine Pupillenzuverlässigkeit, die eine Wahrscheinlichkeit angibt, dass es sich um die Pupille handelt, größer als ein vorbestimmter erster Pupillenschwellenwert ist, und eine Purkinje-Zuverlässigkeit, die eine Wahrscheinlichkeit angibt, dass es sich um das Purkinje-Bild handelt, größer als ein vorbestimmter erster Purkinje-Schwellenwert ist, wenn die erste Sichtlinienwinkelberechnungsverarbeitung ausgewählt wird.
  6. Augapfelinformationenschätzprogramm (42a) zur Veranlassung eines Computers zur Ausführung eines Beschaffungsschritts eines Beschaffens eines Bildes, das eine Pupille (36) eines Auges eines Subjekts (302) enthält, und eines Purkinje-Bildes (34) einer Lichtquelle (203) auf einer Kornea-Oberfläche (32) des Auges des Subjekts, eines Erfassungsschritts eines Erfassens einer Mittenposition (36a) der Pupille und einer Position des Purkinje-Bildes, eines Auswahlschritts eines Auswählens, ob eine erste Sichtlinienwinkelberechnungsverarbeitung eines Berechnens eines Sichtlinienwinkels (L) des Auges des Subjekts beruhend auf der Mittenposition der Pupille und der Position des Purkinje-Bildes oder eine zweite Sichtlinienwinkelberechnungsverarbeitung eines Berechnens des Sichtlinienwinkels des Auges des Subjekts beruhend auf der Mittenposition der Pupille und einer Augapfelmittenposition (30a) des Auges auszuführen ist, die aus einer Speichereinheit gelesen wird und dem Subjekt entspricht, und eines Verarbeitungsschritts eines Schätzens einer Augapfelmittenposition des Auges des Subjekts beruhend auf einem dreidimensionalen Gesichtsmodell (M), das beruhend auf dem Sichtlinienwinkel bestimmt wird, und Aktualisierens der Augapfelmittenposition der Speichereinheit zumindest unter einer Bedingung, dass eine Pupillenzuverlässigkeit, die eine Wahrscheinlichkeit angibt, dass es sich um die Pupille handelt, größer als ein vorbestimmter erster Pupillenschwellenwert ist, und eine Purkinje-Zuverlässigkeit, die eine Wahrscheinlichkeit angibt, dass es sich um das Purkinje-Bild handelt, größer als ein vorbestimmter erster Purkinje-Schwellenwert ist, wenn die erste Sichtlinienwinkelberechnungsverarbeitung ausgewählt wird.
DE102019125751.4A 2018-09-27 2019-09-25 Augapfelinformationenschätzvorrichtung, Augapfelinformationenschätzverfahren und Augapfelinformationenschätzprogramm Pending DE102019125751A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-182507 2018-09-27
JP2018182507A JP7198023B2 (ja) 2018-09-27 2018-09-27 眼球情報推定装置、眼球情報推定方法および眼球情報推定プログラム

Publications (1)

Publication Number Publication Date
DE102019125751A1 true DE102019125751A1 (de) 2020-04-02

Family

ID=69781608

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019125751.4A Pending DE102019125751A1 (de) 2018-09-27 2019-09-25 Augapfelinformationenschätzvorrichtung, Augapfelinformationenschätzverfahren und Augapfelinformationenschätzprogramm

Country Status (3)

Country Link
US (1) US10706585B2 (de)
JP (1) JP7198023B2 (de)
DE (1) DE102019125751A1 (de)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6870533B2 (ja) * 2017-08-23 2021-05-12 株式会社オートネットワーク技術研究所 電気部品付ワイヤーハーネスおよび電気部品付ワイヤーハーネスの組付構造
JP6947099B2 (ja) * 2018-03-27 2021-10-13 日本電気株式会社 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
CN111767821B (zh) * 2020-06-23 2024-04-09 京东科技控股股份有限公司 对象被关注的识别方法、装置、设备及存储介质
CN113597616A (zh) * 2021-06-11 2021-11-02 华为技术有限公司 瞳孔位置的确定方法、装置及系统
CN115886721B (zh) * 2022-08-18 2023-08-01 上海佰翊医疗科技有限公司 一种眼球活动度的评估方法、系统和存储介质
CN115546876B (zh) * 2022-11-07 2023-12-19 广州图语信息科技有限公司 一种瞳孔追踪方法及装置
CN116824036B (zh) * 2023-04-19 2024-05-17 南京医科大学 基于三维成像的眼球立体建模方法、系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005252732A (ja) * 2004-03-04 2005-09-15 Olympus Corp 撮像装置
JP2008136789A (ja) * 2006-12-05 2008-06-19 Nec Corp 眼球パラメータ推定装置及び方法
JP2013252301A (ja) 2012-06-07 2013-12-19 Toyota Central R&D Labs Inc 眼球中心推定装置及びプログラム
JP2017182739A (ja) * 2016-03-31 2017-10-05 富士通株式会社 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム
JP6906943B2 (ja) * 2016-12-19 2021-07-21 矢崎総業株式会社 車載器
JP7030317B2 (ja) * 2016-12-19 2022-03-07 国立大学法人静岡大学 瞳孔検出装置及び瞳孔検出方法
US10108261B1 (en) * 2017-07-05 2018-10-23 Oculus Vr, Llc Eye tracking based on light polarization
EP4011274A1 (de) * 2017-09-08 2022-06-15 Tobii AB Augenverfolgung unter verwendung der mittelposition des augapfels
US9940518B1 (en) * 2017-09-11 2018-04-10 Tobii Ab Reliability of gaze tracking data for left and right eye

Also Published As

Publication number Publication date
JP2020048971A (ja) 2020-04-02
US10706585B2 (en) 2020-07-07
US20200105016A1 (en) 2020-04-02
JP7198023B2 (ja) 2022-12-28

Similar Documents

Publication Publication Date Title
DE102019125751A1 (de) Augapfelinformationenschätzvorrichtung, Augapfelinformationenschätzverfahren und Augapfelinformationenschätzprogramm
DE112009003557B4 (de) Fahrzeug-Anzeigevorrichtung undAnzeigeverfahren
DE102018103270A1 (de) Fahrzeug-displaysystem und verfahren zur steuerung eines fahrzeug-displaysystems
DE102017214353B4 (de) Fahrerzustands-erfassungssystem, fahrerzustands-erfassungsverfahren und diese enthaltendes fahrzeug
DE102017212935A1 (de) System und Verfahren zum Erkennen von Ablenkung und einer nach unten gerichteten vertikalen Kopfhaltung in einem Fahrzeug
DE102018103263A1 (de) Fahrzeug-displaysystem und verfahren zur steuerung eines fahrzeug-displaysystems
DE112017005111T5 (de) Bordanzeigesteuervorrichtung
DE112017001724T5 (de) Fahrzeugvorrichtung, fahrzeugprogramm und filterauslegungsprogramm
EP3103059A1 (de) 3d-bildanalysator zur blickrichtungsbestimmung
DE112018006164B4 (de) Sichtlinienrichtungskalibrierungsvorrichtung, sichtlinienrichtungskalibrierungsverfahren und sichtlinienrichtungskalibrierungsprogramm
DE102014100352B4 (de) Verfahren zum Detektieren einer Bedingung mit von der Straße abgewandten Augen
DE102019125921A1 (de) Insassenmodelliervorrichtung, Insassenmodellierverfahren und Insassenmodellierprogramm
DE102018103268A1 (de) Fahrzeug-displaysystem und verfahren zur steuerung eines fahrzeug-displaysystems
DE102012112625A1 (de) Spiegelsteuerung und computerlesbares Speichermedium
DE102022109370A1 (de) Auf Betrachter-Eingaben basierende Steuerung in einem Multibild-Head-up-Display mit erweiterter Realität in einem Fahrzeug
DE102020105196A1 (de) Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug sowie System mit einem Kraftfahrzeug und einer Datenbrille
DE112017004669T5 (de) Luminanzsteuervorrichtung, Luminanzsteuersystem und Luminanzsteuerverfahren
DE112017007237T5 (de) Fahrerzustandsabschätzungsvorrichtung und fahrerzustandsabschätzungsverfahren
WO2017220667A1 (de) Verfahren und vorrichtung zur veränderung der affektiven visuellen information im gesichtsfeld eines benutzers
DE112019006823T5 (de) Emotionsschätzvorrichtung und Emotionsschätzverfahren
WO2019037907A1 (de) Verfahren und vorrichtung zur ermittlung einer wahrscheinlichkeit, mit der sich ein objekt in einem sichtfeld eines fahrers eines fahrzeugs befindet
DE112017008148T5 (de) Anomalie-Erfassungseinrichtung und Anomalie-Erfassungsverfahren
DE102018217611A1 (de) Konzept zum Einstellen einer einstellbaren Komponente eines Kraftfahrzeugs
DE102019125920A1 (de) Augapfelinformationenerfassungsvorrichtung, Augapfelinformationenerfassungsverfahren und Insassenüberwachungsvorrichtung
EP3443409A1 (de) Verfahren zum bestimmen von optischen parametern eines probanden und computerprogrammprodukt zum durchführen des verfahrens

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R081 Change of applicant/patentee

Owner name: TOYOTA JIDOSHA KABUSHIKI KAISHA, TOYOTA-SHI, JP

Free format text: FORMER OWNER: AISIN SEIKI KABUSHIKI KAISHA, KARIYA-SHI, AICHI-KEN, JP

Owner name: AISIN CORP., KARIYA-SHI, JP

Free format text: FORMER OWNER: AISIN SEIKI KABUSHIKI KAISHA, KARIYA-SHI, AICHI-KEN, JP