DE112011105445B4 - Rote-Augen-Bestimmungsvorrichtung - Google Patents

Rote-Augen-Bestimmungsvorrichtung Download PDF

Info

Publication number
DE112011105445B4
DE112011105445B4 DE112011105445.9T DE112011105445T DE112011105445B4 DE 112011105445 B4 DE112011105445 B4 DE 112011105445B4 DE 112011105445 T DE112011105445 T DE 112011105445T DE 112011105445 B4 DE112011105445 B4 DE 112011105445B4
Authority
DE
Germany
Prior art keywords
eye
red
face
black
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE112011105445.9T
Other languages
English (en)
Other versions
DE112011105445T5 (de
Inventor
Kiyoto Hanita
Yoshinao Takemae
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of DE112011105445T5 publication Critical patent/DE112011105445T5/de
Application granted granted Critical
Publication of DE112011105445B4 publication Critical patent/DE112011105445B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30216Redeye defect

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

Eine Aufgabe der Erfindung besteht in der Bereitstellung einer Rote-Augen-Bestimmungsvorrichtung, die ein rotes Auge mit großer Genauigkeit selbst dann bestimmen kann, wenn es eine Vielzahl von Rote-Augen-Kandidaten gibt.Die Rote-Augen-Bestimmungsvorrichtung enthält eine Gesichtsmerkmalspunkterfassungseinheit 32, die die Merkmalspunkte des Gesichts aus dem Bild des Fahrers erfasst, eine Gesichtsposeschätzeinheit 33, die die Pose (Richtung des Gesichts) anhand der Merkmalspunkte des Gesichts schätzt, eine Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilungslerneinheit 34, die eine Schwarze-Augen-Position, die bei Tag erfasst wird, zu einer Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung aufzeichnet, eine Rote-Augen-Kandidaten-Erfassungseinheit 35, die Rote-Augen-Kandidaten aus dem Bild des Fahrers bei Nacht erfasst, und eine Rote-Augen-Bestimmungseinheit 36, die das rote Auge aus den Rote-Augen-Kandidaten bestimmt. Die Rote-Augen-Bestimmungseinheit 36 bestimmt das rote Auge auf der Grundlage des Verhältnisses zwischen einer Änderung in der Richtung des Gesichts und dem Verhalten des Rote-Augen-Kandidaten, und bestimmt den Rote-Augen-Kandidaten als das rote Auge, der sich an der Position befindet, wo eine Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichte bezüglich der Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung hoch ist.

Description

  • Technisches Gebiet
  • Die vorliegende Erfindung bezieht sich auf eine Rote-Augen-Bestimmungsvorrichtung, die ein rotes Auge aus Rote-Augen-Kandidaten bestimmt, die aus Bildinformationen eines aufgenommenen Bildes eines Fahrzeuginsassen erfasst werden.
  • Technischer Hintergrund
  • In der verwandten Technik wird das Gesichtsbild des Fahrers durch eine Kamera aufgenommen, die an einer Lenksäule des Fahrzeugs angebracht ist, die Position des schwarzen Auges des Fahrers wird aus dem aufgenommenen Bild erfasst, und die Blickrichtung des Fahrers wird erfasst, um einen Unfall des Fahrzeugs zu vermeiden.
  • Allerdings tritt ein Rote-Augen-Phänomen beispielsweise nachts auf, wenn die Menge an Licht außerhalb des Fahrzeugs gering ist. Daher ist es erforderlich, das rote Auge des Fahrers aus Bildinformationen zu erfassen, um die Blickrichtung des Fahrers in der Nacht zu erfassen, wenn die Menge an Licht außerhalb des Fahrzeugs gering ist.
  • Im Allgemeinen ist es aber schwieriger, das rote Auge zu erfassen, als das schwarze Auge. Die Patentliteratur 1 offenbart ein Verfahren, bei dem ein Bild anhand der Region sequenziell abgetastet wird, in der eine Rote-Augen-Region wahrscheinlich vorhanden ist, um das rote Auge des Fahrers zu erfassen.
  • Zitierungsliste
  • Patentliteratur
  • [Patentliteratur 1] Ungeprüfte japanische Patentanmeldungsveröffentlichung Nr. 2008-129664
  • Kurzzusammenfassung der Erfindung
  • Technische Aufgabe
  • Allerdings gibt es in der Praxis in manchen Fällen zwei oder mehrere Bildelementmuster in dem aufgenommenen Gesichtsbild des Fahrers, die für Rote-Augen-Kandidaten in Frage kommen.
  • Beispielsweise ist das Gesicht des Fahrers nachts dunkel, wenn die Menge an Licht außerhalb des Fahrzeugs gering ist. Daher wird das Gesichtsbild des Fahrers unter Verwendung von von einer lichtemittierenden Diode (LED) emittiertem Licht zur Beleuchtung aufgenommen. Das LED-Licht wird vom Auge oder Augenlid des Fahrers reflektiert, und in Bildinformationen eingefügt. Da in diesem Fall das Bildelementmuster des LED-Lichts ähnlich dem Bildelementmuster des roten Auges ist, werden zwei Bildelementregionen des LED-Lichts und des echten roten Auges als die Rote-Augen-Kandidaten erfasst. Infolgedessen kann das echte rote Auge aus den Rote-Augen-Kandidaten nicht bestimmt werden, und bei der Erfassung des roten Auges tritt wahrscheinlich ein Fehler auf.
  • VUKADINOVIC, Danijela; PANTIC, Maja. Fully automatic facial feature point detection using Gabor feature based boosted classifiers. In: Systems, Man and Cybernetics, 2005 IEEE International Conference on. IEEE, 2005. p. 1692-1698. doi: 10.1109/ICSMC.2005.1571392 offenbart eine vollautomatische Gesichtsmerkmalspunkterfassung unter Verwendung von merkmalsbasierten hervorgehobenen Klassifizierern mittels eines Gaborfilters, und beschreibt eine Lokalisierung der Positionen der Iris durch sequenzielles Anwenden der Analyse des vertikalen Histogramms und dann des horizontalen Histogramms.
  • MORIMOTO, Carlos Hitoshi; SANTOS, Thiago T.; MUNIZ, Adriano S. Automatic iris segmentation using active near infra red lighting. In: Computer Graphics and Image Processing, 2005. SIBGRAPI 2005. 18th Brazilian Symposium on. IEEE, 2005. p. 37-43. doi: 10.1109/SIBGRAPI.2005.14 beschäftigt sich mit einer automatischen Irissegmentierung unter Verwendung einer Aktiv-Nahinfrarotbeleuchtung. Zum Beispiel ist beschrieben, dass die Kamera Licht von der Augenrückwand empfängt, wenn Licht auf der Achse eingeschaltet ist, ähnlich dem Rote-Augen-Effekt, der üblicherweise bei der Blitzlichtfotografie vorkommt.
  • ZHANG, Cha; ZHANG, Zhengyou. A survey of recent advances in face detection. Tech. rep., Microsoft Research, 2010. [online] URL:
    • http://research.microsoft.com/pubs/132077/facedetsurvey.pdf [retrieved on July 10, 2013] gibt einen Überblick über allgemeines Fachwissen.
  • Weiterer relevanter Stand der Technik findet sich in ZHU, Zhiwei; JI, Qiang. Robust real-time eye detection and tracking under variable lighting conditions and various face orientations. Computer Vision and Image Understanding, 2005, Vol 98(1):124-154. doi: 10.1016/j.cviu.2004.07.012.
  • Eine Aufgabe der Erfindung besteht in der Bereitstellung einer Rote-Augen-Bestimmungsvorrichtung, die ein rotes Auge mit hoher Genauigkeit selbst dann bestimmen kann, wenn es eine Vielzahl von Rote-Augen-Kandidaten gibt.
  • Lösung der Aufgabe
  • Erfindungsgemäß ist eine Rote-Augen-Bestimmungsvorrichtung bereitgestellt, die ein rotes Auge von einem Rote-Augen-Kandidaten bestimmt, der anhand von Bildinformationen eines aufgenommenen Bildes eines Fahrzeuginsassen erfasst wird. Die Rote-Augen-Bestimmungsvorrichtung enthält eine Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilungslerneinrichtung zum Lernen einer Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung aus den während des Fahrens des Fahrzeugs erhaltenen Bildinformationen, eine Rote-Augen-Kandidatenerfassungseinrichtung zur Erfassung des Rote-Augen-Kandidaten aus den Bildinformationen und eine Rote-Augen-Bestimmungseinrichtung zur Bestimmung, wenn die Rote-Augen-Kandidatenerfassungseinrichtung zwei oder mehrere Rote-Augen-Kandidaten erfasst, einen Rote-Augen-Kandidaten als das rote Auge, der an einer Position angeordnet ist, wo eine Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichte in der durch die Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilungslerneinrichtung gelernten Existenzwahrscheinlichkeitsdichteverteilung hoch ist.
  • Gemäß der Rote-Augen-Bestimmungsvorrichtung der Erfindung lernt die Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilungslerneinrichtung die Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung aus den Bildinformationen, die während des Fahrens des Fahrzeugs erhalten werden. Dadurch ist es möglich, die Position zu finden, wo sich das schwarze Auge wahrscheinlich befindet. Erfasst die Rote-Augen-Kandidaten-Erfassungseinrichtung eine Vielzahl von Rote-Augen-Kandidaten aus den Bildinformationen, bestimmt die Rote-Augen-Bestimmungseinrichtung den Rote-Augen-Kandidaten als das rote Auge, der an der Position angeordnet ist, wo die Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichte in der Existenzwahrscheinlichkeitsdichteverteilung hoch ist. Daher ist es möglich, das rote Auge mit hoher Genauigkeit zu bestimmen. Das Lernen der Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung bedeutet die Aufzeichnung der Position des schwarzen Auges für die Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung.
  • In diesem Fall kann die erfindungsgemäße Rote-Augen-Bestimmungsvorrichtung ferner eine Gesichtsrichtungsänderungserfassungseinrichtung zur Erfassung einer Änderung in einer Richtung eines Gesichts des Insassen und eine Rote-Augen-Kandidaten-Verhaltenserfassungseinrichtung zur Erfassung eines Verhaltens jedes durch die Rote-Augen-Kandidatenerfassungseinrichtung erfassten Rote-Augen-Kandidaten enthalten. Die Rote-Augen-Bestimmungseinrichtung kann das rote Auge auf der Grundlage der Beziehung zwischen der durch die Änderungserfassungseinrichtung erfassten Änderung in der Richtung des Gesichts und dem durch die Rote-Augen-Kandidatenverhaltenserfassungseinrichtung erfassten Verhalten jedes Rote-Augen-Kandidaten bestimmen. Im Allgemeinen schaut das Gesicht einer Person in die Betrachtungsrichtung. Daher wird die Position des schwarzen Auges oder roten Auges zum Folgen einer Änderung in der Richtung des Gesichts bewegt. Beispielsweise ändert sich die Position von reflektiertem Licht in dem Bild kaum, ohne der Änderung in der Richtung des Gesichts zu folgen. Wird das rote Auge auf der Grundlage der Beziehung zwischen der durch die Änderungserfassungseinrichtung erfassten Änderung in der Richtung des Gesichts und dem durch die Rote-Augen-Kandidatenverhaltenserfassungseinrichtung erfassten Verhalten jedes Rote-Auge-Kandidaten bestimmt, ist es möglich, das rote Auge aus einer Vielzahl von Rote-Augen-Kandidaten mit hoher Genauigkeit zu bestimmen.
  • Die erfindungsgemäße Rote-Augen-Bestimmungsvorrichtung kann ferner eine Fahrzeugaußenlichtmengeberechnungseinrichtung zur Berechnung der Menge von Licht außerhalb des Fahrzeugs enthalten. Die Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilungslerneinrichtung kann die Existenzwahrscheinlichkeitsdichteverteilung zu einer Zeit lernen, wenn die Menge an Licht außerhalb des Fahrzeugs groß ist. Die Rote-Augen-Bestimmungseinrichtung kann das rote Auge unter Verwendung der Existenzwahrscheinlichkeitsdichteverteilung zu einer Zeit bestimmen, wenn die Menge an Licht außerhalb des Fahrzeugs gering ist. Das Rote-Augen-Phänomen tritt zu einer Zeit nicht auf, wenn die Menge an Licht außerhalb des Fahrzeugs groß ist. Da die Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung zu dieser Zeit gelernt wird, ist es möglich, die Zuverlässigkeit der Existenzwahrscheinlichkeitsdichteverteilung zu verbessern. Zu der Zeit, wenn die Menge an Licht außerhalb des Fahrzeugs gering ist, wird das rote Auge auf der Grundlage der Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung bestimmt, die zu der Zeit gelernt wird, wenn die Menge an Licht außerhalb des Fahrzeugs groß ist. Daher ist es möglich, das rote Auge mit hoher Genauigkeit zu bestimmen.
  • Vorteilhafte Wirkungen der Erfindung
  • Erfindungsgemäß ist es möglich, ein rotes Auge mit hoher Genauigkeit selbst bei einer Vielzahl von Rote-Augen-Kandidaten zu bestimmen.
  • Figurenliste
    • 1 zeigt ein Blockschaltbild des Aufbaus einer Rote-Augen-Bestimmungsvorrichtung gemäß einem Ausführungsbeispiel.
    • 2 zeigt eine Darstellung zur Veranschaulichung eines Beispiels der Kontur eines 3D-Gesichtsmodells.
    • 3 zeigt eine Darstellung zur Veranschaulichung einer Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung.
    • 4 zeigt ein Ablaufdiagramm zur Veranschaulichung eines Rote-Augen-Bestimmungsprozesses der Rote-Augen-Bestimmungsvorrichtung gemäß dem Ausführungsbeispiel.
    • 5 zeigt eine Darstellung zur Veranschaulichung eines Beispiels von durch einen Bildsensor aufgenommenen Bildinformationen.
    • 6 zeigt eine Darstellung zur Veranschaulichung der Kontur eines Prozesses einer Erfassung der Merkmalspunkte des Gesichts bei Tag.
    • 7 zeigt eine Darstellung zur Veranschaulichung der Kontur eines Prozesses einer Erfassung der Merkmalspunkte des Gesichts bei Nacht.
    • 8 zeigt eine schematische Darstellung zur Veranschaulichung eines Beispiels einer Rote-Augen-Suchregion.
    • 9 zeigt eine Darstellung zur Veranschaulichung einer Gesichtspositionsregion, wenn der Fahrer nach vorne schaut.
    • 10 zeigt eine Darstellung zur Veranschaulichung einer Gesichtspositionsregion, wenn der Fahrer nach links schaut.
    • 11 zeigt eine Darstellung zur Veranschaulichung einer Gesichtspositionsregion, wenn der Fahrer nach rechts schaut.
  • Beschreibung der Ausführungsbeispiele
  • Nachstehend wird eine Rote-Augen-Bestimmungsvorrichtung gemäß einem Ausführungsbeispiel der Erfindung unter Bezugnahme auf die Zeichnungen beschrieben. In den Zeichnungen sind die gleichen oder äquivalenten Komponenten mit denselben Bezugszeichen bezeichnet, und ihre Beschreibung wird nicht wiederholt.
  • Die Rote-Augen-Bestimmungsvorrichtung gemäß diesem Ausführungsbeispiel ist beispielsweise in einer Fahrunterstützungssteuervorrichtung vorgesehen, die die Blickrichtung des Fahrers erfasst und eine Fahrunterstützungssteuerung durchführt.
  • 1 zeigt ein Blockschaltbild des Aufbaus der Rote-Augen-Bestimmungsvorrichtung gemäß dem Ausführungsbeispiel. Wie in 1 gezeigt, enthält eine Rote-Augen-Bestimmungsvorrichtung 1 gemäß dem Ausführungsbeispiel einen Bildsensor 10, einen Beleuchtungssensor 20 und eine elektronische Steuereinheit (ECU) 30.
  • Der Bildsensor 10 nimmt das Bild des Gesichts des Fahrers auf. Beispielsweise wird eine CCD-Kamera als Bildsensor 10 verwendet, die an einer Lenksäule des Fahrzeugs befestigt ist. Das durch den Bildsensor 10 aufgenommene Bild (Gesichtsbild) enthält Bildinformationen, die beispielsweise die Position oder Farbinformationen jedes Bildelements angeben. Der Bildsensor 10 gibt die Bildinformationen des aufgenommenen Bildes zu der ECU 30 aus.
  • Der Beleuchtungssensor 20 misst eine Fahrzeugaußenlichtmenge. Die Fahrzeugaußenlichtmenge ist die Menge an Licht außerhalb des Fahrzeugs. Daher ist die Menge an Licht außerhalb des Fahrzeugs bei Tag groß und bei Nacht gering. Beispielsweise wird ein fotoelektrisches Wandlerelement als Beleuchtungssensor 20 verwendet, das in der Nähe des Fensters des Fahrzeugs angebracht ist. Der Beleuchtungssensor 20 gibt die gemessene Menge an Licht außerhalb des Fahrzeugs zu der ECU 30 aus.
  • Die ECU 30 ist ein Computer einer Fahrzeugvorrichtung, der eine elektronische Steuerung durchführt und beispielsweise eine Zentralverarbeitungseinheit (CPU), einen Speicher, wie einen Nur-Lese-Speicher (ROM) oder Speicher mit wahlfreiem Zugriff (RAM) und eine Eingabe-/Ausgabeschnittstelle enthält.
  • Die ECU 30 ist mit dem Bildsensor 10 und dem Beleuchtungssensor 20 verbunden und enthält eine Tag- und Nachtbestimmungseinheit 31, eine Gesichtsmerkmalspunkterfassungseinheit 32, eine Gesichtsposeschätzeinheit 33, eine Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilungslerneinheit 34, eine Rote-Augen-Kandidaten-Erfassungseinheit 35 und eine Rote-Augen-Bestimmungseinheit 36.
  • Die Tag- und Nachtbestimmungseinheit 31 weist eine Funktion der Bestimmung auf, ob es Tag ist, wenn die Menge an Licht außerhalb des Fahrzeugs groß ist, oder Nacht ist, wenn die Menge an Licht außerhalb des Fahrzeugs gering ist. Die Tag- und Nachtbestimmungseinheit 31 bestimmt, ob es Tag oder Nacht ist, beispielsweise auf der Grundlage der Menge an Licht außerhalb des Fahrzeugs, die von dem Beleuchtungssensor 20 ausgegeben wird, oder der Gesamthelligkeit des Bildes, das von dem Bildsensor 10 ausgegeben wird.
  • Die Gesichtsmerkmalspunkterfassungseinheit 32 weist eine Funktion der Erfassung der Merkmalspunkte des Gesichts des Fahrers aus dem durch den Bildsensor 10 aufgenommenen Bild auf. Insbesondere sucht die Gesichtsmerkmalspunkterfassungseinheit 32 nach der Position des Gesichts in dem gesamten Bereich des durch den Bildsensor 10 aufgenommenen Bildes unter Verwendung eines statistischen Verfahrens, wie eines neuronalen Netzwerkverfahrens oder Boostingverfahrens. Dann stellt die Gesichtsmerkmalspunkterfassungseinheit 32 eine Gesichtspositionsregion ein, die die gefundene Position des Gesichts enthält, und erfasst die Merkmalspunkte des Gesichts aus der eingestellten Gesichtspositionsregion unter Verwendung des statistischen Verfahrens, wie des neuronalen Netzwerkverfahrens oder des Boostingverfahrens. Die Merkmalspunkte des Gesichts enthalten beispielsweise den äußeren Winkel des rechten Auges, den inneren Winkel des rechten Auges, den äußeren Winkel des linken Auges, den inneren Winkel des linken Auges, das obere Augenlid des rechten Auges, das untere Augenlid des rechten Auges, das obere Augenlid des linken Auges, das untere Augenlid des linken Auges, das rechte schwarze Auge, das linke schwarze Auge, die Mitte der Nasenhöhle und das linke und rechte Ende des Mundes. Außerdem kann jeder Merkmalspunkt des Gesichts durch ein beliebiges Verfahren erfasst werden.
  • Die Gesichtsposeschätzeinheit 33 weist eine Funktion des Schätzens der Pose (Richtung) des Gesichts des Fahrers anhand der durch die Gesichtsmerkmalspunkterfassungseinheit erfassten Merkmalspunkte des Gesichts auf. Insbesondere passt die Gesichtsposeschätzeinheit 33 zuerst ein dreidimensionales Gesichtsmodell (3D-Gesichtsmodell) an die Koordinatenpositionen der durch die Gesichtsmerkmalspunkterfassungseinheit 32 erfassten Merkmalspunkte des Gesichts an. 2 zeigt eine Darstellung zur Veranschaulichung eines Beispiels der Kontur des 3D-Gesichtsmodells. Wie in 2 gezeigt, ist in dem 3D-Gesichtsmodell die Oben-Unten-Richtung des Gesichts eine Ym-Richtung, die Links-Rechts-Richtung des Gesichts eine Xm-Richtung, die Vorne-Hinten-Richtung des Gesichts eine Zm-Richtung, eine Drehung um die Ym-Achse eine Gierrate, eine Drehung um die Xm-Achse eine Ganghöhe und eine Drehung um die Zm-Achse ein Rollen. Daher behält das 3D-Gesichtsmodell eine Entfernung vom Drehmittelpunkt des Kopfes für jeden Merkmalspunkt bei. Die Gesichtsposeschätzeinheit 33 passt das 3D-Gesichtsmodell an die Merkmalspunkte des Gesichts an und stellt die Position und Rotation (Gierrate, Ganghöhe und Rollen), die am besten zueinander passen, als die Pose des Gesichts zu dieser Zeit ein. Ein Verfahren des Schätzens der Pose des Gesichts ist nicht auf das vorstehend angefügte Verfahren beschränkt, sondern andere bekannte Verfahren können verwendet werden. Dann schätzt die Gesichtsposeschätzeinheit 33 die Pose (Richtung) des Gesichts des Fahrers aus der Pose des angepassten 3D-Gesichtsmodells.
  • Die Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilungslerneinheit 34 weist eine Funktion des Aufzeichnens der Position des durch die Gesichtsmerkmalspunkterfassungseinheit 32 erfassten schwarzen Auges in einer Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung auf. 3 zeigt eine Darstellung zur Veranschaulichung der Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung. Wie in 3 gezeigt, gibt die Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung eine Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichte in einer Rote-Augen-Suchregion an, was nachstehend beschrieben wird. Immer wenn die Gesichtsmerkmalspunkterfassungseinheit 32 das schwarze Auge erfasst, zeichnet die Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilungslerneinheit 34 die erfasste Position des schwarzen Auges als Schwarze-Augen-Position in der Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung auf. Auf diese Weise lernt die Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilungslerneinheit 34 die Position, wo die Wahrscheinlichkeit hoch ist, dass das schwarze Auge in der Rote-Augen-Suchregion existiert. Außerdem wird die Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung beispielsweise in einer Hilfsspeichereinrichtung (nicht gezeigt) gespeichert.
  • Die Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilungslerneinheit 34 weist eine Funktion des Glättens der Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung nach Aufzeichnung der Position des schwarzen Auges in der Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung auf. Insbesondere ist sehr wahrscheinlich Rauschen an der Position des durch die Gesichtsmerkmalspunkterfassungseinheit 32 erfassten schwarzen Auges enthalten. Die Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilungslerneinheit 34 reduziert den Einfluss des Rauschens durch Glätten der Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung nach Aufzeichnung der Position des schwarzen Auges in der Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung.
  • Die Rote-Augen-Kandidaten-Erfassungseinheit 35 weist eine Funktion des Erfassens eines oder einer Vielzahl von Rote-Augen-Kandidaten aus den Bildinformationen auf, die die Kandidaten des roten Auges sind. Insbesondere stellt die Rote-Augen-Kandidaten-Erfassungseinheit 35 zuerst die Rote-Augen-Suchregion aus der durch die Gesichtsmerkmalspunkterfassungseinheit 32 eingestellten Gesichtspositionsregion auf der Grundlage der durch die Gesichtsmerkmalspunkterfassungseinheit 32 erfassten Merkmalspunkte ein, wie des äußeren Winkels des Auges, des inneren Winkels des Auges und der oberen und unteren Augenlider. Die Rote-Augen-Suchregion wird zum Suchen nach dem roten Auge verwendet. Die Rote-Augen-Suchregion ist eine rechteckige Region, die beispielsweise durch ein Segment, das außerhalb des äußeren Winkels des Auges angeordnet ist und sich in der Oben-Unten-Richtung erstreckt, ein Segment, das innerhalb des inneren Winkels des Auges angeordnet ist und sich in der Oben-Unten-Richtung erstreckt, ein Segment, das über dem oberen Augenlid angeordnet ist und sich in der Links-Rechts-Richtung erstreckt, und ein Segment partitioniert, das unter dem unteren Augenlid angeordnet ist, und sich in der Links-Rechts-Richtung erstreckt. Dann erfasst die Rote-Augen-Kandidaten-Erfassungseinheit 35 den Rote-Augen-Kandidaten aus der Rote-Augen-Suchregion beispielsweise unter Verwendung eines Vorlagenvergleichs, und erfasst die Mittenposition des erfassten Rote-Augen-Kandidaten als Rote-Augen-Kandidaten-Position. Ein Verfahren der Erfassung des Rote-Augen-Kandidaten ist nicht auf das vorstehend angeführte Verfahren beschränkt, sondern andere bekannte Verfahren können verwendet werden.
  • Die Rote-Augen-Bestimmungseinheit 36 weist eine Funktion einer Bestimmung des roten Auges aus den durch die Rote-Augen-Kandidaten-Erfassungseinheit 35 erfassten Rote-Augen-Kandidaten auf. Die Rote-Augen-Kandidaten-Erfassungseinheit 35 erfasst beispielsweise LED-Licht, das von dem Auge oder dem Augenlid des Fahrers reflektiert wird, zusätzlich zu dem echten roten Auge als den Rote-Augen-Kandidaten. Daher erfasst die Rote-Augen-Kandidaten-Erfassungseinheit 35 in manchen Fällen zwei oder mehr Rote-Augen-Kandidaten. Wenn die Rote-Augen-Kandidaten-Erfassungseinheit 35 zwei oder mehr Rote-Augen-Kandidaten erfasst, bestimmt die Rote-Augen-Bestimmungseinheit 36 das echte rote Auge aus den Rote-Augen-Kandidaten.
  • Insbesondere bestimmt die Rote-Augen-Bestimmungseinheit 36 das rote Auge aus den durch die Rote-Augen-Kandidaten-Erfassungseinheit 35 erfassten Rote-Augen-Kandidaten auf der Grundlage der Beziehung zwischen einer Änderung in der Richtung des Gesichts des Fahrers und dem Verhalten der Rote-Augen-Kandidaten. Insbesondere verfolgt die Rote-Augen-Bestimmungseinheit 36 eine vorbestimmte Periode lang den Winkel der Richtung des Gesichts des Fahrers, die durch die Gesichtsposeschätzeinheit 33 geschätzt wird, zur Erfassung einer Änderung im Winkel der Richtung des Gesichts des Fahrers. Daher arbeitet die Rote-Augen-Bestimmungseinheit 36 auch als Gesichtsrichtungsänderungserfassungseinrichtung. Ein Verfahren der Erfassung der Änderung im Winkel der Richtung des Gesichts ist nicht auf das vorstehend angeführte Verfahren beschränkt, sondern andere bekannte Verfahren können verwendet werden. Die Rote-Augen-Bestimmungseinheit 36 verfolgt eine vorbestimmte Zeit lang die Position jedes durch die Rote-Augen-Kandidaten-Erfassungseinheit 35 erfassten Rote-Augen-Kandidaten, um das Verhalten jedes Rote-Augen-Kandidaten zu erfassen. Das Verhalten des Rote-Augen-Kandidaten ist eine Änderung in der Mittenposition des Rote-Augen-Kandidaten. Daher arbeitet die Rote-Augen-Bestimmungseinheit 36 auch als Rote-Augen-Kandidaten-Verhaltenserfassungseinrichtung. Ein Verfahren der Erfassung des Verhaltens des Rote-Augen-Kandidaten ist nicht auf das vorstehend angeführte Verfahren beschränkt, sondern andere bekannte Verfahren können verwendet werden. Wenn die Rote-Augen-Kandidaten-Erfassungseinheit 35 zwei oder mehr Rote-Augen-Kandidaten erfasst, bestimmt die Rote-Augen-Bestimmungseinheit 36 das rote Auge anhand jedes Rote-Augen-Kandidaten auf der Grundlage der Beziehung zwischen einer Änderung im Winkel der Richtung des Gesichts und dem Verhalten jedes Rote-Augen-Kandidaten. Das heißt, die Rote-Augen-Bestimmungseinheit 36 schließt einen Rote-Augen-Kandidaten mit einem anderen Verhalten hinsichtlich der Änderung im Winkel der Richtung des Gesichts aus den Rote-Augen-Kandidaten aus, d.h., einen Rote-Augen-Kandidaten, bei dem eine Änderung der Position hinsichtlich der Änderung des Winkels der Richtung des Gesichts kleiner oder gleich einem Schwellenwert ist.
  • Die Rote-Augen-Bestimmungseinheit 36 bestimmt das rote Auge aus den durch die Rote-Augen-Kandidaten-Erfassungseinheit 35 erfassten Rote-Augen-Kandidaten auf der Grundlage der Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung. Wenn die Rote-Augen-Kandidaten-Erfassungseinheit 35 zwei oder mehr Rote-Augen-Kandidaten erfasst, bestimmt die Rote-Augen-Bestimmungseinheit 36 den Rote-Augen-Kandidaten als das rote Auge, der an der Position ist, wo die Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichte in der Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung hoch ist.
  • Als nächstes wird die Arbeitsweise der Rote-Augen-Bestimmungsvorrichtung 1 gemäß diesem Ausführungsbeispiel beschrieben. 4 zeigt ein Ablaufdiagramm zur Veranschaulichung des Rote-Augen-Bestimmungsprozesses der Rote-Augen-Bestimmungsvorrichtung gemäß dem Ausführungsbeispiel. Der in 4 gezeigte Prozess wird unter der Steuerung der ECU 30 durchgeführt. Beispielsweise wird der Prozess mit einem vorbestimmten Intervall für die Periode ab dem Einschalten der Zündung bis zum Ausschalten der Zündung wiederholt durchgeführt.
  • Wie in 4 gezeigt, gibt die ECU 30 zuerst das durch den Bildsensor 10 aufgenommene Bild des Fahrers ein (Schritt S1). In Schritt S1 wird ein in 5 gezeigtes Bild eingegeben, das durch den Bildsensor 10 aufgenommen ist. 5 zeigt ein Beispiel des durch den Bildsensor aufgenommenen Bildes.
  • Dann bestimmt die ECU 30, ob es Nacht ist (Schritt S2). In Schritt S2 bestimmt beispielsweise die Tag- und Nachtbestimmungseinheit 31, ob es Tag oder Nacht ist, auf der Grundlage der Menge an Licht außerhalb des Fahrzeugs, die von dem Beleuchtungssensor 20 ausgegeben wird, oder beruhend auf dem von dem Bildsensor 10 ausgegebenen Bild. Wird beruhend auf der Menge an Licht außerhalb des Fahrzeugs, das von dem Beleuchtungssensor 20 ausgegeben wird, bestimmt, ob es Tag oder Nacht ist, erhält die Tag- und Nachtbestimmungseinheit 31 zuerst die Menge an Licht außerhalb des Fahrzeugs, die aus dem Beleuchtungssensor 20 ausgegeben wird. Ist die Menge an Licht außerhalb des Fahrzeugs größer als ein vorbestimmter Schwellenwert, bestimmt die Tag- und Nachtbestimmungseinheit 31, dass es Tag ist. Ist die Menge an Licht außerhalb des Fahrzeugs kleiner oder gleich dem vorbestimmten Schwellenwert, bestimmt die Tag- und Nachtbestimmungseinheit 31, dass es Nacht ist. Wird andererseits auf der Grundlage des von dem Bildsensor 10 ausgegebenen Bildes bestimmt, ob es Tag oder Nacht ist, erhält die Tag- und Nachtbestimmungseinheit 31 zuerst das von dem Bildsensor 10 ausgegebene Bild. Dann berechnet die Tag- und Nachtbestimmungseinheit 31 die Gesamthelligkeit jedes Bildelements des Bildes. Ist die Gesamthelligkeit größer als ein vorbestimmter Schwellenwert, bestimmt die Tag- und Nachtbestimmungseinheit 31, dass es Tag ist. Ist die Gesamthelligkeit kleiner oder gleich dem vorbestimmten Schwellenwert, bestimmt die Tag- und Nachtbestimmungseinheit 31, dass es Nacht ist.
  • Wird bestimmt, dass es Tag ist (Schritt S2: NEIN), geht die ECU 30 zu Schritt S3 über. Wird bestimmt, dass es Nacht ist (Schritt S2: JA), geht die ECU 30 zu Schritt S5 über.
  • Wird in Schritt S2 bestimmt, dass es Tag ist, erfasst die ECU 30 die Merkmalspunkte des Gesichts (Schritt S3). In Schritt S3 sucht die Gesichtsmerkmalspunkterfassungseinheit 32 zuerst nach der Position des Gesichts im gesamten Bereich des in Schritt S1 eingegebenen Bildes F1 unter Verwendung des statistischen Verfahrens, wie des neuronalen Netzwerkverfahrens oder Boostingverfahrens. Wie in 6 gezeigt, stellt die Gesichtsmerkmalspunkterfassungseinheit 32 dann eine Gesichtspositionsregion G1 ein, die die gefundene Position des Gesichts enthält, und erfasst beispielsweise den äußeren Winkel des rechten Auges, den inneren Winkel des rechten Auges, den äußeren Winkel des linken Auges, den inneren Winkel des linken Auges, das obere Augenlid des rechten Auges, das untere Augenlid des rechten Auges, das obere Augenlid des linken Auges, das untere Augenlid des linken Auges, das rechte schwarze Auge, das linke schwarze Auge, die Mitte der Nasenhöhle und das linke und rechte Ende des Mundes in der eingestellten Gesichtspositionsregion G1 als Suchbereich unter Verwendung des statistischen Verfahrens, wie des neuronalen Netzwerkverfahrens oder Boostingverfahrens. Dann erfasst die Gesichtsmerkmalspunkterfassungseinheit 32 die Mittenpositionen des erfassten rechten und linken schwarzen Auges als Schwarze-Augen-Positionen des rechten und linken Auges. 6 zeigt eine Darstellung zur Veranschaulichung der Kontur eines Prozesses zum Erfassen der Merkmalspunkte des Gesichts bei Tag, und zeigt die Gesichtspositionsregion G1.
  • Dann lernt die ECU 30 die Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung (Schritt S4). In Schritt S4 zeichnet die Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilungslerneinheit 34 die in Schritt S3 erfasste Schwarze-Augen-Position in der in 3 gezeigten Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung auf und lernt die Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung. Zur Aktualisierung der in der Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung aufgezeichneten Daten können in diesem Fall lediglich die Schwarze-Augen-Position, die über einen vorbestimmten Zeitabschnitt erfasst wird, in der Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung aufgezeichnet werden, und die vor dem vorbestimmten Zeitabschnitt aufgezeichnete Schwarze-Augen-Position kann aus der Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung entfernt werden. Nach der Aufzeichnung der Schwarze-Augen-Position in der Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung kann die Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilungslerneinheit 34 in Schritt S4 außerdem die Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung glätten.
  • Wird in Schritt S2 andererseits bestimmt, dass es Nacht ist, erfasst die ECU 30 die Merkmalspunkte des Gesichts (Schritt S5). In Schritt S5 sucht die Gesichtsmerkmalspunkterfassungseinheit 32 zuerst nach der Position des Gesichts in dem gesamten Bereich des in Schritt S1 eingegeben Bildes F1 unter Verwendung des statistischen Verfahrens, wie des neuronalen Netzwerkverfahrens oder Boostingverfahrens. Wie in 7 gezeigt, stellt die Gesichtsmerkmalspunkterfassungseinheit 32 dann die Gesichtspositionsregion G1 ein, die die gefundene Position des Gesichts enthält, und erfasst beispielsweise den äußeren Winkel des rechten Auges, den inneren Winkel des rechten Auges, den äußeren Winkel des linken Auges, den inneren Winkel des linken Auges, das obere Augenlid des rechten Auges, das untere Augenlid des rechten Auges, das obere Augenlid des linken Auges, das untere Augenlid des linken Auges, die Mitte der Nasenhöhle und das linke und rechte Ende des Mundes in der eingestellten Gesichtspositionsregion G1 als Suchbereich unter Verwendung des statistischen Verfahrens, wie des neuronalen Netzwerkverfahrens oder Boostingverfahrens. 7 zeigt eine Darstellung zur Veranschaulichung der Kontur eines Prozesses der Erfassung der Merkmalspunkte des Gesichts bei Nacht, und zeigt die Gesichtspositionsregion G1.
  • In diesem Fall tritt ein Rote-Augen-Phänomen bei den Augen des Fahrers auf, und die Pupille des Fahrers ist ein rotes Auge R. Daher ist es in Schritt S5 - anders als in Schritt S3 bei Tageslicht - unmöglich, die Merkmalspunkte des rechten schwarzen Auges und linken schwarzen Auges zu erfassen.
  • Eine in dem Bildsensor 10 vorgesehene LED emittiert Licht bei Nacht, wenn die Menge an Licht außerhalb des Fahrzeugs gering ist, um das Gesichtsbild des Fahrers aufzunehmen. Daher enthält das durch den Bildsensor 10 aufgenommene Bild LED-Licht L, das vom Auge oder Augenlid des Fahrers reflektiert wird.
  • Dann schätzt die ECU 30 die Pose (Richtung) des Gesichts des Fahrers anhand der Merkmalspunkte des Gesichts, die in Schritt S5 erfasst werden (Schritt S6). In Schritt S6 passt die Gesichtsposeschätzeinheit 33 das in 2 gezeigte 3D-Gesichtsmodell zuerst an die Koordinatenpositionen der in Schritt S5 erfassten Merkmalspunkte des Gesichts an. Dann schätzt die Gesichtsposeschätzeinheit 33 die Pose (Richtung) des Gesichts des Fahrers aus der Pose des angepassten 3D-Gesichtsmodells.
  • Dann sucht die ECU 30 nach einem oder einer Vielzahl von Rote-Augen-Kandidaten (Schritt S7). In Schritt S7 stellt die Rote-Augen-Kandidaten-Erfassungseinheit 35 zuerst eine Rote-Augen-Suchregion anhand der in Schritt S5 eingestellten Gesichtspositionsregion G1 ein (siehe 7). 8 zeigt eine schematische Darstellung zur Veranschaulichung eines Beispiels der Rote-Augen-Suchregion. Wie in 8 gezeigt, ist eine Rote-Augen-Suchregion G2 eine rechteckige Region, die beispielsweise durch ein Segment, das außerhalb des äußeren Winkels des Auges angeordnet ist und sich in der Oben-Unten-Richtung erstreckt, ein Segment, das innerhalb des inneren Winkels des Auges angeordnet ist und sich in der Oben-Unten-Richtung erstreckt, ein Segment, das über dem oberen Augenlid angeordnet ist und sich in der Links-Rechts-Richtung erstreckt, und ein Segment partitioniert, das unter dem unteren Augenlid angeordnet ist und sich in der Links-Rechts-Richtung erstreckt. Dann erfasst die Rote-Augen-Kandidaten-Erfassungseinheit 35 einen Rote-Augen-Kandidaten C aus der Rote-Augen-Suchregion G2 beispielsweise unter Verwendung eines Vorlagenvergleichs, und erfasst die Mittenposition des erfassten Rote-Augen-Kandidaten C als Rote-Augen-Kandidaten-Position.
  • Wie in der Rote-Augen-Suchregion G2 in 8 gezeigt, ist das von dem Auge oder Augenlid des Fahrers reflektierte LED-Licht L in der Rote-Augen-Suchregion G2 enthalten. Das Bildelementmuster des LED-Lichts L ist dem Bildelementmuster des roten Auges R ähnlich. Daher erfasst die Rote-Augen-Kandidaten-Erfassungseinheit 35 das echte rote Auge R als den Rote-Augen-Kandidaten C und erfasst auch das LED-Licht L als den Rote-Augen-Kandidaten C. Infolgedessen werden in Schritt S7 zwei Rote-Augen-Kandidaten C erfasst.
  • Dann bestimmt die ECU 30 das rote Auge aus den in Schritt S7 erfassten Rote-Augen-Kandidaten (Schritt S8).
  • Wenn in Schritt S7 zwei oder mehr Rote-Augen-Kandidaten C erfasst werden, verfolgt die Rote-Augen-Bestimmungseinheit 36 in Schritt S8 zuerst über einen vorbestimmten Zeitabschnitt den Winkel der Richtung des Gesichts des Fahrers, die in Schritt S6 geschätzt wird, zur Erfassung einer Änderung des Winkels der Richtung des Gesichts des Fahrers. Außerdem verfolgt die Rote-Augen-Bestimmungseinheit 36 über einen vorbestimmten Zeitabschnitt die Rote-Augen-Kandidaten-Position jedes in Schritt S7 erfassten Rote-Augen-Kandidaten C zur Erfassung des Verhaltens jedes Rote-Augen-Kandidaten C. Dann schließt die Rote-Augen-Bestimmungseinheit 36 einen Rote-Augen-Kandidaten C mit einem anderen Verhalten hinsichtlich einer Änderung des Winkels der Richtung des Gesichts aus den Rote-Augen-Kandidaten aus, d.h., einen Rote-Augen-Kandidaten, bei dem eine Änderung der Rote-Augen-Kandidaten-Position bezüglich der Änderung des Winkels der Richtung des Gesichts kleiner oder gleich einem Schwellenwert ist.
  • 9 zeigt eine Darstellung zur Veranschaulichung der Gesichtspositionsregion, wenn der Fahrer nach vorne schaut. 10 zeigt eine Darstellung zur Veranschaulichung der Gesichtspositionsregion, wenn der Fahrer nach links schaut. 11 zeigt eine Darstellung zur Veranschaulichung der Gesichtspositionsregion, wenn der Fahrer nach rechts schaut. Wie in 9 gezeigt, befindet sich das rote Auge R, wenn der Fahrer nach vorne schaut, am Mittelpunkt des Auges, und das LED-Licht L befindet sich auf der rechten Seite des Auges unten. Schaut der Fahrer nach links, wie es in 10 gezeigt ist, ändert sich die Richtung des Gesichts des Fahrers in die linke Richtung, und auch das rote Auge R bewegt sich zu der linken Seite des Auges. Da aber die Position des LED-Lichts L in dem Bild in Abhängigkeit von der Positionsbeziehung zwischen der LED, dem Gesicht des Fahrers und dem Bildsensor 10 bestimmt wird, bleibt das LED-Licht L auf der rechten Seite des Auges unten. Schaut der Fahrer nach rechts, wie es in 11 gezeigt ist, ändert sich die Richtung des Gesichts des Fahrers zu der rechten Seite, und das rote Auge R bewegt sich zu der rechten Seite des Auges. Da aber die Position des LED-Lichts L in dem Bild in Abhängigkeit von der Positionsbeziehung zwischen der LED, dem Gesicht des Fahrers und dem Bildsensor 10 bestimmt wird, bleibt das LED-Licht L an der rechten Seite des Auges unten. Bewegt sich die Position des roten Auges R mit einer Änderung der Richtung des Gesichts, bleibt das LED-Licht L an einer vorbestimmten Position, ungeachtet einer Änderung der Richtung des Gesichts. In Schritt S8 wird der Rote-Augen-Kandidat C mit einem anderen Verhalten bezüglich der Änderung des Winkels der Richtung des Gesichts, d.h., der Rote-Augen-Kandidat C, bei dem eine Änderung der Rote-Augen-Kandidaten-Position bezüglich der Änderung des Winkels der Richtung des Gesichts kleiner oder gleich dem Schwellenwert ist, dazu bestimmt, kein rotes Auge R zu sein, und wird aus den Rote-Augen-Kandidaten C ausgeschlossen.
  • Gibt es in Schritt S8 zwei oder mehrere Rote-Augen-Kandidaten C, berechnet die Rote-Augen-Bestimmungseinheit 36 die Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichte an der Rote-Augen-Kandidaten-Position jedes Rote-Augen-Kandidaten C bezüglich der Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung. Dann bestimmt die Rote-Augen-Bestimmungseinheit 36 den Rote-Augen-Kandidaten C, der sich an der Position mit hoher Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichte befindet, als das rote Auge R.
  • Da wie vorstehend beschrieben die Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung anhand der Bildinformationen gelernt wird, die während des Fahrens des Fahrzeugs erhalten werden, ist es gemäß der Rote-Augen-Bestimmungsvorrichtung 1 dieses Ausführungsbeispiels möglich, die Position zu finden, an der das schwarze Auge wahrscheinlich vorhanden ist. Wird eine Vielzahl von Rote-Augen-Kandidaten aus den Bildinformationen erfasst, wird ein Rote-Augen-Kandidat als das rote Auge bestimmt, der sich an der Position befindet, wo die Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichte in der Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung hoch ist. Daher ist es möglich, das rote Auge mit großer Genauigkeit zu bestimmen.
  • Da außerdem die Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung bei Tag gelernt wird, wenn die Lichtmenge außerhalb des Fahrzeugs groß ist, ist es möglich, die Zuverlässigkeit der Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung zu verbessern. Das rote Auge wird bei Nacht, wenn die Menge an Licht außerhalb des Fahrzeugs gering ist, unter Bezugnahme auf die Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung bestimmt, die bei Tag gelernt wurde. Daher ist es möglich, das rote Auge mit großer Genauigkeit zu bestimmen.
  • Die Rote-Augen-Bestimmungseinheit 36 schließt den Rote-Augen-Kandidaten aus den Rote-Augen-Kandidaten aus, bei dem eine Änderung der Rote-Augen-Kandidaten-Position bezüglich einer Änderung des Winkels der Richtung des Gesichts kleiner oder gleich einem Schwellenwert ist. Daher ist es möglich, beispielsweise LED-Licht aus den Rote-Augen-Kandidaten geeignet auszuschließen.
  • Das Ausführungsbeispiel der Erfindung wurde vorstehend beschrieben. Die Erfindung ist allerdings nicht auf das vorstehend beschriebene Ausführungsbeispiel beschränkt. Bei dem vorstehend beschriebenen Ausführungsbeispiel kann die Rote-Augen-Bestimmungseinheit 36 beispielsweise sowohl das Verfahren der Bestimmung des roten Auges auf der Grundlage der Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung als auch das Verfahren der Bestimmung des roten Auges auf der Grundlage der Beziehung zwischen einer Änderung in der Richtung des Gesichts und dem Verhalten des Rote-Augen-Kandidaten durchführen. Allerdings kann die Rote-Augen-Bestimmungseinheit 36 auch lediglich eines der zwei Verfahren durchführen.
  • Gewerbliche Anwendbarkeit
  • Die Erfindung kann als Rote-Augen-Bestimmungsvorrichtung verwendet werden, die das rote Auge aus den Rote-Augen-Kandidaten bestimmt, die anhand von Bildinformationen des aufgenommenen Bildes des Fahrzeuginsassen erfasst werden.
  • Bezugszeichenliste
  • 1:
    ROTE-AUGEN-BESTIMMUNGSVORRICHTUNG
    10:
    BILDSENSOR
    20:
    BELEUCHTUNGSSENSOR
    31:
    TAG- UND NACHTBESTIMMUNGSEINHEIT (FAHRZEUGAUßENLICHTMENGEBERECHNUNGSEINRICHTUNG)
    32:
    GESICHTSMERKMALSPUNKTERFASSUNGSEINHEIT
    33:
    GESICHTSPOSESCHÄTZEINHEIT
    34:
    SCHWARZE-AUGEN-POSITION-EXISTENZWAHRSCHEINLICHKEITSDICHTEVERTEILUNGSLERNEINHEIT (SCHWARZE-AUGEN-POSITION-EXISTENZWAHRSCHEINLICHKEITSDICHTEVERTEILUNGSLERNEINRICHTUNG)
    35:
    ROTE-AUGEN-KANDIDATEN-ERFASSUNGSEINHEIT (ROTE-AUGEN-KANDIDATEN-ERFASSUNGSEINRICHTUNG)
    36:
    ROTE-AUGEN-BESTIMMUNGSEINHEIT (ROTE-AUGENBESTIMMUNGSEINRICHTUNG, GESICHTSRICHTUNGSÄNDERUNGSERFASSUNGSEINRICHTUNG UND ROTE-AUGEN-KANDIDATENVERHALTENSERFASSUNGSEINRICHTUNG)
    R:
    ROTES AUGE
    C:
    ROTE-AUGEN-KANDIDAT
    L:
    LED-LICHT
    S1:
    BILD
    G1:
    GESICHTSPOSITIONREGION
    G2:
    ROTE-AUGEN-SUCHREGION

Claims (2)

  1. Rote-Augen-Bestimmungsvorrichtung für eine Fahrunterstützungssteuervorrichtung, die eine Blickrichtung eines Fahrers eines Fahrzeugs anhand eines roten Auges erfasst und eine Fahrunterstützungssteuerung durchführt, wobei die Rote-Augen-Bestimmungsvorrichtung das rote Auge anhand eines Rote-Augen-Kandidaten bestimmt, der aus Bildinformationen eines aufgenommenen Bildes des Gesichts des Fahrers erfasst wird, mit: einer Fahrzeugaußenlichtmengenberechnungseinrichtung (31) zur Berechnung einer Menge von Licht außerhalb des Fahrzeugs, einer Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilungslerneinrichtung (34) zum Lernen einer Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilung aus während des Fahrens des Fahrzeugs zu einer Zeit erhaltenen Bildinformationen eines aufgenommenen Bildes des Gesichts des Fahrers, wenn die Menge an Licht außerhalb des Fahrzeugs groß ist, einer Rote-Augen-Kandidaten-Erfassungseinrichtung (35) zur Erfassung zumindest eines Rote-Augen-Kandidaten aus Bildinformationen eines aufgenommenen Bildes des Gesichts des Fahrers zu einer Zeit, wenn die Menge an Licht außerhalb des Fahrzeugs gering ist, und einer Rote-Augen-Bestimmungseinrichtung (36) zur Bestimmung eines an einer Position angeordneten Rote-Augen-Kandidaten als rotes Auge, wo eine Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichte in der durch die Schwarze-Augen-Position-Existenzwahrscheinlichkeitsdichteverteilungslerneinheit gelernten Existenzwahrscheinlichkeitsdichteverteilung hoch ist, wenn die Rote-Augen-Kandidaten-Erfassungseinrichtung zwei oder mehr Rote-Augen-Kandidaten erfasst.
  2. Rote-Augen-Bestimmungsvorrichtung nach Anspruch 1, ferner mit: einer Gesichtsrichtungsänderungserfassungseinrichtung zur Erfassung einer Änderung in einer Richtung des Gesichts des Fahrers, und einer Rote-Augen-Kandidaten-Verhaltenserfassungseinrichtung zur Erfassung eines Verhaltens jedes durch die Rote-Augen-Kandidaten-Erfassungseinrichtung erfassten Rote-Augen-Kandidaten, wobei die Rote-Augen-Bestimmungseinrichtung das rote Auge auf der Grundlage der Beziehung zwischen der durch die Gesichtsrichtungsänderungserfassungseinrichtung erfassten Änderung in der Richtung des Gesichts und dem durch die Rote-Augen-Kandidaten-Verhaltenserfassungseinrichtung erfassten Verhalten jedes Rote-Augen-Kandidaten bestimmt.
DE112011105445.9T 2011-07-11 2011-07-11 Rote-Augen-Bestimmungsvorrichtung Active DE112011105445B4 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/065822 WO2013008302A1 (ja) 2011-07-11 2011-07-11 赤目判定装置

Publications (2)

Publication Number Publication Date
DE112011105445T5 DE112011105445T5 (de) 2014-03-27
DE112011105445B4 true DE112011105445B4 (de) 2020-08-06

Family

ID=47505621

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112011105445.9T Active DE112011105445B4 (de) 2011-07-11 2011-07-11 Rote-Augen-Bestimmungsvorrichtung

Country Status (4)

Country Link
US (1) US9298995B2 (de)
JP (1) JP5737399B2 (de)
DE (1) DE112011105445B4 (de)
WO (1) WO2013008302A1 (de)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6188453B2 (ja) * 2013-06-28 2017-08-30 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
DE102013213236A1 (de) 2013-07-05 2015-01-08 Robert Bosch Gmbh Verfahren zum Ermitteln eines Aufmerksamkeitsgrads eines Fahrzeugführers
WO2015049826A1 (ja) * 2013-10-01 2015-04-09 日本電気株式会社 物体検出装置、物体検出方法および学習装置
CA2995756A1 (en) 2015-08-21 2017-03-02 Magic Leap, Inc. Eyelid shape estimation
CN108135469B (zh) 2015-08-21 2021-03-09 奇跃公司 使用眼睛姿态测量的眼睑形状估计
AU2016340222B2 (en) 2015-10-16 2021-07-01 Magic Leap, Inc. Eye pose identification using eye features
US11132543B2 (en) 2016-12-28 2021-09-28 Nvidia Corporation Unconstrained appearance-based gaze estimation
JP6930842B2 (ja) * 2017-03-21 2021-09-01 株式会社トプコン 眼科装置
US10521661B2 (en) 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002040545A (ja) * 2000-07-19 2002-02-06 Canon Inc カメラおよびプリント装置
US7457545B2 (en) * 2004-02-12 2008-11-25 Northrop Grumman Corporation Process for controlling a Hartmann wavefront sensor (WFS) in an adaptive optic (AO) system
US20060167670A1 (en) * 2005-01-26 2006-07-27 Deering Michael F Photon-based modeling of the human eye and visual perception
JP4549997B2 (ja) 2006-03-30 2010-09-22 富士フイルム株式会社 赤目検出装置、赤目検出方法、および赤目検出プログラム
JP4876687B2 (ja) * 2006-04-19 2012-02-15 株式会社日立製作所 注目度計測装置及び注目度計測システム
JP2008129664A (ja) 2006-11-17 2008-06-05 Sony Corp 画像処理装置、撮影装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
US7764846B2 (en) * 2006-12-12 2010-07-27 Xerox Corporation Adaptive red eye correction
JP4895797B2 (ja) * 2006-12-26 2012-03-14 アイシン精機株式会社 瞼検出装置、瞼検出方法及びプログラム
JP4884251B2 (ja) * 2007-02-09 2012-02-29 富士フイルム株式会社 撮影装置および方法並びにプログラム
IL183385A0 (en) * 2007-05-24 2007-09-20 Yosef Cohen Security systems and methods
JP5110373B2 (ja) * 2008-03-07 2012-12-26 オムロン株式会社 測定装置および方法、撮像装置、並びに、プログラム
US8433144B2 (en) * 2008-03-27 2013-04-30 Hewlett-Packard Development Company, L.P. Systems and methods for detecting red-eye artifacts
JP4888838B2 (ja) * 2008-05-12 2012-02-29 トヨタ自動車株式会社 運転者撮像装置および運転者撮像方法
US8837785B2 (en) * 2011-03-21 2014-09-16 Apple Inc. Red-eye removal using multiple recognition channels
US8571271B2 (en) * 2011-05-26 2013-10-29 Microsoft Corporation Dual-phase red eye correction

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
MORIMOTO, Carlos Hitoshi; SANTOS, Thiago T.; MUNIZ, Adriano S. Automatic iris segmentation using active near infra red lighting. In: Computer Graphics and Image Processing, 2005. SIBGRAPI 2005. 18th Brazilian Symposium on. IEEE, 2005. p. 37-43. doi: 10.1109/SIBGRAPI.2005.14
MORIMOTO, Carlos Hitoshi; SANTOS, Thiago T.; MUNIZ, Adriano S. Automatic iris segmentation using active near infra red lighting. In: Computer Graphics and Image Processing, 2005. SIBGRAPI 2005. 18th Brazilian Symposium on. IEEE, 2005. S. 37-43. doi: 10.1109/SIBGRAPI.2005.14 *
VUKADINOVIC, Danijela; PANTIC, Maja. Fully automatic facial feature point detection using Gabor feature based boosted classifiers. In: Systems, Man and Cybernetics, 2005 IEEE International Conference on. IEEE, 2005. p. 1692-1698. doi: 10.1109/ICSMC.2005.1571392
VUKADINOVIC, Danijela; PANTIC, Maja. Fully automatic facial feature point detection using Gabor feature based boosted classifiers. In: Systems, Man and Cybernetics, 2005 IEEE International Conference on. IEEE, 2005. S. 1692-1698. doi: 10.1109/ICSMC.2005.1571392 *
ZHANG, Cha; ZHANG, Zhengyou. A survey of recent advances in face detection. Tech. rep., Microsoft Research, 2010. [online] URL: http://research.microsoft.com/pubs/132077/facedetsurvey.pdf [abgerufen am 10.07.2013] *
ZHU, Zhiwei; JI, Qiang. Robust real-time eye detection and tracking under variable lighting conditions and various face orientations. Computer Vision and Image Understanding, 2005, Vol 98(1):124-154. doi: 10.1016/j.cviu.2004.07.012 *

Also Published As

Publication number Publication date
DE112011105445T5 (de) 2014-03-27
US20140133705A1 (en) 2014-05-15
JPWO2013008302A1 (ja) 2015-02-23
US9298995B2 (en) 2016-03-29
WO2013008302A1 (ja) 2013-01-17
JP5737399B2 (ja) 2015-06-17

Similar Documents

Publication Publication Date Title
DE112011105445B4 (de) Rote-Augen-Bestimmungsvorrichtung
DE112011105439B4 (de) Rote-Augen-Erfassungsvorrichtung
EP3542211B1 (de) Verfahren und vorrichtung sowie computerprogramm zum ermitteln einer repräsentation eines brillenglasrands
DE602005003926T2 (de) System und verfahren zum erkennen eines vorbeikommenden fahrzeugs aus dynamischem hintergrund unter verwendung robuster informationsfusion
DE102017220307B4 (de) Vorrichtung und Verfahren zum Erkennen von Verkehrszeichen
DE112018001587T5 (de) Verfahren zur schätzung von operationen eines arbeitsfahrzeugs, system, verfahren zur erzeugung eines trainierten klassifikationsmodells, trainingsdaten und verfahren zur erzeugung von trainingsdaten
DE112011103794T5 (de) Aufnehmervorrichtung für Werkstücke
DE102019100575A1 (de) Verfahren und system zum erzeugen eines bereichsbildes unter verwendung von daten mit geringer tiefe
DE112011105435B4 (de) Augenliderfassungsvorrichtung
DE102019209462A1 (de) Verfahren zur Bestimmung eines Vertrauens-Wertes eines detektierten Objektes
DE102018129993A1 (de) Verfahren zur fahrzeugdetektion, verfahren zur fahrzeugdetektion bei nacht auf basis von dynamischer lichtintensität und system dafür
DE112019007390T5 (de) Verfahren, Vorrichtung und Computerprogramm zur Verfolgung von sich bewegenden Objekten
DE112020005584T5 (de) Verdeckung berücksichtigende Innenraumszenenanalyse
DE112020005223T5 (de) Objektverfolgungseinrichtung und Objektverfolgungsverfahren
DE112021004200T5 (de) Objekterkennungsvorrichtung
DE102019209463A1 (de) Verfahren zur Bestimmung eines Vertrauenswertes eines Objektes einer Klasse
DE112019006107T5 (de) Authoring-Vorrichtung, Authoring-Verfahren und Authoring-Programm
DE102018201909A1 (de) Verfahren und Vorrichtung zur Objekterkennung
DE102021103153A1 (de) System und verfahren zur ende-zu-ende-vorhersage der spurerkennungsunsicherheit
DE102019102423A1 (de) Verfahren zur Live-Annotation von Sensordaten
DE102004007049A1 (de) Verfahren zur Klassifizierung eines Objekts mit einer Stereokamera
DE102018121317A1 (de) Verfahren und Vorrichtung zur Schätzung einer durch eine Freiraumgeste vermittelten Richtungsinformation zur Bestimmung einer Benutzereingabe an einer Mensch-Maschine-Schnittstelle
WO2017129306A1 (de) Verfahren und vorrichtung zum lokalisieren eines kopfes eines fahrers in einem fahrzeug und kopflokalisierungssystem
DE102018217219B4 (de) Verfahren zum Ermitteln einer dreidimensionalen Position eines Objekts
DE102016200035A1 (de) Verfahren zur Erkennung von Bewegungen mindestens eines bewegten Objektes im dreidimensionalen Raum

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R084 Declaration of willingness to licence