DE112011105441B4

DE112011105441B4 - Augenliderfassungsvorrichtung

Info

Publication number: DE112011105441B4
Application number: DE112011105441.6T
Authority: DE
Inventors: Kiyoto Hanita; Yoshinao Takemae
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2011-07-11
Filing date: 2011-07-11
Publication date: 2019-11-14
Anticipated expiration: 2031-07-12
Also published as: US20140140577A1; WO2013008305A1; DE112011105441T5; JPWO2013008305A1; JP5790762B2; US9202106B2

Abstract

Eine Augenliderfassungsvorrichtung ist bereitgestellt, die die Positionen der oberen und unteren Augenlider mit großer Genauigkeit selbst beim Auftreten eines Rote-Augen-Phänomens oder einer beispielsweise durch eine Brille verursachten Störung erfassen kann.
Eine ECU 30, die mit einem Bildsensor 10 und einem Fahrzeuggeschwindigkeitssensor 20 verbunden ist, enthält eine Fahrzeuggeschwindigkeitsbestimmungseinheit 31, die bestimmt, ob ein Fahrzeug fährt, eine Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 32, die die Merkmalspunkte des Gesichts des Fahrers erfasst, eine Gesichtsposeschätzeinheit 33, die die durch die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 32 erfassten Merkmalspunkte des Gesichts in ein 3D-Gesichtsmodell zum Schätzen der Richtung des Gesichts des Fahrers einpasst, eine Augenlidbereicheinstelleinheit 34, die einen oberen Augenlidpräsenzbereich und einen unteren Augenlidpräsenzbereich mit den Positionen der oberen und unteren Augenlider auf der Grundlage der durch die Gesichtsposeschätzeinheit 33 geschätzten Pose des Gesichts einstellt, und eine Augenliderfassungseinheit 35, die die Positionen des oberen und unteren Augenlids in dem durch die Augenlidbereicheinstelleinheit 34 eingestellten oberen Augenlidpräsenzbereich und unteren Augenlidpräsenzbereich erfasst.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht auf ein Augenliderfassungsverfahren, das die Positionen des oberen und unteren Augenlids aus einem Gesichtsbild erfasst.
Technischer Hintergrund
Es ist ein Verfahren bekannt, das die Positionen des oberen und unteren Augenlids aus einem Gesichtsbild erfasst, um beispielsweise einen Augenöffnungszustand (siehe beispielsweise Patentliteratur 1) zu erfassen. Die Patentliteratur 1 offenbart ein Verfahren, das den Öffnungs- und Schließungszustand der Augen auf der Grundlage der Form der Augenlider entsprechend einer gespeicherten Gesichtspose und der erfassten Form der Augenlider erfasst.
Zitierungsliste
Patentliteratur
[Patentliteratur 1] Ungeprüfte japanische Patentanmeldungsveröffentlichung Nr. 2005-078311
Kurzzusammenfassung der Erfindung
Technische Aufgabe
Allerdings ist mit dem in der Patentliteratur 1 offenbarten Verfahren ein Problem verbunden, dass die genaue Erfassung der Augenlider aufgrund eines Rote-Augen-Phänomens oder einer beispielsweise durch eine Brille verursachten Störung unmöglich ist. Beispielsweise wird in der Nähe eines roten Auges eine Kante erzeugt, und wird wahrscheinlich fälschlicherweise als die Positionen des oberen und unteren Augenlids erfasst. Wird die Kante der Brillenränder im Gesichtsbild verstärkt, werden außerdem die Brillenränder wahrscheinlich fälschlicherweise als die Positionen des oberen und unteren Augenlids erfasst.
Bei WANG, Qiong, et al. Driver fatigue detection: a survey. In: Intelligent Control and Automation, 2006. WCICA 2006. The Sixth World Congress on. IEEE, 2006. S. 8587-8591. DOI: 10.1109/WCICA.2006.1713656 ist beschrieben, dass die Müdigkeit eines Fahrers über dessen Augen abgeschätzt werden kann.
Bei HANSEN, Dan Witzner; JI, Qiang. In the eye of the beholder: A suryey of models for eyes and gaze. IEEE transactions on pattern analysis and machine intelligence, 2010, 32. Jg., Nr. 3, S. 478-500. DOI: 10.1109/TPAMI.2009.30 ist beschrieben, dass die Augenlider über zwei Parameter repräsentiert werden können. Die Position der Augen kann auch mittels eines Gesichtsmodels bestimmt und dabei können auch menschenähnliche Mittelwerte verwendet werden.
Weiterer relevanter Stand der Technik ist bei MURPHY-CHUTORIAN, Erik; TRI-VEDI, Mohan Manubhai. Head pose estimation in Computer vision: A survey. IEEE transactions on pattern analysis and machine intelligence, 2008, 31. Jg., Nr. 4, S. 607-626. DOI: 10.1109/TPAMI.2008.106 und in der DE 10 2007 055 912 A1 beschrieben.
Eine Aufgabe der Erfindung besteht in der Bereitstellung einer Augenliderfassungsvorrichtung, die die Positionen des oberen und unteren Augenlids mit hoher Genauigkeit selbst beim Auftreten eines Rote-Augen-Phänomens oder einer beispielsweise durch eine Brille verursachten Störung mit reduziertem Suchaufwand erfassen kann.
Lösung der Aufgabe
Erfindungsgemäß ist eine Augenliderfassungsvorrichtung wie in den Patentansprüchen definiert vorgesehen, die Positionen eines oberen und unteren Augenlids aus einem Gesichtsbild erfasst. Die Augenliderfassungsvorrichtung erfasst die Positionen des oberen und unteren Augenlids auf der Grundlage einer Richtung eines Gesichts, die durch Einpassen von aus dem Gesichtsbild erfassten Merkmalspunkten des Gesichts in ein dreidimensionales Gesichtsmodell geschätzt wird.
Gemäß der Augenliderfassungsvorrichtung der Erfindung werden die Merkmalspunkte des Gesichts in das dreidimensionale Gesichtsmodell zum Schätzen der Richtung des Gesichts eingepasst. Die Bereiche, in denen das obere und untere Augenlid vorhanden sind, sind auf der Grundlage der Richtung des Gesichts beschränkt. Werden die Positionen des oberen und unteren Augenlids auf der Grundlage der geschätzten Richtung des Gesichts erfasst, ist es daher möglich, die Positionen des oberen und unteren Augenlids lediglich aus den Bereichen zu erfassen, in denen das obere und untere Augenlid vorhanden sind. Es ist möglich, den Einfluss des Rote-Augen-Phänomens, das in dem Bereich auftritt, in dem das obere und untere Augenlid fehlen, oder eine durch eine Brille verursachte Störung auszuschließen. Infolgedessen ist es möglich, die Positionen des oberen und unteren Augenlids mit großer Genauigkeit zu erfassen.
Ein oberes und unteres Augenlidkurvenmodell, das anhand der Richtung des Gesichts geschätzt wird, kann in ein Kantenbild eingepasst werden, in dem eine Kante des Gesichtsbilds verstärkt ist, um die Positionen des oberen und unteren Augenlids zu erfassen. Da das obere und untere Augenlidkurvenmodell, das anhand der Richtung des Gesichts geschätzt ist, in das Kantenbild eingepasst wird, ist es möglich, die Positionen des oberen und unteren Augenlids geeignet zu erfassen.
Ein Erfassungswinkelbereich des oberen und unteren Augenlids in einer Oben-Unten-Richtung kann auf der Grundlage der Richtung des Gesichts während eines Fahrens begrenzt werden. Da der Fahrer nach vorne schaut, sind ungeachtet der Richtung des Gesichts während des Fahrens die Bereiche spezifiziert, in denen das obere und untere Augenlid vorhanden sind. Ist der Erfassungswinkelbereich des oberen und unteren Augenlids in der Oben-Unten-Richtung auf der Grundlage der Richtung des Gesichts während des Fahrens beschränkt, ist es daher möglich, den Einfluss des Rote-Augen-Phänomens, das in dem Bereich auftritt, in dem das obere und untere Augenlid fehlen, oder eine durch eine Brille verursachte Störung geeignet auszuschließen.
Ist in diesem Fall die Richtung des Gesichts eine Aufwärtsrichtung, kann ein oberer Grenzwertwinkel des oberen Augenlids geringer sein als in dem Fall, wenn die Richtung des Gesichts eine Nach-Vorne-Richtung ist. Ist die Richtung des Gesichts eine Aufwärtsrichtung, schaut der Fahrer wahrscheinlich nach unten. Ist der obere Grenzwertwinkel des oberen Augenlids in diesem Fall geringer als in einem Fall, wenn die Richtung des Gesichts die Nach-Vorne-Richtung ist, ist es daher möglich, den Einfluss des Rote-Augen-Phänomens, das in dem Bereich auftritt, in dem das obere und untere Augenlid fehlen, oder eine durch eine Brille verursachte Störung geeignet auszuschließen.
Ist die Richtung des Gesicht eine Abwärtsrichtung, kann ein unterer Grenzwertwinkel des oberen und unteren Augenlids größer sein als in einem Fall, wenn die Richtung des Gesichts eine Nach-Vorne-Richtung ist. Ist die Richtung des Gesichts die Abwärtsrichtung, schaut der Fahrer wahrscheinlich nach oben. Ist der untere Grenzwertwinkel des oberen und unteren Augenlids in diesem Fall größer als in dem Fall, wenn die Richtung des Gesichts die Nach-Vorne-Richtung ist, ist es daher möglich, den Einfluss des Rote-Augen-Phänomens, das in dem Bereich auftritt, in dem das obere und untere Augenlid fehlen, oder eine durch eine Brille verursachte Störung geeignet auszuschließen.
Vorteilhafte Wirkungen der Erfindung
Erfindungsgemäß können die Positionen des oberen und unteren Augenlids mit großer Genauigkeit selbst beim Auftreten eines Rote-Augen-Phänomens oder einer beispielsweise durch eine Brille verursachten Störung erfasst werden.
Figurenliste

1 zeigt ein Blockschaubild des Aufbaus einer Augenliderfassungsvorrichtung gemäß einem Ausführungsbeispiel.
2 zeigt ein Ablaufdiagramm eines Rote-Augen-Erfassungsprozesses der Augenliderfassungsvorrichtung gemäß dem Ausführungsbeispiel.
3 zeigt eine Darstellung eines Beispiels von durch einen Bildsensor aufgenommenen Bildinformationen.
4 zeigt eine Darstellung eines Beispiels einer Gesichtspositionsregion.
5 zeigt eine Darstellung eines Beispiels der Kontur eines 3D-Gesichtsmodells.
6 zeigt eine Darstellung eines dreidimensionalen Augenmodells, wenn die Richtung des Gesichts die Nach-Vorne-Richtung ist.
7 zeigt eine Darstellung eines dreidimensionalen Augenmodells, wenn die Richtung des Gesichts die Aufwärtsrichtung ist.
8 zeigt eine Darstellung eines dreidimensionalen Augenmodells, wenn die Richtung des Gesichts die Abwärtsrichtung ist.
9 zeigt eine Darstellung der Kontur eines Verfahrens zur Erfassung des oberen und unteren Augenlids.
10 zeigt eine Darstellung der Kontur eines Fehlers bei der Erfassung der Positionen des oberen und unteren Augenlids.

Beschreibung der Ausführungsbeispiele
Hiernach wird eine Augenliderfassungsvorrichtung gemäß einem Ausführungsbeispiel der Erfindung beschrieben. In den Zeichnungen sind gleiche oder äquivalente Komponenten mit denselben Bezugszeichen bezeichnet, und ihre Beschreibung wird nicht wiederholt.
Die Augenliderfassungsvorrichtung gemäß diesem Ausführungsbeispiel ist beispielsweise in einer Fahrunterstützungssteuervorrichtung vorgesehen, die den Grad der Schläfrigkeit des Fahrers aus dem Grad der Augenöffnung schätzt, der Anhand der Positionen des oberen und unteren Augenlids berechnet wird, und eine Fahrzeug-Fahrunterstützungssteuerung durchführt. Die Positionen des oberen und unteren Augenlids sind die Position des oberen Augenlids und die Position des unteren Augenlids.
1 zeigt ein Blockschaltbild des Aufbaus der Augenliderfassungsvorrichtung gemäß dem Ausführungsbeispiel. Wie in 1 gezeigt, umfasst eine Augenliderfassungsvorrichtung 1 gemäß dem Ausführungsbeispiel einen Bildsensor 10, einen Fahrzeuggeschwindigkeitssensor 20 und eine elektronische Steuereinheit (ECU) 30.
Der Bildsensor 10 nimmt das Bild des Gesichts des Fahrers auf. Beispielsweise wird eine CCD-Kamera als Bildsensor 10 verwendet, die an einer Lenksäule des Fahrzeugs angebracht ist. Das durch den Bildsensor 10 aufgenommene Bild (Gesichtsbild) enthält Bildinformationen, die beispielsweise die Position- oder Farbinformationen jedes Bildelements angeben. Der Bildsensor 10 gibt die Bildinformationen des aufgenommenen Bildes zu der ECU 30 aus.
Der Fahrzeuggeschwindigkeitssensor 20 misst die Geschwindigkeit des Fahrzeugs. Der Fahrzeuggeschwindigkeitssensor 20 misst beispielsweise die Rotationsgeschwindigkeit jedes Fahrzeugrads zur Messung der Geschwindigkeit des Fahrzeugs. Dann gibt der Fahrzeuggeschwindigkeitssensor 20 die gemessene Fahrzeuggeschwindigkeit zu der ECU 30 aus.
Die ECU 30 ist ein Computer einer Fahrzeugvorrichtung, die eine elektronische Steuerung durchführt, und beispielsweise eine Zentralverarbeitungseinheit (CPU), einen Speicher, wie einen Nur-Lese-Speicher (ROM) oder einen Speicher mit wahlfreiem Zugriff (RAM) und eine Eingabe-/Ausgabeschnittstelle enthält.
Die ECU 30 ist mit dem Bildsensor 10 und dem Fahrzeuggeschwindigkeitssensor 20 verbunden und enthält eine Fahrzeuggeschwindigkeitsbestimmungseinheit 31, eine Gesichtspositions- und Gesichtmerkmalspunkterfassungseinheit 32, eine Gesichtsposeschätzeinheit 33, eine Augenlidbereicheinstelleinheit 34 und eine Augenliderfassungseinheit 35.
Die Fahrzeuggeschwindigkeitsbestimmungseinheit 31 weist eine Funktion der Bestimmung auf, ob das Fahrzeug fährt. Ist die aus dem Fahrzeuggeschwindigkeitssensor 20 ausgegebene Fahrzeuggeschwindigkeit beispielsweise größer als 0 km/h, bestimmt die Fahrzeuggeschwindigkeitsbestimmungseinheit 31, dass das Fahrzeug fährt.
Die Gesichtpositions- und Gesichtsmerkmalspunkterfassungseinheit 32 weist eine Funktion der Erfassung der Merkmalspunkte des Gesichts des Fahrers aus dem durch den Bildsensor 10 aufgenommenen Bild auf. Insbesondere sucht die Gesichtpositions- und Gesichtsmerkmalspunkterfassungseinheit 32 zuerst nach der Position des Gesichts in dem gesamten Bereich des durch den Bildsensor 10 aufgenommenen Bildes unter Verwendung eines statistischen Fahrens, wie eines neuronalen Netzwerkverfahrens oder eines Boosting-Verfahrens. Dann stellt die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 32 eine Gesichtspositionsregion ein, die die gefundene Position des Gesichts enthält, und erfasst die Merkmalspunkte des Gesichts aus der eingestellten Gesichtspositionsregion unter Verwendung des statistischen Verfahrens, wie des neuronalen Netzwerkverfahrens oder des Boosting-Verfahrens. Die Merkmalspunkte des Gesichts enthalten beispielsweise den äußeren Winkel des rechten Auges, den inneren Winkel des rechten Auges, den äußeren Winkel des linken Auges, den inneren Winkel des linken Auges, die Mitte der Nasenhöhle, und das linke und rechte Ende des Mundes. Ein Verfahren zur Erfassen jedes Merkmalspunkts des Gesichts ist außerdem nicht auf das vorstehend angeführte Verfahren beschränkt, und es können andere bekannte Verfahren verwendet werden.
Die Gesichtsposeschätzeinheit 33 hat eine Funktion des Schätzens der Pose (Richtung des Gesichts des Fahrers) aus den durch die Gesichtpositions- und Gesichtsmerkmalspunkterfassungseinheit 32 erfassten Merkmalspunkten des Gesichts. Insbesondere passt die Gesichtsposeschätzeinheit 33 zuerst ein dreidimensionales Gesichtsmodell (3D-Gesichtsmodell) an die Koordinatenpositionen der durch die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 32 erfassten Merkmalspunkte des Gesichts an. Dann schätzt die Gesichtsposeschätzeinheit 33 die Pose (Richtung) des Gesichts des Fahrers aus der Pose des angepassten 3D-Gesichtmodells. Das 3D-Gesichtsmodell enthält ein dreidimensionales Augenmodell und kann beispielsweise die Blickrichtung des dreidimensionalen Augenmodells oder die Positionen des oberen und unteren Augenlids angeben, die das dreidimensionale Augenmodell bedecken.
Die Augenlidbereicheinstelleinheit 34 weist eine Funktion des Einstellens eines oberen Augenlidpräsenzbereichs, in dem das obere Augenlid vorhanden ist, und eines untern Augenlidpräsenzbereichs, in dem das untere Augenlid vorhanden ist, auf der Grundlage der durch die Gesichtsposeschätzeinheit 33 geschätzten Pose des Gesichts auf. Es wird berücksichtigt, dass der Fahrer während des Fahrens ungeachtet des Winkels der Richtung des Gesichts in der Oben-Unten-Richtung nach vorne schaut. Daher werden während des Fahrens der obere Augenlidpräsenzbereich und der untere Augenlidpräsenzbereich auf der Grundlage des Winkels der Richtung des Gesichts in der Oben-Unten-Richtung bestimmt. Schaut der Fahrer während des Fahrens nach oben oder unten, ist der Öffnungswinkel des Augenlids außerdem geringer als in dem Fall, wenn der Fahrer nach vorne schaut. Daher stellt die Augenlidbereicheinstelleinheit 34 den oberen Augenlidpräsenzbereich und den unteren Augenlidpräsenzbereich auf der Grundlage der durch die Gesichtsposeschätzeinheit 33 geschätzten Pose (Richtung des Gesichts) ein. Der obere Augenlidpräsenzbereich und der untere Augenlidpräsenzbereich sind in dem dreidimensionalen Augemodell durch Winkelbereiche dargestellt. Die Augenlidbereicheinstelleinheit 34 projiziert den oberen Augenlidpräsenzbereich und den unteren Augenlidpräsenzbereich, die in dem dreidimensionalen Augenmodell durch die Winkelbereiche dargestellt sind, auf die durch die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 32 eingestellte zweidimensionale Gesichtspositionsregion, wodurch die zweidimensionalen oberen und unteren Augenlidpräsenzbereiche in der Gesichtspositionsregion eingestellt werden.
Die Augenliderfassungseinheit 35 weist eine Funktion der Erfassung der Positionen des oberen und unteren Augenlids in den durch die Augenlidbereicheinstelleinheit 34 eingestellten oberen und unteren Augenlidpräsenzbereichen auf. Insbesondere wendet die Augenliderfassungseinheit 35 beispielsweise ein Sobel-Filter bei der durch die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 32 eingestellten Gesichtspositionsregion zur Erzeugung eines Kantenbildes an, bei dem es sich um ein kantenverstärktes Bild handelt. Außerdem projiziert die Augenliderfassungseinheit 35 eine Vielzahl von Kurven, die die Merkmalspunkte, wie den äußeren Winkel des Auges und den inneren Winkel des Auges, aufweisen, die durch die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 32 erfasst sind, als Startpunkt und Endpunkt auf das Kantenbild in dem durch die Augenlidbereicheinstelleinheit 34 eingestellten oberen Augenlidpräsenzbereich und dem durch die Augenlidbereicheinstelleinheit 34 eingestellten unteren Augenlidpräsenzbereich. Dann erfasst die Augenliderfassungseinheit 35 die Positionen des oberen und unteren Augenlids aus der Stärke der Kante (dem Bildelementwert des Kantenbildes) auf den Kurven. Das heißt, die Augenliderfassungseinheit 35 passt die Vielzahl von Kurven (die Kurvenmodelle des oberen und unteren Augenlids), die auf den oberen Auglidpräsenzbereich und den unteren Augenlidpräsenzbereich projiziert sind, in das Kantenbild zur Erfassung der Positionen des oberen und unteren Augenlids ein. Ein Verfahren der Erfassung der Positionen des oberen und unteren Augenlids ist nicht auf das vorstehend beschriebene Verfahren beschränkt, und es können andere bekannte Verfahren verwendet werden.
Als nächstes wird die Arbeitsweise der Augenliderfassungsvorrichtung 1 gemäß dem Ausführungsbeispiel beschrieben. 2 zeigt ein Ablaufdiagramm eines Augenliderfassungsprozesses der Augenliderfassungsvorrichtung gemäß dem Ausführungsbeispiel. Der in 2 gezeigte Prozess wird unter der Steuerung der ECU 30 durchgeführt. Beispielsweise wird der Prozess in einem vorbestimmten Intervall über einen Zeitabschnitt ab der Zeit, wenn eine Zündung eingeschaltet wird, bis zu der Zeit wiederholt durchgeführt, wenn die Zündung ausgeschaltet wird.
Wie in 2 gezeigt, gibt die ECU 30 zuerst das durch den Bildsensor 10 aufgenommene Bild des Fahrers ein (Schritt S1). In Schritt S1 gibt die ECU 30 ein in 3 gezeigtes Bild F1 ein, das durch den Bildsensor 10 aufgenommen wird. 3 zeigt ein Beispiel des durch den Bildsensor aufgenommenen Bildes.
Dann bestimmt die ECU 30, ob das Fahrzeug fährt (Schritt S2). Der Prozess in Schritt S2 wird durch die Fahrzeuggeschwindigkeitsbestimmungseinheit 31 durchgeführt. Die Fahrzeuggeschwindigkeitsbestimmungseinheit 31 bestimmt, dass das Fahrzeug fährt, wenn die aus dem Fahrzeuggeschwindigkeitssensor 20 ausgegebene Fahrzeuggeschwindigkeit größer als 0 km/h ist, und bestimmt, dass das Fahrzeug nicht fährt, wenn die aus dem Fahrzeuggeschwindigkeitssensor 20 ausgegebene Fahrzeuggeschwindigkeit 0 km/h beträgt.
Wird bestimmt, dass das Fahrzeug nicht fährt (Schritt S2: NEIN), beendet die ECU 30 den Augenliderfassungsprozess.
Wird andererseits bestimmt, dass das Fahrzeug fährt (Schritt S2: JA), erfasst die ECU 30 die Position des Gesichts und die Merkmalspunkte des Gesichts (S3). Der Prozess in Schritt S3 wird durch die Gesichtpositions- und Gesichtsmerkmalspunkterfassungseinheit 32 durchgeführt. Die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 32 sucht nach der Position des Gesichts im gesamten Bereich des in Schritt S1 eingegebenen Bildes F1 unter Verwendung des statistischen Verfahrens, wie des neuronalen Netzwerkverfahrens oder Boosting-Verfahrens. Dann stellt die Gesichtpositions- und Gesichtsmerkmalspunkterfassungseinheit 32 eine Gesichtpositionsregion G1 ein. 4 zeigt eine Darstellung des Profils eines Gesichtsmerkmalspunkterfassungsverfahrens und zeigt die Gesichtspositionsregion G1. Wie in 4 gezeigt, enthält die Gesichtpositionsregion G1 die gefundene Position des Gesichts, und ist eine Region des Bildes F1. Dann erfasst die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 32 die Merkmalspunkte, wie den äußeren Winkel des rechten Auges, den inneren Winkel des rechten Auges, den äußeren Winkel des linken Auges, den inneren Winkel des linken Auges, die Mitte der Nasenhöhle und das linke und das rechte Ende des Mundes in der eingestellten Gesichtspositionsregion G1 als Suchbereich unter Verwendung des statistischen Verfahrens, wie des neuronalen Netzwerkverfahrens oder Boosting-Verfahrens.
Dann schätzt die ECU 30 die Pose (Richtung) des Gesichts des Fahrers anhand der Merkmalspunkte des Gesichts, die in Schritt S3 erfasst werden (Schritt S4). Schritt S4 wird durch die Gesichtsposeschätzeinheit 33 durchgeführt. Zuerst passt die Gesichtsposeschätzeinheit 33 das 3D-Gesichtsmodell an die Koordinatenpositionen der durch die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 32 in Schritt S3 erfassten Merkmalspunkte des Gesichts an.
5 zeigt eine Darstellung eines Beispiels der Kontur des 3D-Gesichtsmodells. Wie in 5 gezeigt, ist die Oben-Unten-Richtung des Gesichts in dem 3D-Gesichtmodell ein Ym-Richtung, die Links-Rechts-Richtung des Gesichts ist eine Xm-Richtung, die Vorne-Hinten-Richtung des Gesichts ist eine Zm-Richtung, eine Drehung um die Ym-Achse ist eine Gierbewegung, eine Drehung um die Xm-Achse ist eine Ganghöhenbewegung, und eine Drehung um die Zm-Achse ist eine Rollbewegung. Daher hat das 3D-Gesichtsmodell eine Entfernung vom Drehmittelpunkt des Kopfes für jeden Merkmalspunkt. Die Gesichtsposeschätzeinheit 33 passt das 3D-Gesichtsmodell an die Merkmalspunkte des Gesichts an und stellt die Position und Rotation (Gierrate, Ganghöhe und Rollausmaß), die am Besten zueinander passen, als die Pose des Gesichts zu diesem Zeitpunkt ein. Ein Verfahren zum Schätzen der Pose des Gesichts ist nicht darauf beschränkt, und es können andere bekannte Verfahren verwendet werden. Dann schätzt die Gesichtsposeschätzeinheit 33 die Pose (Richtung des Gesichts des Fahrers) anhand der Pose des angepassten 3D-Gesichtsmodells.
Dann stellt die ECU 30 den oberen Augenlidpräsenzbereich und den unteren Augenlidpräsenzbereich auf der Grundlage der in Schritt S3 geschätzten Pose (Richtung des Gesichts) (Schritt S5) ein. Schritt S5 wird durch die Augenlidbereicheinstelleinheit 34 durchgeführt. Zuerst stellt die Augenlidbereicheinstelleinheit 34 den oberen Augenlidpräsenzbereich und den unteren Augenlidpräsenzbereich, die in dem dreidimensionalen Augenmodell durch Winkelbereiche dargestellt sind, auf der Grundlage der durch die Gesichtsposeschätzeinheit 33 in Schritt S3 geschätzten Richtung des Gesichts ein.
Als nächstes wird ein Beispiel des Einstellens des oberen Augenlidpräsenzbereichs und des unteren Augenlidpräsenzbereichs unter Bezugnahme auf die 6 bis 8 beschrieben. 6 zeigt eine Darstellung des dreidimensionalen Augenmodells, wenn die Richtung des Gesichts die Nach-Vorne-Richtung ist. 7 zeigt eine Darstellung des dreidimensionalen Augenmodells, wenn die Richtung des Gesichts die Aufwärtsrichtung ist. 8 zeigt eine Darstellung des dreidimensionalen Augenmodells, wenn die Richtung des Gesichts die Abwärtsrichtung ist. In den 6 bis 8 gibt O die Mitte des Augapfels im dreidimensionalen Augenmodell an, E_Upr gibt das obere Augenlid an, E_Lwr gibt das untere Augenlid an, Φ_Upr gibt die Position des oberen Augenlids an und Φ_Lwr gibt die Position des unteren Augenlids an. Die folgenden oberen und unteren Augenlidpräsenzbereiche stellen Beispiele zur Veranschaulichung dar, und andere Werte können verwendet werden.
Zuerst bestimmt die Augenlidbereicheinstelleinheit 34, ob die Richtung des Gesichts, die durch die Gesichtsposeschätzeinheit 33 in Schritt S3 geschätzt wird, die Nach-Vorne-Richtung, die Aufwärtsrichtung oder die Abwärtsrichtung ist. Unter der Annahme, dass der Winkel der Richtung des Gesichts bezüglich der Oben-Unten-Richtung 0° beträgt, wenn der Fahrer geradeaus schaut, wird bei der Bestimmung ein Fall, in dem der Winkel der Richtung des Gesichts bezüglich der Oben-Unten-Richtung größer oder gleich -10° und kleiner oder gleich 10° ist, als Nach-Vorne-Richtung bestimmt, ein Fall, in dem der Winkel der Richtung des Gesichts bezüglich der Oben-Unten-Richtung größer als 10° ist, als Aufwärtsrichtung bestimmt, und ein Fall, in dem der Winkel der Richtung des Gesichts bezüglich der Oben-Unten-Richtung kleiner als -10° ist, als Abwärtsrichtung bestimmt.
Wird bestimmt, dass die Richtung des Gesichts die Nach-Vorne-Richtung ist, stellt die Augenlidbereicheinstelleinheit 34 den oberen Augenlidpräsenzbereich, der die Position Φ_Upr des oberen Augenlids enthält, größer oder gleich -45° und kleiner oder gleich 55° (-45° ≤ Φ_Upr ≤ 55°) ein, und stellt den unteren Augenlidpräsenzbereich, der die Position Φ_Lwr des unteren Augenlids enthält, größer oder gleich -45° und kleiner oder gleich -15° (-45° ≤ Φ_Lwr ≤ -15°) ein, wie es in 6 gezeigt ist.
Wird bestimmt, dass die Richtung des Gesichts die Aufwärtsrichtung ist, stellt die Augenlidbereicheinstelleinheit 34 den oberen Augenlidpräsenzbereich mit der Position Φ_Upr des oberen Augenlids auf größer oder gleich -45° und kleiner oder gleich 30° (-45° ≤ Φ_Upr ≤ 30°) ein, und stellt den unteren Augenlidpräsenzbereich mit der Position Φ_Lwr des unteren Augenlids auf größer oder gleich -45° und kleiner oder gleich -15° (-45° ≤ Φ_Lwr ≤ -15°) ein, wie es in 7 gezeigt ist. Das heißt, wird bestimmt, dass die Richtung des Gesichts die Aufwärtsrichtung ist, ist der obere Grenzwinkel des oberen Augenlidpräsenzbereichs 25° kleiner als bei der Bestimmung, dass die Richtung des Gesichts die Nach-Vorne-Richtung ist.
Wird bestimmt, dass die Richtung des Gesichts die Abwärtsrichtung ist, stellt die Augenlidbereicheinstelleinheit 34 den oberen Augenlidpräsenzbereich mit der Position Φ_Upr des oberen Augenlids auf größer oder gleich -30° und kleiner oder gleich 55° (-30° ≤ Φ_Upr ≤ 55°) ein, und stellt den unteren Augenlidpräsenzbereich mit der Position Φ_Lwr des untern Augenlids auf größer oder gleich -30° und kleiner oder gleich -15° (-30° ≤ Φ_Lwr ≤ -15°) ein, wie es in 8 gezeigt ist. Das heißt, wird bestimmt, dass die Richtung des Gesichts die Abwärtsrichtung ist, ist der untere Grenzwinkel der oberen und unteren Augenlidpräsenzbereiche 15° größer als bei der Bestimmung, dass die Richtung des Gesichts die Nach-Vorne-Richtung ist.
Sind der obere Augenlidpräsenzbereich und der untere Augenlidpräsenzbereich entsprechend der Richtung des Gesichts auf diese Weise eingestellt, projiziert die Augenlidbereicheinstelleinheit 34 den oberen Augenlidpräsenzbereich und den unteren Augenlidpräsenzbereich, die in dem dreidimensionalen Augenmodell durch die Winkelbereiche dargestellt sind, auf die dreidimensionale Gesichtpositionsregion, die durch die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 32 in Schritt S3 eingestellt wird, um den oberen Augenlidpräsenzbereich und den unteren Augenlidpräsenzbereich in der Gesichtspositionsregion einzustellen.
Dann erfasst die ECU 30 die Position des oberen Augenlids und die Positionen des unteren Augenlids in dem oberen Augenlidpräsenzbereich und dem unteren Augenlidpräsenzbereich, die durch die Augenlidbereicheinstelleinheit 34 in Schritt S5 eingestellt werden (Schritt S6). Der Prozess in Schritt S6 wird durch die Augenliderfassungseinheit 35 durchgeführt.
Als nächstes wird ein Verfahren zur Erfassung des oberen und unteren Augenlids in Schritt S4 unter Bezugnahme auf 9 beschrieben. 9 zeigt eine Darstellung der Kontur des Verfahrens der Erfassung des oberen und unteren Augenlids. Wie in 9 gezeigt, wendet die Augenliderfassungseinheit 35 beispielsweise das Sobel-Filter bei der Gesichtspositionsregion G1, die durch die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 32 in Schritt S3 eingestellt wird, zur Erzeugung eines Kantenbildes G3 an, das ein kantenverstärktes Bild ist. Dann projiziert die Augenliderfassungseinheit 35 eine Vielzahl von Kurven, die die Merkmalspunkte enthalten, wie den in Schritt S3 erfassten äußeren Winkel des Auges und inneren Winkel des Auges, als Startpunkt und Endpunkt in dem oberen Augenlidpräsenzbereich und dem unteren Augenlidpräsenzbereich, die durch die Augenlidbereicheinstelleinheit 34 in Schritt S5 eingestellt sind. Beispielsweise wird als Kurve eine Bezier-Kurve verwendet. Dann projiziert die Augenliderfassungseinheit 35 eine Kurve als unteren Augenlidkandidaten lediglich auf den durch die Augenlidbereicheinstelleinheit 34 eingestellten unteren Augenlidpräsenzbereich, und projiziert eine Kurve als oberen Augenlidkandidaten lediglich auf den durch die Augenlidbereicheinstelleinheit 34 eingestellten oberen Augenlidpräsenzbereich. Das heißt, die Augenliderfassungseinheit 35 projiziert die Kurve nicht als den unteren Augenlidkandidaten außerhalb des durch die Augenlidbereicheinstelleinheit 34 eingestellten unteren Augenlidpräsenzbereichs, und projiziert die Kurve nicht als oberen Augenlidkandidaten außerhalb des durch die Augenlidbereicheinstelleinheit 34 eingestellten oberen Augenlidpräsenzbereichs. Da beispielsweise eine in 9 gezeigte Kurve q1 über dem durch die Augenlidbereicheinstelleinheit 34 eingestellten unteren Augenlidpräsenzbereich angeordnet ist, wird sie nicht als unterer Augenlidkandidat projiziert. Da außerdem eine in 9 gezeigte Kurve q2 unter dem durch die Augenlidbereicheinstelleinheit 34 eingestellten oberen Augenlidpräsenzbereich und unteren Augenlidpräsenzbereich angeordnet ist, wird sie nicht als oberer Augenlidkandidat oder unterer Augenlidkandidat projiziert. Da eine in 9 gezeigte Kurve q3 über dem durch die Augenlidbereicheinstelleinheit 34 eingestellten oberen Augenlidpräsenzbereich und unteren Augenlidpräsenzbereich angeordnet ist, wird sie nicht als oberer Augenlidkandidat oder unterer Augenlidkandidat projiziert.
Wenn eine Vielzahl von Kurven auf diese Weise auf das Kantenbild G3 projiziert sind, berechnet die Augenliderfassungseinheit 35 die Stärke der Kante (den Bildelementwert des Kantenbildes) auf den Kurven und erfasst die Kurven mit großer Kantenstärke als obere Augenlidkurve, die die Position des oberen Augenlids angibt, und untere Augenlidkurve, die die Position des unteren Augenlids angibt. Dann endet der Augenliderfassungsprozess.
Als nächstes wird ein Fall unter Bezugnahme auf 10 beschrieben, bei dem die Augenlidbereicheinstelleinheit 34 den oberen Augenlidpräsenzbereich und den unteren Augenlidpräsenzbereich nicht einstellt, und die Augenliderfassungseinheit 35 die Positionen des oberen und unteren Augenlids erfasst. 10 zeigt eine Darstellung der Kontur eines Fehlers bei der Erfassung der Positionen des oberen und unteren Augenlids. Wie in 10(a) gezeigt, wird beim Auftreten eines Rote-Augen-Phänomens in der Nacht eine unnötige Kante in der Nähe des roten Auges erzeugt. Die unnötige Kante, die in der Nähe des roten Auges erzeugt wird, wird wahrscheinlich fälschlicherweise als die Positionen des oberen und unteren Augenlids erfasst. Wie es in den 10(b) und 10(c) gezeigt ist, werden, wenn der Fahrer eine Brille trägt, die Kanten des Brillenrahmens verstärkt. Daher werden in manchen Fällen die Brillenrahmen fälschlicherweise als die Positionen des oberen und unteren Augenlids erfasst.
Bei diesem Ausführungsbeispiel erfasst die Augenliderfassungseinheit 35 die Positionen des oberen und unteren Augenlids allerdings in dem durch die Augenlidbereicheinstelleinheit 34 eingestellten oberen Augenlidpräsenzbereich und unteren Augenlidpräsenzbereich. Daher ist es möglich, in 10 gezeigte Fehler bei der Erfassung der Positionen des oberen und unteren Augenlids zu verhindern. Da beispielsweise die in 9 gezeigte Kurve q1 über dem durch die Augenlidbereicheinstelleinheit 34 eingestellten unteren Augenlidpräsenzbereich angeordnet ist, wird sie nicht als unterer Augenlidkandidat projiziert. Daher wird eine unnötige Kante, die in der Nähe des roten Auges erzeugt wird, anders als in 10(a) nicht fälschlicherweise als die Positionen des oberen und unteren Augenlids erfasst. Da die in 9 gezeigte Kurve q2 unter dem durch die Augenlidbereicheinstelleinheit 34 eingestellten unteren Augenlidpräsenzbereich angeordnet ist, wird sie nicht als unterer Augenlidkandidat projiziert. Daher werden die unteren Brillenrahmen anders als in 10(b) nicht fälschlicherweise als die Position des unteren Augenlids erfasst. Da die in 9 gezeigte Kurve q3 über dem durch die Augenlidbereicheinstelleinheit 34 eingestellten oberen Augenlidpräsenzbereich angeordnet ist, wird sie nicht als oberer Augenlidkandidat projiziert. Daher werden die oberen Brillenrahmen anders als in 10(c) nicht fälschlicherweise als die Position des oberen Augenlids erfasst.
Wie vorstehend beschrieben werden gemäß der Augenliderfassungsvorrichtung 1 dieses Ausführungsbeispiels während des Fahrens die oberen und unteren Augenlidpräsenzbereiche, in denen das obere und untere Augenlid vorhanden sind, auf der Grundlage der Richtung des Gesichts eingestellt, und die Positionen des oberen und unteren Augenlids werden in den eingestellten oberen und unteren Augenlidpräsenzbereichen erfasst. Daher ist es möglich, den Einfluss des Rote-Augen-Phänomens, das in dem Bereich auftritt, in dem das obere und untere Augenlid nicht vorhanden sind, oder eine aufgrund einer Brille verursachte Störung auszuschließen. Infolgedessen ist es möglich, die Positionen des oberen und unteren Augenlids mit großer Genauigkeit zu erfassen.
Die Kurven, die die Kandidaten des oberen und unteren Augenlids sind, werden in das Kantenbild in dem oberen Augenlidpräsenzbereich und dem unteren Augenlidpräsenzbereich eingepasst. Daher ist es möglich, die Positionen des oberen und unteren Augenlids genau zu erfassen.
Ist die Richtung des Gesichts die Aufwärtsrichtung, ist der obere Grenzwinkel des oberen Augenlids in dem oberen Augenlidpräsenzbereich kleiner als in dem Fall, wenn die Richtung des Gesichts die Nach-Vorne-Richtung ist. Ist die Richtung des Gesichts die Abwärtsrichtung, ist der untere Grenzwinkel des oberen und unteren Augenlids in dem oberen Augenlidpräsenzbereich und dem unteren Augenlidpräsenzbereich größer als in dem Fall, wenn die Richtung des Gesichts die Nach-Vorne-Richtung ist. Daher ist es möglich, den Einfluss des Rote-Augen-Phänomens, das in dem Bereich auftritt, in dem das obere und untere Augenlid fehlen, oder eine durch eine Brille verursachte Störung auszuschließen.
Vorstehend wurde das Ausführungsbeispiel der Erfindung beschrieben. Die Erfindung ist aber nicht auf das vorstehend beschriebene Ausführungsbeispiel beschränkt. Beispielsweise stellt in dem vorstehend beschriebenen Ausführungsbeispiel die Augenlidbereicheinstelleinheit 34 den oberen Augenlidpräsenzbereich und den unteren Augenlidpräsenzbereich ein, und die Augenliderfassungseinheit 35 erfasst die Positionen des oberen und unteren Augenlids aus dem oberen Augenlidpräsenzbereich und dem unteren Augenlidpräsenzbereich. Allerdings kann eine beliebige Einrichtung zur Erfassung der Positionen des oberen und unteren Augenlids verwendet werden, solange sie die Positionen des oberen und unteren Augenlids auf der Grundlage der Richtung des Gesichts erfassen kann. Beispielsweise können der obere Augenlidpräsenzbereich und der untere Augenlidpräsenzbereich nicht eingestellt sein, die Bereiche, in denen das obere und untere Augenlid in dem Kantenbild vorhanden sind, können anhand der Richtung des Gesichts berechnet werden, und Kurven, die die Kandidaten des oberen und unteren Augenlids darstellen, können in den berechneten Bereich projiziert werden.
Bei dem vorstehend beschriebenen Ausführungsbeispiel stellt die Augenlidbereicheinstelleineinheit 34 den oberen Augenlidpräsenzbereich und den unteren Augenlidpräsenzbereich, die in dem dreidimensionalen Augenmodell durch Winkelbereiche dargestellt sind, ein und stellt dann die zweidimensionalen oberen und unteren Augenlidpräsenzbereiche in der Gesichtspositionsregion ein. Allerdings können die zweidimensionalen oberen und unteren Augenlidpräsenzbereiche in der Gesichtspositionsregion direkt eingestellt werden.
Gewerbliche Anwendbarkeit
Die Erfindung kann als Augenliderfassungsvorrichtung verwendet werden, die die Positionen des oberen und unteren Augenlids aus einem Gesichtsbild erfasst.
Bezugszeichenliste

1:: AUGENLIDERFASSUNGSVORRICHTUNG
10:: BILDSENSOR
20:: FAHRZEUGGESCHWINDIGKEITSSENSOR
30:: ECU
31:: FAHRZEUGGESCHWINDIGKEITSBESTIMMUNGSEINHEIT
32:: GESICHTSPOSITIONS- UND GESICHTSMERKMALSPUNKTERFASSUNGSEINHEIT
33:: GESICHTSPOSESCHÄTZEINHEIT
34:: AUGENLIDBEREICHEINSTELLEINHEIT
35:: AUGENLIDERFASSUNGSEINHEIT
F1:: BILD
G1:: GESICHTSPOSITIONSREGION
G3:: KANTENBILD

Claims

Augenliderfassungsvorrichtung (1), die Positionen eines oberen und unteren Augenlids aus einem Bild (F1) mit einem Gesicht eines Fahrers während des Fahrens in einem Fahrzeug erfasst, mit einer ersten Einrichtung (32) zur Erfassung einer Position des Gesichts, zum Einstellen einer Gesichtspositionsregion (G1) des Bildes (F1), und zur Erfassung von Merkmalspunkten in der Gesichtspositionsregion (G1); einer zweiten Einrichtung (33) zum Schätzen einer Richtung des Gesichts anhand der erfassten Merkmalspunkte durch Einpassen der erfassten Merkmalspunkte des Gesichts in ein dreidimensionales Gesichtsmodell; einer dritten Einrichtung (34) zur Einstellung eines oberen Augenlidpräsenzbereichs und eines unteren Augenlidpräsenzbereichs auf der Grundlage der geschätzten Richtung des Gesichts und zum Projizieren des eingestellten oberen Augenlidpräsenzbereichs und des eingestellten unteren Augenlidpräsenzbereichs auf die eingestellte Gesichtspositionsregion (G1); und einer vierten Einrichtung (35) zur Erfassung der Positionen des oberen und unteren Augenlids jeweils in den in der Gesichtspositionsregion (G1) eingestellten oberen und unteren Augenlidpräsenzbereichen durch Erzeugen eines Kantenbildes (G3) aus dem Bild in der Gesichtspositionsregion (G1) und Projizieren einer Vielzahl von Kurven, die die erfassten Merkmalspunkte enthalten, als obere Augenlidkandidaten in den in der Gesichtspositionsregion (G1) eingestellten oberen Augenlidpräsenzbereich und als untere Augenlidkandidaten in den in der Gesichtspositionsregion (G1) eingestellten unteren Augenlidpräsenzbereich, wobei die dritte Einrichtung zumindest den oberen Augenlidpräsenzbereich in einer Oben-Unten-Richtung auf der Grundlage der Oben-Unten-Richtung des Gesichts während des Fahrens begrenzt.
Augenliderfassungsvorrichtung (1) nach Anspruch 1, wobei, wenn die Richtung des Gesichts eine Aufwärtsrichtung ist, die dritte Einrichtung einen oberen Grenzwinkel des oberen Augenlidpräsenzbereichs kleiner macht, als wenn die Richtung des Gesichts eine Nach-Vorne-Richtung ist.
Augenliderfassungsvorrichtung (1) nach Anspruch 1, wobei, wenn die Richtung des Gesichts eine Abwärtsrichtung ist, die dritte Einrichtung einen unteren Grenzwinkel des oberen und unteren Augenlidpräsenzbereichs größer macht, als wenn die Richtung des Gesichts eine Nach-Vorne-Richtung ist.