DE112011105439T5

DE112011105439T5 - Rote-Augen-Erfassungsvorrichtung

Info

Publication number: DE112011105439T5
Application number: DE112011105439.4T
Authority: DE
Inventors: Kiyoto Hanita; Yoshinao Takemae
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2011-07-11
Filing date: 2011-07-11
Publication date: 2014-03-27
Anticipated expiration: 2031-07-12
Also published as: JP5737400B2; WO2013008303A1; JPWO2013008303A1; US20140147019A1; DE112011105439B4; US9177202B2

Abstract

Eine Aufgabe der Erfindung besteht in der Bereitstellung einer Rote-Augen-Erfassungsvorrichtung, die ein rotes Auge mit hoher Genauigkeit selbst dann erfassen kann, wenn die Form des roten Auges in Abhängigkeit vom Grad der Augenöffnung variiert. Eine mit einem Bildsensor 10 verbundene ECU 20 enthält eine Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 21, die die Merkmalspunkte des Gesichts des Fahrers erfasst, eine Rote-Augen-Erfassungseinheit 22, die das rote Auge mit einem Vorlagenvergleich unter Verwendung einer Rote-Augen-Vorlage erfasst, eine Augenöffnungsgradberechnungseinheit 23, die den Grad der Augenöffnung berechnet, eine relative Augenöffnungsgradberechnungseinheit 24, die den relativen Grad der Augenöffnung berechnet, der in einem Auge-Geschlossen-Zustand 0% und in einem Auge-Offen-Zustand 100% ist, und eine Rote-Augen-Vorlagen-Aktualisierungseinheit 25, die eine Rote-Augen-Vorlage auf der Grundlage des relativen Grads der Augenöffnung erzeugt und eine für den nächsten Vorlagenvergleich verwendete Rote-Augen-Vorlage mit der erzeugten Rote-Augen-Vorlage aktualisiert.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine Rote-Augen-Erfassungsvorrichtung, die ein rotes Auge mit einem Vorlagenvergleich unter Verwendung einer Rote-Augen-Vorlage erfasst.
Technischer Hintergrund
In der verwandten Technik wird das Gesichtsbild des Fahrers durch eine Kamera aufgenommen, die an einer Lenksäule des Fahrzeugs befestigt ist, die Position des schwarzen Auges des Fahrers wird aus dem aufgenommenen Bild erfasst, und die Blickrichtung des Fahrers wird erfasst, um einen Unfall des Fahrzeugs zu vermeiden.
Allerdings tritt beispielsweise in der Nacht ein Rote-Augen-Phänomen auf, wenn die Lichtmenge außerhalb des Fahrzeugs gering ist. Daher muss das rote Auge des Fahrers anhand von Bildinformationen erfasst werden, um die Blickrichtung des Fahrers in der Nacht zu erfassen, wenn die Lichtmenge außerhalb des Fahrzeugs gering ist.
In der verwandten Technik wird das rote Auge durch einen Vorlagenvergleich unter Verwendung einer Rote-Augen-Vorlage erfasst (siehe beispielsweise Patentliteratur 1).
Zitierungsliste
Patentliteratur

[Patentliteratur 1] Ungeprüfte japanische Patentanmeldungsveröffentlichung Nr. 2007-281847

Kurzzusammenfassung der Erfindung
Technische Aufgabe
Die Form des roten Auges im Bild variiert allerdings in Abhängigkeit vom Grad der Augenöffnung. Wird daher ein Vorlagenvergleich unter Verwendung einer einzelnen Rote-Augen-Vorlage durchgeführt, kann das rote Auge durch den Grad der Augenöffnung nicht geeignet erfasst werden. Wird der Vorlagenvergleich andererseits unter Verwendung einer Vielzahl von Rote-Augen-Vorlagen durchgeführt, die allen Augenöffnungsgraden entsprechen, verringert sich die Verarbeitungsgeschwindigkeit signifikant, was nicht praktikabel ist.
Eine Aufgabe der Erfindung besteht in der Bereitstellung einer Rote-Augen-Erfassungsvorrichtung, die das rote Auge mit hoher Genauigkeit selbst dann erfassen kann, wenn die Form des roten Auges in Abhängigkeit vom Grad der Augenöffnung variiert.
Lösung der Aufgabe
Eine erfindungsgemäße Rote-Augen-Erfassungsvorrichtung erfasst ein rotes Auge aus einem Gesichtsbild mit einem Vorlagenvergleich unter Verwendung einer Rote-Augen-Vorlage und enthält eine Rote-Augen-Vorlagenerzeugungseinrichtung zur Erzeugung der dem Grad der Augenöffnung entsprechenden Rote-Augen-Vorlage.
Gemäß der Rote-Augen-Erfassungsvorrichtung der Erfindung wird die Rote-Augen-Vorlage entsprechend dem Grad der Augenöffnung erzeugt. Selbst wenn sich die Form des roten Auges in Abhängigkeit vom Grad der Augenöffnung ändert, ist es daher möglich, das rote Auge mit hoher Genauigkeit zu erfassen.
In diesem Fall kann die Rote-Augen-Vorlagenerzeugungseinrichtung die für den nächsten Vorlagenvergleich verwendete Rote-Augen-Vorlage durch die erzeugte Rote-Augen-Vorlage aktualisieren. Da mit diesem Aufbau die dem Grad der Augenöffnung entsprechende Rote-Augen-Vorlage beim nächsten Vorlagenvergleich verwendet werden kann, ist es möglich, die Genauigkeit der Erfassung des roten Auges zu verbessern.
Die Rote-Augen-Erfassungsvorrichtung kann ferner eine Augenöffnungsgradberechnungseinrichtung zur Berechnung eines Grads der Augenöffnung aus dem Bild enthalten. Da so der Grad der Augenöffnung direkt aus dem Bild berechnet wird, ist es möglich, die Zuverlässigkeit des Grads der Augenöffnung zu verbessern.
In diesem Fall kann die Augenöffnungsgradberechnungseinrichtung den Grad der Augenöffnung beruhend auf einem relativen Augenöffnungsgrad berechnen, der in einem Augen-Geschlossen-Zustand 0% und in einem Augen-Offen-Zustand 100% beträgt. Die Distanz vom oberen Augenlid zum unteren Augenlid im Gesichtsbild variiert in Abhängigkeit von der Entfernung von der Kamera oder den Unterschieden zwischen Individuen. Wird der Grad der Augenöffnung durch den relativen Grad der Augenöffnung dargestellt, ist es somit möglich, den Grad der Augenöffnung zu normalisieren, obwohl die Distanz vom oberen Augenlid zum unteren Augenlid im Bild in Abhängigkeit von der Entfernung von der Kamera oder den Unterschieden zwischen Individuen variiert. Daher ist es möglich, die Rote-Augen-Vorlage geeignet zu erzeugen.
Die Rote-Augen-Erfassungsvorrichtung kann ferner eine Schläfrigkeitsgradschätzeinrichtung zum Schätzen des Grads der Augenöffnung auf der Grundlage eines Schläfrigkeitsgrads enthalten. Im Allgemeinen variiert der Grad der Augenöffnung in Abhängigkeit vom Grad der Schläfrigkeit. Daher ist es möglich, den Grad der Augenöffnung aus dem Grad der Schläfrigkeit indirekt zu berechnen. Wird der Grad der Augenöffnung, aus dem Grad der Schläfrigkeit geschätzt, ist es möglich, das rote Auge mit hoher Genauigkeit zu erfassen, obwohl der Grad der Augenöffnung in Abhängigkeit vom Grad der Schläfrigkeit variiert.
Die Rote-Augen-Erfassungsvorrichtung kann ferner eine Fahrzeugaußenlichtmengenerfassungseinrichtung zur Erfassung der Menge von Licht außerhalb eines Fahrzeugs, eine Augenöffnungsgraderfassungseinrichtung zur Berechnung des Grads der Augenöffnung aus dem Gesichtsbild und eine Schwarze-Augen-Erfassungseinrichtung zur Erfassung eines schwarzen Auges aus dem Gesichtsbild enthalten. Die Rote-Augen-Vorlagenerzeugungseinrichtung kann eine Korrelation zwischen dem Grad der Augenöffnung und einer Größe des schwarzen Auges zu einer Zeit, wenn die durch die Fahrzeugaußenlichtmengenerfassungseinrichtung erfasste Lichtmenge außerhalb des Fahrzeugs groß ist, und eine Rote-Augen-Vorlage mit einer dem Grad der Augenöffnung entsprechenden Größe unter Bezugnahme auf die Korrelation zu einer Zeit erzeugen, wenn die durch die Fahrzeugaußenlichtmengenerfassungseinrichtung erfasste Lichtmenge außerhalb des Fahrzeugs gering ist. Es ist einfacher, das schwarze Auge zu erfassen als das rote Auge, und ein Rote-Augen-Phänomen tritt zu der Zeit nicht auf, wenn die Lichtmenge außerhalb des Fahrzeugs groß ist. Wird die Korrelation zwischen dem Grad der Augenöffnung und der Größe des schwarzen Auges zu dieser Zeit gelernt, ist es möglich, die Korrelation geeignet zu lernen. Da außerdem die Rote-Augen-Vorlage mit der dem Grad der Augenöffnung entsprechenden Größe unter Bezugnahme auf die Korrelation zu der Zeit erzeugt wird, wenn die Lichtmenge außerhalb des Fahrzeugs gering ist, ist es möglich, die Rote-Augen-Vorlage entsprechend dem Grad der Augenöffnung mit hoher Genauigkeit zu erzeugen.
Vorteilhafte Wirkungen der Erfindung
Erfindungsgemäß ist es möglich, ein rotes Auge mit hoher Genauigkeit selbst dann zu erzeugen, wenn die Form des roten Auges in Abhängigkeit vom Grad der Augenöffnung variiert.
Kurzbeschreibung der Zeichnungen
1 zeigt ein Blockschaltbild des Aufbaus einer Rote-Augen-Erfassungsvorrichtung gemäß einem ersten Ausführungsbeispiel.
2 zeigt ein Ablaufdiagramm eines Rote-Augen-Erfassungsprozesses der Rote-Augen-Erfassungsvorrichtung gemäß dem ersten Ausführungsbeispiel.
3 zeigt eine Darstellung eines Beispiels von durch einen Bildsensor aufgenommenen Bildinformationen.
4 zeigt eine Darstellung eines Beispiels einer Gesichtspositionsregion.
5 zeigt eine Darstellung der Kontur eines Rote-Augen-Erfassungsverfahrens.
6 zeigt eine Darstellung zur Veranschaulichung der Kontur eines Verfahrens zur Erfassung des oberen und unteren Augenlids.
7 zeigt eine Darstellung zur Veranschaulichung der Kontur eines Verfahrens zur Berechnung des relativen Grades der Augenöffnung.
8 zeigt eine Darstellung zur Veranschaulichung der Kontur der Beziehung zwischen dem relativen Grad der Augenöffnung und der Form einer Rote-Augen-Vorlage.
9 zeigt ein Blockschaltbild des Aufbaus einer Rote-Augen-Erfassungsvorrichtung gemäß einem zweiten Ausführungsbeispiel.
10 zeigt ein Ablaufdiagramm zur Veranschaulichung eines Rote-Augen-Erfassungsprozesses der Rote-Augen-Erfassungsvorrichtung gemäß dem zweiten Ausführungsbeispiel.
11 zeigt eine Darstellung zur Veranschaulichung der Kontur eines Blinzelmerkmalsmengenberechnungsverfahrens.
12 zeigt eine Darstellung zur Veranschaulichung der Kontur eines Verfahrens zum Schätzen des Grads der Schläfrigkeit.
13 zeigt eine Darstellung zur Veranschaulichung der Kontur der Beziehung zwischen dem Grad der Schläfrigkeit und der Form einer Rote-Augen-Vorlage.
14 zeigt ein Blockschaltbild des Aufbaus einer Rote-Augen-Erfassungsvorrichtung gemäß einem dritten Ausführungsbeispiel.
15 zeigt ein Ablaufdiagramm zur Veranschaulichung eines Rote-Augen-Erfassungsprozesses der Rote-Augen-Erfassungsvorrichtung gemäß dem dritten Ausführungsbeispiel.
16 zeigt eine Darstellung zur Veranschaulichung der Kontur eines Verfahrens zur Berechnung der Größe eines schwarzen Auges.
17 zeigt eine graphische Darstellung zur Veranschaulichung der Korrelation zwischen dem Grad der Augenöffnung und der Größe des schwarzen Auges.
18 zeigt eine Darstellung zur Veranschaulichung der Kontur eines Verfahrens zum Schätzen des Grads der Augenöffnung.
Beschreibung der Ausführungsbeispiele
Nachstehend werden Rote-Augen-Erfassungsvorrichtungen gemäß Ausführungsbeispielen der Erfindung unter Bezugnahme auf die Zeichnungen beschrieben. In den Zeichnungen sind gleiche oder äquivalente Komponenten mit denselben Bezugszeichen bezeichnet, und ihre Beschreibung wird nicht wiederholt.
Die Rote-Augen-Erfassungsvorrichtungen gemäß diesen Ausführungsbeispielen sind beispielsweise in einer Fahrunterstützungssteuervorrichtung vorgesehen, die die Blickrichtung des Fahrers erfasst und eine Fahrunterstützungssteuerung durchführt.
[Erstes Ausführungsbeispiel]
1 zeigt ein Blockschaltbild des Aufbaus einer Rote-Augen-Erfassungsvorrichtung gemäß einem ersten Ausführungsbeispiel. Wie in 1 gezeigt, enthält eine Rote-Augen-Erfassungsvorrichtung 1 gemäß dem ersten Ausführungsbeispiel einen Bildsensor 10 und eine elektronische Steuereinheit (ECU) 20.
Der Bildsensor 10 nimmt das Bild des Gesichts des Fahrers auf. Beispielsweise wird eine CCD-Kamera als Bildsensor 10 verwendet, die an einer Lenksäule des Fahrzeugs befestigt ist. Das durch den Bildsensor 10 aufgenommene Bild (Gesichtsbild) enthält Bildinformationen, die beispielsweise die Position oder Farbinformationen dieses Bildelements angeben. Der Bildsensor 10 gibt die Bildinformationen des aufgenommenen Bildes zu der ECU 20 aus.
Die ECU 20 ist ein Computer einer Fahrzeugvorrichtung, der eine elektronische Steuervorrichtung durchführt und beispielsweise eine Zentralverarbeitungseinheit (CPU), einen Speicher, wie einen Nur-Lese-Speicher (ROM), oder einen Speicher mit wahlfreiem Zugriff (RAM) und eine Eingabe-/Ausgabeschnittstelle enthält.
Die ECU 20 ist mit dem Bildsensor 10 verbunden und enthält eine Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 21, eine Rote-Augen-Erfassungseinheit 22, eine Augenöffnungsgradberechnungseinheit 23, eine relative Augenöffnungsgradberechnungseinheit 24 und eine Rote-Augen-Vorlagen-Aktualisierungseinheit 25.
Die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 21 weist eine Funktion der Erfassung der Merkmalspunkte des Gesichts des Fahrers anhand des durch den Bildsensor 10 aufgenommenen Bildes auf. Insbesondere sucht die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 21 zuerst nach der Position des Gesichts in dem gesamten Bereich des durch den Bildsensor 10 aufgenommenen Bildes unter Verwendung eines statistischen Verfahrens, wie eines neuronalen Netzwerkverfahrens oder Boosting-Verfahrens. Dann stellt die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit eine Gesichtspositionsregion ein, die die gefundene Position des Gesichts enthält, und erfasst die Merkmalspunkte des Gesichts aus der eingestellten Gesichtspositionsregion unter Verwendung des statistischen Verfahrens, wie des neuronalen Netzwerkverfahrens oder Boosting-Verfahrens. Die Merkmalspunkte des Gesichts enthalten beispielsweise den äußeren Winkel des rechten Auges, den inneren Winkel des rechten Auges, den äußeren Winkel des linken Auges, den inneren Winkel des linken Auges, die Mitte der Nasenhöhle und das linke und rechte Ende des Mundes. Ein Verfahren zur Erfassung jedes Merkmalspunkts des Gesichts ist außerdem nicht auf das vorstehend angeführte Verfahren beschränkt, sondern andere bekannte Verfahren können verwendet werden.
Die Rote-Augen-Erfassungseinheit 22 weist eine Funktion der Erfassung eines roten Auges mit einem Vorlagenvergleich unter Verwendung einer Rote-Augen-Vorlage auf. Insbesondere stellt die Rote-Augen-Erfassungseinheit 22 zuerst eine Rote-Augen-Suchregion anhand der durch die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 21 eingestellten Gesichtspositionsregion auf der Grundlage der durch die Gesichtspositions- und Gesichtsmerkmalspunkteerfassungseinheit 21 erfassten Merkmalspunkte ein, wie der äußeren Winkel der Augen und der inneren Winkel der Augen. Dann erfasst die Rote-Augen-Erfassungseinheit 22 das rote Auge mit dem Vorlagenvergleich unter Verwendung der Rote-Augen-Vorlage aus der Rote-Augen-Suchregion.
Die Augenöffnungsgradberechnungseinheit 23 weist eine Funktion der Berechnung des Grads der Augenöffnung auf, die den Grad einer Augenöffnung des Fahrers angibt. Insbesondere wendet die Augenöffnungsgradberechnungseinheit 23 einen Filter bei der durch die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 21 eingestellten Gesichtspositionsregion zur Erzeugung eines kantenverstärkten Bildes an. Dann projiziert die Augenöffnungsgradberechnungseinheit 23 eine Vielzahl von den äußeren Winkel des Auges und den inneren Winkel des Auges verbindenden Kurven auf das erzeugte Kantenbild und erfasst das obere Augenlid und das untere Augenlid anhand der Stärke der Kante auf den Kurven. Dann berechnet die Augenöffnungsgradberechnungseinheit 23 den Grad der Augenöffnung [pix] unter Verwendung der Differenz zwischen der Position des oberen Augenlids und der Position des unteren Augenlids. Der Grad der Augenöffnung ist in der Einheit eines Bildelements dargestellt.
Die relative Augenöffnungsgradberechnungseinheit 24 weist eine Funktion der Berechnung des relativen Grades der Augenöffnung [%], die in einem Auge-Geschlossen-Zustand 0% und in einem Auge-Offen-Zustand 100% beträgt, aus dem Grad der Augenöffnung auf, der durch die Augenöffnungsgradberechnungseinheit 23 berechnet ist und in der Einheit eines Bildelements dargestellt ist.
Die Rote-Augen-Vorlagen-Aktualisierungseinheit 25 weist eine Funktion des Aktualisierens der Rote-Augen-Vorlage auf der Grundlage des durch die relative Augenöffnungsgradberechnungseinheit 24 berechneten relativen Grads der Augenöffnung auf. Insbesondere erzeugt die Rote-Augen-Vorlagen-Aktualisierungseinheit 25 eine Rote-Augen-Vorlage, die dem durch die relative Augenöffnungsgradberechnungseinheit 24 berechneten relativen Grad der Augenöffnung entspricht. Dann aktualisiert die Rote-Augen-Vorlagen-Aktualisierungseinheit 25 die für den nächsten Vorlagenvergleich verwendete Rote-Augen-Vorlage mit der erzeugten Rote-Augen-Vorlage.
Als nächstes wird die Arbeitsweise der Rote-Augen-Erfassungsvorrichtung 1 gemäß dem ersten Ausführungsbeispiel beschrieben. 2 zeigt ein Ablaufdiagramm zur Veranschaulichung eines Rote-Augen-Erfassungsprozesses der Rote-Augen-Erfassungsvorrichtung gemäß dem ersten Ausführungsbeispiel. Der in 2 gezeigte Prozess wird unter der Steuerung der ECU 20 durchgeführt und wird in einem vorbestimmten Intervall, beispielsweise während der Priode vom Einschalten einer Zündung bis zum Ausschalten einer Zündung wiederholt durchgeführt. Außerdem wird die Einheit einer Folge von in 2 gezeigten Prozessen als Rahmen bezeichnet. Daher ist der aktuelle Rahmen eine Folge von in 2 gezeigten Prozessen, die aktuell durchgeführt werden, und ein vorhergehender Rahmen ist eine Folge von in 2 gezeigten Prozessen, die zuvor durchgeführt wurden.
Wie in 2 gezeigt gibt die ECU 20 zuerst das durch den Bildsensor 10 aufgenommene Bild des Fahrers ein (Schritt S11). In Schritt S11 wird ein in 3 gezeigtes Bild F1, das durch den Bildsensor 10 aufgenommen ist, eingegeben. 3 zeigt ein Beispiel des durch den Bildsensor aufgenommenen Bildes.
Dann erfasst die ECU 20 die Position des Gesichts und die Merkmalspunkte des Gesichts (Schritt S12). Der Prozess in Schritt S11 wird durch die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 21 durchgeführt. Zuerst sucht die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 21 nach der Position des Gesichts im gesamten Bereich des in Schritt S11 eingegebenen Bildes F1 unter Verwendung des statistischen Verfahrens, wie des neuronalen Netzwerkverfahrens oder Boosting-Verfahrens. Dann stellt die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 21 eine Gesichtspositionsregion G1 ein. 4 zeigt eine Darstellung zur Veranschaulichung der Kontur eines Gesichtsmerkmalspunkterfassungsverfahrens und zeigt die Gesichtspositionsregion G1. Wie in 4 gezeigt, enthält die Gesichtspositionsregion G1 die gefundene Position des Gesichts und ist eine Region des Bildes F1. Dann erfasst die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 21 die Merkmalspunkte, wie den äußeren Winkel des rechten Auges, den inneren Winkel des rechten Auges, den äußeren Winkel des linken Auges, den inneren Winkel des linken Auges, die Mitte der Nasenhöhle und das linke und rechte Ende des Mundes als Suchbereich in der eingestellten Gesichtspositionsregion G1 unter Verwendung des statistischen Verfahrens, wie des neuronalen Netzwerkverfahrens oder Boosting-Verfahrens.
Dann bestimmt die ECU 20, ob der aktuelle Ablauf ein erster Ablauf ist (Schritt S13). Wird bestimmt, dass der aktuelle Ablauf der erste Ablauf ist (Schritt S13: JA), geht die ECU 20 zu Schritt S14 über. Wird bestimmt, dass der aktuelle Ablauf nicht der erste Ablauf ist (Schritt S13: NEIN), geht die ECU 20 zu Schritt S15 über.
Wird in Schritt S13 bestimmt, dass der aktuelle Ablauf der erste Ablauf ist, erfasst die ECU 20 das rote Auge mit dem Vorlagenvergleich unter Verwendung der Rote-Augen-Vorlage, die vorab vorbereitet ist (Schritt S14). Die Rote-Augen-Vorlage, die vorab vorbereitet ist, ist eine Vorlage, die das rote Auge bei einem Grad der Augenöffnung von 100% angibt. Der Prozess in Schritt S14 wird durch die Rote-Augen-Erfassungseinheit 22 durchgeführt. Zuerst stellt die Rote-Augen-Erfassungseinheit 22 eine Rote-Augen-Suchregion anhand der in Schritt S12 eingestellten Gesichtspositionsregion G1 ein (siehe 4). 5 zeigt eine Darstellung zur Veranschaulichung der Kontur eines Rote-Augen-Erfassungsverfahrens. Wie in 5 gezeigt, ist die Rote-Augen-Suchregion G2 eine rechteckige Region, die beispielsweise durch ein Segment, das außerhalb des äußeren Winkels des Auges angeordnet ist und sich in der Oben-Unten-Richtung erstreckt, ein Segment, das innerhalb des inneren Winkels des Auges angeordnet ist und sich in der Oben-Unten-Richtung erstreckt, ein Segment, das über einem den äußeren Winkel des Auges und den inneren Winkel des Auges verbindenden Segment angeordnet ist und sich in der Links-Rechts-Richtung erstreckt, und ein Segment partitioniert, das unter dem den äußeren Winkel des Auges und den inneren Winkel des Auges verbindenden Segment angeordnet ist und sich in der Links-Rechts-Richtung erstreckt. Dann führt die Rote-Augen-Erfassungseinheit 22 einen Vorlagenvergleich für die Rote-Augen-Suchregion G2 unter Verwendung der Rote-Augen-Vorlage durch, die vorab vorbereitet ist, um Rote-Augen-Kandidaten C zu erfassen. Außerdem erfasst die Rote-Augen-Erfassungseinheit 22 unter Verwendung des Vorlagenvergleichs ein Bildelementmuster, das größer als ein vorbestimmter Schwellenwert ist, als den Rote-Augen-Kandidaten C.
Wie in der Rote-Augen-Suchregion G2 in 5 gezeigt, ist von dem Auge oder Augenlid des Fahrers reflektiertes LED-Licht L in der Rote-Augen-Suchregion G2 enthalten. Das Bildelementmuster des LED-Lichts L ähnelt dem Bildelementmuster eines roten Auges R. Daher erfasst die Rote-Augen-Erfassungseinheit 22 das echte rote Auge R als Rote-Augen-Kandidaten C und erfasst auch das LED-Licht L als Rote-Augen-Kandidaten C. Infolgedessen werden in Schritt S14 zwei Rote-Augen-Kandidaten C erfasst. Die Rote-Augen-Erfassungseinheit 22 bestimmt den Rote-Augen-Kandidaten C mit dem Bildelementmuster, das am Besten mit der Rote-Augen-Vorlage übereinstimmt, als das rote Auge R.
Wird in Schritt S13 bestimmt, dass der aktuelle Ablauf der erste Ablauf ist, erfasst die ECU 20 das rote Auge mit einem Vorlagenvergleich unter Verwendung der Rote-Augen-Vorlage, die in dem vorhergehenden Rahmen aktualisiert wurde (Schritt S15). Die Rote-Augen-Vorlage, die in dem vorhergehenden Rahmen (Prozess) aktualisiert wurde, ist eine Rote-Augen-Vorlage, die in Schritt S18 (der nachstehend näher beschrieben wird) des vorhergehenden Rahmens aktualisiert wird. Der Prozess in Schritt S15 wird durch die Rote-Augen-Erfassungseinheit 22 ähnlich wie Schritt S14 durchgeführt. Der Prozess in Schritt S15 ist dem Prozess in Schritt S14 grundsätzlich ähnlich, abgesehen lediglich von der verwendeten Rote-Augen-Vorlage. Daher wird auf eine ausführliche Beschreibung von Schritt S15 verzichtet.
Dann berechnet die ECU 20 den Grad der Augenöffnung (Schritt S16). Der Prozess in Schritt S16 wird durch die Augenöffnungsgradberechnungseinheit 23 durchgeführt. Zuerst erfasst die Augenöffnungsgradberechnungseinheit 23 die oberen und unteren Augenlider anhand der in Schritt S12 erfassten Merkmalspunkte, wie dem inneren Winkel des Auges und dem äußeren Winkel des Auges.
Als nächstes wird ein Verfahren der Erfassung der oberen und unteren Augenlider unter Bezugnahme auf 6 beschrieben. 6 zeigt eine Darstellung zur Veranschaulichung des Umrisses des Verfahrens der Erfassung der oberen und unteren Augenlider. Wie in 6 gezeigt, wendet die Augenöffnungsgradberechnungseinheit 23 bei der in Schritt S12 eingestellten Gesichtspositionsregion G1 beispielsweise ein Sobel-Filter zur Erzeugung eines Kantenbildes G3 an, das ein kantenverstärktes Bild ist. Dann projiziert die Augenöffnungsgradberechnungseinheit 23 eine Vielzahl von Kurven, die die in Schritt S12 erfassten Merkmalspunkte aufweisen, wie den äußeren Winkel des Auges und den inneren Winkel des Auges, als Startpunkt und Endpunkt zur Berechnung der Stärke der Kante (des Bildelementwerts des Kantenbildes) auf die Kurven. Beispielsweise wird als Kurve eine Bézier-Kurve verwendet. Dann wählt die Augenöffnungsgradberechnungseinheit 23 die Kurven mit hoher Kantenstärke aus der berechneten Kantenstärke aus und verwendet die ausgewählten Kurven als obere Augenlidkurve und untere Augenlidkurve. In diesem Fall schließt die Augenöffnungsgradberechnungseinheit 23 die Kurve unter dem in Schritt S14 oder S15 erfassten roten Auge R aus den Kandidaten des oberen Augenlids aus, und schließt die Kurve über dem in Schritt S14 oder S15 berechneten roten Auge R aus den Kandidaten des oberen Augenlids aus.
Dann berechnet die Augenöffnungsgradberechnungseinheit 23 die Y-Koordinate des Mittelpunkts der oberen Augenlidkurve und die Y-Koordinate des Mittelpunkts der unteren Augenlidkurve und berechnet den Grad der Augenöffnung [pix] auf der Grundlage der Differenz zwischen den Y-Koordinaten der oberen und unteren Augenlider. Der Grad der Augenöffnung ist in der Einheit eines Bildelements dargestellt. Ein Verfahren der Berechnung des Grads der Augenöffnung ist nicht auf das vorstehend angeführte Verfahren beschränkt, sondern es können andere bekannte Verfahren verwendet werden.
Dann berechnet die ECU 20 den relativen Grad der Augenöffnung [%], der in einem Auge-Geschlossen-Zustand 0% und in einem Auge-Offen-Zustand 100% beträgt, aus dem in Schritt S16 (Schritt S17) berechneten Grad der Augenöffnung [pix]. Der Prozess in Schritt S17 wird durch die relative Augenöffnungsgradberechnungseinheit 24 durchgeführt.
Als nächstes wird ein Verfahren der Berechnung des relativen Grads der Augenöffnung unter Bezugnahme auf 7 beschrieben. 7 zeigt eine Darstellung zur Veranschaulichung der Kontur des Verfahrens der Berechnung des relativen Grads der Augenöffnung und stellt einen Zeit-Augenöffnungsgrad-Graph dar, der den Signalverlauf K1 des Grads der Augenöffnung über die Zeit veranschaulicht. Wie in 7 gezeigt, stellt die relative Augenöffnungsgradberechnungseinheit 24 die vorbestimmten Augenöffnungsgrade als Augenöffnungsschwellenwert A1 und Augenschließschwellenwert A2 vorab ein, und zeichnet den in Schritt S16 berechneten Grad der Augenöffnung [pix] auf dem Zeit-Augenöffnungsgrad-Graph auf. Dann aktualisiert die relative Augenöffnungsgradberechnungseinheit 24 den Mittelwert der Augenöffnungsgrade größer als der eingestellte Augenöffnungsschwellenwert A1 mit dem Augenöffnungsschwellenwert A1 und aktualisiert den Mittelwert der Augenöffnungsgrade kleiner als der eingestellte Augenschließschwellenwert A2 mit dem Augenschließschwellenwert A2. Dann berechnet die relative Augenöffnungsgradberechnungseinheit 24 den relativen Grad der Augenöffnung [%], wobei der aktualisierte Augenöffnungsschwellenwert A1 100% und der aktualisierte Augenschließschwellenwert A2 0% ist, anhand des durch die Augenöffnungsgradberechnungseinheit 23 berechneten Grads der Augenöffnung.
Dann aktualisiert die ECU 20 die Rote-Augen-Vorlage auf der Grundlage des in Schritt S18 (Schritt S18) berechneten relativen Grads der Augenöffnung. Der Prozess in Schritt S18 wird durch die Rote-Augen-Vorlagen-Aktualisierungseinheit 25 durchgeführt.
Als nächstes wird ein Prozess der Aktualisierung der Rote-Augen-Vorlage unter Bezugnahme auf 8 beschrieben. 8 zeigt eine Darstellung zur Veranschaulichung der Kontur des Verhältnisses zwischen dem relativen Grad der Augenöffnung und der Form der Rote-Augen-Vorlage. Wie in 8 gezeigt, ist die Form des roten Auges in dem Bild proportional zum relativen Grad der Augenöffnung. Das heißt, wenn der relative Grad der Augenöffnung 100% ist, ist die Form des roten Auges im Bild 100%. Wenn der relative Grad der Augenöffnung 75% beträgt, beträgt die Form des roten Auges im Bild 75%. Wenn der relative Grad der Augenöffnung 50% ist, ist die Form des roten Auges im Bild 50%. Wenn der relative Grad der Augenöffnung 0% ist, ist kein rotes Auge im Bild enthalten. Die Rote-Augen-Vorlagen-Aktualisierungseinheit 25 erzeugt eine Rote-Augen-Vorlage mit einer Form, die dem in Schritt S17 berechneten relativen Grad der Augenöffnung entspricht, und aktualisiert die für den Vorlagenvergleich für den nächsten Rahmen verwendete Rote-Augen-Vorlage mit der erzeugten Rote-Augen-Vorlage.
Insbesondere vergleicht die Rote-Augen-Vorlagen-Aktualisierungseinheit 25 den relativen Grad der Augenöffnung, der in Schritt S17 berechnet wird, in dem vorhergehenden Rahmen, und den relativen Grad der Augenöffnung, der in Schritt S17 berechnet wird, in dem aktuellen Rahmen und bestimmt, ob es eine Änderung im relativen Grad der Augenöffnung zwischen dem vorhergehenden Rahmen und dem aktuellen Rahmen gibt. Wird bestimmt, dass es keine Änderung im relativen Grad der Augenöffnung zwischen dem vorhergehenden Rahmen und dem aktuellen Rahmen gibt, beendet die Rote-Augen-Vorlagen-Aktualisierungseinheit 25 den Prozess in Schritt S18 ohne Aktualisierung der Rote-Augen-Vorlage. Wird andererseits bestimmt, dass es eine Änderung im relativen Grad der Augenöffnung zwischen dem vorhergehenden Rahmen und dem aktuellen Rahmen gibt, erzeugt die Rote-Augen-Vorlagen-Aktualisierungseinheit 25 eine Rote-Augen-Vorlage mit einer Form, die dem in Schritt S17 berechneten relativen Grad der Augenöffnung im aktuellen Rahmen entspricht, und aktualisiert die für den Vorlagenvergleich verwendete Rote-Augen-Vorlage für den nächsten Rahmen mit der erzeugten Rote-Augen-Vorlage.
In Schritt S18 kann die Rote-Augen-Vorlagen-Aktualisierungseinheit 25 eine registrierte Rote-Augen-Vorlage auswählen, anstelle die Rote-Augen-Vorlage zu berechnen. Insbesondere ist eine Vielzahl von Typen von Rote-Augen-Vorlagen mit den vorbestimmten relativen Graden der Augenöffnung entsprechenden Formen vorab registriert. Wenn der Prozess beginnt, wählt die Rote-Augen-Vorlagen-Aktualisierungseinheit 25 in Schritt S18 dann eine Rote-Augen-Vorlage mit einer Form, die dem relativen Grad der Augenöffnung entspricht, der in Schritt S17 in dem aktuellen Rahmen berechnet wird, aus der Vielzahl registrierter Rote-Augen-Vorlagen aus. Dann aktualisiert die Rote-Augen-Vorlagen-Aktualisierungseinheit 25 die für den Vorlagenvergleich verwendete Rote-Augen-Vorlage für den nächsten Rahmen mit der ausgewählten Rote-Augen-Vorlage.
Wie vorstehend beschrieben, wird gemäß der Rote-Augen-Erfassungsvorrichtung 1 des ersten Ausführungsbeispiels die Rote-Augen-Vorlage erzeugt, die dem relativen Grad der Augenöffnung entspricht. Selbst wenn die Form des roten Auges in Abhängigkeit vom Grad der Augenöffnung variiert, ist es daher möglich, das rote Auge mit großer Genauigkeit zu erfassen.
Beim nächsten Vorlagenvergleich ist es möglich, die dem relativen Grad der Augenöffnung entsprechende Rote-Augen-Vorlage zu verwenden. Daher ist es möglich, die Genauigkeit der Erfassung des roten Auges zu verbessern.
Außerdem ist der Grad der Augenöffnung durch den relativen Grad der Augenöffnung dargestellt. Selbst wenn die Distanz vom oberen Augenlid zum unteren Augenlid im Gesichtsbild in Abhängigkeit von der Entfernung vom Bildsensor 10 zum Gesicht des Fahrers oder Unterschieden unter Individuen variiert, ist es daher möglich, den Grad der Augenöffnung zu normalisieren. Infolgedessen kann eine Rote-Augen-Vorlage geeignet erzeugt werden.
Da der Grad der Augenöffnung direkt aus dem Bild berechnet wird, ist es möglich, die Zuverlässigkeit des Grads der Augenöffnung zu verbessern.
[Zweites Ausführungsbeispiel]
Als nächstes wird eine Rote-Augen-Erfassungsvorrichtung 2 gemäß einem zweiten Ausführungsbeispiel beschrieben. Das zweite Ausführungsbeispiel ähnelt grundsätzlich dem ersten Ausführungsbeispiel, unterscheidet sich vom ersten Ausführungsbeispiel jedoch darin, dass der Grad der Augenöffnung beruhend auf dem Grad der Schläfrigkeit geschätzt wird. Daher wird nachstehend lediglich der Unterschied zum ersten Ausführungsbeispiel beschrieben, und die Beschreibung derselben Komponenten wie im ersten Ausführungsbeispiel wird nicht wiederholt.
9 zeigt ein Blockschaltbild des Aufbaus der Rote-Augen-Erfassungsvorrichtung gemäß dem zweiten Ausführungsbeispiel. Wie in 9 gezeigt, enthält die Rote-Augen-Erfassungsvorrichtung 2 gemäß dem zweiten Ausführungsbeispiel einen Bildsensor 10 und eine ECU 30.
Die ECU 30 ist ein Computer einer Fahrzeugvorrichtung, der eine elektronische Steuerung durchführt und beispielsweise eine CPU, einen Speicher, wie ein ROM oder RAM, und eine Eingabe-/Ausgabeschnittstelle enthält.
Die ECU 30 ist mit dem Bildsensor 10 verbunden und enthält eine Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 31, eine Rote-Augen-Erfassungseinheit 32, eine Augenöffnungsgradberechnungseinheit 33, eine Schläfrigkeitsschätzeinheit 34 und eine Rote-Augen-Vorlagen-Aktualisierungseinheit 35.
Die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 31, die Rote-Augen-Erfassungseinheit 32 und die Augenöffnungsgradberechnungseinheit 33 sind jeweils die gleichen wie die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 21, die Rote-Augen-Erfassungseinheit 22 und die Augenöffnungsgradberechnungseinheit 23 gemäß dem ersten Ausführungsbeispiel.
Die Schläfrigkeitsschätzeinheit 34 weist eine Funktion der Berechnung einer Blinzelmerkmalsmenge anhand des durch die Augenöffnungsgradberechnungseinheit 23 berechneten Grads der Augenöffnung und Schätzen des Grads der Schläfrigkeit (des Schläfrigkeitsgrads) des Fahrers auf der Grundlage der berechneten Blinzelmerkmalsmenge auf. Beispielsweise wird die Zeit, wenn die Augen geschlossen sind, zu einer vorbestimmten Zeit als die Blinzelmerkmalsmenge verwendet. Die Schläfrigkeitsschätzeinheit 34 schätzt den Grad der Schläfrigkeit des Fahrers beispielsweise auf der Grundlage der Beziehung zwischen dem Grad der Schläfrigkeit und der Blinzelmerkmalsmenge, die vorab gelernt wurde.
Die Rote-Augen-Vorlagen-Aktualisierungseinheit 35 weist eine Funktion der Aktualisierung der Rote-Augen-Vorlage auf der Grundlage des durch die Schläfrigkeitsschätzeinheit 34 geschätzten Grads der Schläfrigkeit auf. Insbesondere sind viele Typen von Rote-Augen-Vorlagen mit Formen vorab registriert, die den vorbestimmten relativen Graden der Augenöffnung entsprechen. Die Rote-Augen-Vorlagen-Aktualisierungseinheit 35 wählt eine Rote-Augen-Vorlage, die dem durch die Schläfrigkeitsschätzeinheit 34 geschätzten Grad der Schläfrigkeit entspricht, aus der Vielzahl der registrierten Rote-Augen-Vorlagen aus. Dann aktualisiert die Rote-Augen-Vorlagen-Aktualisierungseinheit 35 die für den nächsten Vorlagenvergleich verwendete Rote-Augen-Vorlage mit der ausgewählten Rote-Augen-Vorlage. Das heißt, die Rote-Augen-Vorlagen-Aktualisierungseinheit 35 schätzt indirekt den durch die Schläfrigkeitsschätzeinheit 34 geschätzten Grad der Schläfrigkeit anhand des Grads der Augenöffnung. Dann wählt die Rote-Augen-Vorlagen-Aktualisierungseinheit 35 eine dem geschätzten Grad der Augenöffnung entsprechende Rote-Augen-Vorlage aus der Vielzahl registrierter Rote-Augen-Vorlagen zur Erzeugung der Rote-Augen-Vorlage aus und aktualisiert die für den nächsten Vorlagenvergleich verwendete Rote-Augen-Vorlage mit der erzeugten Rote-Augen-Vorlage.
Als nächstes wird die Arbeitsweise der Rote-Augen-Erfassungsvorrichtung 2 gemäß dem zweiten Ausführungsbeispiel beschrieben. 10 zeigt ein Ablaufdiagramm zur Veranschaulichung eines Rote-Augen-Erfassungsprozesses der Rote-Augen-Erfassungsvorrichtung gemäß dem zweiten Ausführungsbeispiel. Der in 10 gezeigte Prozess wird unter der Steuerung der ECU 30 durchgeführt und wird in einem vorbestimmten Intervall, beispielsweise während der Periode vom Einschalten der Zündung bis zum Ausschalten der Zündung wiederholt durchgeführt. Außerdem wird die Einheit einer Reihe von in 10 gezeigten Prozessen als ein Rahmen bezeichnet. Daher ist der aktuelle Rahmen eine Folge von in 10 gezeigten Prozessen, die aktuell durchgeführt werden, und ein vorhergehender Rahmen ist eine Folge von in 10 gezeigten Prozessen, die zuvor durchgeführt wurden.
Wie in 10 gezeigt, gibt die ECU 30 zuerst das durch den Bildsensor aufgenommene Bild des Fahrers ein (Schritt S21). Der Prozess in Schritt S21 ist derselbe wie der Prozess in Schritt S11 im ersten Ausführungsbeispiel.
Dann erfasst die ECU 30 die Position des Gesichts und die Merkmalspunkte des Gesichts (Schritt S22). Der Prozess in Schritt S22 ist derselbe wie der Prozess in Schritt S12 im ersten Ausführungsbeispiel.
Dann bestimmt die ECU 30, ob der aktuelle Ablauf ein erster Ablauf ist (Schritt S23). Wird bestimmt, dass der aktuelle Ablauf der erste Ablauf ist (Schritt S23: JA), geht die ECU 30 zu Schritt S24 über. Wird bestimmt, dass der aktuelle Ablauf nicht der erste Ablauf ist (Schritt S23: NEIN), geht die ECU 30 zu Schritt S25 über.
Wird in Schritt S23 bestimmt, dass der aktuelle Ablauf der erste Ablauf ist, erfasst die ECU 30 das rote Auge mit einem Vorlagenvergleich unter Verwendung der Rote-Augen-Vorlage, die vorab bereitgestellt wurde (Schritt S24). Der Prozess in Schritt S24 ist der gleiche wie der Prozess S14 im ersten Ausführungsbeispiel.
Wird in Schritt S23 bestimmt, dass der aktuelle Ablauf der erste Ablauf ist, erfasst die ECU 30 das rote Auge mit einem Vorlagenvergleich unter Verwendung der Rote-Augen-Vorlage, die im vorhergehenden Rahmen aktualisiert wurde (Schritt S24). Die im vorhergehenden Rahmen aktualisierte Rote-Augen-Vorlage ist eine Rote-Augen-Vorlage, die in Schritt S28 (der nachstehend näher beschrieben wird) im vorhergehenden Rahmen aktualisiert wurde. Der Prozess in Schritt S25 wird durch die Rote-Augen-Erfassungseinheit 22 ähnlich wie Schritt S24 durchgeführt. Der Prozess in Schritt S25 ist im Wesentlichen dem Prozess in Schritt S24, abgesehen nur von der verwendeten Rote-Augen-Vorlage, ähnlich. Daher wird auf eine ausführliche Beschreibung von Schritt S25 verzichtet.
Dann berechnet die ECU 30 den Grad der Augenöffnung (Schritt S26). Der Prozess in Schritt S26 ist der gleiche wie der Prozess in Schritt S16 im ersten Ausführungsbeispiel.
Dann schätzt die ECU 30 den Grad der Schläfrigkeit des Fahrers (Schritt S27). Der Prozess in Schritt S27 wird durch die Schläfrigkeitsschätzeinheit 34 durchgeführt. Zuerst berechnet die Schläfrigkeitsschätzeinheit 34 eine Blinzelmerkmalsmenge, die eine mit der Schläfrigkeit korrelierte Merkmalsmenge ist, auf der Grundlage des in Schritt S26 berechneten Grads der Augenöffnung. Die Blinzelmerkmalsmenge ist eine physische Menge, die durch Erhalten einer Augenschließperiode, in der die Augen geschlossen sind, unter den Zuständen des Auges für ein vorbestimmte Periode (beispielsweise 10 Sekunden), und Berechnen des Verhältnisses der Augenschließperiode zu der vorbestimmten Periode erhalten wird. Dann schätzt die Schläfrigkeitsschätzeinheit 34 den Grad der Schläfrigkeit des Fahrers auf der Grundlage der berechneten Blinzelmerkmalsmenge.
Als nächstes wird ein Verfahren der Berechnung der Blinzelmerkmalsmenge unter Bezugnahme auf 11 beschrieben. 11 zeigt eine Darstellung zur Veranschaulichung der Kontur des Verfahrens der Berechnung der Blinzelmerkmalsmenge und zeigt einen Zeit-Augenöffnungsgrad-Graph, der den Signalverlauf K2 des Grads der Augenöffnung über die Zeit darstellt. In 11 sind Perioden T1 und T2 Perioden, für die der Grad der Augenöffnung kleiner oder gleich einem Augenschließschwellenwert A2 ist, d. h., sie sind Augenschließperioden. In 11 ist eine Periode T3 ein Abschnitt, in dem der Grad der Augenöffnung in Schritt S26 nicht erfasst wird. In diesem Fall stellt die Schläfrigkeitsschätzeinheit 34 eine vorbestimmte Periode außer der Periode T3 ein und berechnet das Verhältnis der Augenschließperiode zu der eingestellten vorbestimmten Periode als Blinzelmerkmalsmenge. Das heißt, die Schläfrigkeitsschätzeinheit 34 berechnet die Blinzelmerkmalsmenge abgesehen von Informationen über die Periode, für die der Grad der Augenöffnung in Schritt S26 nicht erfasst wird. In Schritt S27 kann eine von der Blinzelmerkmalsmenge verschiedene physische Menge als Merkmalsmenge verwendet werden, solange sie mit der Schläfrigkeit korreliert ist.
Als nächstes wird ein Verfahren des Schätzens des Grads der Schläfrigkeit des Fahrers unter Bezugnahme auf 12 beschrieben. 12 zeigt eine Darstellung zur Veranschaulichung der Kontur des Verfahrens des Schätzens des Grads der Schläfrigkeit, und zeigt die Beziehung zwischen der Blinzelmerkmalsmenge und der Wahrscheinlichkeitsdichte. 12 zeigt die statistische Verteilung jedes Grads der Schläfrigkeit (Wahrscheinlichkeitsdichte bezüglich der Blinzelmerkmalsmenge), die durch eine Zweistufen-Bewertung dargestellt wird. Die statistische Verteilung, wenn der Grad der Schläfrigkeit klein ist, ist SA, und die statistische Verteilung, wenn der Grad der Schläfrigkeit groß ist, ist SB. Die statistischen Verteilungen SA und SB werden beispielsweise durch einen Vorablernprozess außerhalb des Betriebs erhalten. Ist die berechnete Blinzelmerkmalsmenge R1, berechnet die Schläfrigkeitsschätzeinheit 34 die Wahrscheinlichkeitsdichten der statistischen Verteilung SA und der statistischen Verteilung SB, wenn die Blinzelmerkmalsmenge R1 ist, und schätzt den Grad der Schläfrigkeit beruhend auf dem Größenverhältnis zwischen den berechneten Wahrscheinlichkeitsdichten. Außerdem ist das Verfahren der Berechnung des Grads der Schläfrigkeit nicht auf das vorstehend angeführte Verfahren beschränkt, sondern andere bekannte Verfahren können verwendet werden. Der Grad der Schläfrigkeit kann beispielsweise anhand einer Sechsstufen-Bewertung von 0 bis 5 Schritten dargestellt werden. Beispielsweise gibt ein Grad der Schläfrigkeit von 0 einen Zustand an, in dem der Fahrer vollständig wach ist, ein Grad der Schläfrigkeit von 1 gibt einen Zustand an, in dem der Fahrer nicht schläfrig ist, ein Grad der Schläfrigkeit von 2 gibt einen Zustand an, in dem der Fahrer ein bisschen schläfrig ist, ein Grad der Schläfrigkeit von 3 gibt einen Zustand an, in dem der Fahrer schläfrig ist, ein Grad der Schläfrigkeit von 4 gibt einen Zustand an, in dem der Fahrer zu schläfrig ist, und ein Grad der Schläfrigkeit von 5 gibt einen Zustand an, in dem der Fahrer schon fast eingeschlafen ist.
Dann aktualisiert die ECU die Rote-Augen-Vorlage auf der Grundlage des in Schritt S27 (Schritt S28) geschätzten Grads der Schläfrigkeit. Der Prozess in Schritt S28 wird durch die Rote-Augen-Vorlagen-Aktualisierungseinheit 35 durchgeführt.
Als nächstes wird ein Verfahren des Aktualisierens der Rote-Augen-Vorlage unter Bezugnahme auf 13 beschrieben. 13 zeigt eine Darstellung zur Veranschaulichung der Kontur der Beziehung zwischen dem Grad der Schläfrigkeit und der Form der Rote-Augen-Vorlage. Im Allgemeinen variiert der Grad der Augenöffnung einer Person in Abhängigkeit vom Grad der Schläfrigkeit. Erhöht sich der Grad der Schläfrigkeit, verringert sich der Grad der Augenöffnung. Das heißt, mit Verringerung des Grads der Schläfrigkeit erhöht sich der Grad der Augenöffnung und die Form des roten Auges im Gesichtsbild des Fahrers vergrößert sich. Vergrößert sich der Grad der Schläfrigkeit, verringert sich der Grad der Augenöffnung und die Form des roten Auges im Gesichtsbild des Fahrers verkleinert sich. Wie in 13 gezeigt, sind eine Vielzahl von den Graden der Schläfrigkeit entsprechenden Rote-Augen-Vorlagen in der Rote-Augen-Vorlagen-Aktualisierungseinheit 35 registriert. Jede der registrierten Rote-Augen-Vorlagen hat eine dem Grad der Schläfrigkeit entsprechende Form, und die Form ist die Form des dem Grad der Augenöffnung entsprechenden roten Auges, der dem Grad der Schläfrigkeit entspricht. Dann wählt die Rote-Augen-Vorlagen-Aktualisierungseinheit 35 eine Rote-Augen-Vorlage, die dem Grad der Augenöffnung entspricht, der dem in Schritt S27 geschätzten Grad der Schläfrigkeit entspricht, aus der Vielzahl der registrierten Rote-Augen-Vorlagen aus und aktualisiert die für einen Vorlagenvergleich im nächsten Rahmen verwendete Rote-Augen-Vorlage mit der ausgewählten Rote-Augen-Vorlage. Das heißt, die Rote-Augen-Vorlagen-Aktualisierungseinheit 35 schätzt den Grad der Augenöffnung auf der Grundlage des Grads der Schläfrigkeit und aktualisiert die Rote-Augen-Vorlage auf der Grundlage des geschätzten Grads der Augenöffnung.
Insbesondere vergleicht die Rote-Augen-Vorlagen-Aktualisierungseinheit 35 den in Schritt S27 geschätzten Grad der Schläfrigkeit im vorhergehenden Rahmen mit dem in Schritt S27 geschätzten Grad der Schläfrigkeit im aktuellen Rahmen und bestimmt, ob es eine Änderung im Grad der Schläfrigkeit zwischen dem vorhergehenden Rahmen und dem aktuellen Rahmen gibt. Wird bestimmt, dass es keine Änderung im Grad der Schläfrigkeit zwischen dem vorhergehenden Rahmen und dem aktuellen Rahmen gibt, beendet die Rote-Augen-Vorlagen-Aktualisierungseinheit 35 den Prozess in Schritt S28 ohne Aktualisierung der Rote-Augen-Vorlage. Wird andererseits bestimmt, dass es eine Änderung im Grad der Schläfrigkeit zwischen dem vorhergehenden Rahmen und dem aktuellen Rahmen gibt, wählt die Rote-Augen-Vorlagen-Aktualisierungseinheit 35 eine Rote-Augen-Vorlage mit einer Form aus, die dem Grad der Schläfrigkeit entspricht, der in Schritt S27 im aktuellen Rahmen geschätzt wird, und aktualisiert die für einen Vorlagenvergleich im nächsten Rahmen verwendete Rote-Augen-Vorlage mit der ausgewählten Rote-Augen-Vorlage.
In Schritt S28 kann die Rote-Augen-Vorlagen-Aktualisierungseinheit 35 die Rote-Augen-Vorlage erzeugen, anstatt die Rote-Augen-Vorlage aus den registrierten Informationen auszuwählen. Insbesondere schätzt die Rote-Augen-Vorlagen-Aktualisierungseinheit 35 die Form des roten Auges anhand des in Schritt S27 geschätzten Grads der Schläfrigkeit und erzeugt eine Rote-Augen-Vorlage mit der geschätzten Form. Dann aktualisiert die Rote-Augen-Vorlagen-Aktualisierungseinheit 35 die für einen Vorlagenvergleich im nächsten Rahmen verwendete Rote-Augen-Vorlage mit der erzeugten Rote-Augen-Vorlage.
Die Korrelation zwischen dem Grad der Schläfrigkeit und einem Rote-Augen-Muster kann für einen vorbestimmten Zeitabschnitt unmittelbar nach Beginn des Prozesses gelernt werden, und die Rote-Augen-Vorlagen-Aktualisierungseinheit 35 kann die Rote-Augen-Vorlage auf der Grundlage der gelernten Korrelation zwischen dem Grad der Schläfrigkeit und dem Rote-Augen-Muster in Schritt S28 erzeugen.
Wie vorstehend beschrieben ist es gemäß der Rote-Augen-Erfassungsvorrichtung 2 des zweiten Ausführungsbeispiels möglich, den Grad der Augenöffnung anhand des Grads der Schläfrigkeit indirekt zu berechnen. Und selbst wenn der Grad der Augenöffnung in Abhängigkeit vom Grad der Schläfrigkeit variiert, ist es möglich, das rote Auge mit hoher Genauigkeit zu erfassen.
[Drittes Ausführungsbeispiel]
Als nächstes wird eine Rote-Augen-Erfassungsvorrichtung 3 gemäß einem dritten Ausführungsbeispiel beschrieben. Das dritte Ausführungsbeispiel ist im Wesentlichen ähnlich dem ersten Ausführungsbeispiel und unterscheidet sich von dem ersten Ausführungsbeispiel darin, dass die Korrelation zwischen dem Grad der Augenöffnung und der Größe des roten Auges gelernt wird, und die Rote-Augen-Vorlage auf der Grundlage der gelernten Korrelation aktualisiert wird. Daher ist nachstehend lediglich der Unterschied zum ersten Ausführungsbeispiel beschrieben, und die Beschreibung der gleichen Komponenten wie im ersten Ausführungsbeispiel wird nicht wiederholt.
14 zeigt ein Blockschaltbild des Aufbaus der Rote-Augen-Erfassungsvorrichtung gemäß dem dritten Ausführungsbeispiel. Wie in 14 gezeigt, enthält eine Rote-Augen-Erfassungsvorrichtung gemäß dem dritten Ausführungsbeispiel einen Bildsensor 10, einen Beleuchtungssensor 40 und eine ECU 50.
Der Beleuchtungssensor 40 misst eine Fahrzeugaußenlichtmenge. Die Fahrzeugaußenlichtmenge ist die Menge von Licht außerhalb des Fahrzeugs. Daher ist die Menge des Lichts außerhalb des Fahrzeugs bei Tag groß und bei Nacht klein. Beispielsweise wird ein fotoelektrisches Wandelelement, das in der Nähe des Fensters des Fahrzeugs angebracht ist, als Beleuchtungssensor 40 verwendet. Der Beleuchtungssensor 40 gibt die gemessene Menge an Licht außerhalb des Fahrzeugs zu der ECU 50 aus.
Die ECU 50 ist ein Computer einer Fahrzeugvorrichtung, der eine elektronische Steuerung durchführt und beispielsweise eine CPU, einen Speicher, wie ein ROM oder RAM, und eine Eingabe-/Ausgabeschnittstelle enthält.
Die ECU 50 ist mit dem Bildsensor 10 und dem Beleuchtungssensor 40 verbunden und enthält eine Tag- und Nachtbestimmungseinheit 51, eine Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 52, eine Rote-Augen-Erfassungseinheit 53, eine Augenöffnungsgradberechnungseinheit 54, eine Schwarze-Augen-Größe-Lerneinheit 55 und eine Rote-Augen-Vorlagen-Aktualisierungseinheit 56.
Die Rote-Augen-Erfassungseinheit 53 und die Augenöffnungsgradberechnungseinheit 54 sind jeweils die gleichen wie die Rote-Augen-Erfassungseinheit 22 und die Augenöffnungsgradberechnungseinheit 23 gemäß dem ersten Ausführungsbeispiel.
Die Tag- und Nachtbestimmungseinheit 51 weist eine Funktion des Bestimmens auf, ob es Tag ist, wenn die Menge an Licht außerhalb des Fahrzeugs groß ist, oder Nacht ist, wenn die Menge des Lichts außerhalb des Fahrzeugs klein ist. Die Tag- und Nachtbestimmungseinheit 51 bestimmt, ob es Tag oder Nacht ist, beispielsweise beruhend auf der Menge von Licht außerhalb des Fahrzeugs, die von dem Beleuchtungssensor 40 ausgegeben wird, oder der Gesamthelligkeit des Bildes, das aus dem Bildsensor 10 ausgegeben wird.
Die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 52 ist im Wesentlichen gleich der Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 21 im ersten Ausführungsbeispiel und enthält ferner eine Funktion der Erfassung eines schwarzen Auges und Berechnung der Größe des erfassten schwarzen Auges. Das schwarze Auge kann beispielsweise durch einen Vorlagenvergleich unter Verwendung einer Schwarze-Augen-Vorlage erfasst werden.
Die Schwarze-Augen-Größe-Lerneinheit 55 weist eine Funktion des Lernens der Korrelation zwischen der Größe des durch die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 52 erfassten schwarzen Auges und dem durch die Augenöffnungsgradberechnungseinheit 54 berechneten Grad der Augenöffnung auf.
Die Rote-Augen-Vorlagen-Aktualisierungseinheit 56 weist eine Funktion des Schätzens des Grads der Augenöffnung und Aktualisierens der Rote-Augen-Vorlage auf der Grundlage des geschätzten Grads der Augenöffnung und der durch die Schwarze-Augen-Größe-Lerneinheit 55 gelernten Korrelation zwischen dem Grad der Augenöffnung und der Größe des schwarzen Auges auf.
Als nächstes wird die Arbeitsweise der Rote-Augen-Erfassungsvorrichtung 3 gemäß dem dritten Ausführungsbeispiel beschrieben. 15 zeigt ein Ablaufdiagramm zur Veranschaulichung eines Rote-Augen-Erfassungsprozesses der Rote-Augen-Erfassungsvorrichtung gemäß dem dritten Ausführungsbeispiel. Der in 15 gezeigte Prozess wird unter der Steuerung der ECU 50 durchgeführt, und wird mit einem vorbestimmten Intervall, beispielsweise während der Periode vom Einschalten der Zündung bis zum Ausschalten der Zündung wiederholt durchgeführt. Die Einheit einer Folge von in 15 gezeigten Prozessen wird als Rahmen bezeichnet. Daher ist der aktuelle Rahmen eine Folge von in 15 gezeigten Prozessen, die aktuell durchgeführt werden, und ein vorhergehender Rahmen ist eine Folge von in 15 gezeigten Prozessen, die zuvor durchgeführt wurden.
Wie in 15 gezeigt, gibt die ECU 50 zuerst das durch den Bildsensor 10 aufgenommene Bild des Fahrers ein (Schritt S31). Der Prozess in Schritt S31 ist der gleiche wie der Prozess in Schritt S11 im ersten Ausführungsbeispiel.
Dann erfasst die ECU 50 die Position des Gesichts und die Merkmalspunkte des Gesichts (Schritt S32). Der Prozess in Schritt S32 ist der gleiche wie der Prozess in Schritt S12 im ersten Ausführungsbeispiel.
Dann bestimmt die ECU 50, ob es Nacht ist (Schritt S33). Der Prozess in Schritt S33 wird durch die Tag- und Nachtbestimmungseinheit 51 durchgeführt. Die Tag- und Nachtbestimmungseinheit 51 bestimmt, ob es Tag oder Nacht ist, beruhend auf der Menge an Licht außerhalb des Fahrzeugs, die vom Beleuchtungssensor 40 ausgegeben wird, oder beruhend auf dem Bild, das vom Bildsensor 10 ausgegeben wird. Wenn beruhend auf der Menge von Licht außerhalb des Fahrzeugs, das vom Beleuchtungssensor 40 ausgegeben wird, bestimmt wird, ob es Tag oder Nacht ist, erhält die Tag- und Nachtbestimmungseinheit 51 zuerst die Menge an Licht außerhalb des Fahrzeugs, die vom Beleuchtungssensor 40 ausgegeben wird. Ist die Menge an Licht außerhalb des Fahrzeugs größer als ein vorbestimmter Schwellenwert, bestimmt die Tag- und Nachtbestimmungseinheit 51, dass es Tag ist. Ist die Menge an Licht außerhalb des Fahrzeugs kleiner oder gleich dem vorbestimmten Schwellenwert, bestimmt die Tag- und Nachtbestimmungseinheit 51, dass es Nacht ist. Wird andererseits beruhend auf dem vom Bildsensor 10 ausgegebenen Bild bestimmt, ob es Tag oder Nacht ist, erhält die Tag- und Nachtbestimmungseinheit 51 zuerst das vom Bildsensor 10 ausgegebene Bild. Dann berechnet die Tag- und Nachtbestimmungseinheit 51 die Gesamthelligkeit jedes Bildelements des Bildes. Ist die Gesamthelligkeit größer als ein vorbestimmter Schwellenwert, bestimmt die Tag- und Nachtbestimmungseinheit 51, dass es Tag ist. Ist die Gesamthelligkeit kleiner oder gleich dem vorbestimmten Schwellenwert, bestimmt die Tag- und Nachtbestimmungseinheit 51, dass es Nacht ist.
Wird bestimmt, dass es Tag ist (Schritt S33: NEIN), geht die ECU 50 zu Schritt S34 über. Wird bestimmt, dass es Nacht ist (Schritt S33: JA), geht die ECU 50 zu Schritt S37 über.
Wird in Schritt S33 bestimmt, dass es Tag ist, berechnet die ECU 50 den Grad der Augenöffnung (Schritt S34). Der Prozess in Schritt S34 ist der gleiche wie der Prozess in Schritt S16 im ersten Ausführungsbeispiel.
Dann erfasst die ECU 50 das schwarze Auge (Schritt S35). Der Prozess in Schritt S35 wird durch die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 52 durchgeführt. Zuerst stellt die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 52 eine Schwarze-Augen-Suchregion anhand der in Schritt S32 eingestellten Gesichtspositionsregion G1 (siehe 4) ein. Die Schwarze-Augen-Suchregion ist die gleiche wie die Rote-Augen-Suchregion G2 (siehe 5). Außerdem erfasst die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 52 das schwarze Auge aus der Schwarze-Augen-Suchregion beispielsweise mit einem Vorlagenvergleich unter Verwendung der Schwarze-Augen-Vorlage. Ein Verfahren der Erfassung des schwarzen Auges ist nicht auf das vorstehend angeführte Verfahren beschränkt, sondern es können andere bekannte Verfahren verwendet werden. Dann berechnet die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 52 die Größe eines Abschnitts des schwarzen Auges, der nicht durch das Augenlid bedeckt ist.
Als nächstes wird ein Verfahren der Berechnung der Größe des schwarzen Auges unter Bezugnahme von 16 beschrieben. 16 zeigt eine Darstellung zur Veranschaulichung der Kontur des Verfahrens der Berechnung der Größe des schwarzen Auges. Wie in 16 gezeigt, wird der in Schritt S34 berechnete Grad der Augenöffnung durch die Differenz zwischen der Y-Koordinate des Mittelpunkts einer oberen Augenlidkurve und der Y-Koordinate des Mittelpunkts einer unteren Augenlidkurve berechnet. Daher ist der berechnete Grad der Augenöffnung nicht unbedingt gleich der Größe eines Abschnitts des schwarzen Auges, der nicht durch das Augenlid bedeckt ist. Wird das schwarze Auge erfasst, erfasst die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 52 die Y-Koordinate des obersten Endes und die Y-Koordinate des untersten Endes des erfassten schwarzen Auges und berechnet die Differenz zwischen den erfassten Y-Koordinaten. Dann verwendet die Gesichtspositions- und Gesichtsmerkmalspunkterfassungseinheit 52 das Berechnungsergebnis als Größe eines Abschnitts des schwarzen Auges, der nicht durch das Augenlid bedeckt is.
Dann lernt die ECU 50 die Korrelation zwischen dem Grad der Augenöffnung und der Größe des schwarzen Auges (Schritt S36). Der Prozess in Schritt S36 wird durch die Schwarze-Augen-Größe-Lerneinheit 55 durchgeführt. 17 zeigt einen Augenöffnungsgrad-Schwarze-Augen-Größe-Graph, der die Korrelation zwischen dem Grad der Augenöffnung und der Größe des schwarzen Auges darstellt. Die Schwarze-Augen-Größe-Lerneinheit 55 enthält den in 17 gezeigten Augenöffnungsgrad-Schwarze-Augen-Größe-Graph. Die Schwarze-Augen-Größe-Lerneinheit 55 zeichnet die Größe des in Schritt S35 berechneten schwarzen Auges bezüglich des in Schritt S34 berechneten Grads der Augenöffnung auf dem in 17 gezeigten Augenöffnungsgrad-Schwarze-Augen-Größe-Graph auf, um die Größe des schwarzen Auges bezüglich des Grads der Augenöffnung zu lernen. Dann berechnet die Schwarze-Augen-Größe-Lerneinheit 55 den Mittelwert und die Standardabweichung σ der Größe des schwarzen Auges bezüglich des Grads der Augenöffnung.
Wird in Schritt S33 bestimmt, dass es Nacht ist, aktualisiert die ECU 50 die Rote-Augen-Vorlage (Schritt S37). Der Prozess in Schritt S37 wird durch die Rote-Augen-Vorlagen-Aktualisierungseinheit 56 durchgeführt. 18 zeigt eine Darstellung zur Veranschaulichung der Kontur eines Verfahrens des Schätzens des Grads der Augenöffnung. Wie in 18 gezeigt, zeichnet die Rote-Augen-Vorlagen-Aktualisierungseinheit 56 zuerst den Wert des im vorhergehenden Rahmen erfassten Grads der Augenöffnung auf und schätzt den Grad der Augenöffnung im aktuellen Rahmen unter Verwendung eines Filters, wie eines Kalman-Filters oder Partikelfilters. Ein Verfahren des Schätzens des Grads der Augenöffnung ist nicht auf das vorstehend angeführte Verfahren beschränkt, sondern es können andere bekannte Verfahren verwendet werden. Dann berechnet die Rote-Augen-Vorlagen-Aktualisierungseinheit 56 die Größe des schwarzen Auges an dem geschätzten Grad der Augenöffnung bezüglich des in Schritt S36 gelernten Augenöffnungsgrad-Schwarze-Augen-Größe-Graph. In diesem Fall kann die Rote-Augen-Vorlagen-Aktualisierungseinheit 56 die Größe eines schwarzen Auges unter Verwendung des Mittelwerts des Augenöffnungsgrad-Schwarze-Augen-Größe-Graph berechnen, oder kann die Größen einer Vielzahl von schwarzen Augen unter Verwendung der Standardabweichung σ des Augenöffnungsgrad-Schwarze-Augen-Größe-Graph berechnen. Dann erzeugt die Rote-Augen-Vorlagen-Aktualisierungseinheit 56 eine der berechneten Größe des schwarzen Auges entsprechende Rote-Augen-Vorlage. Werden die Größen einer Vielzahl von schwarzen Augen berechnet, wird eine Vielzahl von Rote-Augen-Vorlagen erzeugt. Dann aktualisiert die Rote-Augen-Vorlagen-Aktualisierungseinheit 25 die für den aktuellen Vorlagenvergleich verwendete Rote-Augen-Vorlage mit der erzeugten Rote-Augen-Vorlage.
Dann erfasst die ECU 50 das rote Auge mit einem Vorlagenvergleich unter Verwendung der in Schritt S37 aktualisierten Rote-Augen-Vorlage (Schritt S38). Schritt S38 wird durch die Rote-Augen-Vorlagen-Aktualisierungseinheit 56 durchgeführt. Der Prozess in Schritt S38 ist im Wesentlichen gleich dem Prozess in Schritt S14 im ersten Ausführungsbeispiel, abgesehen nur von der verwendeten Rote-Augen-Vorlage. Daher wird auf eine ausführliche Beschreibung von Schritt S38 verzichtet.
Wie vorstehend beschrieben wird bei der Rote-Augen-Erfassungsvorrichtung 3 gemäß dem dritten Ausführungsbeispiel die Korrelation zwischen der Größe des schwarzen Auges und dem Grad der Augenöffnung bei Tag gelernt, wenn die Lichtmenge außerhalb des Fahrzeugs groß ist, und die Rote-Augen-Vorlage mit einer dem Grad der Augenöffnung entsprechenden Größe wird bezüglich der Korrelation bei Nacht erzeugt, wenn die Lichtmenge außerhalb des Fahrzeugs gering ist. Daher ist es möglich, die dem Grad der Augenöffnung entsprechende Rote-Augen-Vorlage mit hoher Genauigkeit zu erzeugen.
Vorstehend sind Ausführungsbeispiele der Erfindung beschrieben, jedoch ist die Erfindung nicht auf die vorstehend beschriebenen Ausführungsbeispiele beschränkt. Beispielsweise sind das erste bis dritte Ausführungsbeispiel als verschiedene Ausführungsbeispiele beschrieben, jedoch können einige oder alle des ersten bis dritten Ausführungsbeispiels geeignet miteinander kombiniert werden. Beispielsweise ist die Genauigkeit des ersten Ausführungsbeispiels höher als die des zweiten Ausführungsbeispiels, und die Verarbeitungslast des zweiten Ausführungsbeispiels ist geringer als die des ersten Ausführungsbeispiels. Daher kann der Prozess gemäß dem ersten Ausführungsbeispiel durchgeführt werden, wenn der Schläfrigkeitsgrad gering ist, und der Prozess gemäß dem zweiten Ausführungsbeispiel kann durchgeführt werden, wenn der Schläfrigkeitsgrad hoch ist. Der Prozess des Schätzens des Grads der Augenöffnung im dritten Ausführungsbeispiel kann im ersten oder zweiten Ausführungsbeispiel durchgeführt werden.
Gewerbliche Anwendbarkeit
Die Erfindung kann als Rote-Augen-Erfassungsvorrichtung verwendet werden, die das rote Auge mit einem Vorlagenvergleich unter Verwendung einer Rote-Augen-Vorlage erfasst.
Bezugszeichenliste

1 BIS 3: ROTE-AUGEN-ERFASSUNGSVORRICHTUNG
10: BILDSENSOR (FAHRZEUGAUßENLICHTMENGENERFASSUNGSEINRICHTUNG)
20: ECU
21: GESICHTSPOSITIONS- UND GESICHTSMERKMALSPUNKTERFASSUNGSEINHEIT
22: ROTE-AUGEN-ERFASSUNGSEINHEIT (ROTE-AUGEN-ERFASSUNGSEINRICHTUNG)
23: AUGENÖFFNUNGSGRADBERECHNUNGSEINHEIT (AUGENÖFFNUNGSGRADBERECHNUNGSEINRICHTUNG)
24: RELATIVE AUGENÖFFNUNGSGRADBERECHNUNGSEINHEIT
25: ROTE-AUGEN-VORLAGEN-AKTUALISIERUNGSEINHEIT (ROTE-AUGEN-VORLAGEN-ERZEUGUNGSEINRICHTUNG)
30: ECU
31: GESICHTSPOSITIONS- UND GESICHTSMERKMALSPUNKTEFASSUNGSEINHEIT
32: ROTE-AUGEN-ERFASSUNGSEINHEIT (ROTE-AUGEN-ERFASSUNGSEINRICHTUNG)
33: AUGENÖFFNUNGSGRADBERECHNUNGSEINHEIT (AUGENÖFFNUNGSGRADBERECHNUNGSEINRICHTUNG)
34: SCHLÄFRIGKEITSSCHÄTZEINHEIT (SCHLÄFRIGKEITSGRADSCHÄTZEINRICHTUNG)
35: ROTE-AUGEN-VORLAGEN-AKTUALISIERUNGSEINHEIT (ROTE-AUGEN-VORLAGEN-ERZEUGUNGSEINRICHTUNG)
40: BELEUCHTUNGSSENSOR (FAHRZEUGAUßENLICHTMENGENERFASSUNGSEINRICHTUNG)
50: ECU
51: TAG- UND NACHTBESTIMMUNGSEINHEIT (FAHRZEUGAUßENLICHTMENGENERFASSUNGSEINRICHTUNG)
52: GESICHTSPOSITIONS- UND GESICHTSMERKMALSPUNKTERFASSUNGSEINHEIT (SCHWARZE-AUGEN-ERFASSUNGSEINRICHTUNG)
53: ROTE-AUGEN-ERFASSUNGSEINHEIT (ROTE-AUGEN-ERFASSUNGSEINRICHTUNG)
54: AUGEN-ÖFFNUNGSGRAD-BERECHNUNGSEINHEIT (AUGENÖFFNUNGSGRAD-BERECHNUNGSEINRICHTUNG)
55: SCHWARZE-AUGEN-GRÖßE-LERNEINHEIT
56: ROTE-AUGEN-VORLAGEN-AKTUALISIERUNGSEINHEIT (ROTE-AUGEN-VORLAGEN-ERZEUGUNGSEINRICHTUNG)
L: LED-LICHT
R: ROTES AUGE
C: ROTE-AUGEN-KANDIDAT
F1: BILD
G1: GESICHTSPOSITIONREGION
G2: ROTE-AUGEN-SUCHREGION
G3: KANTENBILD
A1: AUGENÖFFNUNGSSCHWELLENWERT
A2: AUGENSCHLIEßSCHWELLENWERT
SA: STATISTISCHE VERTEILUNG, WENN DER SCHLÄFRIGKEITSGRAD GERING IST
SB: STATISTISCHE VERTEILUNG, WENN DER SCHLÄFRIGKEITSGRAD HOCH IST

Claims

Rote-Augen-Erfassungsvorrichtung, die ein rotes Auge aus einem Gesichtsbild mit Vorlagenvergleich unter Verwendung einer Rote-Augen-Vorlage erfasst, mit: einer Rote-Augen-Vorlagen-Erzeugungseinrichtung zur Erzeugung der Rote-Augen-Vorlage entsprechend einem Grad einer Augenöffnung.
Rote-Augen-Erfassungsvorrichtung nach Anspruch 1, wobei die Rote-Augen-Vorlagen-Erzeugungseinrichtung die Rote-Augen-Vorlage, die für den nächsten Vorlagenvergleich verwendet wird, mit der erzeugten Rote-Augen-Vorlage aktualisiert.
Rote-Augen-Erfassungsvorrichtung nach Anspruch 1, ferner mit: einer Augenöffnungsgradberechnungseinrichtung zur Berechnung des Grads der Augenöffnung aus dem Gesichtsbild.
Rote-Augen-Erfassungsvorrichtung nach Anspruch 3, wobei die Augenöffnungsgradberechnungseinrichtung den Grad der Augenöffnung beruhend auf einem relativen Grad der Augenöffnung berechnet, der in einem Auge-Geschlossen-Zustand 0% und einem Auge-Offen-Zustand 100% beträgt.
Rote-Augen-Erfassungsvorrichtung nach Anspruch 1, ferner mit: einer Schläfrigkeitsgradschätzeinrichtung zum Schätzen des Grads der Augenöffnung auf der Grundlage eines Grads der Schläfrigkeit.
Rote-Augen-Erfassungsvorrichtung nach Anspruch 1, ferner mit: einer Fahrzeugaußenlichtmengenerfassungseinrichtung zur Erfassung einer Menge von Licht außerhalb eines Fahrzeugs, einer Augenöffnungsgraderfassungseinrichtung zum Berechnen des Grads der Augenöffnung aus dem Gesichtsbild, und einer Schwarze-Augen-Erfassungseinrichtung zur Erfassung eines schwarzen Auges anhand des Gesichtsbildes, wobei die Rote-Augen-Vorlagen-Erzeugungseinrichtung eine Korrelation zwischen dem Grad der Augenöffnung und einer Größe des schwarzen Auges zu einer Zeit lernt, wenn die durch die Fahrzeugaußenlichtmengenerfassungseinrichtung erfasste Menge von Licht außerhalb des Fahrzeugs groß ist, und eine Rote-Augen-Vorlage mit einer dem Grad der Augenöffnung entsprechenden Größe unter Bezugnahme auf die Korrelation zu einer Zeit erzeugt, wenn die durch die Fahrzeugaußenlichtmengenerfassungseinrichtung erfasste Menge von Licht außerhalb des Fahrzeugs gering ist.