-
Die
vorliegende Erfindung bezieht sich auf eine Augenliederfassungsvorrichtung,
ein Augenliderfassungsverfahren und ein zugehöriges Programm
zur Erfassung eines oberen Augenlids und eines unteren Augenlids
in einem Bild des menschlichen Gesichts.
-
Bei
einem bekannten Verfahren, das sich auf eine Augenliderfassung unter
Verwendung eines Gesichtsbildes bezieht, wird ein Zustand der Augen
im Gesichtsbild bestimmt, und eine Ausrichtung einer Gesichtslinie
eines Menschen wird auf der Grundlage des Zustands der Augen gemessen,
oder ein Wachheitsgrad eines Menschen, beispielsweise ein Wachheitsgrad
eines Fahrers, wird auf der Grundlage eines Öffnungsgrades
der Augenlider des Fahrers geschätzt. Bei diesem Verfahren
müssen die Augen im Gesichtsbild zur Bestimmung ihres Zustands
genau erfasst werden, und die Augenlider müssen zur Erfassung
des Öffnungsgrades der Augenlider genau erfasst werden.
-
Bei
der in der
JP03202045 offenbarten
Vorrichtung wird beispielsweise der Zustand eines Fahrers durch
Erfassung eines Irisabschnitts in einem Gesichtsbild bestimmt. Insbesondere
wird ein Bereich, in dem der Irisabschnitt gesucht wird, im Gesichtsbild
zuerst eingestellt, und in diesem Suchbereich wird die Größe
des Bereichs, in dem eine Farbe relativ dunkel ist, berechnet, und
eine zentrale Position des Irisabschnitts wird durch Gewichtung
möglicher Mittelpunkte des Irisabschnitts über
ein statistisches Verfahren in Abhängigkeit von der Größe
des dunklen Bereichs erfasst.
-
Ist
ein Mensch auf einem Bild gezeigt, können die Augen des
Menschen im Allgemeinen als Ergebnis des Rotaugeneffektes rot erscheinen.
Der Rotaugeneffekt tritt im Allgemeinen wie folgt auf. Befindet
sich der Mensch in einer schlecht beleuchteten Umgebung, fällt
Licht durch seine Pupillen, die in der schlecht beleuchteten Umgebung
weit geöffnet sind. Das Licht reflektiert an Choroideen
der Augen und tritt durch die Pupillen aus, und dann nimmt die Kamera
dieses reflektierte Licht auf, das nunmehr zwei Mal durch die Pupillen
hindurchgegangen ist. Wird der Mensch mit Blitzlicht angestrahlt,
geht das Licht des Blitzlichtes zu schnell hindurch, als dass die
Iris der Augen die Pupillen schließen könnte,
und infolge dessen tritt der Rotaugeneffekt im Bild auf. Wird ein Subjekt
mit dem Blitzlicht einen bestimmten Zeit lang angestrahlt, tritt der
Rotaugeneffekt eventuell nicht auf, da sich die Pupillen während
dieser Zeit verengen.
-
Wird
das Gesicht des Fahrers durch die Kamera in einer schlecht beleuchteten
Umgebung aufgenommen, und wird er mittels Blitzlicht angestrahlt, kann
das Blitzlicht den Fahrer stören, da das Blitzlicht sichtbares
Licht abstrahlt. Eine andere Option ist das Ausleuchten des Gesichts
des Fahrers mit infrarotnahem Licht. Fällt das infrarotnahe
Licht allerdings durch die Pupillen des Fahrers, tritt wieder der
Rotaugeneffekt auf, da sich die Pupillen nicht verengen.
-
Da
die Pupillen im Gesichtsbild, in dem der Rotaugeneffekt auftritt,
als heller Bereich bestimmt werden, wird eine Iris des Auges, die
sich für gewöhnlich in einem dunklen Bereich in
dem Bild befindet, gemäß dem Stand der Technik
eventuell nicht geeignet erfasst. Werden die Pupillen in dem Bild
erfasst, in dem der Rotaugeneffekt auftritt, wird eventuell eine
Kante der Pupillen irrtümlicher Weise als Kante der Augenlider
erfasst.
-
Es
besteht daher das Erfordernis einer Augenliderfassungsvorrichtung,
eines Augenliderfassungsverfahrens und eines zugehörigen
Programms zur geeigneten Erfassung der Augenlider selbst dann, wenn
ein Rotaugeneffekt auftritt.
-
Gemäß einer
Ausgestaltung der Erfindung umfasst eine Augenliderfassungsvorrichtung
eine Bildaufnahmeeinrichtung zur Erfassung eines Gesichtsbildes,
eine Rotaugeneffekterfassungseinrichtung zur Erfassung eines Rotaugeneffekts,
in dem Licht rot an einer Pupille im Gesichtsbild erscheint, welches
durch die Pupille eintritt, an einer Choroidea des Auges reflektiert
wird und aus der Pupille austritt, eine Augenliderfassungseinrichtung
zur Erfassung eines oberen Augenlids und eines unteren Augenlids im
Gesichtsbild auf der Grundlage einer an einer Grenze zwischen einem
hellen Abschnitt und einem dunklen Abschnitt erscheinenden Kante,
wobei die Augenliderfassungseinrichtung die Kante einer Pupille,
bei der der Rotaugeneffekt auftritt (die nachstehend als Rotaugeneffektpupille
bezeichnet wird) ignoriert, damit diese nicht als oberes Augenlid
oder unteres Augenlid betrachtet wird, wenn die Rotaugeneffekterfassungseinrichtung
den Rotaugeneffekt erfasst.
-
Gemäß einer
Ausgestaltung der Erfindung ignoriert die Augenliderfassungseinrichtung
eine obere Kante einer Rotaugeneffektpupille, damit diese nicht
als unteres Augenlid betrachtet wird, wenn die Rotaugeneffekterfassungseinrichtung
den Rotaugeneffekt erfasst.
-
Gemäß einer
Ausgestaltung der Erfindung ignoriert die Augenliderfassungseinrichtung
eine untere Kante der Rotaugeneffektpupille, damit diese nicht als
oberes Augenlid betrachtet wird, wenn die Rotaugeneffekterfassungseinrichtung
den Rotaugeneffekt erfasst.
-
Gemäß einer
Ausgestaltung der Erfindung erfasst die Rotaugeneffekterfassungseinrichtung
ein Teilbild im Gesichtsbild als Rotaugeneffektpupille, wobei das
Teilbild einem vorbestimmten Dunkel-Hell-Bildelementmuster entspricht.
-
Gemäß einer
Ausgestaltung der Erfindung enthält das Dunkel-Hell-Bildelementmuster
einen hellen Bereich an seinem zentralen Abschnitt und einen dunklen
Bereich um den hellen Bereich.
-
Gemäß einer
Ausgestaltung der Erfindung erfasst die Rotaugeneffekterfassungseinrichtung
das Teilbild im Gesichtsbild als Rotaugeneffektpupille, wobei das
Teilbild einem einer Vielzahl vorbestimmter Dunkel-Hell-Bildelementmustern
entspricht, die jeweils ein unterschiedliches Muster aufweisen.
-
Gemäß einer
Ausgestaltung der Erfindung erfasst die Rotaugeneffekterfassungseinrichtung
das Teilbild im Gesichtsbild als Rotaugeneffektpupille, wobei das
Teilbild die Kante enthält, deren Form eine vorbestimmte
Bedingung erfüllt, wobei die Kante an der Grenze zwischen
dem hellen Abschnitt und dem dunklen Abschnitt erscheint.
-
Gemäß einer
Ausgestaltung der Erfindung enthält die Augenliderfassungsvorrichtung
ferner eine Beleuchtungsstärkenerfassungseinrichtung zur Erfassung
eines Helligkeitspegels einer Umgebung und eine Rotaugeneffekterfassungs-Ausführungsbestimmungseinrichtung
zur Bestimmung auf der Grundlage des Helligkeitspegels der Umgebung,
ob die Rotaugeneffekterfassung durch die Rotaugeneffekterfassungseinrichtung
ausgeführt wird.
-
Gemäß einer
Ausgestaltung der Erfindung bestimmt die Rotaugeneffekterfassungs-Ausführungsbestimmungseinrichtung,
dass die Rotaugeneffekterfassung durch die Rotaugeneffekterfassungseinrichtung
nicht ausgeführt wird, wenn der Helligkeitspegel der Umgebung
größer als ein vorbestimmter Wert ist.
-
Gemäß einer
Ausgestaltung der Erfindung bestimmt die Rotaugeneffekterfassungs-Ausführungsbestimmungseinrichtung, dass
die Rotaugeneffekterfassung durch die Rotaugeneffekterfassungseinrichtung
ausgeführt wird, wenn der Helligkeitspegel der Umgebung
niedriger als ein vorbestimmter Wert ist.
-
Gemäß einer
Ausgestaltung der Erfindung umfasst die Augenliderfassungseinrichtung
eine mögliche Augenliderfassungseinrichtung zur Erfassung
eines möglichen oberen Augenlids und eines möglichen
unteren Augenlids auf der Grundlage der an der Grenze zwischen dem
hellen Abschnitt und dem dunklen Abschnitt erscheinenden Kante,
wobei die Augenliderfassungseinrichtung die Kante der Rotaugeneffektpupille
ignoriert, damit sie nicht als mögliches oberes Augenlid
oder mögliches unteres Augenlid betrachtet wird, wenn die
Rotaugeneffekterfassungseinrichtung den Rotaugeneffekt erfasst.
-
Gemäß einer
Ausgestaltung der Erfindung umfasst ein Augenliderfassungsverfahren
ein Erfassen eines Rotaugeneffekts, bei dem Licht rot an einer Pupille
in einem durch eine Bildaufnahmeeinrichtung aufgenommenen Gesichtsbild
erscheint, das durch die Pupille eintritt, an einer Choroidea des
Auges reflektiert wird und aus der Pupille austritt, Erfassen eines
oberen Augenlids und eines unteren Augenlids im Gesichtsbild auf
der Grundlage einer an einer Grenze zwischen einem hellen Abschnitt
und einem dunklen Abschnitt erscheinenden Kante und Ignorieren der
Kante einer Rotaugeneffektpupille, damit sie nicht als oberes Augenlid
oder unteres Augenlid betrachtet wird, wenn der Rotaugeneffekt erfasst
wird.
-
Gemäß einer
Ausgestaltung der Erfindung weist ein Programm einen Computer zum
Arbeiten als Rotaugeneffekterfassungseinrichtung zur Erfassung eines Rotaugeneffekts,
bei dem Licht rot an der Pupille in einem Gesichtsbild erscheint,
das durch die Pupille eintritt, an einer Choroidea des Auges reflektiert
wird und aus der Pupille austritt, und Augenliderfassungseinrichtung
zur Erfassung eines oberen Augenlids und eines unteren Augenlids
im Gesichtsbild auf der Grundlage einer an einer Grenze zwischen
einem hellen Abschnitt und einem dunklen Abschnitt erscheinenden
Kante an, so dass die Kante einer Rotaugeneffektpupille ignoriert
wird, um nicht als oberes Augenlid oder unteres Augenlid betrachtet
zu werden, wenn die Rotaugeneffekterfassungseinrichtung den Rotaugeneffekt
erfasst.
-
Mit
der Augenliderfassungsvorrichtung der Erfindung kann ein Augenlid
selbst dann genau erfasst werden, wenn der Rotaugeneffekt im Gesichtsbild
auftritt.
-
Diese
und weitere Merkmale und Eigenschaften der Erfindung werden aus
der folgenden näheren Beschreibung unter Benzugnahme auf
die beiliegenden Zeichnungen ersichtlich. Es zeigen:
-
1 ein
Blockschaltbild einer Augenliderfassungsvorrichtung gemäß einem
Ausführungsbeispiel der Erfindung,
-
2 ein
Blockschaltbild eines logischen Aufbaus der Augenliderfassungsvorrichtung
gemäß dem Ausführungsbeispiel der Erfindung,
-
3 ein
Blockschaltbild einer Konfiguration eines in 1 gezeigten
Computers,
-
4A eine
Darstellung eines Beispiels eines Operators zur Erfassung einer
vertikalen Kante,
-
4B eine
Darstellung eines Beispiels eines Operators zur Erfassung einer
lateralen Kante,
-
4C eine
Darstellung eines Beispiels einer Grenze (Kante) zwischen der dunklen
Farbe und der hellen Farbe, die sich in vertikaler Richtung erstreckt,
-
4D eine
Darstellung eines Beispiels einer Grenze (Kante) zwischen der dunklen
Farbe und der hellen Farbe, die sich in lateraler Richtung erstreckt,
-
5 eine
Darstellung eines Beispiels von Datenbestimmungsbereichen in einem
Gesichtsbild,
-
6 eine
Musterdarstellung eines Beispiels eines Originalbildes eines Augenlidsuchbereichs,
-
7 eine
Musterdarstellung eines Beispiels eines Bildes, in dem ein Rotaugeneffekt
auftritt,
-
8A eine
Darstellung eines Beispiels eines Dunkel-Hell-Bildelementmusters
zur Erfassung des Rotaugeneffektes,
-
8B eine
Darstellung eines Beispiels des Dunkel-Hell-Bildelementmusters zur
Erfassung des Rotaugeneffekts,
-
8C eine
Darstellung eines Beispiels des Dunkel-Hell-Bildelementmusters zur
Erfassung des Rotaugeneffekts,
-
8D eine
Darstellung eines Beispiels des Dunkel-Hell-Bildelementmusters zur
Erfassung des Rotaugeneffekts,
-
9 eine
Darstellung eines Beispiels, bei dem eine Kante in einem Bild eines
Augenlidsuchbereichs erfasst wird, wenn der Rotaugeneffekt erfasst wird,
-
10 eine
vergrößerte Darstellung eines Bereichs R in 9,
-
11 ein
Ablaufdiagramm eines Beispiels eines Prozesses, der durch die Augenliderfassungsvorrichtung
ausgeführt wird,
-
12A ein Beispiel eines Kantenmusters zur Erfassung
des Rotaugeneffekts,
-
12B ein Beispiel des Kantenmusters zur Erfassung
des Rotaugeneffekts,
-
12C ein Beispiel des Kantenmusters zur Erfassung
des Rotaugeneffekts, und
-
12D ein Beispiel des Kantenmusters zur Erfassung
des Rotaugeneffekts.
-
Nachstehend
wird ein Ausführungsbeispiel der Erfindung unter Bezugnahme
auf die beiliegenden Zeichnungen beschrieben. In den Zeichnungen bezeichnen
identische Bezugszeichen gleiche oder entsprechende Abschnitte in
den Darstellungen und eine ausführliche Beschreibung identischer
Bezugszeichen wird nicht wiederholt. 1 zeigt
ein Blockschaltbild eines Aufbaus einer Augenliderfassungsvorrichtung 1 gemäß dem
Ausführungsbeispiel der Erfindung. Die Augenliderfassungsvorrichtung 1 umfasst
eine Kamera 2 (beispielsweise eine Bildaufnahmeeinrichtung),
eine Beleuchtungslichtquelle 3, einen Beleuchtungsstärkensensor 4 (beispielsweise eine
Beleuchtungsstärkenerfassungseinrichtung), einen Computer 10 und
eine Anzeigeeinrichtung 7. Die Kamera 2 nimmt
ein Bild des Gesichts eines Fahrers auf und erzeugt dann ein Gesichtsbild.
Die Beleuchtungslichtquelle 3 beleuchtet das Gesicht des
Fahrers. Der Computer 10 bestimmt Augen des Fahrers. Die
Anzeigeeinrichtung 7 ist mit dem Computer 10 verbunden.
-
Die
Kamera 2 wandelt ein durch eine Linse gebildetes Bild beispielsweise
unter Verwendung einer Ladungskopplungseinrichtung (CCD) in ein
elektrisches Signal um, und die Kamera 2 gibt dann Bilddaten
aus, wobei die jeweiligen Bildelemente digitalisiert sind. Des Weiteren
erzeugt die Kamera 2 beispielsweise ein Grauwertbild des
Gesichts des Fahrers. Die durch die Kamera 2 erzeugten
Bilddaten enthalten nicht nur das Gesicht des Fahrers, sondern auch
ein Hintergrundbild hinter dem Fahrer.
-
Der
Beleuchtungsstärkensensor 4 umfasst beispielsweise
eine Fotodiode oder ein fotoelektrisches Wandlerelement, wie eine
Solarzelle. Der Beleuchtungsstärkensensor 4 erfasst
einen Helligkeitspegel einer Umgebung durch Umwandeln des einem
Element entsprechenden Lichts in Spannung oder Strom. Der Beleuchtungsstärkensensor 4 ist
an einem Ort bereitgestellt, an dem beispielsweise der Pegel der
Helligkeit der Umgebung des Fahrzeugs erfasst werden kann.
-
Die
Anzeigeeinrichtung 7 ist beispielsweise mit einer Flüssigkristallanzeige
(LCD), Katodenstrahlröhre (CRT), und dergleichen, konfiguriert.
Ferner zeigt die Anzeigeeinrichtung 7 beispielsweise ein binäres
Bild an, das auf der Grundlage des durch die Kamera 2 aufgenommenen
Gesichtsbildes erzeugt ist.
-
Der
Computer 10 verarbeitet die durch die Kamera 2 erzeugten
Bilddaten, und dann bestimmt der Computer 10 das rechte
und linke Ende des Gesichts des Fahrers in einer Breiten-Richtung
im Gesichtsbild, und der Computer 10 bestimmt ferner einen
oberen und unteren Abschnitt des Gesichts des Fahrers in einer vertikalen
Richtung im Gesichtsbild. Der Computer 10 stellt einen
Bereich (einen Augenlidsuchbereich) ein, der zu durchsuchen ist,
um die Augenlider des Fahrers zu erfassen, und dann bestimmt der
Computer 10 einen Rotaugeneffekt und obere und untere Augenlider
im Gesicht des Fahrers innerhalb des im Gesichtsbild eingestellten
Augenlidsuchbereichs.
-
2 zeigt
ein Blockschaltbild einer logischen Konfiguration der Augenliderfassungsvorrichtung 1 des
Ausführungsbeispiels. Die Augenliderfassungsvorrichtung 1 umfasst
die Kamera 2, den Beleuchtungsstärkensensor 4,
einen Bildeingabeabschnitt 21, einen Augenlidsuchbereicheinstellabschnitt 22,
einen möglichen Augenliderfassungsabschnitt 23 (beispielsweise
eine mögliche Augenliderfassungseinrichtung, eine Augenliderfassungseinrichtung),
einen Rotaugeneffekterfassungs-Ausführungsbestimmungsabschnitt 24 (beispielsweise
eine Rotaugeneffekterfassungs-Ausführungsbestimmungseinrichtung),
einen Rotaugeneffekterfassungsabschnitt 25 (beispielsweise
eine Rotaugeneffekterfassungseinrichtung), einen Rotaugeneffektbeseitigungsabschnitt 26 (beispielsweise
die Augenliderfassungseinrichtung), einen Augenlidbestimmungsabschnitt 27 (beispielsweise
die Augenliderfassungseinrichtung), einen Anzeigeverarbeitungsabschnitt 28,
einen Datenspeicherabschnitt 5, eine Anzeigeeinrichtung 7,
und dergleichen. Ein Datenspeicherabschnitt 5 speichert Gesichtsbilddaten 51, Gesichtsbereich-
und Augenlidsuchbereichdaten 52, mögliche Augenliddaten 53,
Rotaugeneffektpupillendaten 54 und Augenliderfassungsdaten 55.
In dieser Konfiguration bestimmt die Augenliderfassungsvorrichtung 1 den
Rotaugeneffekt und zwei Paare oberer und unterer Augenlider der
Augen im Gesichtsbild.
-
3 zeigt
ein Blockschaltbild eines Beispiels einer Konfiguration der Augenliderfassungsvorrichtung 1.
Der Computer 10 umfasst einen Sende- und Empfangsabschnitt 16 (beispielsweise
die Bildaufnahmeeinrichtung), einen Bildspeicher 12, einen
externen Speicherabschnitt 13, einen Steuerabschnitt 14,
einen Hauptspeicherabschnitt 15, eine Anzeigesteuereinrichtung 17 und
eine Lichtquellensteuereinrichtung 18. Der Bildspeicher 12,
der externe Speicherabschnitt 13, der Hauptspeicherabschnitt 15,
der Sende- und Empfangsabschnitt 16, die Anzeigesteuereinrichtung 17 und
die Lichtquellensteuereinrichtung 18 sind über
einen internen Bus 11 mit dem Steuerabschnitt 14 verbunden.
Der Steuerabschnitt 14 dient als Bildaufnahmeeinrichtung,
Rotaugeneffekterfassungs-Ausführungsbestimmungseinrichtung,
Rotaugeneffekterfassungseinrichtung und Augenliderfassungseinrichtung.
-
Der
Steuerabschnitt 14 ist mit einer Zentralverarbeitungseinheit
(die nachstehend als CPU bezeichnet wird), und dergleichen konfiguriert.
Der Steuerabschnitt 14 folgt einem in dem externen Speicherabschnitt 13 gespeicherten
Programm zur Ausführung von Prozessen des Bildeingabeabschnitts 21,
Augenlidsuchbereichseinstellabschnitt 22, möglichen
Augenliderfassungsabschnitts 23, Rotaugeneffekterfassungs-Ausführungsbestimmungsabschnitts 24, Rotaugeneffekterfassungsabschnitts 25,
Rotaugeneffektbeseitigungsabschnitts 26, Augenlidbestimmungsabschnitts 27 und
Anzeigeverarbeitungsabschnitts 28. Die im Bildeingabeabschnitt 21,
Augenlidsuchbereichseinstellabschnitt 22, möglichen
Augenliderfassungsabschnitt 23, Rotaugeneffekterfassungs-Ausführungsbestimmungsabschnitt 24,
Rotaugeneffekterfassungsabschnitt 25, Rotaugeneffektbeseitigungsabschnitt 26,
Augenlidbestimmungsabschnitt 27 und Anzeigeverarbeitungsabschnitt 28 erforderlichen
Signalverarbeitungen werden durch den Steuerabschnitt 14 und
die durch den Steuerabschnitt 14 ausgeführten
Programme ausgeführt.
-
Der
Hauptspeicherabschnitt 15 ist mit einem Speicher mit wahlfreiem
Zugriff (RAM) und dergleichen konfiguriert. Des Weiteren wird der
Hauptspeicherabschnitt 15 als Arbeitsbereich des Steuerabschnitts 14 verwendet.
Ein Teil des Bildspeichers 12 und ein Teil des Hauptspeicherabschnitts 15 sind dem
Datenspeicherabschnitt 15 als Speicherbereiche zugewiesen.
-
Der
externe Speicherabschnitt 13 ist mit nicht flüchtigen
Speichern, wie einem Flashspeicher, einer Festplatte, einer DVD
(Digital Versatile Disc), einem DVD-RAM, einer wieder beschreibbaren
DVD oder dergleichen konfiguriert. Der externe Speicherabschnitt 13 speichert
vorübergehend ein Programm zur Ausführung der
vorstehend angeführten Prozesse am Steuerabschnitt 14.
Ferner führt der Steuerabschnitt 14 das Programm
nach den im externen Speicherabschnitt 14 gespeicherten
Programmdaten aus. Dann speichert der externe Speicherabschnitt 13 von dem
Steuerabschnitt 14 gesendete Daten. Beispielsweise können
Zeitreihen-Bilddaten am externen Speicherabschnitt 13 gespeichert
werden.
-
Wird
ein Netzwerk für die Augenliderfassungsvorrichtung 1 verwendet,
ist der Sende- und Empfangsabschnitt 16 beispielsweise
entweder mit einem Modulator-Demodulator oder einem Netzanschluss
und entweder mit einer seriellen Schnittstelle oder einer Lokalbereichsnetzwerksschnittstelle (LAN-Schnittstelle)
konfiguriert, die entweder mit dem Modulator-Demodulator oder dem
Netzanschluss verbunden ist. Ist die Kamera 2 andererseits direkt
mit dem Computer 10 verbunden, ist der Sende- und Empfangsabschnitt 16 beispielsweise
mit einer NTSC (National Television Standard Committee) – Schnittstelle
konfiguriert. Der Steuerabschnitt 14 gibt die Bilddaten
von der Kamera 2 über den Sende- und Empfangsabschnitt 16 ein.
Der Bildspeicher 12 speichert die mittels der Kamera 2 erzeugten
Bilddaten, die über den Sende- und Empfangsabschnitt 16 in
den Bildspeicher 12 eingegeben werden. Ist der Sende- und
Empfangsabschnitt 16 mit der NTSC-Schnittstelle konfiguriert,
werden Bildsignale durch den Sende- und Empfangsabschnitt 16 in
digitale Daten umgewandelt. Der Sende- und Empfangsabschnitt 16 gibt
ferner ein einer Beleuchtungsstärke der Umgebung (Helligkeit
der Umgebung) von dem Beleuchtungsstärkensensor 4 entsprechendes
Signal ein, und das Signal wird zum Steuerabschnitt 14 übertragen.
-
Die
Anzeigesteuereinrichtung 17 steuert die Anzeigeeinrichtung 7 unter
der Steuerung des Steuerabschnitts 14. Die Lichtquellensteuereinrichtung 18 steuert
das Ein- beziehungsweise Ausschalten der Beleuchtungslichtquelle 3.
-
Der
Steuerabschnitt 14 führt das im externen Speicherabschnitt 13 gespeicherte
Programm zur Erfassung eines Paars eines oberen und unteren Augenlids
aus. Insbesondere erfasst der Steuerabschnitt 14 das Paar
des oberen und unteren Augenlids durch Ausführung des im
externen Speicherabschnitt 13 gespeicherten Programms derart,
dass zuerst der Steuerabschnitt 14 die durch die Kamera 2 erzeugten
Bilddaten verarbeitet, dann der Steuerabschnitt 14 das
rechte und linke Ende und den oberen und den unteren Abschnitt des
Gesichts erfasst, der Steuerabschnitt 14 dann den Rotaugeneffekt
und die möglichen oberen und unteren Augenlider innerhalb des
Augenlidsuchbereichs auf der Grundlage des erfassten rechten und
linken Endes und des oberen und unteren Abschnitts des Gesichts
erfasst, und der Steuerabschnitt 14 schließlich
die Besten als die oberen und unteren Augenlidpaare innerhalb eines
möglichen oberen und unteren Augenlidpaars auswählt, die
eine Bedingung der oberen und unteren Augenlider erfüllen.
-
Nachstehend
wird unter Bezugnahme auf 2 eine Operation
jedes Abschnitts der Augenliderfassungsvorrichtung 1 beschrieben.
Die Kamera 2 nimmt das Bild des Gesichts auf. Der Bildeingabeabschnitt 21 gibt
die Zeitreihen-Bilddaten von der Kamera 2 zu jedem vorbestimmten
Zeitintervall ein, und dann gibt der Bildeingabeabschnitt 21 die
eingegebenen Zeitreihen-Bilddaten zu dem Datenspeicherabschnitt 5 aus.
Dann speichert der Datenspeicherabschnitt 5 die Zeitreihenbilddaten
als Gesichtsbilddaten 51.
-
Der
Augenlidsuchbereicheinstellabschnitt 22 abstrahiert den
Gesichtsbereich aus den Gesichtsbilddaten 51, und dann
stellt der Augenlidsuchbereicheinstellabschnitt 22 den
Augenlidsuchbereich innerhalb des Gesichtsbereichs ein. Zum Abstrahieren
des Gesichtsbereichs werden beispielsweise Kanten, die einen Umriss
des Gesichts bilden, aus dem Gesichtsbereich abstrahiert. Alternativ
dazu kann der Umriss des Gesichts mittels eines Musterübereinstimmungsverfahrens
abstrahiert werden. Der Gesichtsbereich wird durch Erfassung von
Kanten eingestellt, die sich über den Augenbrauen befinden, und
einer Kante, die sich unter dem Kinn innerhalb des Gesichtsumrisses
befindet. Dann wird der Augenlidsuchbereich im Gesichtsbereich mit
einem durch statistische Daten erhaltenen Verhältnis eingestellt. 5 zeigt
ein Beispiel eines Gesichtsbereichs F und eines Augenlidsuchbereichs
E. Der Augenlidsuchbereicheinstellabschnitt 22 gibt den
Gesichtsbereich F und den Augenlidsuchbereich E zu dem Speicherabschnitt 5 aus,
und der Speicherabschnitt 5 speichert den Gesichtsbereich
F und den Augenlidsuchbereich E als die Gesichtsbereichs- und Augenlidsuchbereichsdaten 52.
-
Bestimmte
ins Auge stechende Teile in dem Gesichtsbild, beispielsweise Nasenlöcher,
werden eventuell zuerst erfasst, und der Augenlidsuchbereich E kann
auf der Grundlage der Positionen der Nasenlöcher eingestellt
werden. Insbesondere wird die Länge zwischen den Nasenlöchern
und den Augenbrauen gemessen, und die Länge wird mit einem vorbestimmten
Verhältnis multipliziert. Diese Länge kann als
vertikale Länge des Augenlidsuchbereichs E eingestellt
werden. Des Weiteren wird eine Länge der Breite der Gesichtslinie
gemessen, und die Länge wird mit einem vorbestimmten Verhältnis
multipliziert. Diese Länge kann als horizontale Länge
des Augenlidsuchbereichs E eingestellt werden. Durch Einstellen
des Augenlidsuchbereichs E auf diese Art und Weise kann die Augenliderfassung
effektiv verbessert werden.
-
Die 4A, 4B, 4C und 4D zeigen
Darstellungen zur Beschreibung eines Beispiels fester Daten, die
zur Berechnung einer Kante verwendet werden. Der externe Speicherabschnitt 13 speichert
einen Operator des Sobel-Filters zur Erfassung sich horizontal ändernder
Kanten und einen Operator zur Erfassung sich vertikal ändernder
Kanten. Bei diesem Ausführungsbeispiel wird die Verkettung
von Punkten, deren Helligkeit sich von hell nach dunkel oder von
dunkel nach hell in einer horizontalen Richtung ändert,
als sich horizontal ändernde Kanten bezeichnet. Die Punkte
der sich horizontal ändernden Kanten setzen sich im Allgemeinen
in vertikaler Richtung fort, daher werden die sich horizontal ändernden
Kanten auch als vertikale Kanten bezeichnet.
-
Andererseits
wird die Verkettung von Punkten, deren Helligkeit sich von hell
nach dunkel oder von dunkel nach hell in vertikaler Richtung ändert,
als sich vertikal ändernde Kanten bezeichnet. Die Punkte
der sich vertikal ändernden Kanten setzen sich im Allgemeinen
in lateraler Richtung fort, und daher werden die sich vertikal ändernden
Kanten auch als laterale Kanten bezeichnet.
-
Das
Sobel-Filter zur Erfassung der sich horizontal ändernden
Kanten (der vertikalen Kanten), das in 4A gezeigt
ist, ist der Operator zum Abstrahieren einer Grenze (einer Kante)
zwischen einer dunklen Farbe und einer hellen Farbe, die sich in
vertikaler Richtung fortsetzt, wie es in 4C gezeigt ist.
Das Sobel-Filter zur Erfassung der sich vertikal ändernden
Kanten (der lateralen Kanten), das in 4B gezeigt
ist, ist der Operator zum Abstrahieren einer Grenze (einer Kante)
zwischen der dunklen Farbe und der hellen Farbe, die sich in lateraler
Richtung fortsetzt, wie es in 4D gezeigt
ist.
-
Wie
in 5 gezeigt speichert der externe Speicherabschnitt 13 Daten,
die den Gesichtsbereich F im Gesichtsbild spezifizieren, und Daten,
die den Augelidsuchbereich E im Gesichtsbild spezifizieren, das
im Hauptspeicherabschnitt 15 gespeichert ist. Es wird angenommen,
dass im Augenlidsuchbereich E Augen und Augenbrauen vorhanden sind.
-
Der
mögliche Augenliderfassungsabschnitt 23 berechnet
eine sich horizontal ändernde Kante und eine sich vertikal ändernde
Kante beispielsweise durch die Verwendung von in den 4A und 4B gezeigten
Filtern. 6 zeigt schematisch ein Originalbild
des Augenlidsuchbereichs E. In 6 ist eine
Schraffierung in dunklen Bereichen im Bild angewendet, und Positionen
der sich vertikal ändernden Kanten der Augenlider sind
mit durchgezogenen Linien angegeben. Eine Position, an der die Kante
des oberen Augenlids erfasst ist, ist durch eine durchgezogene Linie
Lu angegeben, und eine Position, an der die Kante des unteren Augenlids
erfasst ist, ist durch eine durchgezogene Linie Ll angegeben. Kanten
einer Augenbraue und der Iris werden auch als die sich vertikal ändernden
Kanten erfasst.
-
Kanten,
die sich in einer Richtung von oben nach unten in den sich vertikal ändernden
Kanten von hell nach dunkel ändern, werden als mögliche obere
Augenlider eingestellt, und Kanten, die sich in einer Richtung von
oben nach unten in den sich vertikal ändernden Kanten ändern,
werden als mögliche untere Augenlider eingestellt. Der
mögliche Augenliderfassungsabschnitt 23 stellt
die möglichen oberen Augenlider und die möglichen
unteren Augenlider als die möglichen Augenliddaten 53 ein,
und die Daten werden im Datenspeicherabschnitt 5 gespeichert. Auf
der Grundlage einer Kombination der sich horizontal ändernden
Kanten und der sich vertikal ändernden Kanten kann eine
Wahrscheinlichkeit des möglichen oberen Augenlids und des
möglichen unteren Augenlids bestimmt werden. Da das obere
Augenlid im Allgemeinen eine Krümmung nach oben hat, können
sich horizontal ändernde Kanten an beiden Enden der sich
vertikal ändernden Kante erscheinen. Somit wird die sich
vertikal ändernde Kante, bei der die sich horizontal ändernden
Kanten vorhanden sind, als das mögliche obere Augenlid
betrachtet, das eindeutig ist.
-
7 zeigt
schematisch ein Bild des Augenlidsuchbereichs E, wenn der Rotaugeneffekt
auftritt. Wie in 6 ist die Schraffierung bei
dunklen Bereichen im Bild angewendet. Am oberen Abschnitt der Pupille
P, wo der Rotaugeneffekt auftritt (die nachstehend als Rotaugeneffektpupille
bezeichnet wird), ändert sich die Helligkeit von dunkel
nach hell in einer Richtung von oben nach unten. Somit ist eine
sich vertikal ändernde Kante, die sich in einer Richtung von
oben nach unten von dunkel nach hell wie das untere Augenlid ändert,
vorhanden. Eine durchgezogene Linie Lf in 7 gibt eine
Position der sich vertikal ändernden Kante an, die bei
der Rotaugeneffektpupille berechnet wird. Am unteren Abschnitt der
Pupille P wird eine weitere sich vertikal ändernde Kante, die
sich in einer Richtung von oben nach unten von dunkel nach hell
wie das obere Augenlid ändert, berechnet.
-
Die
sich vertikal ändernde Kante, die in der Rotaugeneffektpupille
erscheint, kann ein mögliches oberes Augenlid und ein mögliches
unteres Augenlid sein. Das mögliche obere Augenlid oder
das mögliche untere Augenlid in der Rotaugeneffektpupille
P kann als tatsächliches Augenlid bestimmt werden. Insbesondere
dann, wenn das mögliche untere Augenlid, das am oberen
Abschnitt der Rotaugeneffektpupille P erscheint, als unteres Augenlid bestimmt wird,
kann der Steuerabschnitt 14 auf der Grundlage einer Positionsbeziehung
zwischen dem möglichen unteren Augenlid und dem möglichen
oberen Augenlid bestimmen, dass das Auge geschlossen ist.
-
Ein
Signal vom Beleuchtungsstärkensensor 4, das der
Helligkeit der Umgebung des Fahrers entspricht, wird in den Rotaugeneffekterfassungs-Ausführungsbestimmungsabschnitt 24 eingegeben.
Ist die Umgebung des Fahrers hell, tritt der Rotaugeneffekt im Allgemeinen
nicht auf, da die Pupillen der Augen des Fahrers sich verengen.
Ist die Umgebung des Fahrers andererseits dunkel, sind die Pupillen der
Augen des Fahrers weit geöffnet, so dass im Allgemeinen
der Rotaugeneffekt auftritt. Der Rotaugeneffekterfassungs-Ausführungsbestimmungsabschnitt 24 gibt
einen Befehl zur Erfassung des Rotaugeneffekts zu dem Rotaugeneffekterfassungsabschnitt 25 aus,
wenn der Pegel der Helligkeit der Umgebung niedriger als ein vorbestimmter
Pegel ist. Ist andererseits der Pegel der Helligkeit der Umgebung größer
als der vorbestimmte Pegel, gibt der Rotaugeneffekterfassungs-Ausführungsbestimmungsabschnitt 24 einen
Befehl zu dem Rotaugeneffekterfassungsabschnitt 25 aus,
den Rotaugeneffekt nicht zu erfassen.
-
Der
Rotaugeneffekt kann konstant ohne Verwendung des Beleuchtungsstärkensensors 4 oder des
Rotaugeneffekterfassungs-Ausführungsbestimmungsabschnitts 24 erfasst
werden. Gemäß dem Ausführungsbeispiel
wird der Rotaugeneffekt auf der Grundlage der Helligkeit der Umgebung
wahlweise erfasst, so dass der Augenliderfassungsprozess effektiv
in einem Fall durchgeführt wird, wenn der Rotaugeneffekt
in der hellen Umgebung nicht auftritt.
-
Der
Rotaugeneffekterfassungsabschnitt 25 erfasst die Pupille,
in der der Rotaugeneffekt auftritt, im Augenlidsuchbereich E. Zur
Erfassung der Pupille, wo der Rotaugeneffekt auftritt, wird die
Rotaugeneffektpupille P durch Auswählen eines Teilbildes
im Gesichtsbild bestimmt, das mit einem vorbestimmten Dunkel-Hell-Bildelementmuster übereinstimmt.
-
Die 8A bis 8D zeigen
Darstellungen von Beispielen des Dunkel-Hell-Bildelementmusters, das
zur Erfassung der Rotaugeneffektpupille verwendet wird. In den 8A bis 8D bezeichnet
jedes kleine Quadrat jeweils ein Bildelement. Jede 8A und 8B zeigt
ein Bildelementarray von 9 × 9, 8C zeigt
ein Bildelementarray von 6 × 6 und 8D zeigt
ein Bildelementarray von 7 × 7.
-
In
den Figuren bezeichnet jedes weiße Quadrat ein Bildelement,
dessen Helligkeit größer oder gleich einem vorbestimmten
Schwellenwert „a" ist (das nachstehend als weißes
Bildelement C bezeichnet wird), und jedes schwarze Quadrat bezeichnet ein
Bildelement, dessen Helligkeit kleiner oder gleich einem vorbestimmten
Schwellenwert „b" ist (das nachstehend als schwarzes Bildelement
B bezeichnet wird). Jedes Quadrat, bei dem eine Schraffierung angewendet
ist, bezeichnet ein Bildelement (das nachstehend als nicht berücksichtigtes
Bildelement D bezeichnet wird), das nicht berücksichtigt
wird, wenn das Gesichtsbild mit dem Dunkel-Hell-Bildelementmuster
verglichen wird. Der Schwellenwert „a" und der Schwellenwert „b"
sind nicht der gleiche Wert.
-
Das
Dunkel-Hell-Bildelementmuster wird dem Gesichtsbild überlagert,
und Teilbilder in dem Gesichtsbild, die mit dem weißen
Bildelement C und dem schwarzen Bildelement B überlagert
sind, werden untersucht. Entspricht jedes Bildelement des Teilbildes
im Gesichtsbild einem weißen und einem schwarzen Bildelementmuster
in dem Dunkel-Hell-Bildelementmuster (die logischen Produkte sind
alle wahr), bestimmt der Steuerabschnitt 4, dass das Teilbild
im Gesichtsbild mit dem Dunkel-Hell-Bildelementmuster identisch
ist.
-
Bei
dieser Untersuchung werden die Bildelemente im Gesichtsbild, die
den nicht berücksichtigten Bildelementen D im Dunkel-Hell-Bildelementmuster entsprechen,
nicht betrachtet. Insbesondere wird jedes Bildelement im Teilbild
im Gesichtsbild, das dem weißen Bildelement C des Dunkel-Hell-Bildelementmusters
entspricht, daraufhin untersucht, ob seine Helligkeit größer
oder gleich dem Schwellenwert „a" ist, und jedes Bildelement
im Teilbild im Gesichtsbild, das dem schwarzen Bildelement B des
Dunkel-Hell-Bildelementmusters entspricht, wird daraufhin untersucht,
ob seine Helligkeit kleiner oder gleich dem Schwellenwert „b"
ist. Ist das Teilbild im Gesichtsbild als identisch mit dem Dunkel-Hell-Bildelementmuster
bestimmt, bestimmt der Rotaugeneffekterfassungsabschnitt 25,
dass die Rotaugeneffektpupille im Teilbild im Gesichtsbild vorhanden
ist. Auf diese Weise kann eine Rotaugeneffektpupille, deren Helligkeit
sich in allen Richtungen in dem zweidimensionalen Bild ändert,
erfasst werden.
-
In
jedem Beispiel der Dunkel-Hell-Bildelementmuster in den 8A bis 8D sind
die weißen Bildelemente C, die auch als heller Bereich
bezeichnet werden, am zentralen Abschnitt des Bildelementmusters
vorhanden, und die schwarzen Bildelemente B, die auch als dunkler
Bereich bezeichnet werden, sind um die weißen Bildelemente
C vorhanden. Tritt der Rotaugeneffekt auf, erhöht sich
im Allgemeinen der Helligkeitspegel der Pupillen, und der Helligkeitspegel
der Iris um die Pupillen verringert sich. Anhand dieser Eigenschaft
wird der Rotaugeneffekt durch die Verwendung der Dunkel-Hell-Bildelementmuster
erfasst, in denen der helle Bereich sich am zentralen Abschnitt
befindet, und der dunkle Bereich um den zentralen Abschnitt vorhanden
ist, wie es in den 8A bis 8D gezeigt
ist.
-
Das
Dunkel-Hell-Bildelementmuster ist derart eingestellt, dass es zu
der Pupille passt, wenn der Rotaugeneffekt auftritt, wobei die Größe
des Gesichtsbildes und ein Auflösungsgrad der Kamera berücksichtigt
werden.
-
In
einem Bild, dessen Auflösung relativ hoch ist, kann die
Anzahl der hellen Bildelemente in dem hellen Bereich (weiße
Bildelemente C) am zentralen Abschnitt des Bildes wie in 8A gezeigt
erhöht werden. In einem Bild, dessen Auflösung
relativ gering ist, kann die Anzahl der hellen Bildelemente im hellen
Bereich (weiße Bildelemente C) andererseits wie in 8C gezeigt
verringert werden. In jedem Muster sind die nicht berücksichtigten
Bildelemente D zwischen den hellen Bildelementen und den dunklen
Bildelementen vorgesehen, um mit den Schwankungen der Größen
der hellen und dunklen Bereiche fertig zu werden.
-
Ferner
werden viele Dunkel-Hell-Bildelementmuster vorab ausgebildet, und
die Rotaugeneffektpupillen können bestimmt werden, wenn
das Gesichtsbild einem beliebigen der Dunkel-Hell-Bildelementmuster
entspricht. Somit kann die Genauigkeitsstufe der Rotaugenerfassung
selbst dann erhöht werden, wenn sich die Gesichtsausrichtung,
oder selbst dann, wenn sich die Größe der Augen
unter den Individuen unterscheidet.
-
Andere
Verfahren können zur Erfassung des Rotaugeneffekts verwendet
werden. Beispielsweise kann die Pupille, wenn der Rotaugeneffekt
auftritt, auf der Grundlage der Form einer Grenzlinie zwischen dem
hellen Bereich und dem dunklen Bereich erfasst werden.
-
9 zeigt
ein Beispiel, in dem Kanten zwischen dem hellen Bereich und dem
dunklen Bereich im Bild des Augenlidsuchbereichs E erfasst werden, wenn
der Rotaugeneffekt auftritt. Bei diesem Beispiel erscheint die Pupille,
wenn der Rotaugeneffekt auftritt, als heller Bereich, und die Iris
um die Pupille erscheint als dunkler Bereich, und eine Grenze zwischen
dem hellen Bereich und dem dunklen Bereich erscheint um die Rotaugeneffektpupille
P. Die Rotaugeneffektpupille P wird auf der Grundlage einer Form der
Grenze erfasst. Erfüllt die Form der Grenze vorbestimmte
Bedingungen, wird die Kante als Rotaugeneffektpupille P betrachtet.
Nachstehend wird dieses Verfahren ausführlicher beschrieben.
-
10 zeigt
eine vergrößerte Darstellung eines Bereichs R
in 9. In der Rotaugeneffektpupille P erscheint eine
sich horizontal ändernde Kante, die sich von dunkel nach
hell in einer Links-Rechts-Richtung ändert, am linken Ende
der Rotaugeneffektpupille P, wenn man auf das Gesichtsbild schaut.
Diese Kante wird als plus vertikale Kante Hp bezeichnet. Außerdem
erscheint eine weitere sich horizontal ändernde Kante,
die sich von hell nach dunkel in einer Links-Rechts-Richtung ändert, am
rechten Ende der Pupille, wenn man auf das Gesichtsbild schaut.
Diese Kante wird als minus vertikale Kante Hm bezeichnet. Ferner
erscheint eine sich vertikal ändernde Kante, die sich von
dunkel nach hell in einer Richtung von oben nach unten ändert, am
unteren Ende der Rotaugeneffektpupille P. Diese Kante wird als plus
laterale Kante Vp bezeichnet. Ferner erscheint eine weitere sich
vertikal ändernde Kante, die sich von hell nach dunkel
in einer Richtung von oben nach unten ändert, am unteren Ende
der Rotaugeneffektpupille P. Diese Kante wird als minus laterale
Kante Vm bezeichnet.
-
Ist
der Bereich links mit der plus vertikalen Kante Hm, rechts mit der
minus vertikalen Kante Hm, am oberen Abschnitt mit der plus lateralen
Kante Vp und am unteren Abschnitt mit der minus lateralen Kante
Vm umgeben, wird die Rotaugeneffektpupille P im Augenlidsuchbereich
E bestimmt, und enthält dieser Bereich eine vorbestimmte
Anzahl von Bildelementen, wird dieser Bereich als die Rotaugeneffektpupille
P bestimmt. Somit wird der Augenlidsuchbereich E unter diesen Umständen
zur Erfassung der Rotaugeneffektpupille abgesucht.
-
Ferner
kann die Rotaugeneffektpupille P auf der Grundlage eines vorbestimmten
Dunkel-Hell-Kantenmusters erfasst werden. Die 12A bis 12D zeigen
Beispiele des Kantenmusters zur Erfassung des Rotaugeneffekts. Ein
geschwärzter Bereich bezeichnet eine jeweilige Kante, insbesondere
befindet sich die plus laterale Kante Vp am oberen Abschnitt des
Musters, die minus laterale Kante Vm am unteren Abschnitt des Musters,
die plus vertikale Kante Hp am linken Abschnitt des Musters und die
minus vertikale Kante Hm am rechten Abschnitt des Musters. Das Muster
kann einen Punkt enthalten, der sowohl zur lateralen Kante als auch
zur vertikalen Kante gehört. Wie beispielsweise in 12D gezeigt, enthält das Muster einen
gemeinsamen Punkt K1, der sowohl zur plus lateralen Kante Vp als auch
zur plus vertikalen Kante Hp gehört, einen gemeinsamen
Punkt K2, der sowohl zur plus lateralen Kante Vp als auch zur minus
vertikalen Kante Hm gehört, einen gemeinsamen Punkt K3,
der sowohl zur minus lateralen Kante Vm als auch zur plus vertikalen Kante
Hp gehört, und einen gemeinsamen Punkt K4, der sowohl zur
minus lateralen Kante Vm als auch zur minus vertikalen Kante Hm
gehört. Entsprechen beispielsweise die erfassten Dunkel-Hell-Kanten
den in den 12A bis 12D gezeigten
vorbestimmten Dunkel-Hell-Kantenmustern, werden derartige Kanten
als Rotaugeneffektpupille P bestimmt. Ist ferner das Verhältnis
des Vorhandenseins der dem Dunkel-Hell-Kantenmuster entsprechenden
erfassten Dunkel-Hell-Kanten größer oder gleich
dem vorbestimmten Verhältnis, können derartige
erfasste Dunkel-Hell-Kanten als Rotaugeneffektpupille P bestimmt
werden.
-
Insbesondere
werden in den 12A bist 12C die
erfassten Dunkel-Hell-Kanten als Rotaugeneffektpupille P unter den
Bedingungen bestimmt, dass ein Wert, der den Pegel der Kante in
der plus lateralen Kante Vp angibt, größer als
ein vorbestimmter Schwellenwert A ist, ein Wert, der den Pegel der
Kante in der minus lateralen Kante Vm angibt, kleiner als ein vorbestimmter
Schwellenwert B ist, ein Wert, der den Pegel der Kante in der plus
vertikalen Kante Hp angibt, größer als ein vorbestimmter Schwellenwert
C ist, und ein Wert, der den Pegel der Kante in der minus vertikalen
Kante Hm angibt, kleiner als ein vorbestimmter Schwellenwert D ist.
Hier enthält jeder Wert, der den Pegel der Kante angibt, einen Änderungswert
der Helligkeit oder einen Wert, der unter Verwendung des Sobel-Filters
erhalten wird, und dieser Wert wird als Kantenwert bezeichnet.
-
Da
bei diesem Beispiel die Muster den Operatoren zur Erfassung der
Kanten ähnlich sind, die in den 4A bis 4B gezeigt
sind, ist die Helligkeit des Kantenwerts, der sich von hell nach
dunkel in einer Richtung von oben nach unten oder einer Richtung
von links nach rechts ändert, ein Plus-Kantenwert, und
die Helligkeit des Kantenwerts, der sich von dunkel nach hell in
einer Richtung von oben nach unten oder einer Richtung von links
nach rechts ändert, ist ein Minus-Kantenwert.
-
Ferner
sind die Schwellwerte A und C Pluswerte, und die Schwellenwerte
B und D sind Minuswerte. Jeder Schwellenwert A, B, C und D kann
einen identischen Absolutwert oder einen unterschiedlichen Absolutwert
haben.
-
Ferner
wird wie in 12D gezeigt jeder Punkt K1 bis
K4, der gemeinsam zur vertikalen Kante und zur lateralen Kante gehört,
auf der Grundlage eines zusammengesetzten Werts der vertikalen Kante (sich
horizontal ändernden Kante) und der lateralen Kante (sich
vertikal ändernden Kante) bestimmt.
-
Unter
Bezugnahme auf den gemeinsamen Punkt K1 in 12D wird
ein unter Verwendung des Sobel-Filters einer sich horizontal ändernden
Kante berechneter Wert eines Bildelements auf H eingestellt, und
ein unter Verwendung des Sobel-Filters einer sich vertikal ändernden
Kante berechneter Wert des Bildelements wird auf V eingestellt,
und die Helligkeit des gemeinsamen Punkts K1 wird als hoch bestimmt,
wenn der durch Addieren von H und V erhaltene Wert größer
als ein Schwellenwert „c" ist. Wie für den gemeinsamen
Punkt K1 wird die Helligkeit des gemeinsamen Punktes K2 als hoch
bestimmt, wenn ein durch Addieren von -H und V erhaltener Wert größer
als ein Schwellenwert „d" ist, die Helligkeit des gemeinsamen
Punktes K3 wird als hoch bestimmt, wenn ein durch Addieren von H
und -V erhaltener Wert größer als ein Schwellenwert „e"
ist, und die Helligkeit des gemeinsamen Punktes K4 wird als hoch
bestimmt, wenn ein durch Addieren von -H und -V erhaltener Wert
größer als ein Schwellenwert „f" ist.
Die Schwellenwerte „c", „d", „e" und „f"
können denselben Wert oder unterschiedliche Werte haben.
-
Erfasst
der Rotaugeneffekterfassungsabschnitt 25 den Rotaugeneffekt,
wird die Position der Rotaugeneffektpupille in den Rotaugeneffektpupillendaten 54 eingestellt,
und die Rotaugeneffektpupillendaten 54 werden im Datenspeicherabschnitt 5 gespeichert.
Wird der Rotaugeneffekt nicht erfasst, speichert der Datenspeicherabschnitt 5 keinen
Rotaugeneffekt.
-
Wird
der Rotaugeneffekt erfasst, beseitigt der Rotaugeneffektbeseitigungsabschnitt 26 die
sich vertikal ändernde Kante, die an den oberen und unteren
Abschnitten der Rotaugeneffektpupillen vorhanden ist, aus den möglichen
unteren Augenlidern und den möglichen oberen Augenlidern.
Das heißt, der Rotaugeneffektbeseitigungsabschnitt 26 ignoriert die
sich vertikal ändernde Kante, die an den oberen und unteren
Abschnitten der Rotaugeneffektpupillen vorhanden ist, damit diese
nicht als die möglichen unteren oder oberen Augenlider
betrachtet wird. Da die Rotaugeneffektpupille dem Dunkel-Hell-Bildelementmuster
zur Erfassung des Rotaugeneffekts entspricht, wurde eine Position
der sich vertikal ändernden Kanten, die an den oberen und
unteren Abschnitten der Rotaugeneffektpupille erscheinen, bereits identifiziert.
Wird also das Dunkel-Hell-Bildelementmuster auf der Rotaugeneffektpupille
platziert, können die möglichen Augenlider, die
an der Grenze zwischen dem hellen Bereich und dem dunklen Bereich vorhanden
sind, als die sich vertikal ändernde Kante der Rotaugeneffektpupille
bestimmt werden.
-
Der
Augenlidbestimmungsabschnitt 27 bestimmt ein Paar des oberen
und unteren Augenlids durch Auswählen eines am besten geeigneten
Paars des oberen und unteren Augenlids aus verbleibenden möglichen
oberen Augenlidern und möglichen unteren Augenlidern. Beispielsweise
wird das am besten geeignete Paar des oberen und unteren Augenlids
bestimmt, wenn eine Länge der Kante des möglichen
oberen Augenlids ungefähr identisch zu einer Länge
der Kante des möglichen unteren Augenlids ist, wenn eine
Position eines Mittelpunkts der Kante des möglichen oberen
Augenlids ungefähr identisch zu einer Position eines Mittelpunkts
der Kante des möglichen unteren Augenlids in lateraler Richtung
ist, oder wenn eine Entfernung zwischen dem Mittelpunkt der Kante
des möglichen oberen Augenlids und dem Mittelpunkt der
Kante des möglichen unteren Augenlids in einem vorbestimmten Längenbereich
liegt.
-
Insbesondere
verbleiben durch Einstellen der Länge der Kante des möglichen
oberen Augenlids auf Lm, Einstellen der Länge der Kante
des möglichen unteren Augenlids auf Lp und Einstellen eines Schwellenwerts
auf Lt Paare der möglichen oberen und unteren Augenlider,
die eine Formel „|Lm – Lp| < Lt" erfüllen, als Kandidaten.
-
Ferner
verbleiben durch Einstellen einer X-Koordinate des Mittelpunkts
der Kante des möglichen oberen Augenlids auf Xm, Einstellen
einer X-Koordinate des Mittelpunkts der Kante des möglichen
unteren Augenlids auf Xp und Einstellen eines Schwellenwerts auf
Xt Paare der möglichen oberen und unteren Augenlider, die
eine Formel „|Xm – Xp| < Xt" erfüllen, als Kandidaten.
-
Des
Weiteren verbleiben durch Einstellen einer Y-Koordinate des Mittelpunkts
der Kante des möglichen oberen Augenlids auf Ym, Einstellen
einer Y-Koordinate des Mittelpunkts der Kante des möglichen
unteren Augenlids auf Yp und Einstellen eines Schwellenwerts auf
Dt Paare der möglichen oberen und unteren Augenlider, die
eine Formel „(Xm – Xp)2 + (Ym-Yp)2 < Dt" erfüllen,
als Kandidaten.
-
Aus
den verbleibenden möglichen oberen und unteren Augenlidern
wird das am besten geeignete Paar eines oberen und unteren Augenlids,
das dem linken oder rechten Auge entspricht, und bei dem die Position
des Mittelpunkts der Kante des oberen Augenlids mit der Position
des Mittelpunkts der Kante des unteren Augenlids am Besten übereinstimmt,
ausgewählt. Das ausgewählte Paar des oberen und
unteren Augenlids wird im Datenspeicherabschnitt 5 als
Augenliddaten gespeichert.
-
Der
Anzeigeverarbeitungsabschnitt 28 zeigt das ausgewählte
Paar des oberen und unteren Augenlids auf der Anzeigeeinrichtung 7 zusammen
mit einem Umriss des Gesichts an. Auf der Grundlage des Paars des
oberen und unteren Augenlids kann ein Öffnungsgrad des
Auges bestimmt werden. Ferner kann ein Wachheitsgrad auf der Grundlage
des Öffnungsgrads des Paars des oberen und unteren Augendlids
geschätzt werden. Wird bestimmt, dass der Fahrer am Lenkrad
döst, kann eine Warnung mit einem Ton auf der Anzeigeeinrichtung 7 angezeigt werden.
Ferner kann eine Gesichtsausrichtung des Fahrers auf der Grundlage
der Daten hinsichtlich des Paars des oberen und unteren Augenlids
geschätzt werden. Die Anzeigeeinrichtung 7 kann
auch nicht als Teil der Augenliderfassungsvorrichtung 1 vorgesehen
sein.
-
Nachstehend
wird eine Arbeitsweise der Augenliderfassungsvorrichtung näher
beschrieben. Der Betrieb der Augenliderfassungsvorrichtung 1 wird durch
den Steuerabschnitt 14 zusammen mit der Kamera 2,
dem Sende- und Empfangsabschnitt 16, dem Bildspeicher 12,
dem externen Speicherabschnitt 13 und dem Hauptspeicherabschnitt 15 ausgeführt.
-
11 zeigt
ein Ablaufdiagramm eines Beispiels des Betriebs der Augenliderfassungsvorrichtung 1.
Der Steuerabschnitt 14 gibt das durch die Kamera 2 aufgenommene
Gesichtsbild über den Sende- und Empfangsabschnitt 16 in Schritt
S1 ein. Dann wird in Schritt S2 der Gesichtsbereich eingestellt
und eine Ausrichtung des Gesichts bestimmt. Die Ausrichtung des
Gesichts wird auf Grundlage einer symmetrischen Eigenschaft der
Gesichtslinie und relativer Positionen der Augenbrauen und des Kinns
bestimmt. Dann wird bestimmt, dass die Gesichtsausrichtung größer
oder gleich einem vorbestimmten Winkel ist (Schritt S3: Nein), und
da das Gesichtsbild für die Augenliderfassung nicht geeignet
ist, gibt der Steuerabschnitt 14 einen nächsten
Rahmen des Gesichtsbildes ein (zurück zu Schritt S1).
-
Ist
die Gesichtsausrichtung kleiner als der vorbestimmte Winkel (Schritt
S3: Ja), wird ein Nasenloch gesucht (Schritt S4). Wird kein Nasenloch
erfasst (Schritt S5: Nein), wird das nächste Gesichtsbild
eingegeben (Schritt S1), da das aktuelle Bild für die Augenliderfassung
nicht geeignet ist. Wird das Nasenloch erfasst (Schritt S5: Ja),
wird der Augenlidsuchbereich im Gesichtsbild eingestellt (Schritt
S6).
-
Der
Steuerabschnitt 14 berechnet eine sich horizontal ändernde
Kante und eine sich vertikal ändernde Kante im Augenlidsuchbereich,
der im vorhergehenden Schritt eingestellt wurde, und es werden die
möglichen oberen und unteren Augenlider erfasst (Schritt
S7). Der Steuerabschnitt 14 gruppiert die berechneten sich
horizontal und vertikal ändernden Kanten, und die Kanten,
die kleiner oder gleich einer vorbestimmten Länge (der
Anzahl fortlaufender Punkte) sind, werden aus den Kandidaten beseitigt. Ferner
werden eine Länge und ein Mittelpunkt der Kante berechnet.
Ferner kann eine Wahrscheinlichkeit des möglichen oberen
Augenlids und des möglichen unteren Augenlids auf der Grundlage
von Formen der sich vertikal ändernden Kante und der sich horizontal ändernden
Kante und einer Positionsbeziehung zwischen der sich vertikal ändernden
Kante und der sich horizontal ändernden Kante berechnet werden.
-
Dann
wird die Beleuchtungsstärke (Helligkeit) der Umgebung vom
Beleuchtungsstärkensensor 4 eingegeben (Schritt
S8), und ist die Beleuchtungsstärke kleiner oder gleich
einem vorbestimmten Wert (Schritt S9: Ja), wird der Rotaugeneffekt
erfasst (Schritt S10). Ist die Beleuchtungsstärke andererseits
größer als der vorbestimmte Wert (Schritt S9: Nein),
wird der Rotaugeneffekt nicht erfasst, und der Steuerabschnitt 14 geht
zu Schritt S14 über und bestimmt ein am besten geeignetes
Paar aus den möglichen oberen Augenlidern und den möglichen
unteren Augenlidern.
-
Beispielsweise
wird der Rotaugeneffekt unter Verwendung des Dunkel-Hell-Bildelementmusters in
Schritt S10 erfasst. Ein Teilbild in dem Bild, das einem einer Vielzahl
von Dunkel-Hell-Bildelementmustern entspricht, kann als die Rotaugeneffektpupille eingestellt
werden. Wird der Rotaugeneffekt erfasst (Schritt S11: Ja), wird
die obere Kante der Rotaugeneffektpupille ignoriert, und wird so
nicht als mögliches unteres Augenlid betrachtet (Schritt
S12), und die untere Kante der Rotaugeneffektpupille wird ignoriert, und
so nicht als mögliches unteres Augenlid betrachtet (Schritt
S13). Wir der Rotaugeneffekt nicht erfasst (Schritt S11: Nein),
werden die vorstehend beschriebenen Beseitigungsprozesse nicht ausgeführt.
-
Wie
vorstehend beschrieben wird das am besten geeignete Paar des möglichen
oberen Augenlids und des möglichen unteren Augenlids aus den
verbleibenden möglichen Augenlidern in Schritt S14 ausgewählt.
-
Verbleiben
drei oder mehr Paare möglicher Augenlider, wird das geeignete
Paar von Augenlidern auf der Grundlage seines Blinzelns bestimmt.
Ferner wird in Schritt S15 der Grad der Öffnung zwischen dem
Paar der Augenlider berechnet. Insbesondere gibt der Grad der Öffnung
eine Entfernung zwischen dem Mittelpunkt des oberen Augenlids und
dem Mittelpunkt des unteren Augenlids an.
-
Die
Paare der möglichen oberen und unteren Augenlider und ihre Öffnungsgrade
werden in chronologischer Reihenfolge angeordnet (Schritt 16),
und wird angenommen, dass die Änderung des Öffnungsgrades
durch Blinzeln verursacht wird (Schritt S17: Ja), wird das Paar
des oberen und unteren Augenlids als Augenlider bestimmt, und die
bestimmten Augenlider werden als die Augenliderfassungsdaten 55 gespeichert
(Schritt S18). Ändert beispielsweise das Paar des möglichen
oberen Augenlids und möglichen unteren Augenlids, dessen Öffnungsgrad
größer oder gleich dem vorbestimmten Wert ist,
seine Öffnung auf klein, und dann innerhalb einer vorbestimmten
Anzahl der Rahmen auf groß, wird bestimmt, dass ein Blinzeln
auftritt.
-
Tritt
kein Blinzeln bei den möglichen Augenlidern auf (Schritt
S17: Nein), werden die möglichen Augenlider nicht als Augenlider
bestimmt, und das nächste Bild wird eingegeben (Schritt
S1). Während der Augenliderfassungsvorgang wiederholt wird, werden
die Augenlider beim Auftreten des Blinzelns geeignet bestimmt. Gibt
es zwei mögliche Augenlider, und werden die Augenlider
sicher auf der Grundlage ihrer Positionen, Formen und Positionsbeziehungen
bestimmt, müssen die Augenlider nicht beruhend auf ihrem
Blinzeln bestimmt werden.
-
Der Öffnungsgrad
der Augenlider kann für weitere Prozesse verwendet werden.
Nimmt der Öffnungsgrad der Augenlider beispielsweise in
einem kontinuierlichen Bild aus mehr als einer vorbestimmten Anzahl
von Rahmen ab, kann der Steuerabschnitt 14 bestimmen, dass
der Fahrer döst.
-
Selbst
wenn der Rotaugeneffekt auftritt, können mit der Augenliderfassungsvorrichtung 1 die
Augenlider in den Gesichtsbilddaten geeignet erfasst werden.
-
Der
vorstehend beschriebene Hardwareaufbau und die in den Ablaufdiagrammen
dargestellten Prozesse beschreiben lediglich ein Beispiel des Aufbaus
und der Arbeitsweisen der Augenliderfassungsvorrichtung 1,
und es können gewünschte Änderungen und
Modifikationen angewendet werden.
-
Die
Steuereinrichtung 14, der Sende- und Empfangsabschnitt 16,
der Bildspeicher 12, der externe Speicherabschnitt 13,
der Hauptspeicherabschnitt 15 und dergleichen führen
hauptsächlich die Prozesse in der Augenliderfassungsvorrichtung 1 aus.
Jeder der Abschnitte, die hauptsächlich die Prozesse ausführen,
müssen nicht für diese Prozesse spezialisiert
sein, sondern es kann stattdessen ein allgemein verwendetes Computersystem
verwendet werden. Beispielsweise ist ein Computerprogramm zur Ausführung
der vorstehend beschriebenen Operationen, das in einem lesbaren
Speichermedium gespeichert ist, wie einer flexiblen Platte, CD-ROM, DVD-ROM
und dergleichen, auf einem Computer installiert, und dieser Computer
kann zur Ausführung der vorstehend beschriebenen Prozesse
auf die gleiche Weise wie die Augenliderfassungsvorrichtung 1 verwendet
werden. Ferner wird das Computerprogramm in eine Speichereinrichtung
einer Servereinrichtung geladen, die mit einem Kommunikationsnetz,
wie dem Internet und dergleichen verbunden ist, und dann lädt
der Computer, der auf das Kommunikationsnetzwerk zugreifen kann,
das Computerprogramm herunter und installiert es, und dieser Computer
kann zur Ausführung der vorstehend beschriebenen Prozesse
auf die gleiche Weise wie die Augenliderfassungsvorrichtung 1 verwendet
werden.
-
Der
Computer arbeitet mit einem Betriebssystem (OS) und einem Anwendungsprogramm. Werden
die Prozesse durch den Computer auf die gleiche Weise wie durch
die Augenliderfassungsvorrichtung 1 jeweils durch das Betriebssystem
und das Anwendungsprogramm ausgeführt, oder zusammen mit
dem Betriebssystem und dem Anwendungsprogramm, kann lediglich das
Anwendungsprogramm im Speichermedium oder der Speichereinrichtung
gespeichert sein.
-
Außerdem
kann das Computersystem über das Kommunikationsnetzwerk
durch Überlagern des Computerprogramms auf einer Trägerwelle
zugeführt werden. Beispielsweise kann das Computerprogramm
in ein Forumsystem (BBS, „Bulletin Board System") im Kommunikationsnetzwerk
geladen werden, so dass das Computerprogramm über das Netzwerk
zu jedem Computer heruntergeladen wird. Dann können die
vorstehend beschriebenen Prozesse durch Ausführen des Computerprogramms,
das im Computer installiert ist, zusammen mit einem anderen Anwendungsprogramm
unter der Steuerung des Betriebsystems ausgeführt werden.
-
Eine
Augenliderfassungsvorrichtung enthält einen Bildaufnahmeabschnitt
zum Aufnehmen eines Gesichtsbildes, einen Rotaugeneffekterfassungsabschnitt
zur Erfassung eines Rotaugeneffekts, bei dem Licht an der Pupille
im Gesichtsbild rot erscheint, das durch die Pupille eintritt, an
einer Choroidea des Auges reflektiert wird, und aus der Pupille
austritt, und einen Augenliderfassungsabschnitt zur Erfassung eines
oberen Augenlids und eines unteren Augenlids im Gesichtsbild auf
der Grundlage einer Kante, die an einer Grenze zwischen einem hellen
Abschnitt und einem dunklen Abschnitt erscheint, wobei der Augenliderfassungsabschnitt
die Kante einer Rotaugeneffektpupille ignoriert, damit diese nicht
als das obere Augenlid oder das untere Augenlid betrachtet wird, wenn
der Rotaugeneffekterfassungsabschnitt den Rotaugeneffekt erfasst.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-