-
Querverweis zu verwandten Anmeldungen
-
Gebiet der Erfindung
-
Die
vorliegende Erfindung bezieht sich auf eine Vorrichtung, ein Verfahren
und ein Programm zur Erfassung eines Auges eines Gesichts beruhend auf
einem aufgenommenen Gesichtsbild.
-
Hintergrund
-
Ein
Verfahren zum Messen einer Augenausrichtung einer Person, beispielsweise
eines Fahrers, oder zum Schätzen eines Wachheitsgrads einer
Person, beispielsweise eines Fahrers, durch Erfassen eines Zustands
der Fahreraugen auf der Grundlage eines Bildes eines Gesichts (das
nachstehend als Gesichtsbild bezeichnet wird) des Fahrers sind bekannt.
Zum Bestimmen eines Zustands der Fahreraugen müssen Augen
im Gesichtsbild des Fahrers genau erfasst werden.
-
Ein
Verfahren zur Erfassung eines offenen und geschlossenen Zustands
von Augen ist beispielsweise in der
JP 1998044824 A und in
der
JP 2001307076
A offenbart. Eine in der
JP 1998044824 A offenbarte bekannte Vorrichtung
erfasst Positionen der Augen und stellt einen Zielbereich zur Ausführung
eines Erfassungsvorgangs eines Offen/Geschlossen-Zustands der Augen
ein. Der Zielbereich enthält die Positionen der Augen.
Dann berechnet die in der
JP
1998044824 A offenbarte bekannte Vorrichtung eine Häufigkeitsverteilung
von Dichtewerten im Zielbereich zur Erfassung des Offen/Geschlossen-Zustands,
und dann wird gemäß dem bekannten Stand der Technik
ein Bereich der Augen durch Bestimmen eines Spitzenwerts in der
Häufigkeitsverteilung als Grenzwert erfasst. Des Weiteren
bestimmt die in der
JP
1998044824 A offenbarte bekannte Vorrichtung eine maximale
Länge des Augenbereichs in Längsrichtung als Augengröße.
-
Andererseits
extrahiert die in der
JP 2001307076
A offenbarte bekannte Vorrichtung zuerst Merkmale, die
Informationen von Augenmerkmalen entsprechen, um Positionen der
Augen des Fahrers zu erfassen. Dann werden gemäß der
JP 2001307076 A ein
Augenöffnungsgrad und Positionen oberer Augenlider beruhend
auf Änderungen einer detaillierten Dichte der Augen in
einem Zielbereich erfasst, in dem die Augen enthalten sind. Dann misst
die in der
JP 2001307076
A offenbarte bekannte Vorrichtung eine Positionsentfernung
in vertikaler Richtung zwischen vorbestimmten Positionen der oberen
Augenlider und einem festen Standardmerkmal des Gesichts um die
Augen, beispielsweise den Nasenlöchern, auf der Grundlage
der Positionen der Augen oder der detaillierten Dichte der Augen.
Dann bestimmt die in der
JP
2001307076 A offenbarte bekannte Vorrichtung den Offen/Geschlossen-Zustand der
Augen auf der Grundlage des Öffnungsgrads der Augen und
der Positionsentfernung in vertikaler Richtung.
-
Da
die in der
JP 1998044824
A und der
JP 2001307076
A offenbarten bekannten Vorrichtungen die Augen im Gesichtsbereich
erfassen, dauert es einige Zeit zur Erfassung der Augen, und ferner
kann ein Fehler bei der Erfassung der Augen auftreten. Beispielsweise
werden gemäß der
JP 1998044824 A die Augen beruhend auf der
Annahme erfasst, dass der Fahrer eine bestimmte Augenform hat, beispielsweise
Augen, deren obere Augenlider bogenförmig sind. Die in
der
JP 1998044824
A offenbarte bekannte Vorrichtung kann daher Schwierigkeiten
bei der Erfassung von Augen in einem Gesichtsbild haben, wenn der
Fahrer nahe beieinander stehende Augen oder dicke Augenbrauen hat.
Wird die Position der Augen ferner auf der Grundlage einer Positionsbeziehung
zwischen den Augen und den Augenbrauen oder zwischen Nase und Mund
erfasst, kann ein weiterer Vorgang zur Unterscheidung der Augen
von den Augenbrauen erforderlich sind.
-
Wird
andererseits das Verfahren angewendet, bei dem zuerst die Augen
im Gesichtsbild bestimmt werden, kann es einige Zeit dauern, bevor
der Stand der Technik bestimmt, dass keine Augen erfasst wurden,
da der Fahrer beispielsweise eine Sonnenbrille trägt. Beispielsweise
erfasst die in der
JP 2001307076
A offenbarte bekannte Vorrichtung zuerst die Position der
Augen, dann erfasst die bekannte Vorrichtung die Nasenlöcher
beruhend auf den Positionen der Augen, dann bestimmt sie den Öffnungsgrad
der Augen auf der Grundlage der Positionsbeziehung zwischen den
Augen und den Nasenlöchern. Daher besteht die Möglichkeit,
dass gemäß dem Stand der Technik die Augenbrauen
fehlerhaft als die Augen bestimmt werden, bzw. Nasenauflagen von Brillen
als Nasenlöcher. Gemäß der
JP 2001307076 A werden
die dunkelsten Dichteabschnitte als die Nasenlöcher bestimmt,
um die Nasenlöcher von Falten um die im Gesichtsbild gezeigten
Nasenlöcher zu unterscheiden. Die in der
JP 2001307076 A offenbarte bekannte
Vorrichtung kann daher die Nasenlöcher eventuell nicht
von den Nasenauflagen der Brille unterscheiden, da die Nasenauflagen
der Brille denselben Dichtegrad wie die Nasenlöcher haben
können.
-
Es
besteht daher ein Bedürfnis nach einer Augenerfassungsvorrichtung,
die ein Auge in einem Gesichtsbild schnell und genau erfasst.
-
Kurzzusammenfassung der Erfindung
-
Gemäß einer
Ausgestaltung der Erfindung umfasst eine Augenerfassungsvorrichtung
eine Bilderzeugungseinrichtung zur Erzeugung eines Gesichtsbildes,
eine Nasenlocherfassungseinrichtung zur Bestimmung eines Nasenlochs
im Gesichtsbild, eine Augensuchbereicheinstelleinrichtung zum Einstellen
eines Augensuchbereichs im Gesichtsbild beruhend auf einer Position
des durch die Nasenlocherfassungseinrichtung erfassten Nasenlochs,
und eine Augensucheinrichtung zum Suchen eines Auges in dem durch
die Augensuchbereichseintelleinrichtung eingestellten Augensuchbereich.
-
Gemäß einer
weiteren Ausgestaltung der Erfindung umfasst die Augenerfassungseinrichtung eine
Nasenlochsuchbereicheinstelleinrichtung zum Einstellen des Bereichs
im Gesichtsbild, in dem das Vorhandensein des Naselochs angenommen
wird, als den Nasenlochsuchbereich, wobei die Nasenlocherfassungseinrichtung
das Nasenloch im Nasenlochsuchbereich unter einer vorbestimmten
Bedingung sucht, der Nasenlochsuchbereich durch die Nasenlochsuchbereicheinstelleinrichtung
eingestellt wird, und die Nasenlocherfassungseinrichtung dann zwei
benachbarte dunkle Teile, die in dem Nasenlochsuchbereich vorhanden
sind, als die Nasenlöcher bestimmt.
-
Gemäß einer
weiteren Ausgestaltung der Erfindung sucht die Augensucheinrichtung
das Auge bezüglich des Gesichtsbildes von unten nach oben unter
einer vorbestimmten Bedingung.
-
Gemäß einer
weiteren Ausgestaltung der Erfindung sucht die Augensucheinrichtung
das Auge bezüglich des Gesichtsbildes von oben nach unten unter
der vorbestimmten Bedingung.
-
Gemäß einer
weiteren Ausgestaltung der Erfindung umfasst die Augenerfassungsvorrichtung
ferner eine untere Augenliderfassungseinrichtung und eine obere
Augenliderfassungseinrichtung als die Augenlidsucheinrichtung. Die
untere Augenliderfassungseinrichtung erfasst eine sich vertikal ändernde Kante,
deren Luminanz sich von hell nach dunkel in einer Richtung von unten
nach oben bezüglich des Gesichtsbildes ändert,
indem der Augensuchbereich von oben her abgesucht wird, der durch
die Augensuchbereicheinstelleinrichtung eingestellt ist. Die untere
Augenliderfassungseinrichtung bestimmt eine erste sich vertikal ändernde
Kante, die die vorbestimmte Bedingung erfüllt, als unteres
Augenlid. Ferner bestimmt die obere Augenliderfassungseinrichtung
eine sich vertikal ändernde Kante, deren Luminanz sich
in der Richtung von unten nach oben bezüglich des Gesichtsbildes
von dunkel nach hell ändert, und im Bereich über
dem erfassten unteren Augenlid vorhanden ist, als oberes Augenlid.
-
Gemäß einer
weiteren Ausgestaltung der Erfindung umfasst die Augenerfassungsvorrichtung
ferner die obere Augenliderfassungseinrichtung und die untere Augenliderfassungseinrichtung
als die Augensucheinrichtung. Die obere Augenliderfassungseinrichtung
erfasst eine sich vertikal ändernde Kante, deren Luminanz
sich in der Richtung von oben nach unten bezüglich des
Gesichtsbildes von hell nach dunkel ändert, durch Durchsuchen
des Augensuchbereichs von unten her, der durch die Augensuchbereicheinstelleinrichtung
eingestellt ist. Die obere Augenliderfassungseinrichtung bestimmt
eine erste sich vertikal ändernde Kante, die die vorbestimmte
Bedingung erfüllt, als das obere Augenlid. Ferner bestimmt die
untere Augenliderfassungseinrichtung die sich vertikal ändernde
Kante, deren Luminanz sich von dunkel nach hell in der Richtung
von oben nach unten bezüglich des Gesichtsbildes ändert,
und die in einem Bereich unter dem erfassten oberen Augenlid vorhanden
ist, als das untere Augenlid.
-
Gemäß einer
weiteren Ausgestaltung der Erfindung umfasst ein Augenerfassungsverfahren
einen Nasenlocherfassungsschritt zur Bestimmung des Nasenlochs im
Gesichtsbild, einen Augensuchbereicheinstellschritt zum Einstellen
des Augensuchbereichs im Gesichtsbild beruhend auf der Position des
im Nasenlocherfassungsschritt bestimmten Nasenlochs und einen Augensuchschritt
zum Suchen des Auges in dem durch den Augensuchbereicheinstellschritt
eingestellten Augensuchbereich.
-
Gemäß einer
weiteren Ausgestaltung der Erfindung umfasst das Augenerfassungsverfahren
den Augensuchschritt zum Suchen des Auges von unten nach oben bezüglich
des Gesichtsbildes unter einer vorbestimmten Bedingung im durch
den Augensuchbereicheinstellschritt eingestellten Augensuchbereich.
-
Gemäß einer
weiteren Ausgestaltung der Erfindung umfasst das Augenerfassungsverfahren
den Augensuchschritt zum Suchen des Auges von oben nach unten bezüglich
des Gesichtsbildes unter der vorbestimmten Bedingung im durch den
Augensuchbereicheinstellschritt eingestellten Augensuchbereich.
-
Gemäß einer
weiteren Ausgestaltung der Erfindung weist ein Programm einen Computer
zum Arbeiten als Nasenlocherfassungseinrichtung zum Bestimmen des
Nasenlochs im Gesichtsbild, Augensuchbereicheinstelleinrichtung
zum Einstellen des Augensuchbereichs im Gesichtsbild beruhend auf der
Position des durch die Nasenlocherfassungseinrichtung bestimmten
Nasenlochs und Augensucheinrichtung zum Suchen des Auges im durch
die Augensuchbereichseinstelleinrichtung eingestellten Augensuchbereich
an.
-
Gemäß einer
weiteren Ausgestaltung der Erfindung weist das Programm den Computer
zum Arbeiten als Nasenlochsuchbereicheinstelleinrichtung zum Einstellen
des Bereichs im Gesichtsbild, in dem das Vorhandensein des Nasenlochs
angenommen wird, als den Nasenlochsuchbereich und Bestimmungseinrichtung
zum Bestimmen der zwei benachbarten dunklen Teile, die in dem Nasenlochsuchbereich
vorhanden sind, als die Nasenlöcher durch Durchsuchen des
Nasenlochsuchbereichs, der durch die Nasenlochsuchbereicheinstelleinrichtung
eingestellt ist, unter einer vorbestimmten Bedingung an.
-
Gemäß einer
weiteren Ausgestaltung der Erfindung wird der Computer zum Arbeiten
als die Augensucheinrichtung zum Suchen des Auges von unten nach
oben bezüglich des Gesichtsbildes unter einer vorbestimmten
Bedingung in dem durch die Augensuchbereicheinstelleinrichtung eingestellten Augensuchbereich
veranlasst.
-
Gemäß einer
weiteren Ausgestaltung der Erfindung wird der Computer zum Arbeiten
als Augensucheinrichtung zum Suchen des Auges von oben nach unten
bezüglich des Gesichtsbildes unter der vorbestimmten Bedingung
in dem durch die Augensuchbereicheinstelleinrichtung eingestellten
Augensuchbereich veranlasst.
-
Gemäß einer
weiteren Ausgestaltung der Erfindung wird der Computer zum Arbeiten
als untere Augenliderfassungseinrichtung und obere Augenliderfassungseinrichtung
veranlasst. Die untere Augenliderfassungseinrichtung erfasst die
sich vertikal ändernde Kante, deren Luminanz sich von hell
nach dunkel in der Richtung von unten nach oben bezüglich
des Gesichtsbildes ändert, durch Durchsuchen des durch
die Augensuchbereicheinstelleinrichtung eingestellten Augensuchbereichs
von unten her. Die untere Augenliderfassungseinrichtung bestimmt
die erste sich vertikal ändernde Kante, die die vorbestimmte
Bedingung erfüllt, als das untere Augenlid. Ferner bestimmt
die obere Augenliderfassungseinrichtung die sich vertikal ändernde
Kante, deren Luminanz sich von dunkel nach hell in der Richtung
von unten nach oben bezüglich des Gesichtsbildes ändert
und die in dem Bereich über dem erfassten unteren Augenlid
vorhanden ist, als das obere Augenlid.
-
Gemäß einer
weiteren Ausgestaltung der Erfindung wird der Computer zum Arbeiten
als obere Augenliderfassungseinrichtung und untere Augenliderfassungseinrichtung
veranlasst. Die obere Augenliderfassungseinrichtung erfasst die
sich vertikal ändernde Kante, deren Luminanz sich von hell
nach dunkel in der Richtung von oben nach unten bezüglich
des Gesichtsbildes ändert, durch Durchsuchen des durch
die Augensuchbereicheinstelleinrichtung eingestellten Augensuchbereichs
von unten her. Die obere Augenliderfassungseinrichtung bestimmt
die erste sich vertikal ändernde Kante, die die vorbestimmte
Bedingung erfüllt, als das obere Augenlid. Ferner bestimmt
die untere Augenliderfassungseinrichtung die sich vertikal ändernde
Kante, deren Luminanz sich von dunkel nach hell in der Richtung
von oben nach unten bezüglich des Gesichtsbildes ändert
und die im Bereich unter dem erfassten oberen Augenlid vorhanden
ist, als das unter Augenlid.
-
So
wird das Auge im Gesichtsbild schnell und genau erfasst.
-
Kurzbeschreibung der Zeichnungen
-
Die
vorstehenden und weiteren Merkmale und Eigenschaften der Erfindung
werden aus der folgenden ausführlichen Beschreibung unter
Bezugnahme auf die beiliegenden Zeichnungen ersichtlich. Es zeigen:
-
1 ein
Blockschaltbild einer Augenerfassungsvorrichtung gemäß dem
Ausführungsbeispiel,
-
2 ein
Blockschaltbild eines logischen Aufbaus der Augenerfassungsvorrichtung
des Ausführungsbeispiels,
-
3 ein
Blockschaltbild eines Aufbaus eines in 1 gezeigten
Computers,
-
4A eine
Darstellung eines Beispiels eines Operators zur Erfassung vertikaler
Kanten,
-
4B eine
Darstellung eines Beispiels eines Operators zur Erfassung lateraler
Kanten,
-
4C eine
Darstellung eines Beispiels eines stufenweisen Intensitätsunterschieds
in vertikaler Richtung,
-
4D eine
Darstellung eines Beispiels eines stufenweisen Intensitätsunterschieds
in lateraler Richtung,
-
5 eine
Darstellung eines Beispiels von zur Bestimmung eines Bereichs eines
Gesichtsbilds verwendeten Daten,
-
6 eine
Darstellung eines Beispiels eines Nasenlochsuchbereichs,
-
7 eine
Darstellung eines Beispiels eines Augensuchbereichs,
-
8 ein
Ablaufdiagramm eines Beispiels einer Arbeitsweise der Augenerfassungsvorrichtung,
-
9 ein
Ablaufdiagramm eines Beispiels einer Arbeitsweise eines Gesichtsbereicheinstellvorgangs,
-
10 ein
Ablaufdiagramm eines Beispiels einer Arbeitsweise eines Nasenlocherfassungsvorgangs,
und
-
11 ein
Ablaufdiagramm eines Beispiels einer Arbeitsweise eines Nasenlochbestimmungsvorgangs.
-
Ausführliche Beschreibung
-
Nachstehend
wird ein Ausführungsbeispiel der Erfindung ausführlich
unter Bezugnahme auf die beiliegenden Zeichnungen beschrieben. In
den Zeichnungen können identische Bezugszeichen dieselben
oder entsprechende Abschnitte in den verschiedenen Darstellungen
bezeichnen, und eine ausführliche Beschreibung von Abschnitten
mit identischen Bezugszeichen wird nicht wiederholt.
-
1 zeigt
ein Blockschaltbild eines Aufbaus einer Augenerfassungsvorrichtung 1 gemäß dem
Ausführungsbeispiel der Erfindung. Die Augenerfassungsvorrichtung 1 umfasst
eine Kamera 2, eine Beleuchtungslichtquelle 3,
einen Computer 10 und eine Anzeigevorrichtung 7.
Die Kamera 2 nimmt ein Bild eines Gesichts eines Fahrers
auf und erzeugt dann ein Gesichtsbild (Gesichtsbilderzeugungseinrichtung).
Die Beleuchtungslichtquelle 3 beleuchtet das Gesicht des
Fahrers. Der Computer 10 erfasst Augen des Fahrers. Die
Anzeigevorrichtung 7 ist mit dem Computer 10 verbunden,
allerdings ist die Anzeigevorrichtung 7 nicht unbedingt
eine Komponente der Augenerfassungsvorrichtung 1, und muss
beispielsweise das Gesichtsbild, ein erfasstes Ergebnis oder ein
bestimmtes Ergebnis nicht angezeigt werden, ist die Anzeigevorrichtung 7 nicht
unbedingt vorgesehen.
-
Die
Kamera 2 wandelt beispielsweise ein durch ein Objektiv
gebildetes Bild in ein elektrisches Signal unter Verwendung eines
Ladungskopplungsbausteins (CCD) um, und die Kamera 2 gibt
dann Bilddaten aus, deren Bildelemente digitalisiert sind. Ferner
erzeugt die Kamera 2 beispielsweise ein Graustufenbild
des Gesichts des Fahrers. Die durch die Kamera 2 erzeugten
Bilddaten enthalten nicht nur das Gesicht des Fahrers, sondern auch
ein Hintergrundbild hinter dem Fahrer.
-
Die
Anzeigeeinrichtung 7 ist beispielsweise mit einer Flüssigkristallanzeigeeinrichtung
(LCD), einer Kathodenstrahlröhre (CRT) und dergleichen
aufgebaut. Ferner zeigt die Anzeigevorrichtung 7 beispielsweise
ein Binärbild an, das auf der Grundlage des durch die Kamera 2 aufgenommenen
Gesichtsbilds erzeugt ist.
-
Der
Computer 10 verarbeitet die durch die Kamera 2 erzeugten
Bilddaten, und der Computer 10 erfasst dann das rechte
und linke Ende des Gesichts des Fahrers in einer Breitenrichtung
im Gesichtsbild, und der Computer 10 erfasst ferner einen
oberen und unteren Abschnitt des Gesichts des Fahrers in einer Längenrichtung
im Gesichtsbild. Das rechte und das linke Ende des Fahrergesichts
werden beispielsweise auf der Grundlage von Spitzenwerten eines
Histogramms erfasst, das derart erzeugt wird, dass zuerst Kanten
des Bildes berechnet werden und dann ein Histogramm durch Projizieren
der Kanten in vertikaler Richtung des Gesichtsbildes erzeugt wird.
Dann bestimmt der Computer 10 Nasenlöcher des
Fahrergesichts im Gesichtsbild beruhend auf den erfassten rechten
und linken Enden und den erfassten oberen und unteren Abschnitten
des Fahrergesichts. Ferner stellt der Computer 10 einen
Bereich (Augensuchbereich) ein, der zur Erfassung der Augen des
Fahrers auf der Grundlage von Positionen der Nasenlöcher zu
durchsuchen ist, und dann erfasst der Computer 10 obere
und untere Augenlider des Fahrergesichts in dem im Gesichtsbild
eingestellten Augensuchbereich.
-
2 zeigt
ein Blockschaltbild eines logischen Aufbaus der Augenerfassungsvorrichtung 1 des
Ausführungsbeispiels. Die Augenerfassungsvorrichtung 1 enthält
die Kamera 2, einen Bildeingabeabschnitt 21, einen
Kinnerfassungsabschnitt 22, einen Nasenlochsuchbereicheinstellabschnitt 23 (Nasenlochsuchbereicheinstelleinrichtung),
einen Nasenlocherfassungsabschnitt 24 (Nasenlocherfassungseinrichtung),
einen Augensuchbereicheinstellabschnitt 25 (Augensuchbereicheinstelleinrichtung), einen
unteren Augenliderfassungsabschnitt 26 (untere Augenliderfassungseinrichtung),
einen oberen Augenliderfassungsabschnitt 27 (obere Augenliderfassungseinrichtung),
einen Augenöffnungsgradbestimmungsabschnitt 28,
einen Anzeigeverarbeitungsabschnitt 29, einen Datenspeicherabschnitt 5,
die Anzeigevorrichtung 7 und dergleichen. Der Datenspeicherabschnitt 5 speichert
Gesichtsbilddaten 51, einen Gesichtsbereich und Kinnpositionsdaten 52,
Nasenlochsuchbereichdaten 53, Nasenlochdaten 54, Augensuchbereichdaten 55 und
Augenliddaten 56. Die Augenerfassungsvorrichtung 1 erfasst
zwei Paare der oberen und unteren Augenlider der Augen im Gesichtsbild.
Außerdem dienen die unteren Augenliderfassungseinrichtung 26 und
die obere Augenliderfassungseinrichtung 27 als Augensuchabschnitt
(Augensucheinrichtung).
-
3 zeigt
ein Blockschaltbild eines Beispiels eines Aufbaus der Augenerfassungsvorrichtung 1.
Der Computer 10 enthält einen Sende- und Empfangsabschnitt 16,
einen Bildspeicher 12, einen externen Speicherabschnitt 13,
einen Steuerabschnitt 14, einen Hauptspeicherabschnitt 15,
eine Anzeigesteuervorrichtung 17 und eine Lichtquellensteuervorrichtung 18.
Der Bildspeicher 12, der externe Speicherabschnitt 13,
der Hauptspeicherabschnitt 15, der Sende- und Empfangsabschnitt 16,
die Anzeigesteuervorrichtung 17 und die Lichtquellensteuereinrichtung 18 sind
jeweils mit dem Steuerabschnitt 14 über einen
internen Bus 11 verbunden.
-
Der
Steuerabschnitt 14 ist mit einer Zentralverarbeitungseinheit
(die nachstehend als CPU) bezeichnet wird) und dergleichen konfiguriert.
Der Steuerabschnitt 14 folgt einem Programm, das in dem
externen Speicherabschnitt 13 gespeichert ist, um Prozesse
des Bildeingabeabschnitts 21, des Kinnerfassungsabschnitts 22,
des Nasenlochsuchbereichseinstellabschnitts 23, des Nasenlocherfassungsabschnitts 24,
des Augensuchbereicheinstellabschnitts 25, des unteren
Augenliderfassungsabschnitts 26, des oberen Augenliderfassungsabschnitts 27,
des Augenöffnungsgradbestimmungsabschnitts 28 und des
Anzeigeverarbeitungsabschnitts 29 auszuführen.
Der Arbeitsvorgang des Bildeingabeabschnitts 21, des Kinnerfassungsabschnitts 22,
des Nasenlochsuchbereichseinstellabschnitts 23, des Nasenlocherfassungsabschnitts 24,
des Augensuchbereicheinstellabschnitts 25, des unteren
Augenliderfassungsabschnitts 26, des oberen Augenliderfassungsabschnitts 27,
des Augenöffnungsgradbestimmungsabschnitts 28 und
des Anzeigeverarbeitungsabschnitts 29 wird jeweils durch
den Steuerabschnitt 14 und die durch den Steuerabschnitt 14 ausgeführten
Programme ausgeführt.
-
Der
Hauptspeicherabschnitt 15 ist mit einem Speicher mit wahlfreiem
Zugriff (RAM) und dergleichen konfiguriert. Ferner wird der Hauptspeicherabschnitt 15 als
Arbeitsbereich des Steuerabschnitts 14 verwendet. Ein Teil
des Bildspeichers 12 und ein Teil des Hauptspeicherabschnitts 15 sind
dem Datenspeicherabschnitt 15 als Speicherbereiche zugewiesen.
-
Der
externe Speicherabschnitt 13 ist mit nicht flüchtigen
Speichern, wie einem Flash-Speicher, einer Festplatte, einer Digital
Versatile Disc (DVD), einem DVD-Speicher mit wahlfreiem Zugriff (DVD-RAM),
einer wieder beschreibbaren DVD (DVD-RW) oder dergleichen konfiguriert.
Der externe Speicherabschnitt 13 speichert vorab ein Programm zur
Ausführung der vorstehend angeführten Arbeitsabläufe
am Steuerabschnitt 14. Ferner führt der Steuerabschnitt 14 das
Programm gemäß den im externen Speicherabschnitt 14 gespeicherten
Programmdaten aus. Dann speichert der externe Speicherabschnitt 13 vom
Steuerabschnitt 14 gesendete Daten.
-
Beispielsweise
können Zeitreihenbilddaten im externen Speicherabschnitt 13 gespeichert
werden.
-
Wird
ein Netzwerk für die Augenerfassungsvorrichtung 1 verwendet,
ist der Sende- und Empfangsabschnitt 16 beispielsweise
entweder mit einem Modulator/Demodulator oder einem Netzanschluss und
einer seriellen Schnittstelle oder einer Lokalbereichsnetzschnittstelle
(LAN-Schnittstelle) konfiguriert, die mit dem Modulator/Demodultor
bzw. dem Netzanschluss verbunden ist. Ist die Kamera 2 andererseits
direkt mit dem Computer 10 verbunden, ist der Sende- und
Empfangsabschnitt 16 beispielsweise mit einer National
Television Standard Committee-Schnittstelle (NTSC-Schnittstelle)
konfiguriert. Der Steuerabschnitt 14 gibt die Bilddaten
von der Kamera 2 über den Sende- und Empfangsabschnitt 16 ein.
Der Bildspeicher 12 speichert die mittels der Kamera 2 erzeugten
und über den Sende- und Empfangsabschnitt 16 in
den Bildspeicher 12 eingegebenen Bilddaten.
-
Die
Anzeigesteuervorrichtung 17 steuert die Anzeigevorrichtung 7 unter
der Steuerung des Steuerabschnitts 14. Die Lichtquellensteuervorrichtung 18 steuert
das Ein- und Ausschalten der Beleuchtungslichtquelle 3.
-
Der
Steuerabschnitt 14 führt das im externen Speicherabschnitt 13 gespeicherte
Programm zur Erfassung der Paare oberer und unterer Augenlider aus.
Insbesondere erfasst der Steuerabschnitt 14 die oberen
und unteren Augenlidpaare durch Ausführen der im externen
Speicherabschnitt 13 gespeicherten Programme derart, dass
zuerst der Steuerabschnitt 14 die durch die Kamera 2 erzeugten
Bilddaten verarbeitet, dann der Steuerabschnitt 14 das
rechte und das linke Ende und den oberen und den unteren Abschnitt
des Gesichts erfasst, dann der Steuerabschnitt 14 mögliche
obere und untere Augenlider im Augensuchbereich auf der Grundlage
des erfassten rechten und linken Endes und des erfassten oberen und
unteren Abschnitts des Gesichts erfasst, und schließlich
der Steuerabschnitt 14 die Besten als die oberen und die
unteren Augenlidpaare aus einem möglichen oberen und unteren
Augenlidpaar auswählt, das zu einer Bedingung der oberen
und unteren Augenlider passt.
-
Unter
Bezugnahme auf 2 wird nun eine Arbeitsweise
jedes Abschnitts der Augenerfassungsvorrichtung 1 beschrieben.
Die Kamera 2 nimmt das Bild des Gesichts auf. Der Bildeingabeabschnitt 21 gibt
die Zeitreihenbilddaten von der Kamera 2 zu jedem vorbestimmten
Zeitintervall ein, und dann gibt der Bildeingabeabschnitt 21 das
eingegebene Zeitreihenbild zum Datenspeicherabschnitt 5 aus.
Dann speichert der Datenspeicherabschnitt 5 das Zeitreihenbild
als die Gesichtsbilddaten 51.
-
Der
Kinnerfassungsabschnitt 22 abstrahiert das Gesichtsbild
aus den Gesichtsbilddaten 51, und dann erfasst der Kinnerfassungsabschnitt 22 das Kinn
im Gesichtsbereich. Zum Abstrahieren des Gesichtsbereichs werden
beispielsweise einen Umriss des Gesichts bildende Kanten aus dem
Gesichtsbild abstrahiert. Alternativ dazu kann der Umriss des Gesichts
durch einen Musterübereinstimmungsvergleich abstrahiert
werden. Der Gesichtsbereich wird durch Erfassen von Kanten, die
sich über den Augenbrauen befinden, und einer Kante eingestellt,
die sich unter dem Kinn innerhalb des Gesichtsumrisses befindet.
Der Kinnerfassungsabschnitt 22 gibt Daten der erfassten
Position des Kinns und des Gesichtsbereichs zum Datenspeicherabschnitt 5 aus.
Dann speichert der Speicherabschnitt 5 die erfasste Position
des Kinns und den Gesichtsbereich als die Gesichtsbereich- und Kinnpositionsdaten 52.
-
Die 4A, 4B, 4C und 4D sind
Darstellungen zur Beschreibung eines Beispiels fester Daten, die
zum Abstrahieren einer Kante verwendet werden. Der externe Speicherabschnitt 13 speichert
einen Operator des Sobel-Filters zur Erfassung sich horizontal ändernder
Kanten und einen Operator zur Erfassung von sich vertikal ändernden Kanten.
Bei diesem Ausführungsbeispiel wird eine Verkettung von
Punkten, deren Luminanz sich von hell nach dunkel oder von dunkel
nach hell in horizontaler Richtung ändert, sich horizontal ändernde
Kanten genannt. Die Punkte der sich horizontal ändernden
Kanten setzen sich im Allgemeinen in vertikaler Richtung fort, und
daher werden die sich horizontal ändernden Kanten auch
vertikale Kanten genannt. Andererseits geben die sich vertikal ändernden
Kanten eine Verkettung von Punkten an, deren Luminanz sich von hell
nach dunkel oder von dunkel nach hell in vertikaler Richtung ändert.
Die Punkte der sich vertikal ändernden Kanten setzen sich
im Allgemeinen in lateraler Richtung fort, und daher werden die
sich vertikal ändernden Kanten auch laterale Kanten genannt.
-
Das
Sobel-Filter zur Erfassung der sich horizontal ändernden
Kanten (der vertikalen Kanten), das in 4A veranschaulicht
ist, ist der Operator zum Abstrahieren einer Grenze (Kante) zwischen
einer dunklen Farbe und einer hellen Farbe, die sich in vertikaler
Richtung wie in 4C gezeigt fortsetzt. Das Sobel-Filter
zur Erfassung der sich vertikal ändernden Kanten (lateralen
Kanten), das in 4B veranschaulicht ist, ist
der Operator zum Abstrahieren einer Grenze (Kante) zwischen der
dunklen Farbe und der hellen Farbe, die sich in lateraler Richtung wie
in 4D gezeigt fortsetzt.
-
Wie
in 5 gezeigt wird ein Gesichtsbereich F beispielsweise
mit einer Reichweite eingestellt, deren horizontale Breite der maximalen
Breite des Gesichts entspricht, und deren vertikale Länge einer
Entfernung zwischen den Kanten über den Augenbrauen und
der Kante des Kinns entspricht.
-
Der
Nasenlochsuchbereicheinstellabschnitt 23 stellt den Nasenlochsuchbereich,
in dem der Nasenlocherfassungsabschnitt 24 die Nasenlöcher sucht,
beruhend auf den Gesichtsbereich- und Kinnpositionsdaten 52 ein.
Insbesondere stellt der Nasenlochsuchbereicheinstellabschnitt 23 den
Nasenlochsuchbereich im Gesichtsbereich F beruhend auf einem Verhältnis
ein, das auf der Grundlage der Position des Kinns und statistischer
Daten berechnet ist. Insbesondere stellt der Nasenlochsuchbereicheinstellabschnitt 23 den
Nasenlochsuchbereich in einem zentralen Abschnitt des Gesichts ein.
Außerdem kann der Nasenlochsuchbereich an einer Position eine
vorbestimmte Entfernung über der erfassten Position des
Kinns in Aufwärtsrichtung eingestellt werden. Wird beispielsweise
der Gesichtsbereich F im Gesichtsbild eingestellt, stellt der Nasenlochsuchbereicheinstellabschnitt 23 eine
minimale Reichweite als den Nasenlochsuchbereich N ein. Die minimale Reichweite
ist eine Reichweite, innerhalb der die Nasenlöcher gemäß einer
vorab durchgeführten statistischen Untersuchung immer erfasst
werden. Dann gibt der Nasenlochsuchbereicheinstellabschnitt 23 Daten
des Nasenlochsuchbereichs N zu dem Datenspeicherabschnitt 5 aus.
Dann speichert der Datenspeicherabschnitt 5 den Nasenlochsuchbereich
N als die Nasenlochsuchbereichdaten 53.
-
6 zeigt
ein Bespiel des Nasenlochsuchbereichs N, der durch gestrichelte
Linien dargestellt ist. Wird beispielsweise eine Höhe des
Gesichtsbereichs F mit H bezeichnet, und eine Breite des Gesichtsbereichs
F mit W, wird der Nasenlochsuchbereich N mit einer Reichweite 9/16
H und 6/16 W eingestellt, und ferner wird der Nasenlochsuchbereich
N an einer Position 2/16 H über der Kinnposition M in vertikaler
Richtung des Gesichtsbilds und in der Mitte des Gesichtsbereichs
F in lateraler Richtung eingestellt.
-
Der
Nasenlocherfassungsabschnitt 26 sucht nach zwei benachbarten
im Wesentlichen runden Formen mit dunkler Farbe im Nasenlochsuchbereich N
zur Erfassung der Nasenlöcher (Bestimmungseinrichtung).
Beispielsweise erfasst der Nasenlochsuchabschnitt 24 die
sich horizontal ändernden Kanten und die sich vertikal ändernden
Kanten im Nasenlochsuchbereich N. Die Punkte, deren Luminanz sich von
hell nach dunkel in einer Richtung von links nach rechts ändert,
werden als vertikale Minus-Kanten bezeichnet, und die Punkte, deren
Luminanz sich von dunkel nach hell in einer Richtung von links nach rechts ändert,
werden als vertikale Plus-Kanten bezeichnet. Ferner werden die Punkte, deren
Luminanz sich von hell nach dunkel in einer Richtung von oben nach
unten ändert, als laterale Minus-Kanten bezeichnet, und
die Punkte, deren Luminanz sich von dunkel nach hell in der Richtung
von oben nach unten ändert, werden als laterale Plus-Kanten
bezeichnet. Eines der Nasenlöcher erscheint im Gesichtsbild
derart, dass es die vertikale Minus-Kante links, die vertikale Plus-Kante
rechts, die laterale Minus-Kante im oberen Abschnitt und die laterale
Plus-Kante im unteren Abschnitt der im Wesentlichen runden Form
mit dunkler Farbe hat.
-
Das
eine der Nasenlöcher, die jeweils mit den vier verschiedenen
Kanten umgeben sind, erscheint in Richtung seines Mittelpunkts verdunkelt. Überlappen
jeweils ein Ende der vertikalen Minus-Kante, der vertikalen Plus-Kante,
der lateralen Minus-Kante und der lateralen Plus-Kante einander in
dieser Reihenfolge, wird die herausragende Form als eines eines
möglichen Paars von Nasenlöchern betrachtet. Erfasst
der Nasenlocherfassungsabschnitt 24 benachbarte zwei dieser
Kanten, die sich in lateraler Richtung erstrecken, bestimmt der
Nasenlocherfassungsabschnitt 24 die benachbarten zwei dieser
Kanten als das möglich Paar der Nasenlöcher.
-
Es
kann einen Fall geben, in dem mehr als zwei mögliche Paare
von Nasenlöchern im Nasenlochsuchbereich N erfasst werden.
Trägt der Fahrer beispielsweise eine Brille, können
die Nasenauflagen, die in Kontakt mit der Nase des Fahrergesichts sind,
als mögliches Paar der Nasenlöcher erfasst werden.
Wird eine Vielzahl möglicher Paare von Nasenlöchern
erfasst, bestimmt der Nasenlocherfassungsabschnitt 24 ein
mögliches Paar von Nasenlöchern, die der Kinnposition
M am nächsten positioniert sind, als das Paar der Nasenlöcher.
Dann gibt der Nasenlocherfassungsabschnitt 24 Daten der
erfassten Nasenlöcher zum dem Datenspeicherabschnitt 5 aus.
Dann speichert der Datenspeicherabschnitt 5 die erfassten
Nasenlöcher als die Nasenlochdaten 54.
-
Das
Paar der Nasenlöcher wird durch Einstellen des Nasenlocherfassungsbereichs
N und dann Suchen nach den Nasenlöchern in dem Nasenlocherfassungsbereich
N genau erfasst. Selbst wenn eine Vielzahl von möglichen
Paaren von Nasenlöchern erfasst wird, erfasst der Nasenlocherfassungsabschnitt 24 das
Paar der Nasenlöcher durch Bestimmen des möglichen
Paars von Nasenlöchern, die der Kinnposition M am nächsten
positioniert sind, als das Paar der Nasenlöcher in dem
Nasenlocherfassungsbereich N genau.
-
Der
Augensuchbereicheinstellabschnitt 25 stellt einen Augenerfassungsbereich
in dem Gesichtsbild F auf der Grundlage der Position des bestimmten
Paars von Nasenlöchern ein. Wird der Gesichtsbereich F
im Gesichtsbild eingestellt, stellt der Augensuchbereicheinstellabschnitt 25 einen
minimalen Bereich als den Augensuchbereich ein. Der minimale Bereich
ist ein Bereich, in dem die Augen entsprechend einer zuvor durchgeführten
statistischen Untersuchung immer erfasst werden. Beispielsweise wird
der Augenerfassungsbereich durch Platzieren von zwei Rechtecken über
dem Paar der Nasenlöcher derart eingestellt, dass sie von
der bestimmten Position der Nasenlöcher um eine vorbestimmte
Entfernung beabstandet sind. Seiten jedes Rechtecks werden beispielsweise
durch Multiplizieren einer vertikalen Länge oder lateralen
Breite des Gesichtsbereichs F mit einem vorbestimmten Verhältnis
eingestellt. Der Augensuchbereicheinstellabschnitt 25 gibt auf
den eingestellten Augensuchbereich bezogene Daten zu dem Datenspeicherabschnitt 5 aus.
Dann speichert der Datenspeicherabschnitt 5 den eingestellten
Augensuchbereich als die Augensuchbereichdaten 55.
-
Wie
vorstehend beschrieben wird der Augensuchbereich E bei diesem Ausführungsbeispiel
in zwei Augensuchbereiche getrennt, die als Augensuchbereiche E
bezeichnet werden. 7 zeigt ein Beispiel der Augensuchbereiche
E. Die zwei mit gestrichelten Linien in 7 dargestellten
Rechtecke geben die Augensuchbereiche E an. Wird beispielsweise
die Breite des Gesichtsbereichs F mit W bezeichnet, wird einer der
Augensuchbereiche E mit einer vertikalen Höhe von 0,35
W und einer lateralen Breite von 0,26 W eingestellt. Dann werden
die zwei Rechtecke 0,08 W über einem Mittelpunkt Cn zwischen
den zwei Nasenlöchern, (der nachstehend als Mittelpunktabschnitt
eines Nasenlochs Cn bezeichnet wird) im Gesichtsbild positioniert,
und das rechte und das linke Rechteck werden voneinander um 0,13 W
beabstandet positioniert, so dass sie hinsichtlich des Mittelpunkts
der Nasenlöcher Cn symmetrisch sind. Der Augensuchbereicheinstellabschnitt 25 stellt die
zwei Rechtecke, die im Gesichtsbereich F auf die vorstehend beschriebene
Art und Weise positioniert sind, als die Augensuchbereiche E ein.
-
Das
obere und das untere Augenlid werden durch Abtasten der Augensuchbereiche
E in ihrer vertikalen Richtung erfasst. Werden die Augensuchbereiche
E beispielsweise von unten her abgetastet, werden die unteren Augenlider
zuerst erfasst, und dann werden die oberen Augenlider auf der Grundlage
einer Position der erfassten unteren Augenlider erfasst. Werden
die Augensuchbereiche E andererseits von oben her abgetastet, werden
die oberen Augenlider zuerst erfasst, und dann werden die unteren Augenlider
beruhend auf einer Position der erfassten oberen Augenlider erfasst.
Bei diesem Ausführungsbeispiel wird nachstehend der Fall
als Beispiel zur Erfassung der oberen und unteren Augenlider beschrieben,
bei dem die Augensuchbereiche E von unten her abgetastet werden.
-
Der
untere Augenliderfassungsabschnitt 26 erfasst die unteren
Augenlider in den Augensuchbereichen E. Der untere Augenliderfassungsvorgang wird
nachstehend anhand eines der Augelider im Augensuchbereich E als
Beispiel beschrieben. Beispielsweise erfasst der untere Augenliderfassungsabschnitt 26 die
laterale Kante durch Abtasten eines der Augensuchbereiche E von
seinem unteren Abschnitt her unter Verwendung des Sobel-Filters
zur Erfassung der sich vertikal ändernden Kanten, das in 4B gezeigt
ist. Wird der Augensuchbereich E von unten her abgetastet, wird
in vielen Fällen eine erste erfasste laterale Plus-Kante
mit einer Länge größer oder gleich einer
vorbestimmten Länge als das untere Augenlid bestimmt.
-
Trägt
der Fahrer eine Brille, kann ein Rahmen der Brille erfasst werden.
Allerdings werden die Nasenauflagen der Brille durch den Nasenlocherfassungsabschnitt 24 erfasst,
wenn der Fahrer eine Brille trägt. Daher wird der Rahmen
der Brille leicht von den unteren Augenlidern des Fahrers unterschieden. Ferner
sind die den Rahmen der Brille angebenden Kanten dünner
als die die Augen oder die Augenbrauen angebenden Kanten, und die
den Rahmen der Brille angebenden Kanten erscheinen im Wesentlichen
horizontal, und daher wird der Rahmen der Brille leicht von den
Augen oder Augenbrauen des Fahrergesichts unterschieden. Der untere
Augenliderfassungsabschnitt 26 gibt Daten hinsichtlich der
erfassten oberen Augenlider zum Datenspeicherabschnitt 5 aus.
Dann speichert der Datenspeicherabschnitt 5 die erfassten
unteren Augenlider als ein Teil der Augenliddaten 56.
-
Der
obere Augenliderfassungsabschnitt 27 erfasst obere Augenlider
in den Augensuchbereichen E, insbesondere in einem Bereich über
den unteren Augenlidern. Der Vorgang der Erfassung der oberen Augenlider
wird nachstehend anhand der oberen Augenlider im Augensuchbereich
E als Beispiel beschrieben. Beispielsweise erfasst der obere Augenliderfassungsabschnitt 27 die
lateralen Kanten durch Abtasten des Bereichs über dem unteren
Augenlid von unten her unter Verwendung des in 4B dargestellten
Sobel-Filters zur Erfassung der sich vertikal ändernden
Kanten. Wird der Bereich über dem unteren Augenlid im Augensuchbereich
E von unten nach oben im Bereich über dem unteren Augenlid
abgetastet, wird in vielen Fällen eine erste erfasste laterale
Minus-Kante mit einer Länge größer oder
gleich einer vorbestimmten Länge als das obere Augenlid bestimmt.
Die laterale Minus-Kante ist eine Kante, deren Luminanz sich von
hell nach dunkel in der Richtung von oben nach unten ändert.
-
Bei
diesem Ausführungsbeispiel ist ein Fall, in dem die Augensuchbereiche
E von unten her abgetastet werden, als Beispiel zur Erfassung der
oberen und unteren Augenlider beschrieben. Allerdings können
die Augensuchbereiche E zur Erfassung der oberen und unteren Augenlider
von oben her abgetastet werden. Wird beispielsweise einer der Augensuchbereiche
E von oben her abgetastet, sucht der obere Augenliderfassungsabschnitt 27 nach
einer sich vertikal ändernden Kante, deren Luminanz sich von
hell nach dunkel in der Richtung von oben nach unten ändert
(laterale Minus-Kante), um eine erste sich vertikal ändernde
Kante zu erfassen, die eine vorbestimmte Bedingung erfüllt.
Dann bestimmt der obere Augenliderfassungsabschnitt 27 die
erste erfasste sich vertikal ändernden Kante als das obere Augenlid.
Wird einer der Augensuchbereiche E von oben her abgetastet, sucht
der untere Augenliderfassungsabschnitt 26 nach einem Bereich
unter dem erfassten oberen Augenlid zur Erfassung des unteren Augenlids.
-
Bevor
der obere Augenliderfassungsabschnitt 27 die Erfassung
der oberen Augenlider beginnt, werden die unteren Augenlider durch
Abtasten der Augensuchbereiche E von unten her erfasst, und daher
werden die unteren Augenlider bestimmt. Die Augensuchbereiche E
sind auf der Grundlage der Position des bestimmten Paars der Nasenlöcher
eingestellt. Ist das untere Augenlid bestimmt, gibt die erste laterale
Minus-Kante, wenn der Bereich über dem unteren Augenlid
abgetastet wird, die durch den oberen Augenliderfassungsabschnitt 27 erfasst
wird, das obere Augenlid abgesehen von einer Möglichkeit einer
oberen Kante der Iris des Auges an, wobei einer der Augensuchbereiche
E als Beispiel genommen wird. Durch Einstellen des oberen Augenliderfassungsabschnitt 27 derart,
dass er keine Kanten mit einer Länge kürzer als
eine vorbestimmte Länge erfasst, bestimmt der obere Augenliderfassungsabschnitt 27 die
erste erfasste laterale Minus-Kante als das obere Augenlid genau,
wenn der Bereich über dem unteren Augenlid abgetastet wird.
Der obere Augenliderfassungsabschnitt 27 gibt Daten hinsichtlich der
erfassten rechten und linken Augenlider zu dem Datenspeicherabschnitt 5 aus.
Dann speichert der Datenspeicherabschnitt 5 die erfassten
rechten und linken Augenlider als Teil der Augenliddaten 56.
-
Der
Augenöffnungsgradbestimmungsabschnitt 28 berechnet
einen Öffnungsgrad der Augen auf der Grundlage der Paare
der oberen und unteren Augenlider. Der Grad, wie weit die Augen
geöffnet sind (Augenöffnungsgrad) wird beispielsweise
auf der Grundlage einer Entfernung zwischen einem Mittelpunkt der
oberen Augenlider und einem Mittelpunkt der unteren Augenlider erfasst.
-
Der
Vorgang der Berechnung und Bestimmung des Augenöffnungsgrads
wird nachstehend anhand eines der oberen und unteren Augenlidpaare (eines
der Fahreraugen) als Beispiel beschrieben. Der Augenöffnungsgradbestimmungsabschnitt 28 bezieht
das Paar des oberen und unteren Augenlids auf den Öffnungsgrad
des Auges in chronologischer Reihenfolge, und bestimmt der Augenöffnungsgradbestimmungsabschnitt 28 eine Änderung
des Augenöffnungsgrads, die einem Blinzeln entspricht,
bestimmt der Augenöffnungsgradbestimmungsabschnitt 28 nicht,
dass der Fahrer seine Augen schließt. Wird der Öffnungsgrad
eines möglichen Paars von Augenlidern, deren Öffnungsgrad
größer oder gleich dem vorbestimmten Grad ist,
kleiner und dann innerhalb einer vorbestimmten Anzahl von Bildrahmen
größer, bestimmt der Augenöffnungsgradbestimmungsabschnitt 28 beispielsweise,
dass der Fahrer mit seinen Augen blinzelt.
-
Ist
der Öffnungsgrad der Augenlider in aufeinanderfolgenden
Bildern mit einer Anzahl größer oder gleich einer
Anzahl der vorbestimmten Rahmen beispielsweise geringer als der
vorbestimmte Grad, bestimmt der Augenöffnungsgradbestimmungsabschnitt 28 ferner,
dass der Fahrer seine Augen schließt. Bestimmt der Augenöffnungsgradbestimmungsabschnitt 28,
dass der Fahrer seine Augen schließt, kann der Augenöffnungsgradbestimmungsabschnitt 28 beispielsweise
bestimmen, dass der Fahrer döst.
-
Der
Anzeigeverarbeitungsabschnitt 29 zeigt die erfassten Ergebnisse
der oberen und der unteren Augenlider zusammen mit dem Umriss des
Gesichts und dergleichen auf der Anzeigevorrichtung 7 an.
Bestimmt der Augenöffnungsgradbestimmungsabschnitt 28,
dass der Fahrer döst, können ferner eine Anzeige
des Öffnungsgrads der Fahreraugen und eines Alarms einschließlich
eines Tons vorgesehen sein.
-
Nachstehen
wird die Arbeitsweise der Augenerfassungsvorrichtung 1 beschrieben.
Die Augenerfassungsvorrichtung 1 wird durch den Steuerabschnitt 14 zusammen
mit der Kamera 2, dem Sende- und Empfangsabschnitt 16,
dem Bildspeicher 12, dem externen Speicherabschnitt 13 und
dem Hauptspeicherabschnitt 15 betrieben.
-
8 zeigt
ein Ablaufdiagramm eines Beispiels der Arbeitsweise der Augenerfassungsvorrichtung 1.
In Schritt S1 gibt der Steuerabschnitt 14 das Gesichtsbild
in Zeitreihen von der Kamera 2 über den Sende-
und Empfangsabschnitt 16 ein. Dann stellt der Kinnerfassungsabschnitt 22 den
Gesichtsbereich F wie vorstehend beschrieben ein (Schritt S2).
-
9 zeigt
ein Ablaufdiagramm eines Beispiels der Arbeitsweise eines in S2
ausgeführten Gesichtsbereicheinstellvorgangs. Der Steuerabschnitt 14 liest
die Gesichtsbilddaten 51 aus dem Datenspeicherabschnitt 5,
und dann differenziert der Steuerabschnitt 14 Bildelementwerte
des Gesichtsbildes in lateraler Richtung (A1). Insbesondere wird
der Unterschied zwischen der Luminanz jedes Bildelements und der
Luminanz jedes angrenzendes Bildelements berechnet, und beruhend
auf dieser Differenz wird ein abstrahiertes Kantenabschnittbild
erzeugt. In dem abstrahierten Kantenabschnittbild sind die vertikalen
Kanten des Hintergrunds hinter dem Fahrer und die vertikalen Kanten
des Gesichtsbildes abstrahiert. Diese vertikalen Kanten werden selbst
dann abstrahiert, wenn der Fahrer sein Gesicht nicht bewegt.
-
Außerdem
werden in einem Histogramm, das durch Projizieren des Bildelementwerts
(Ableitung der Luminanz) des abstrahierten Kantenabschnittbildes
in vertikaler Richtung erhalten wird, das rechte und das linke Ende
des Gesichts nicht erfasst, da Intensitäten aller abstrahierten
Kanten im abstrahierten Kantenabschnittbild im Wesentlichen gleich sind.
-
Der
Steuerabschnitt 14 differenziert den Bildelementwert des
Gesichtsbildes nach der Zeit in Schritt A2.
-
Insbesondere
wird durch Berechnen einer Differenz zwischen der Luminanz jedes
Bildelements zu einem bestimmten Zeitpunkt und der Luminanz jedes
Bildelementwerts zu einem unmittelbar vorhergehenden Zeitpunkt vor
dem bestimmten Zeitpunkt ein zeitlich differenziertes Bildelementwertbild
erzeugt, in dem lediglich ein sich bewegendes Objekt hervorgehoben
ist.
-
Da
der Fahrer im Allgemeinen nicht still sitzt, werden im Allgemeinen
in dem zeitlich differenzierten Bildelementbild Umrisse sich bewegender
Objekte, d. h., der Umriss des Fahrergesichts derart erfasst, dass
er dick erscheint. Andererseits bleiben Hintergrundobjekte, wie
ein Fenster, eine Säule und eine Kopfstütze stationär,
und daher werden diese Objekte im zeitlich differenzierten Bildelementbild
nicht erfasst. Bewegt sich der Fahrer häufig, wird der
Umriss des Gesichts erfasst. Hält sich der Fahrer andererseits
ruhig, wird der Umriss des Fahrergesichts im zeitlich differenzierten
Bildelementbild kaum erfasst. Zur Erfassung des Gesichtsumrisses
des Fahrers selbst dann, wenn sich der Fahrer still hält,
müssen demnach die folgenden Vorgänge ausgeführt
werden.
-
Der
Steuerabschnitt 14 erzeugt ein erstes zusammengesetztes
Bild durch Kombinieren des abstrahierten Kantenabschnittbildes und
des zeitlich differenzierten Bildelementbildes in Schritt A3. Dann erzeugt
der Steuerabschnitt 14 das Histogramm durch Projizieren
des Bildelementwerts (der Luminanz) des ersten zusammengesetzten
Bildes in vertikale Richtung. So sind in jedem Fall, hält
sich der Fahrer ruhig oder nicht, die vertikalen Kanten des Fahrers
im ersten zusammengesetzten Bild gezeigt.
-
Alternativ
dazu kann das Histogramm durch Projizieren jedes Bildelementwerts
des abstrahierten Kantenabschnittbildes und des Bildelementwerts
des zeitlich differenzierten Bildelementbildes in vertikale Richtung
erzeugt werden, und diese zwei Histogramme können zum Abstrahieren
des Gesichtsumrisses in jedem Fall kombiniert werden, ob sich nun
der Fahrer ruhig hält oder nicht. Dann werden viele Spitzen im
Histogramm des ersten zusammengesetzten Bildes 1 erfasst (Schritt
A4).
-
Der
Steuerabschnitt 14 wählt zwei Spitzenwerte, die
die beste Übereinstimmung mit der Breite des Fahrergesichts
zeigen, aus der im Histogramm des ersten zusammengesetzten Bildes
erfassten Vielzahl der Spitzenwerte aus, und dann bestimmt der Steuerabschnitt 14 einen
der zwei Spitzenwerte als linkes Ende des Gesichts und den anderen
der zwei Spitzenwerte als rechtes Ende des Gesichts (Schritt A5).
-
Außerdem
ist der Erfassungsablauf eines rechten und linken Endes eines Gesichts
nicht auf das vorstehend beschriebene Beispiel beschränkt. Der
Ablauf zur Erfassung des rechten und linken Endes des Gesichts kann
wie folgt modifiziert werden.
-
Beispielsweise
wird das Gesichtsbild verwendet, wenn der Steuerabschnitt 14 die
zeitliche Differenzierungsberechnung bei dem Bildelementwert ausführt,
allerdings kann anstelle des Gesichtsbildes das abstrahierte Kantenabschnittbild
verwendet werden. D. h., der Bildelementwert (die Luminanz) des
abstrahierten Kantenabschnittbildes wird zeitlich differenziert,
um das zeitlich differenzierte Kantenabschnittbild zu erzeugen.
Somit sind die vertikalen Kanten stationärer Objekte im
Hintergrund, wie das Fenster und die Kopfstütze, im abstrahierten Kantenabschnittbild
nicht gezeigt, und infolgedessen können lediglich vertikale
Kanten des sich bewegenden Objekts im Gesichtsbild abstrahiert werden.
-
Der
Steuerabschnitt 14 führt ähnliche Verarbeitungsvorgänge
wie vorstehend beschrieben in den Schritten nach Schritt A3 aus.
In den Schritten A3 und A4 kombiniert der Steuerabschnitt 14 ähnlich wie
in den vorstehend beschriebenen Vorgängen das abstrahierte
Kantenabschnittbild und das zeitlich differenzierte Kantenabschnittbild
zur Erzeugung eines zweiten zusammengesetzten Bildes, und dann erzeugt
der Steuerabschnitt 14 das Histogramm durch Projizieren
eines Bildelementwerts (der Luminanz) des zweiten zusammengesetzten
Bildes in vertikale Richtung. Beruhend auf diesem Histogramm kann das
rechte und das linke Ende des Fahrergesichts durch Erfassen von
Spitzenwerten im Histogramm erfasst werden.
-
Ferner
erzeugt der Steuerabschnitt 14 ein Histogramm durch Projizieren
der lateralen Kanten in einem Gesichtsbreitenbereich in horizontale
Richtung. In diesem Histogramm sind Spitzenwerte an Abschnitten
vorhanden, die den Augenbrauen, Augen und dem Mund entsprechen.
Daher erfasst der Steuerabschnitt 14 den oberen und den
unteren Abschnitt des Gesichts beruhend auf den Spitzenwerten im
Histogramm (Schritt A6). Außerdem können Kanten
oberer Augenbrauen durch Abtasten der vertikalen Kanten von oben
nach unten im Gesichtsbreitenbereich erfasst werden, und die Kanten
des Kinns können durch Abtasten der sich vertikal ändernden Kanten
von unten nach oben im Gesichtsbreitenbereich erfasst werden.
-
In
Schritt A7 stellt der Steuerabschnitt 14 die Koordinaten
des Gesichtsbereichs F ein, dessen Breite der Breite des Gesichts
zwischen dem linken und dem rechten Ende des Gesichts entspricht,
und dessen Höhe einer Entfernung zwischen den oberen Augenbrauen
und der Kinnposition M entspricht, und dann kehrt der Steuerabschnitt 14 zu
dem in 8 veranschaulichten Augenerfassungsvorgang zurück. Außerdem
ist das Erfassungsverfahren zur Erfassung des rechten und des linken
Endes des Gesichts und des oberen und des unteren Abschnitts des
Gesichts nicht auf das vorstehend beschriebene Beispiel beschränkt.
Es kann ein Vorlagenvergleich oder ein Bereichsbild zur Erfassung
des rechten und linken Endes und des oberen und unteren Abschnitts des
Gesichts verwendet werden.
-
Gemäß dem
in 8 gezeigten Ablaufdiagramms stellt der Nasenlochsuchbereicheinstellabschnitt 23 den
Nasenlochsuchbereich N im Gesichtsbereich F in Schritt S3 ein. Wie
vorstehend beschrieben stellt der Nasenlochsuchbereicheinstellabschnitt 23 den
Nasenlochsuchbereich N im Gesichtsbereich F beispielsweise auf der
Grundlage des Verhältnisses ein, das beruhend auf der Kinnposition
M und statistischen Daten berechnet ist.
-
Der
Steuerabschnitt 14 erfasst das Paar der Nasenlöcher
im eingestellten Nasenlochsuchbereich N in Schritt S4 (Nasenlocherfassungsschritt). 11 zeigt
ein Ablaufdiagramm eines Beispiels des Ablaufs des in Schritt S4
ausgeführten Nasenlocherfassungsvorgangs.
-
Der
Steuerabschnitt 14 berechnet eine Durchschnittsluminanz
der Bildelemente im Gesichtsbereich F, und dann berechnet der Steuerabschnitt 14 einen
Schwellenwert einer Helligkeit zur Unterscheidung eines hellen Abschnitts
von einem dunklen Abschnitt auf der Grundlage der Durchschnittsluminanz
(Schritt B1). Ferner sucht der Steuerabschnitt 14 die Bildelemente,
deren Luminanz niedriger (dunkler) als der Helligkeitsschwellenwert ist.
Dann erfasst der Steuerabschnitt 14 in Schritt B2 eine
Wahrscheinlichkeit einer runden Form, die durch aufeinanderfolgende
Bildelementgruppen bei niedriger Luminanz gebildet wird, und der
Steuerabschnitt 14 erzeugt eine Wahrscheinlichkeitsabbildung
im Nasenlochsuchbereich N.
-
Die
Wahrscheinlichkeit der durch die Gruppe der Bildelemente bei niedriger
Luminanz gebildeten runden Form kann beispielsweise auf der Grundlage einer
Entfernung zwischen einem Mittelpunkt jeder der Kanten und einem
Schwerpunkt der Gruppe der Bildelemente bei niedriger Luminanz berechnet
werden. Der Mittelpunkt gibt einen Mittelpunkt jeder aufeinanderfolgenden
Kante an. Durch Anwenden einer Tatsache, dass dann, wenn die Gruppe
der Bildelemente eine nahezu kreisförmige Form bildet,
ein durch die Bildelemente gebildeter Bereich größer wird,
kann alternativ die Wahrscheinlichkeit der runden Form auf der Grundlage
einer Anzahl von Bildelementen, die in der Gruppe der Bildelemente
bei niedriger Luminanz vorhanden sind, hinsichtlich einer Anzahl
von Bildelementen bestimmt werden, die einen Rand der Gruppe der
Bildelemente bei niedriger Luminanz bilden.
-
Der
Steuerabschnitt 14 berechnet einen Schwellenwert der Wahrscheinlichkeit
auf der Grundlage einer maximalen Wahrscheinlichkeit in der Wahrscheinlichkeitsabbildung
in Schritt B3. Dann bestimmt der Steuerabschnitt 14 mögliche
Nasenlöcher, die durch die Gruppen der Bildelemente bei niedriger
Luminanz gebildet werden, die den Schwellenwert der Wahrscheinlichkeit überschreiten,
in Schritt B4.
-
Erfasst
der Steuerabschnitt 14 mögliche Nasenlöcher,
bildet der Steuerabschnitt 14 Paare der möglichen
Nasenlöcher, die nahe aneinander vorhanden sind.
-
Der
Steuerabschnitt 14 bestimmt ein mögliches Paar
von Nasenlöchern mit der größten Wahrscheinlichkeit
als das Paar der Nasenlöcher in Schritt B5. Unter den möglichen
Paaren der Nasenlöcher kann ein mögliches Paar
von Nasenlöchern, das sich der Kinnposition M am nächsten
befindet, als das Paar der Nasenlöcher bestimmt werden. 11 zeigt
ein Ablaufdiagramm eines Beispiels des Ablaufs des Nasenlochbestimmungsvorgangs.
-
Der
Steuerabschnitt 14 wählt eines der möglichen
Paare von Nasenlöchern aus, und dann bestimmt der Steuerabschnitt 14 das
ausgewählte mögliche Paar von Nasenlöchern
als das mögliche Paar von Nasenlöchern N. Dann
berechnet der Steuerabschnitt 14 eine Entfernung Ln zwischen
der Kinnposition M und einem Mittelpunkt zwischen dem möglichen
Paar von Nasenlöchern N in Schritt C1. In Schritt C2 stellt
der Steuerabschnitt 14 den Rest der möglichen
Paare von Nasenlöchern auf „i = 1" ein, und dann
wählt der Steuerabschnitt 14 das mögliche Paar
von Nasenlöchern i aus.
-
Der
Steuerabschnitt 14 berechnet die Entfernung Li zwischen
der Kinnposition M und einem Mittelpunkt zwischen dem möglichen
Paar von Nasenlöchern i in Schritt C3. Dann vergleicht
der Steuerabschnitt 14 die Entfernung Ln mit der Entfernung
Li, und ist die Entfernung Ln größer oder gleich der
Entfernung Li (Nein in Schritt C4), ersetzt der Steuerabschnitt 14 die
Entfernung Li durch die Entfernung Ln, und dann ersetzt der Steuerabschnitt 14 die
Anzahl i des möglichen Paars von Nasenlöchern
i durch das mögliche Paar von Nasenlöchern n in
Schritt C5. Ist die Entfernung Ln kleiner oder gleich der Entfernung Li
(Ja in Schritt C7), ersetzt der Steuerabschnitt 14 das
ausgewählte mögliche Paar von Nasenlöchern
n nicht.
-
Der
Steuerabschnitt 14 erhöht die Anzahl i in Schritt
C6, und ist das mögliche Paar von Nasenlöchern
i vorhanden (Ja in Schritt C7), kehrt der Steuerabschnitt 14 zu
Schritt C3 zurück und wiederholt den Vergleich der Entfernungen
Ln und Li (Schritte C3, C4, C5 und C6). Ist kein weiteres mögliches
Paar von Nasenlöchern i vorhanden (Nein in Schritt C7), bestimmt
der Steuerabschnitt 14 schließlich das ausgewählte
mögliche Paar von Nasenlöchern n als das Paar
der Nasenlöcher in Schritt C8. Dann kehrt der Steuerabschnitt 14 zum
Nasenlocherfassungsvorgang zurück.
-
Kehrt
man nun vom Nasenlocherfassungsvorgang zu dem in 8 gezeigten
Augenerfassungsvorgang zurück, stellt der Steuerabschnitt 14 (der
Augensuchbereicheinstellabschnitt 25) die Augensuchbereiche
E auf der Grundlage der Position des Paars der Nasenlöcher
in Schritt S5 ein (Augensuchbereicheinstellschritt). Wie vorstehend
beschrieben wird jeder Augensuchbereich E beispielsweise durch Multiplizieren
der Länge entweder der vertikalen Höhe oder der
horizontalen Breite des Gesichtsbereichs F mit dem vorbestimmten
Verhältnis eingestellt, und dann wird der Augensuchbereich
E derart im Gesichtsbild angeordnet, dass er von dem Paar der Nasenlöcher
um eine vorbestimmte Entfernung weit weg ist.
-
In
Schritt S6 berechnet der Steuerabschnitt 14 die Durchschnittsluminanz
der im Gesichtsbereich F vorhandenen Bildelemente, und dann berechnet der
Steuerabschnitt 14 den Schwellenwert der Helligkeit zur
Unterscheidung des hellen Abschnitts vom dunklen Abschnitt im Gesichtsbild
auf der Grundlage der Durchschnittsluminanz. Der im Nasenlocherfassungsvorgang
(in Schritt D1 in 10) berechnete Helligkeitsschwellenwert
kann anstelle der in Schritt S6 ausgeführten Berechnung
des Helligkeitsschwellenwerts verwendet werden. Dann führt
der Steuerabschnitt 14 in Schritt S7 den oberen und unteren
Augenliderfassungsvorgang aus. Der obere und der untere Augenliderfassungsvorgang
dienen als Augensuchvorgang (Augensuchschritt).
-
Der
Vorgang der Bestimmung der oberen und der unteren Augenlider wird
nachstehend anhand eines Augensuchbereichs E als Beispiel beschrieben.
Der Steuerabschnitt 14 (der untere Augenliderfassungsabschnitt 26)
tastet den Augensuchbereich E von unten her zum Suchen nach Bildelementen,
deren Luminanz niedriger (dunkler) als der Helligkeitsschwellenwert
ist, im Augensuchbereich E ab. Dann bestimmt der Steuerabschnitt 14 die sich
vertikal ändernde Kante, deren Luminanz sich von hell nach
dunkel in der Richtung von unten nach oben ändert, und
deren Länge gleich oder größer als die
vorbestimmte Länge ist, als das untere Augenlid. Ferner
sucht der Steuerabschnitt 14 (der obere Augenliderfassungsabschnitt 27)
nach dem oberen Augenlid auf der Grundlage der Position des erfassten unteren
Augenlids. Der Steuerabschnitt 14 bestimmt die sich vertikal ändernde
Kante, deren Luminanz sich von dunkel nach hell in der Richtung
von oben nach unten ändert, und deren Länge gleich
oder länger als die vorbestimmte Länge ist, als
das obere Augenlid.
-
Der
Steuerabschnitt 14 (der Augenöffnungsgradbestimmungsabschnitt 28)
bestimmt in Schritt S8 den Öffnungsgrad der Augen des Fahrers
auf der Grundlage der erfassten oberen und unteren Augenlider. Der
Steuerabschnitt 14 kann beispielsweise beruhend auf der
Anzahl der Bildelemente, die in einem Bereich vorhanden sind, der
durch das Paar der Kanten umgeben ist, die die oberen und die unteren
Augenlider angeben, bestimmen, ob der Fahrer seine Augen öffnet
oder seine Augen schließt.
-
Wie
vorstehend beschrieben, erfasst der Steuerabschnitt 14 (der
Nasenlocherfassungsabschnitt 24) das Paar der Nasenlöcher
aus den Gesichtsbilddaten, und dann stellt der Steuerabschnitt 14 (der
Augensuchbereicheinstellabschnitt 25) die Augensuchbereiche
E auf der Grundlage der Position der erfassten Nasenlöcher
ein. Dann tastet der Steuerabschnitt 14 (der untere Augenliderfassungsabschnitt 26)
die Augensuchbereiche E von unten her zur Erfassung der unteren
Augenlider ab, und dann erfasst der Steuerabschnitt 14 (der
obere Augenliderfassungsabschnitt 27) ferner die oberen
Augenlider in den über den erfassten unteren Augenlidern
vorhandenen Bereichen. Gemäß der Augenerfassungsvorrichtung 1 des
Ausführungsbeispiels können daher die Augen des
Fahrers im Gesichtsbild schnell und genau erfasst werden.
-
Ferner
stellt der Steuerabschnitt 14 (der Nasenlochsuchbereicheinstellabschnitt 23)
den Nasenlochsuchbereich N auf der Grundlage von Merkmalen des Gesichtsbereichs
F ein, und dann erfasst der Steuerabschnitt 14 (der Nasenlocherfassungsabschnitt 24)
das Paar der Nasenlöcher im Nasenlochsuchbereich N durch
Bezugnahme auf die Merkmale der Nasenlöcher. Somit wird
das Paar der Nasenlöcher schnell und genau erfasst. Da
die Augensuchbereiche E mit einer geeigneten Reichweite eingestellt
werden, können infolgedessen die oberen und die unteren
Augenlider genau erfasst werden.
-
Der
vorstehend beschriebene Hardwareaufbau und die in den Ablaufdiagrammen
veranschaulichten Abläufe beschreiben lediglich ein Beispiel
des Aufbaus und der Arbeitsweise der Augenerfassungsvorrichtung 1,
und es können beliebige Änderungen und Modifikationen
angewendet werden.
-
Der
Steuerabschnitt 14, der Sende- und Empfangsabschnitt 16,
der Bildspeicher 12, der externe Speicherabschnitt 13,
der Hauptspeicherabschnitt 15 und dergleichen führen
hauptsächlich die Verarbeitungsvorgänge in der
Augenerfassungsvorrichtung 1 aus. Jeder der Abschnitte,
die die Verarbeitungsvorgänge hauptsächlich ausführen,
muss nicht für die Verarbeitungsvorgänge spezialisiert sein,
und ein allgemein verwendetes Computersystem kann stattdessen angewendet
werden. Beispielsweise ist ein Computerprogramm zur Ausführung
der vorstehend angeführten Abläufe, das auf einem
lesbaren Speichermedium gespeichert ist, wie einer flexiblen Disk,
CD-ROM, DVD-ROM und dergleichen, in einem Computer installiert,
und dieser Computer kann zur Ausführung der vorstehend
beschriebenen Vorgänge auf die gleiche Weise wie die Augenerfassungsvorrichtung 1 verwendet
werden. Ferner wird das Computerprogramm in eine Speichervorrichtung
einer Servervorrichtung hochgeladen, die mit einem Kommunikationsnetzwerk,
wie dem Internet und dergleichen verbunden ist, wobei der Computer
dann zum Zugreifen auf das Kommunikationsnetzwerk, Herunterladen
und Installieren des Computerprogramms eingerichtet ist, und dieser Computer
kann zur Ausführung der vorstehend beschriebenen Vorgänge
auf die gleiche Weise wie die Augenerfassungsvorrichtung 1 verwendet
werden.
-
Der
Computer arbeitet mit einem Betriebssystem (OS) und einem Anwendungsprogramm. Werden
die Vorgänge durch den Computer auf die gleiche Weise wie
mit der Augenerfassungsvorrichtung 1 jeweils durch das
Betriebssystem und das Anwendungsprogramm oder durch Zusammenarbeit des
Betriebssystems und des Anwendungsprogramms ausgeführt,
kann lediglich das Anwendungsprogramm auf dem Speichermedium oder
der Speichervorrichtung gespeichert sein.
-
Außerdem
kann das Computersystem über das Kommunikationsnetzwerk
durch Überlagern des Computerprogramms auf einer Trägerwelle
geliefert werden. Beispielsweise kann das Computerprogramm in ein
Forumsystem ("Bulletin Board System", BBS) im Kommunikationsnetzwerk
hochgeladen werden, so dass das Computerprogramm über das Netzwerk
auf jeden Computer heruntergeladen wird. Dann können die
vorstehend beschriebenen Vorgänge durch Ausführen
des Computerprogramms, das auf dem Computer installiert ist, zusammen
mit einem anderen Anwendungsprogramm unter der Steuerung des Betriebssystems
ausgeführt werden.
-
Eine
Augenerfassungsvorrichtung (1) umfasst eine Bilderzeugungsvorrichtung
(2) zur Erzeugung eines Gesichtsbildes, einen Nasenlocherfassungsabschnitt
(24) zur Erfassung eines Nasenlochs im Gesichtsbild, einen
Augensuchbereicheinstellabschnitt (25) zum Einstellen eines
Augensuchbereichs (E) im Gesichtsbild beruhend auf einer Position
des durch den Nasenlocherfassungsabschnitt (24) erfassten
Nasenlochs und einen Augensuchabschnitt (26, 27)
zum Suchen nach einem Auge in dem durch den Augensuchbereicheinstellabschnitt
(25) eingestellten Suchbereich (E).
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - JP 1998044824
A [0003, 0003, 0003, 0003, 0005, 0005, 0005]
- - JP 2001307076 A [0003, 0004, 0004, 0004, 0004, 0005, 0006, 0006, 0006]