DE19614975C2

DE19614975C2 - Gesichtsbildverarbeitungssystem

Info

Publication number: DE19614975C2
Application number: DE19614975A
Authority: DE
Inventors: Nobumasa Suenaga; Kenji Ogawa
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1995-07-28
Filing date: 1996-04-16
Publication date: 2000-01-13
Anticipated expiration: 2016-04-17
Also published as: JPH0944684A; US5805720A; DE19614975A1; JP3426060B2

Description

Die Erfindung betrifft ein Gesichtsbildverarbeitungssystem gemäß dem Oberbegriff des Patentanspruchs 1. Ferner betrifft die vorliegende Erfindung ein Gesichtsbildverarbeitungssystem gemäß dem Oberbegriff des Patentanspruchs 35. Derartige Gesichtsbildverarbeitungssysteme sind aus der DE 196 13 614 A1 bekannt. Hier wird eine Augenerfassung auf Grundlage einer Bewertungsfunktion durchgeführt, die dafür vorgesehen ist, einzelne Bereiche des Auges zu unterscheiden. Die Bewertungsfunktionen geben ein Maß dafür an, ob das Auge geschlossen oder offen ist. Beispielsweise ändert sich eine Bewertungsfunktion in einem Bereich, in dem lediglich eine Augenbraue vorliegt, weniger als eine Bewertungsfunktion, die für andere Bereiche des Auges vorgesehen ist. Mit dem hier offenbarten Verfahren ist es möglich, korrekt ein Auge zu erfassen. Die Form des Auges wird auf Grundlage von Histogrammen ausgewertet.

Die DE 196 03 287 A1 betrifft ebenfalls eine Gesichtsbild- Aufnahmevorrichtung, bei der als Folge der Einstellung des Winkels der Bestrahlungsquelle und der Kamera der Einfluß von Oberflächenreflektionslicht als Folge von Gläsern von Brillen so weit wie möglich eingeschränkt wird. Ob ein Auge geöffnet oder geschlossen ist, wird hier ebenfalls auf Grundlage einer Bewertungsfunktion festgestellt.

Die DE 195 09 689 A1 betrifft eine Fahrer- Photographievorrichtung, die Pupillenpositionen mittels einfacher Bildverarbeitungstechniken erfassen kann und die an der Netzhaut eines Fahrers reflektierte Bilder einfach und klar photographieren kann, selbst wenn die Vorrichtung in einem Kraftfahrzeug installiert ist und starkes Störlicht vorhanden ist. Ein Bandpassfilter wird verwendet, um Lichtkomponenten von der Beleuchtungsvorrichtung an eine Lichtauswerteeinrichtung durchzulassen und in das Fahrzeug einfallendes Störlicht zu begrenzen.

Die DE 44 41 332 A1 betrifft eine Körperzustands- Erfassungsvorrichtung, bei der eine Pupillen- Extraktionsschaltung eine Pupillenextraktion ausführt. Eine Schläfrigkeitserkennung wird dann auf Grundlage der Tatsache durchgeführt, ob die Pupillen sichtbar sind oder nicht. Ob die Pupillen sichtbar sind oder nicht, wird auf Grundlage der Helligkeit eines von den Pupillen reflektierten Erfassungslichts ausgeführt.

Allgemein werden Gesichtsbildverarbeitungssysteme verwendet, um den Zustand eines Fahrers beim Steuern eines Kraftfahrzeugs erfassen und beurteilen zu können, z. B. zum Erfassen beispielsweise eines unklaren Erwachungszustands oder eines Dös- oder Dämmerzustands des Fahrers. Wie voranstehend erläutert, wird der Zustand des Fahrers auf Grundlage des Augenzustands beurteilt, nämlich ob die Augen mehr geöffnet oder mehr geschlossen sind.

Nachfolgend wird ein bekanntes System unter Bezug auf die Fig. 63 bis 65B beschrieben. Die Fig. 63 zeigt ein Diagramm zum Darstellen der Aufbaustruktur des bekannten Systems zum Erfassen des Fahrerzustands, das beispielsweise in dem offengelegten japanischen Patent Nr. 6-32154 beschrieben ist.

Wie in Fig. 63 gezeigt ist, enthält das bekannte System: eine Bildeingabevorrichtung 1 zum Eingeben von Daten zum Darstellen eines Bilds des Gesichtes eines Fahrers und zum Durchführen einer Analog-Digital-(A/D)-Umsetzung bei den Bilddaten; eine Binärumsetzvorrichtung 2 für die Binärumsetzung des Gesichtsbilds, das von der Bildeingabevorrichtung 1 eingegeben (und durch diese umgesetzt) wird; eine Vorrichtung zum Festlegen des momentanen Augapfelbereichs 3 zum Bestimmen der Stelle, an der sich der momentane Bereich eines Augapfels in dem binär umgesetzten Bild befindet; eine Augapfel-Detektorvorrichtung 4 zum Detektieren eines Augapfels in dem momentanen Bereich des Augapfels auf der Grundlage fortlaufender schwarzer Pixel (oder Bildelemente), die entlang der Längsrichtung hiervon (insbesondere der Y-Richtung) angeordnet sind; eine Vorrichtung zum Detektieren eines geöffneten oder geschlossenen Auges 5 zum Erfassen des geöffneten oder geschlossenen Auges des Fahrers auf der Grundlage der Zahl der fortlaufenden schwarzen Pixel des detektierten Augapfels; und eine Vorrichtung zum Beurteilen des Fahrerzustands 6 zum Beurteilen des Zustands des Fahrers in Abhängigkeit von dem Muster des geöffneten oder geschlossenen Auges, das durch die Vorrichtung zum Detektieren eines geöffneten/geschlossenen Auges detektiert wird.

Die Fig. 64 zeigt ein Binärbild zum Darstellen eines Ortsbereichs des Augapfels 7, der durch die Vorrichtung zum Detektieren des geöffneten/geschlossenen Auges 5 zu verarbeiten ist.

Ein Betrieb des bekannten Systems wird wie folgt durchgeführt. Wie in Fig. 63 gezeigt ist, wird ein Gesichtsbild eines Fahrers, das unter Einsatz der Bildeingabevorrichtung 1 aufgenommen wird, in der Binärumsetzvorrichtung 2 binär umgewandelt und demnach in ein Binärbild umgesetzt. In dem Binärbild wird der Ortsbereich des Augapfels 7 durch die Vorrichtung zum Festlegen des momentanen Augapfelbereichs 3 festgestellt. Der Augapfel des Fahrers wird in dem Bereich 7 durch die Augapfel- Detektorvorrichtung 4 detektiert. Ferner wird der geöffnete oder geschlossene Zustand des Auges durch die Vorrichtung zum Detektieren des geöffneten/geschlossenen Auges detektiert. Die Muster der geöffneten und geschlossenen Augen werden bei der Vorrichtung zum Beurteilen des Fahrerzustands 6 eingegeben, worauf der Döszustand oder dergleichen des Fahrers festgestellt wird.

Ferner wird der Betrieb der Vorrichtung zum Detektieren des geöffneten/geschlossenen Auges nachfolgend detailliert beschrieben. Insbesondere bei Detektion eines geöffneten oder geschlossenen Auges in dem Binärbild, in dem beispielsweise ein linkes Auge eingestellt ist, wie in Fig. 64 gezeigt ist, sucht die Vorrichtung zum Detektieren des geöffneten/geschlossenen Auges einen Bereich (insbesondere durch Scannen), in dem Abszissenwerte (insbesondere Koordinaten entlang einer seitlichen Richtung) der Pixel in dem Bereich von X1 bis X2 liegen und Ordinaten (insbesondere Koordinaten entlang der Y- oder Längsrichtung) in dem Bereich von YB (insbesondere dem Ordinatenwert des Suchstartpunkts) bis (YB - 50) bei schwarzen Pixeln liegen. Die Längsabtastung einer Zeile oder Spalte von Pixeln wird bei allen in seitlicher Richtung angeordneten Spalten des Ortsbereichs des Augapfels 7 wiederholt und sequentiell durchgeführt. Bei Abschluß des Scannvorgangs der Spalten über die gesamte Breite des gesamten Ortsbereichs des Augapfels 7 wird die Maximalzahl fortlaufender schwarzer Pixel als Größe für die Längsrichtung (insbesondere die Y-Richtung) des abgebildeten Augapfels des linken Auges erhalten. Demnach wird ein Schwellwert zum Detektieren des geöffneten/geschlossenen Zustands eines Auges vorab auf der Grundlage von Daten im Hinblick auf die Maximalzahl fortlaufender schwarzer Pixel festgelegt, für die Fälle mit geöffneten und geschlossenen Zuständen. Anschließend läßt sich die Detektion der geöffneten/geschlossenen Zustände eines Auges durch Vergleich der Maximalzahl fortlaufender schwarzer Pixel, die durch den zuvor erläuterten Abtastbetrieb erhalten wird, mit dem festgelegten Schwellwert erzielen.

Wie oben beschrieben, wird bei dem bekannten System die Technik eingesetzt, bei der die Maximalzahl fortlaufender schwarzer Pixel, die entlang der Längsrichtung (insbesondere der Y-Richtung) angeordnet sind, für ein Auge bestimmt, damit beurteilt werden kann, ob das Auge eines Fahrers geöffnet oder geschlossen ist. Jedoch weist manchmal das Binärbild in dem zu untersuchenden Bereich eine Form auf, die in Fig. 65A oder 65B dargestellt ist, aufgrund des Vorhandenseins einer Augenbraue oder eines Schattens. In einem solchen Fall ergibt sich keine große Differenz zwischen der Maximalzahl L1 fortlaufender schwarzer Pixel entlang der Y-Richtung in dem Fall des geöffneten Zustands des Auges und derjenigen L2 der fortlaufenden schwarzen Pixel entlang derselben Richtung in dem Fall des geschlossenen Zustands von diesem. Demnach tritt bei dem bekannten System das Problem auf, daß ein Fehler bei der Beurteilung auftritt, ob das Auge geöffnet oder geschlossen ist.

Aufgabe der Erfindung ist es somit, ein Gesichtsbildverarbeitungssystem bereit zu stellen, mit dem eine genaue Augenerfassung ermöglicht wird. Gelöst wird diese Aufgabe durch ein Gesichtsbildverarbeitungssystem gemäß Anspruch 1. Erfindungsgemäß wird eine Bewertungsfunktion auf Grundlage von Formfunktionen gebildet, wobei die Formfunktion die Krümmung des Augenbilds darstellt. Somit kann der Öffnungs-/Schließzustand, d. h. eine Augenerfassung, mit hoher Genauigkeit ausgeführt werden.

Ferner wird diese Aufgabe durch ein Gesichtsbildverarbeitungssystem gemäß Anspruch 35 gelöst.

Erfindungsgemäß werden zunächst Einzelbereiche extrahiert, und dann werden Krümmungen der Einzelbereiche und somit Formfunktionen und Bewertungsfunktionen getrennt für die Einzelbereiche bestimmt. Durch den Vergleich der Bewertungsfunktionen kann bestimmt werden, in welchem Einzelbereich ein Auge erfaßt bzw. extrahiert werden kann.

Ein weiterer Vorteil der vorliegenden Erfindung besteht darin, daß mit dem Gesichtsbildverarbeitungssystem genau festgestellt werden kann, ob ein Auge geöffnet oder geschlossen ist, selbst in den Fällen, in denen eine Veränderung der Zahl fortlaufender schwarzer Pixel entlang der Y-Richtung, die im Zeitpunkt während dem Schließen des Auges auftritt, gering ist, und in denen sich eine Veränderung der Maximalzahl fortlaufender schwarzer Pixel entlang der Y-Richtung aufgrund einer Veränderung einer Aufwärts- oder Abwärtsrichtung/Neigung eines Gesichts- oder einer Veränderung der Links- oder Rechtsneigung des Gesichts ergibt, durch Richten der Aufmerksamkeit auf eine Veränderung der Augenform, die durch das Schließen des Auges bewirkt wird.

Weitere vorteilhafte Ausführungsformen und Verbesserungen der Erfindung sind in den Unteransprüchen angegeben.

In einer Ausführungsform des Gesichtsbildverarbeitungssystems der vorliegenden Erfindung bestimmt die Bewertungsfunktions- Berechnungsvorrichtung eine Formfunktion erster Ordnung auf der Grundlage des Binärbilds des Ortsbereichs des Auges und berechnet eine Formfunktion zweiter Ordnung gemäß der Formfunktion erster Ordnung und berechnet ferner eine Bewertungsfunktion gemäß der Formfunktion zweiter Ordnung.

In einer anderen Ausführungsform des Gesichtsbildverarbeitungssystems der vorliegenden Erfindung bestimmt die Bewertungsfunktions-Berechnungsvorrichtung erste und zweite Formfunktionen anhand des Binärbilds des Ortsbereichs des Auges und berechnet eine Berechnungsfunktion gemäß den ersten und zweiten Formfunktionen.

Die Erfindung wird nun anhand ihrer bevorzugten Ausführungsformen unter Bezug auf die beiliegende Zeichnung, in der gleiche Bezugszeichen gleiche oder entsprechende Teile über alle Ansichten hinweg kennzeichnen, näher erläutert. In der Zeichnung zeigen:

Fig. 1 ein Diagramm zum Darstellen des Aufbaus der Ausführungsform 1 der vorliegenden Erfindung;

Fig. 2 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 1 der vorliegenden Erfindung eingesetzt wird;

Fig. 3 einen Graphen zum Darstellen, wie sich eine bei der Ausführungsform 1 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 4 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 2 der vorliegenden Erfindung eingesetzt wird;

Fig. 5 einen Graphen zum Darstellen, wie sich die bei der Ausführungsform 2 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 6 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 3 der vorliegenden Erfindung eingesetzt wird;

Fig. 7 einen Graphen zum Darstellen, wie sich eine bei der Ausführungsform 3 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 8 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 4 der vorliegenden Erfindung eingesetzt wird;

Fig. 9 einen Graphen zum Darstellen, wie sich eine bei der Ausführungsform 4 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 10 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 5 der vorliegenden Erfindung eingesetzt wird;

Fig. 11 einen Graphen zum Darstellen, wie sich eine bei der Ausführungsform 5 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 12 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 6 der vorliegenden Erfindung eingesetzt wird;

Fig. 13 einen Graphen zum Darstellen, wie sich eine bei der Ausführungsform 6 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 14 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 7 der vorliegenden Erfindung eingesetzt wird;

Fig. 15 einen Graphen zum Darstellen, wie sich eine bei der Ausführungsform 7 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 16 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 8 der vorliegenden Erfindung eingesetzt wird;

Fig. 17 einen Graphen zum Darstellen, wie sich eine bei der Ausführungsform 8 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 18 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 9 der vorliegenden Erfindung eingesetzt wird;

Fig. 19 einen Graphen zum Darstellen, wie sich eine bei der Ausführungsform 9 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 20 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 10 der vorliegenden Erfindung eingesetzt wird;

Fig. 21 einen Graphen zum Darstellen, wie sich eine bei der Ausführungsform 10 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 22 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 11 der vorliegenden Erfindung eingesetzt wird;

Fig. 23 einen Graphen zum Darstellen, wie sich eine bei der Ausführungsform 11 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 24 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 12 der vorliegenden Erfindung eingesetzt wird;

Fig. 25 einen Graphen zum Darstellen, wie sich eine bei der Ausführungsform 12 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 26 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 13 der vorliegenden Erfindung eingesetzt wird;

Fig. 27 einen Graphen zum Darstellen, wie sich eine bei der Ausführungsform 13 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 28 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 14 der vorliegenden Erfindung eingesetzt wird;

Fig. 29 einen Graphen zum Darstellen, wie sich eine bei der Ausführungsform 14 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 30 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 15 der vorliegenden Erfindung eingesetzt wird;

Fig. 31 einen Graphen zum Darstellen, wie sich eine bei der Ausführungsform 15 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 32 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 16 der vorliegenden Erfindung eingesetzt wird;

Fig. 33 einen Graphen zum Darstellen, wie sich eine bei der Ausführungsform 16 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 34 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 17 der vorliegenden Erfindung eingesetzt wird;

Fig. 35 einen Graphen zum Darstellen, wie sich eine bei der Ausführungsform 17 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 36 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 18 der vorliegenden Erfindung eingesetzt wird;

Fig. 37 einen Graphen zum Darstellen, wie sich eine bei der Ausführungsform 18 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 38 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 19 der vorliegenden Erfindung eingesetzt wird;

Fig. 39 einen Graphen zum Darstellen, wie sich eine bei der Ausführungsform 19 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 40 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 20 der vorliegenden Erfindung eingesetzt wird;

Fig. 41 einen Graphen zum Darstellen, wie sich eine bei der Ausführungsform 20 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 42 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 21 der vorliegenden Erfindung eingesetzt wird;

Fig. 43 einen Graphen zum Darstellen, wie sich eine bei der Ausführungsform 21 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 44 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 22 der vorliegenden Erfindung eingesetzt wird;

Fig. 45 einen Graphen zum Darstellen, wie sich eine bei der Ausführungsform 22 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 46 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 23 der vorliegenden Erfindung eingesetzt wird;

Fig. 47 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 24 der vorliegenden Erfindung eingesetzt wird;

Fig. 48 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 25 der vorliegenden Erfindung eingesetzt wird;

Fig. 49 einen Graphen zum Darstellen, wie sich eine bei der Ausführungsform 25 der vorliegenden Erfindung eingesetzte Bewertungsfunktion mit der Zeit verändert;

Fig. 50 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 26 der vorliegenden Erfindung eingesetzt wird;

Fig. 51 einen Graphen zum Darstellen, wie sich die bei der Ausführungsform 26 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 52 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 27 der vorliegenden Erfindung eingesetzt wird;

Fig. 53 einen Graphen zum Darstellen, wie sich die bei der Ausführungsform 27 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 54 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 28 der vorliegenden Erfindung eingesetzt wird;

Fig. 55 einen Graphen zum Darstellen, wie sich die bei der Ausführungsform 28 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 56 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 29 der vorliegenden Erfindung eingesetzt wird;

Fig. 57 einen Graphen zum Darstellen, wie sich die bei der Ausführungsform 29 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 58 ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 30 der vorliegenden Erfindung eingesetzt wird;

Fig. 59 einen Graphen zum Darstellen, wie sich die bei der Ausführungsform 30 der vorliegenden Erfindung eingesetzte Bewertungsfunktion über die Zeit verändert;

Fig. 60 ein Diagramm zum Darstellen des Aufbaus der Ausführungsform 31 der vorliegenden Erfindung;

Fig. 61 ein Diagramm zum Darstellen eines Verfahrens zum Extrahieren eines möglichen Ortsbereichs für ein Auge der Ausführungsform 31 der vorliegenden Erfindung;

Fig. 62 ein Diagramm zum Darstellen des Aufbaus der Ausführungsform 32 der vorliegenden Erfindung;

Fig. 63 ein Diagramm zum Darstellen des Aufbaus des bekannten Systems zum Detektieren des Zustands eines Fahrers;

Fig. 64 ein Diagramm zum Darstellen des bekannten Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges; und

Fig. 65A und 65B Diagramme zum Darstellen des Problems im Zusammenhang mit dem bekannten Verfahren beim Detektieren des geöffneten oder geschlossenen Zustands eines Auges.

Nun werden bevorzugte Ausführungsformen der vorliegenden Erfindung detailliert unter Bezug auf die beiliegende Zeichnung beschrieben.

Ausführungsform 1

Zunächst wird nachfolgend die Ausführungsform 1 der vorliegenden Erfindung unter Bezug auf die Fig. 1 bis 3 beschrieben. Die Fig. 1 zeigt ein Diagramm zum prinzipiellen Darstellen des Aufbaus eines Gesichtsbildverarbeitungssytems, das die vorliegende Erfindung realisiert, insbesondere die Ausführungsform 1 der vorliegenden Erfindung.

Wie in Fig. 1 gezeigt ist, enthält dieses Gesichtsbildverarbeitungssystem insbesondere die Ausführungsform 1 der vorliegenden Erfindung, eine Kamera 11, eine Bildeingabevorrichtung 12, eine Binärumsetzvorrichtung 13, eine Extrahiervorrichtung für das Auge 14, eine Bewertungsfunktions-Berechnungsvorrichtung 15 und eine Vorrichtung zum Beurteilen des geöffneten oder geschlossenen Zustands.

Die Kamera 11 ist beispielsweise eine CCD-TV-Kamera, die mit einer Instrumententafel versehen ist, und zum Aufnehmen eines Bilds des Gesichts eines Fahrers eingesetzt wird. Ferner wird ein analoges Bildsignal (oder Videosignal), das von dieser Kamera 11 ausgegeben wird, durch die zuvor erwähnten Vorrichtungen 12 bis 16 verarbeitet. Weiterhin wird dann, wenn festgestellt wird, daß sich der Fahrer in einem Döszustand befindet, die Aufmerksamkeit des Fahrers beispielsweise durch Abgabe eines Brummtons, durch Abgeben einer Sprechwarnung oder durch Vibrieren des Fahrersitzes erregt. Zudem wird - wenn es erforderlich ist - ein Fahrzeug beispielsweise durch Betätigen einer Bremse angehalten.

Ein durch die Kamera 11 aufgenommenes Gesichtsbild wird bei der Bildeingabevorrichtung 12 eingegeben, wonach eine A/D- Umsetzung bei den Daten zum Darstellen des Gesichtsbilds durchgeführt wird, um hierdurch das Gesichtsbild in ein digitales Halbtonbild (insbesondere ein digitales Gradienten- oder Grauskalenbild) umzusetzen. Anschließend erfolgt die Binärumsetzung des digitalen Halbtonbilds durch die Binärumsetzvorrichtung 13 unter Einsatz eines festgelegten Schwellwerts. Insbesondere wird das digitale Halbtonbild in ein Binärbild umgesetzt, das beispielsweise aus schwarzen und weißen Pixeln besteht. Anschließend wird ein Ortsbereich des Auges durch die Extrahiervorrichtung für das Auge 14 extrahiert. Diese Extrahiervorrichtung für das Auge 14 bestimmt den Mittelpunkt oder Schwerpunkt beispielsweise durch Berechnen des Mittelwerts oder des Durchschnitts der Koordinaten der schwarzen Pixel. Ferner extrahiert die Extrahievorrichtung für das Auge 14 ein rechteckiges Gebiet des festgelegten Seitenbereichs (insbesondere des festgelegten Bereichs entlang der X-Richtung), in dem ein Cluster der schwarzen Pixel am nächsten an dem Mittelpunkt oder Schwerpunkt liegt, als Ortsbereich des Auges. Anschließend berechnet die Bewertungsfunktions- Berechnungsvorrichtung 15 eine Formfunktion zum Darstellen der Form oder der Eigenschaft des gesamten binären Augbildes, das in dem Ortsbereich des Auges enthalten ist. Anschließend berechnet die Bewertungsfunktions-Berechnungsvorrichtung 15 eine Bewertungsfunktion, die erhalten wird, indem die Aufmerksamkeit auf die gekrümmte Form des Auges anhand dieser Formfunktion gelenkt wird. Anschließend erfaßt die Bewertungsfunktions-Berechnungsvorrichtung 15 den Wert K dieser Bewertungsfunktion in einem Speicher. Ferner bestimmt die Vorrichtung zum Beurteilen des geöffneten oder geschlossenen Zustands 16 einen Schwellwert anhand des Wertes K der zeitvarianten Bewertungsfunktion und bestimmt, ob das Auge geöffnet oder geschlossen ist.

Die Fig. 2 zeigt ein Diagramm zum Darstellen eines Verfahrens, das bei der Ausführungsform 1 der vorliegenden Erfindung eingesetzt wird, um festzustellen, ob das Auge geöffnet oder geschlossen ist. Dieses Diagramm zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, bis zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist, mit einem dazwischenliegenden Zwischenzeitpunkt TB), den sich während des Zeitraums verändernden Binärbildern des Ortsbereichs des Auges 8 und "Y-Histogrammen", die Formfunktionen erster Ordnung sind und hier als Graphen definiert sind, die die Verteilung der Werte darstellen, die durch Akkumulierung der Binärtonpegel der Pixel entlang der Y-Richtung entsprechend jeder der X-Koordinaten in dem Ortsbereich des Auges 8 erhalten werden, sowie von Approximationslinien als Formfunktionen zweiter Ordnung, die auf der Grundlage der Formfunktionen erster Ordnung berechnet werden. Zusätzlich wird jedes der Y-Histogramme praktisch durch Scannen des Ortsbereichs des Auges 8 entlang der Y- Richtung und Zählen (insbesondere durch Addition der Zahl) der schwarzen Pixel gemäß jeder der X-Koordinaten erhalten (nebenbei bemerkt, stellt SUM den Zählwert (insbesondere die Gesamtzahl) der schwarzen Pixel entsprechend jeder der X- Koordinaten dar).

Die Fig. 3 zeigt eine Veränderung des Wertes K der Bewertungsfunktion als Gradienten der Approximationslinie, die anhand des in Fig. 2 gezeigten Y-Histogramms berechnet wird.

Ferner entspricht eine Linie 9 einer Approximationslinie, die durch Einsatz eines Verfahrens mit minimalen Fehlerquadraten (das heißt der Methode der kleinsten Fehlerquadrate) erhalten wird, mit einem Verlauf, dessen Form ausreichend mit der Form eines festgelegten Teils der anhand der Y-Koordinaten dargestellten Kurve übereinstimmt (insbesondere dem Zählwert SUM), jeweils gemäß den X-Koordinaten von L (gemäß dem linken Ende des Ortsbereichs des Auges 8) bis (L + 20). In diesem Fall wird das Verfahren der kleinsten Quadrate gemäß der folgenden Gleichung (1) durchgeführt. Ferner entspricht K dem Gradienten der Approximationslinie 9 und stellt demnach den Wert der Bewertungsfunktion dar. Es sei angemerkt, daß in der Gleichung (1) jede Summation im Hinblick auf X zwischen L und (L + 20) durchgeführt wird.

K = {20Σ (XSUM) - Σ XΣ SUM}/{20Σ (X²) - (Σ X)² (1)

Wie in Fig. 2 gezeigt ist, verändert sich die Form des Y- Histogramms, wenn sich der Zustand des Auges von dem geöffneten Zustand zu dem geschlossenen Zustand verändert. Demnach ist in dem Zeitpunkt TC, in dem das Auge geöffnet ist, der Wert K der Bewertungsfunktion niedrig, wie in Fig. 3 gezeigt ist. Demnach kann aufbauend auf einem Ergebnis durch das Sammeln von Abtastdaten und Festlegen eines Schwellwerts KB gemäß der Tendenz der Abtastwerte K bestimmt werden, ob das Auge geöffnet oder geschlossen ist. Insbesondere dann, wenn beispielsweise der Wert K der Bewertungsfunktion niedriger als der Schwellwert KB ist, wird festgestellt, daß das Auge geschlossen ist.

Ferner wird eine Approximationslinie 10, die für die Form des gesamten Auges substituiert wird, insbesondere der Form des gesamten Bereichs des Ortsbereichs des Auges 8, entsprechend erhalten. Anschließend wird der Gradient der Approximationslinie 10 berechnet. Weiterhin wird die Differenz zwischen den Gradienten der Approximationslinie 9 und 10 als Bewertungsfunktion benützt. Hierdurch bestehen bei dieser Ausführungsform Vorteile oder Wirkungen dahingehend, daß die Wahrscheinlichkeit eines Auftretens einer fehlerhaften Entscheidung aufgrund der Neigung des Gesichts des Fahrers reduziert ist und daß hierdurch die Genauigkeit beim Durchführen einer Beurteilung des geöffneten oder geschlossenen Zustands des Auges verbessert ist. Es sei bemerkt, daß der Wert der Bewertungsfunktion in diesem Fall eine Tendenz entsprechend derjenigen der in Fig. 3 gezeigten Funktion aufweist.

Weiterhin wird in dem zuvor erläuterten Fall die Form des festgelegten Bereichs in dem linken Endabschnitt des Auges zum Erhalten der Bewertungsfunktion benützt. Jedoch läßt sich, obgleich das Vorzeichen der Funktion umgekehrt ist, ein entsprechendes Ergebnis in dem Fall erhalten, in dem die Form des festgelegten Bereichs des rechten Endabschnitts des Auges, beispielsweise des Bereichs der X-Koordinaten von R bis (R - 20), hierfür eingesetzt wird. Es sei bemerkt, daß der Wert der Bewertungsfunktion in diesem Fall ebenso eine Tendenz entsprechend derjenigen der in Fig. 3 gezeigten Funktion aufweist.

Zusätzlich läßt sich die Präzision beim Durchführen einer Beurteilung des geöffneten oder geschlossenen Zustands des Auges verbessern, indem der Wert einer Funktion als Wert der Bewertungsfunktion eingesetzt wird, der durch eine der Approximationslinien dargestellt ist, deren Gradient größer als derjenige der anderen Approximationslinie ist.

Ausführungsform 2

Nun wird die Ausführungsform 2 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 4 und 5 beschrieben. Die Fig. 4 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren der geöffneten oder geschlossenen Zustände eines Auges, das bei der Ausführungsform 2 der vorliegenden Erfindung eingesetzt wird. Dieses Diagramm zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist, über einen dazwischenliegenden Zwischenzeitpunkt TB), der sich während des Zeitablaufs verändernden Binärbilder des Ortsbereichs des Auges 8 und der Formfunktionen erster Ordnung (insbesondere Oberschranken-Formfunktionen), bei denen jeweils die Y-Koordinaten der oberen Grenzen der Binärbilder verwendet werden, sowie von Approximationslinien, die Formfunktionen zweiter Ordnung sind und anhand der Formfunktionen erster Ordnung berechnet werden. Jede der Oberschranken- Formfunktionen wird erhalten, indem der Ortsbereich des Auges 8 in Aufwärtsrichtung entlang der Y-Richtung gescannt wird und die schwarzen Pixel für jede der X-Koordinaten gezählt werden, bis das letzte schwarze Pixel erfaßt wird (es sei bemerkt, das "UF" den Zählwert (insbesondere die Gesamtzahl) der schwarzen Pixel für jede der X-Koordinaten darstellt). Das heißt, die Funktionswerte der Oberschranken-Formfunktionen stellen jeweils die Anzahl der in Y-Richtung vorhandenen schwereren Pixel an jeder X- Koordinate in dem binären Bild des Auges dar.

Die Fig. 5 zeigt eine Veränderung des Werts K der Bewertungsfunktion, der der Gardient der Approximationslinie ist, die anhand der in Fig. 4 gezeigten Oberschranken- Formfunktion berechnet wird.

In dem Fall, in dem ein Verfahren gemäß der Ausführungsform 2 der vorliegenden Erfindung eingesetzt wird, verändert sich bei geöffnetem oder geschlossenem Auge die Oberschranken- Formfunktion, wie im Fall des Einsatzes des Verfahrens der Ausführungsform 1 der Erfindung.

Ausführungsform 3

Nun wird die Ausführungsform 3 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 6 und 7 beschrieben. Die Fig. 6 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Erfassen des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 3 der vorliegenden Erfindung eingesetzt wird. Dieses Diagramm zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist, über einen zwischen liegenden Zwischenzeitpunkt TB), den sich während dieses Zeitablaufs verändernden Binärbildern des Ortsbereichs des Auges 8, und der Formfunktionen erster Ordnung (insbesondere der Y-Mittenort-Formfunktionen), bei denen jeweils die Form eines sogenannten Y-Mittenorts eingesetzt wird (insbesondere die Linie oder Kurve zum Verbinden der Zentren der Schnittpunkte des Binärbilds des Auges mit parallel zur Y-Achse verlaufenden Linien), und von Approximationslinien, die anhand der Formfunktionen erster Ordnung berechnete Formfunktionen zweiter Ordnung sind. Zusätzlich wird jede der Y-Mittenort-Formfunktionen praktisch erhalten, indem der Ortsbereich des Auges 8 entlang der Y- Richtung aufwärts abgetastet wird und die Y-Koordinaten des ersten und letzten schwarzen Pixels für jede der X- Koordinaten gemessen wird und indem der Mittelwert oder Durchschnitt der Y-Koordinaten des ersten und letzten Pixels für jede der X-Koordinaten bestimmt wird (es sei bemerkt, daß "CF" den Mittelwert oder Durchschnitt der Y-Koordinaten des ersten und letzten schwarzen Pixels für jede der X- Koordinaten darstellt). Das heißt, die Funktionswerte von Y- Mittenort-Formfunktionen erster Ordnung stellen jeweils, an einer X-Koordinate, den Durchschnittswert des Pixels mit dem keinsten Y-Funktionswert und des Pixels mit dem größten Y- Funktionswert dar.

Die Fig. 7 zeigt eine Veränderung des Werts K der Bewertungsfunktion, die dem Gradienten der Approximationslinie entspricht, der durch die in Fig. 6 gezeigte Y-Mittenort-Formfunktion berechnet wird.

Im Fall des Einsatzes eines Verfahrens der Ausführungsform 3 der vorliegenden Erfindung verändert sich bei geöffnetem oder geschlossenem Auge die Y-Mittenort-Formfunktion, wie im Fall des bei der Ausführungsform 1 von dieser eingesetzten Verfahrens. Demnach läßt sich detektieren, ob das Auge geöffnet oder geschlossen ist. Es sei angemerkt, daß das bei der Ausführungsform 3 eingesetzte Verfahren demjenigen der Ausführungsform 1 entspricht, mit der Ausnahme, daß der Y- Mittenort anstelle der Formfunktion erster Ordnung eingesetzt wird.

Ausführungsform 4

Nun wird eine Ausführungsform 4 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 8 und 9 beschrieben. Die Fig. 8 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Erfassen des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 4 der vorliegenden Erfindung eingesetzt wird. Dieses Diagramm zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist, über einen dazwischenliegenden Zwischenzeitpunkt TB), den sich während des Zeitablaufs verändernden Binärbildern des Ortsbereichs des Auges 8, und Y-Histogrammen, die Formfunktionen erster Ordnung sind, gemäß den Binärbildern des Ortsbereichs des Auges, sowie von Approximationslinien, die Formfunktionen zweiter Ordnung sind und anhand der Formfunktionen erster Ordnung berechnet werden.

Die Fig. 9 zeigt eine Veränderung des Werts K der Bewertungsfunktion, der die Differenz der Gradienten der beiden anhand des in Fig. 8 gezeigten Y-Histogramms berechneten Approximationslinien darstellt.

Ferner sind die Linien 9 und 9' Approximationslinien, die durch Einsatz eines Verfahrens der kleinsten Quadrate erhalten werden, als Abbildungen mit einer Form, die ausreichend nahe an den Formen der festgelegten linken und rechten Endabschnitte des Y-Histogramms liegen, die einen Bereich der X-Koordinaten zwischen L (gemäß dem linken Ende des Ortsbereichs des Auges 8) bis (L + 20) und einem anderen Bereich der X-Koordinaten von R (gemäß dem rechten Ende des Ortsbereichs des Auges 8) bis (20 - R) entspricht. In diesem Fall bildet die Differenz zwischen den Gradienten der Approximationslinien 9 und 9', die durch Einsatz der folgenden Gleichung (2) ausgedrückt wird, den Wert K der Bewertungsfunktion. Es sei bemerkt, daß in der Gleichung (2) jede Summierung des ersten Halbteils oder Punkts der linken Seite hiervon im Hinblick auf X für L bis (L + 20) durchgeführt wird und jede Summation des zweiten Halbteils oder Punkts der rechten Seite hiervon im Hinblick auf X für R bis (20 - R) durchgeführt wird.

K = {20Σ (XSUM) - Σ XΣ SUM}/{20Σ (X²) - (Σ X)²} - {20Σ (XSUM) - Σ XΣ SUM}/{20Σ (X²) - (Σ X)²) (2)

Wie in Fig. 8 gezeigt ist, verändert sich dann, wenn das Auge geöffnet oder geschlossen ist, die Form des Y-Histogramms. Im Ergebnis ist in dem Zeitpunkt TC, in dem das Auge geschlossen ist, der Wert K der Bewertungsfunktion niedrig. Demnach wird ein Schwellwert KB festgelegt, und es kann detektiert werden, ob das Auge geöffnet oder geschlossen ist.

In dem Fall des bei dieser Ausführungsform 4 eingesetzten Verfahrens werden die Formen festgelegter Bereiche sowohl des linken und rechten Endabschnitts zum Erhalten der Bewertungsfunktion derart eingesetzt, daß die Veränderung des Werts K der Bewertungsfunktion aufgrund der Neigung des Gesichts eines Fahrers gering wird. Demnach weist diese Ausführungsform den Vorteil oder eine Wirkung dahingehend auf, daß genau erfaßt werden kann, ob das Auge geöffnet oder geschlossen ist.

Weiterhin wird in ähnlicher Weise eine Approximationslinie 10 gemäß dem gesamten Auge erhalten. Demnach läßt sich die Höhe eines durch die drei Approximationslinien 9, 9' und 10 gebildeten Dreiecks, die jeweils den festgelegten Bereichen des linken Endabschnitts, des rechten Endabschnitts und des gesamten Auges entsprechen, als Wert der Bewertungsfunktion einsetzen. Somit weist diese Ausführungsform Vorteile und Wirkungen dahingehend auf, daß sich die Wahrscheinlichkeit eines Auftretens einer fehlerhaften Detektion aufgrund eines Schattens am Rand des Auges reduzieren läßt und daß sich die Genauigkeit beim Bestimmen des geöffneten oder geschlossenen Zustands des Auges weiter verbessern läßt.

Ausführungsform 5

Nun wird eine Ausführungsform 5 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 10 und 11 beschrieben. Die Fig. 10 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das durch die Ausführungsform 5 der vorliegenden Erfindung eingesetzt wird. Dieses Diagramm zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist, über einen zwischenliegenden Zwischenzeitpunkt TB), den sich während des Zeitraums verändernden Binärbildern des Ortsbereichs des Auges 8, der Formfunktionen erster Ordnung (insbesondere der Oberschranken-Formfunktionen), jeweils unter Einsatz der Koordinaten der oberen Schranken der Binärbilder, sowie von Approximationslinien, die Formfunktionen zweiter Ordnung darstellen, die auf der Grundlage der Formfunktionen erster Ordnung berechnet werden.

Die Fig. 11 zeigt eine Veränderung des Werts K der Bewertungsfunktion, der gleich der Differenz zwischen den Gradienten der beiden Approximationslinien ist, die durch die Berechnung aufgrund der in Fig. 10 gezeigten Oberschranken- Formfunktion erhalten werden.

In dem Fall, in dem das bei der Ausführungsform 5 der vorliegenden Erfindung eingesetzte Verfahren durchgeführt wird, verändert sich bei geöffnetem oder geschlossenem Auge die Oberschranken-Formfunktion, in ähnlicher Weise wie in dem Fall des bei der Ausführungsform 4 eingesetzten Verfahrens. Demnach läßt sich erfassen, ob das Auge geöffnet oder geschlossen ist. Es sei bemerkt, daß das bei der Ausführungsform 5 eingesetzte Verfahren dem bei der Ausführungsform 4 eingesetzten entspricht, mit der Ausnahme, daß die Oberschranke als Formfunktion erster Ordnung eingesetzt wird.

Ausführungsform 6

Nun wird eine Ausführungsform 6 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 12 und 13 beschrieben. Die Fig. 12 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 6 der vorliegenden Erfindung eingesetzt wird. Diese Figur zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist, über einen zwischenliegenden Zwischenzeitpunkt TB), den sich während dem Zeitraum verändernden Binärbildern des Ortsbereichs des Auges 8, und von Formfunktionen erster Ordnung (insbesondere Y- Mittenort-Formfunktionen), jeweils unter Einsatz der Form, die als Y-Mittenort bezeichnet wird, sowie von Approximationslinien, die Formfunktionen zweiter Ordnung sind, die auf Grundlage der Formfunktionen erster Ordnung berechnet werden.

Die Fig. 13 zeigt eine Veränderung des Werts K der Bewertungsfunktion, der die Differenz zwischen den Gradienten der beiden Approximationslinien ist, die durch die Berechnung auf Grundlage der in Fig. 12 gezeigten Y-Mittenort- Formfunktionen erhalten werden.

In dem Fall, in dem das bei der Ausführungsform 6 der vorliegenden Erfindung eingesetzte Verfahren durchgeführt wird, verändert sich dann, wenn das Auge geöffnet oder geschlossen ist, die Y-Mittenort-Formfunktion, in ähnlicher Weise wie in dem Fall des bei der Ausführungsform 4 eingesetzten Verfahrens. Demnach läßt sich erfassen, ob das Auge geöffnet oder geschlossen ist. Es sei bemerkt, daß das bei der Ausführungsform 6 eingesetzte Verfahren ähnlich zu dem bei der Ausführungsform 4 eingesetzten ist, mit der Ausnahme, daß der Y-Mittenort als Formfunktion erster Ordnung eingesetzt wird.

Ausführungsform 7

Nun wird eine Ausführungsform 7 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 14 und 15 beschrieben. Die Fig. 14 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 4 der vorliegenden Erfindung eingesetzt wird. Dieses Diagramm zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist, über einen zwischenliegenden Zeitpunkt TB), den sich während dem Zeitraum ändernden Binärbildern des Ortsbereichs des Auges 8, und den Y-Histogrammen, die Formfunktionen erster Ordnung gemäß den Binärbildern des Ortsbereichs des Auges 8 sind, sowie von Approximationslinien, die auf Grundlage der Formfunktionen erster Ordnung berechnete Formfunktionen zweiter Ordnung sind.

Die Fig. 15 zeigt eine Veränderung des Werts K der Bewertungsfunktion, der die Differenz zwischen den Gradienten der beiden Approximationslinien ist, die auf der Grundlage der in Fig. 14 gezeigten Y-Histrogramme berechnet werden.

Ferner sind die Linien 9 und 9" Approximationslinien, die durch Einsatz eines Verfahrens der kleinsten Quadrate als Abbildungen erhalten werden, deren Formen ausreichend nahe an den Formen festgelegter Teile der Y-Histogramme liegen (insbesondere einem Bereich der X-Koordinaten von LL bis (LL + 20) und einem anderen Bereich der X-Koordinaten von RR (entsprechend dem rechten Endabschnitt des Ortsbereichs des Auges 8) bis (20 - RR), die den äußeren Endabschnitten sowohl des linken als auch des rechten Auges entsprechen. In diesem Fall ist die Differenz zwischen den Gradienten der Approximationslinien 9 und 9" der Wert K der Bewertungsfunktion.

Wie in Fig. 14 gezeigt ist, ändert sich dann, wenn das Auge geöffnet oder geschlossen ist, die Form des Y-Histogramms. Hierdurch ist in dem Zeitpunkt TC, in dem das Auge geschlossen ist, der Wert K der Bewertungsfunktion niedrig, wie in Fig. 15 gezeigt ist. Demnach wird ein Schwellwert KB festgelegt, und es läßt sich erfassen, ob das Auge geöffnet oder geschlossen ist.

Ferner werden in diesem Fall die Formen festgelegter Bereiche der äußeren Endabschnitte jeweils gemäß dem linken und rechten Auge zum Erhalten der Bewertungsfunktion eingesetzt. Jedoch läßt sich, obgleich das Vorzeichen der Funktion umgekehrt ist, eine ähnliche Wirkung in dem Fall erzielen, in dem die Formen der festgelegten Bereiche der inneren Endabschnitte des linken und rechten Auges benützt werden.

In dem Fall des bei dieser Ausführungsform 7 eingesetzten Verfahrens werden die symmetrischen Formen festgelegter Bereiche sowohl des linken als auch des rechten Endabschnitts zum Erhalten der Bewertungsfunktion derart benützt, daß die Veränderung des Werts K der Bewertungsfunktion aufgrund der Neigung des Gesichts eines Fahrers gering wird. Demnach weist diese Ausführungsform Vorteile und Wirkungen dahingehend auf, daß sich fehlerhafte Detektionen aufgrund einer Form am Rand des Auges reduzieren lassen und daß sich genau erfassen läßt, ob das Auge geöffnet oder geschlossen ist.

Weiterhin weist in dem Fall, daß Bewertungsfunktionen jeweils gemäß den festgelegten Bereichen der äußeren Endabschnitte des linken und rechten Auges und den festgelegten Bereichen der inneren Endabschnitte des linken und rechten Auges berechnet werden und daß eine dieser Bewertungsfunktionen, die sich während des Zeitablaufs stärker als die andere Bewertungsfunktion verändert, eingesetzt wird, diese Ausführungsform einen Vorteil dahingehend auf, daß sich die Genauigkeit bei der Beurteilung der geöffneten oder geschlossenen Zustände des Auges weiter verbessern läßt.

Ausführungsform 8

Nun wird eine Ausführungsform 8 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 16 und 17 beschrieben. Die Fig. 16 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das bei der Ausführungsform 8 der vorliegenden Erfindung eingesetzt wird. Dieses Diagramm zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, bis zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist, über einen dazwischenliegenden Zwischenzeitpunkt TB), den sich während dem Zeitraum verändernden Binärbildern des Ortsbereichs des Auges 8, und Formfunktionen erster Ordnung (insbesondere Oberschranken-Formfunktionen), jeweils unter Einsatz der Koordinaten der Oberschranken der Binärbilder, sowie von Approximationslinien, die als Formfunktionen zweiter Ordnung auf der Grundlage der Formfunktionen erster Ordnung berechnet werden.

Die Fig. 17 zeigt eine Veränderung des Werts K der Bewertungsfunktion, der die Differenz zwischen den Gradienten der beiden Approximationslinien ist, die durch die Berechnung auf der Grundlage der in Fig. 16 gezeigten Oberschranken- Formfunktion erhalten werden.

In dem Fall, in dem das bei der Ausführungsform 8 der vorliegenden Erfindung eingesetzte Verfahren durchgeführt wird, verändert sich bei geöffnetem oder geschlossenem Auge die Oberschranken-Formfunktion, in ähnlicher Weise wie in dem Fall des in der Ausführungsform 7 eingesetzten Verfahrens. Demnach kann erfaßt werden, ob das Auge geöffnet oder geschlossen ist.

Ausführungsform 9

Nun wird eine Ausführungsform 9 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 18 und 19 beschrieben. Die Fig. 18 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das durch die Ausführungsform 9 der vorliegenden Erfindung eingesetzt wird. Diese Figur zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist, über einen dazwischenliegenden Zwischenzeitpunkt TB), den sich während des Zeitraums verändernden Binärbildern des Ortsbereichs des Auges 8, und Formfunktionen erster Ordnung (insbesondere Y- Mittenort-Formfunktionen), jeweils unter Einsatz der Form dessen, was als Y-Mittenort bezeichnet wird, sowie von Approximationslinien, die aus den Formfunktionen erster Ordnung berechnete Formfunktionen zweiter Ordnung sind.

Fig. 19 zeigt eine Veränderung des Werts K der Bewertungsfunktion, der die Differenz zwischen den Gradienten der beiden Approximationslinien ist, die durch die Berechnung auf der Grundlage der in Fig. 18 gezeigten Y-Mittenort- Formfunktionen erhalten werden.

In dem Fall, in dem das durch die Ausführungsform 9 der vorliegenden Erfindung eingesetzte Verfahren durchgeführt wird, verändert sich bei geöffnetem oder geschlossenem Auge die Y-Mittenort-Formfunktion, in ähnlicher Weise wie in dem bei der Ausführungsform 7 durchgeführten Verfahren. Demnach kann erfaßt werden, ob das Auge geöffnet oder geschlossen ist.

Ausführungsform 10

Nun wird eine Ausführungsform 10 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 20 und 21 beschrieben. Die Fig. 20 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das durch die Ausführungsform 10 der vorliegenden Erfindung eingesetzt wird. Dieses Diagramm zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist, über einen dazwischenliegenden Zwischenzeitpunkt TB), den sich während dem Zeitablauf verändernden Binärbildern des Ortsbereichs des Auges, und der Y-Histogramme, die Formfunktionen erster Ordnung gemäß den Binärbildern des Ortsbereichs des Auges 18 sind.

Die Fig. 21 zeigt eine Veränderung des Werts K der Bewertungsfunktion, der der Differenz zwischen den beiden auf der Grundlage der in Fig. 20 gezeigten Y-Histrogrammen berechneten Mittelwerten oder Durchschnittswerten entspricht.

Im Fall dieser Ausführungsform 10 ist die Differenz zwischen dem Mittelwert oder Durchschnittswert von Zählwerten der Wert K der Bewertungsfunktion, die durch die folgende Gleichung (3) gegeben ist, und zwar der für einen Teil des Y- Histogramms gezeigten Zählwerte (SUM), der dem Mittenabschnitt des Auges entspricht (insbesondere dem Bereich der X-Koordinaten von (C - 5) bis (C + 5)), und der für einen anderen Teil des Y-Historgramms gezeigten Zählwerte, der dem linken Endabschnitt des Auges entspricht (insbesondere dem Bereich der X-Koordinaten von L bis (L + 10)). Es sei bemerkt, daß in der Gleichung (3) jede Summierung des ersten Halbteils oder -punkts von dessen linken Seite im Hinblick auf X zwischen (C - 5) bis (C + 5) durchgeführt wird und jede Summierung des zweiten Halbteils oder -punkts der rechten Seite hiervon im Hinblick auf X von L bis (L + 10) durchgeführt wird.

K = (Σ SUM)/10 - (Σ SUM)/10 (3)

Wie in Fig. 20 gezeigt ist, verändert sich bei geöffnetem oder geschlossenem Auge die Form des Y-Histogramms. Im Ergebnis ist dann, wenn das Auge geschlossen ist, der Wert K der Bewertungsfunktion niedrig. Demnach wird ein Schwellwert KB festgelegt, und es kann erfaßt werden, ob das Auge geöffnet oder geschlossen ist.

Ferner wird im Fall dieser Ausführungsform der Mittelwert oder Durchschnittswert der Zählwerte SUM in dem Teil des Y- Histogramms, der dem linken Endabschnitt des Auges entspricht, zum Erhalten der Bewertungsfunktion eingesetzt. Jedoch lassen sich ähnliche Wirkungen in dem Fall erzielen, daß der Mittelwert der Zählwerte SUM in dem Teil des Y- Histogramms zum Erhalten der Bewertungsfunktion eingesetzt wird, der dem rechten Endabschnitt des Auges entspricht.

Ausführungsform 11

Nun wird eine Ausführungsform 11 der vorliegenden Erfindung nachstehend unter Bezug auf die Fig. 22 und 23 beschrieben. Die Fig. 22 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das durch die Ausführungsform 11 der vorliegenden Erfindung eingesetzt wird. Diese Figur zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist, über einen zwischenliegenden Zwischenzeitpunkt TB), den sich während des Zeitraums verändernden Binärbildern des Ortsbereichs des Auges 8, sowie von Formfunktionen (insbesondere Oberschranken-Formfunktionen), die jeweils die Koordinaten der Oberschranken der Binärbilder benützen.

Die Fig. 23 zeigt eine Veränderung des Werts K der Bewertungsfunktion, der die Differenz zwischen den beiden Mittelwerten oder Durchschnittswerten ist, die durch die Berechnung auf der Grundlage der in Fig. 22 gezeigten Oberschranken-Formfunktion erhalten werden.

In dem Fall, in dem das durch diese Ausführungsform 11 der vorliegenden Erfindung eingesetzte Verfahren durchgeführt wird, verändert sich bei geöffnetem oder geschlossenem Auge die Oberschranken-Formfunktion, in ähnlicher Weise wie in dem Fall des Verfahrens, das durch die Ausführungsform 10 eingesetzt wird. Demnach läßt sich erfassen, ob das Auge geöffnet oder geschlossen ist.

Ausführungsform 12

Nun wird eine Ausführungsform 12 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 24 und 25 beschrieben. Die Fig. 24 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das durch die Ausführungsform 12 der vorliegenden Erfindung eingesetzt wird. Diese Figur zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist, über einen zwischenliegenden Zwischenzeitpunkt TB), den sich während des Zeitraums verändernden Binärbildern des Ortsbereichs des Auges 8, und von Formfunktionen (insbesondere Y-Mittenort- Formfunktionen), die jeweils die Form dessen benützen, was als Y-Mittenort bezeichnet wird.

Die Fig. 25 zeigt eine Veränderung des Werts K der Bewertungsfunktion, der der Differenz zwischen den beiden Mittenwerten oder Durchschnittswerten entspricht, die durch die Berechnung auf Grundlage der in Fig. 24 gezeigten Y- Mittenort-Formfunktionen erhalten werden.

In dem Fall, in dem das durch die Ausführungsform 12 der vorliegenden Erfindung eingesetzte Verfahren durchgeführt wird, ändert sich bei geöffnetem oder geschlossenem Auge die Y-Mittenort-Formfunktion, in ähnlicher Weise wie bei dem durch die Ausführungsform 10 eingesetzten Verfahren. Demnach kann erfaßt werden, ob das Auge geöffnet oder geschlossen ist.

Ausführungsform 13

Nun wird eine Ausführungsform 13 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 26 und 27 beschrieben. Die Fig. 26 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das durch die Ausführungsform 13 der vorliegenden Erfindung eingesetzt wird. Dieses Diagramm zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist, über einen zwischenliegenden Zwischenzeitpunkt TB), den sich während dieses Zeitraums verändernden Binärbildern des Ortsbereichs des Auges 8, sowie von Y-Histogrammen, die jeweils den Binärbildern entsprechen.

Die Fig. 27 zeigt eine Veränderung des Werts K der Bewertungsfunktion, der der Differenz zwischen den beiden Mittelwerten oder Durchschnittswerten entspricht, die auf der Grundlage der in Fig. 26 gezeigten Y-Histogrammen berechnet werden.

Im Fall dieser Ausführungsform 13 ergibt sich der Wert K der Bewertungsfunktion, die durch die nachfolgende Gleichung (4) gegeben ist, als Differenz zwischen dem Mittelwert oder Durchschnittswert der Zählwerte (SUM) für einen Teil des Y- Histogramms, der dem Mittenabschnitt des Auges entspricht (insbesondere dem Bereich der X-Koordinaten von (C - 5) bis (C + 5)), und demjenigen der Zählwerte von einem anderen Teil der Y-Histogramme, der dem linken und rechten Endabschnitt des Auges entspricht (insbesondere dem Bereich der X- Koordinaten von L bis (L + 10) und dem Bereich der X- Koordinaten von (R - 10) bis R. Es sei bemerkt, daß in der Gleichung (4) die Summierung für den ersten Anteil für die linke Seite im Hinblick auf X zwischen (C - 5) bis (C + 5) durchgeführt wird und die zweite Summation (insbesondere die linksseitige Summierung des zweiten Anteils) für deren rechten Seite im Hinblick auf X von L bis (L + 10) durchgeführt wird und die dritte Summierung (insbesondere die rechtzeitige Summierung des zweiten Anteils) der rechten Seite hiervon im Hinblick auf X von (R - 10) bis R durchgeführt wird.

K = (Σ SUM)/10 - (Σ SUM + Σ SUM)/20 (4)

Wie in Fig. 26 gezeigt ist, verändert sich bei geöffnetem oder geschlossenem Auge das Y-Histogramm. Im Ergebnis ist bei geschlossenem Auge der Wert K der Bewertungsfunktion niedrig, wie in Fig. 27 gezeigt ist. Demnach wird ein Schwellwert KB festgelegt, und es kann erfaßt werden, ob das Auge geöffnet oder geschlossen ist.

Ausführungsform 14

Nun wird eine Ausführungsform 14 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 28 und 29 beschrieben. Die Fig. 28 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das durch die Ausführungsform 14 der vorliegenden Erfindung eingesetzt wird. Diese Figur zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, bis zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist, über einen zwischenliegenden Zwischenzeitpunkt TB), der sich während des Zeitraums verändernden Binärbilder des Ortsbereichs des Auges 8, und von Formfunktionen (insbesondere Oberschranken-Formfunktionen), jeweils unter Einsatz der Koordinaten der Oberschranken der Binärbilder.

Die Fig. 29 zeigt eine Veränderung des Werts K der Bewertungsfunktion, der der Differenz zwischen den beiden Mittenwerten oder Durchschnittswerten entspricht, die durch die Berechnung auf Grundlage der in Fig. 28 gezeigten Oberschranken-Formfunktionen erhalten werden.

In dem Fall, in dem das bei dieser Ausführungsform 14 der vorliegenden Erfindung eingesetzte Verfahren durchgeführt wird, verändert sich bei geöffnetem oder geschlossenem Auge die Oberschranken-Formfunktion, in ähnlicher Weise wie in dem Fall des bei der Ausführungsform 13 durchgeführten Verfahrens. Demnach kann erfaßt werden, ob das Auge geöffnet oder geschlossen ist.

Ausführungsform 15

Nun wird eine Ausführungsform 15 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 30 und 31 beschrieben. Die Fig. 30 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren eines geöffneten oder geschlossenen Zustands eines Auges, das durch die Ausführungsform 15 der vorliegenden Erfindung eingesetzt wird. Diese Figur zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, bis zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist, über einen dazwischenliegenden Zwischenzeitpunkt TB), der sich während des Zeitraums verändernden Binärbilder des Ortsbereichs des Auges 8, und Formfunktionen (insbesondere Y-Mittenort-Formfunktionen), jeweils unter Einsatz der Farm dessen, was als Y-Mittenort bezeichnet wird.

Die Fig. 31 zeigt eine Veränderung des Werts K der Bewertungsfunktion, der der Differenz zwischen den beiden Mittenwerten und Durchschnittswerten entspricht, die durch die Berechnung auf der Grundlage der in Fig. 30 gezeigten Y- Mittenort-Formfunktionen erhalten werden.

In dem Fall, in dem das durch die Ausführungsform 15 der vorliegenden Erfindung eingesetzte Verfahren durchgeführt wird, verändert sich dann, wenn das Auge geöffnet oder geschlossen ist, die Y-Mittenort-Formfunktion, in ähnlicher Weise, wie bei dem in der Ausführungsform 13 eingesetzten Verfahren. Demnach kann erfaßt werden, ob das Auge geöffnet oder geschlossen ist.

Ausführungsform 16

Nun wird eine Ausführungsform 16 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 32 und 33 beschrieben. Die Fig. 32 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das durch die Ausführungsform 16 der vorliegenden Erfindung eingesetzt wird. Dieses Diagramm zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, bis zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist, über einen zwischenliegenden Zwischenzeitpunkt TB), der sich während dieses Zeitraums verändernden Binärbilder des Ortsbereichs des Auges 8, und von Y-Histogrammen, die jeweils den Binärbildern zugeordnet sind.

Die Fig. 33 zeigt eine Veränderung des Werts K der Bewertungsfunktion, der der Differenz zwischen den beiden Mittenwerten oder Durchschnittswerten entspricht, die auf der Grundlage der in Fig. 32 gezeigten Y-Histrogramme berechnet werden.

In dem Fall dieser Ausführungsform 16 entspricht die Differenz zwischen dem Mittenwert oder dem Durchschnittswert der Summenwerte (SUM) für die beiden Teile der Y-Histogramme, die jeweils den Mittenabschnitten des linken und rechten Auges zugeordnet sind (insbesondere gemäß den Bereichen der X-Koordinaten von ((LC - 5) bis (LC + 5) und (RC - 5) bis (RC + 5)), und den Summenwerten für die anderen beiden Teile der Y-Histogramme gemäß den äußeren Endabschnitten (insbesondere dem linken und rechten Endabschnitt) beider Augen (insbesondere gemäß den Bereichen der X-Koordinaten von LL bis (LL + 10) und dem Bereich der X-Koordinaten von (RR - 10) bis RR) dem Wert K der Bewertungsfunktion, die durch die nachfolgende Gleichung (5) gegeben ist. Es sei bemerkt, daß in der Gleichung (5) der erste oder linksseitige Summenwert des ersten Anteils der linken Seite hiervon im Hinblick auf X von (LC - 5) bis (LC + 5) bestimmt wird und der zweite rechtsseitige Summenwert des ersten Anteils der linken Seite hiervon im Hinblick auf X von (RC - 5) bis (RC + 5) bestimmt wird und der dritte Summenwert (insbesondere der linksseitige Summenwert des zweiten Anteils) der rechten Seite hiervon im Hinblick auf X von LL bis (LL + 10) bestimmt wird und der vierte Summenwert (insbesondere der rechtsseitige Summenwert des zweiten Anteils) der rechten Seite hiervon im Hinblick auf X von (RR - 10) bis RR bestimmt wird.

K = (Σ SUM + Σ SUM)/20 - (Σ SUM + Σ SUM)/20 (5)

Wie in Fig. 32 gezeigt ist, verändert sich bei geöffnetem oder geschlossenem Auge die Form des Y-Histogramms. Im Ergebnis ist bei geschlossenem Auge der Wert K der Bewertungsfunktion niedrig, wie in Fig. 33 gezeigt ist. Deshalb wird ein Schwellwert zu KB festgelegt, und es kann erfaßt werden, ob das Auge geöffnet oder geschlossen ist.

Ferner wird im Fall dieser Ausführungsform der Durchschnitt der Zählwerte für die Y-Histogramme des festgelegten Bereichs entsprechend den äußeren Endabschnitten beider Augen zum Erhalten des Werts der Bewertungsfunktion eingesetzt. Jedoch lassen sich ähnliche Wirkungen in dem Fall erzielen, in dem der Durchschnitt der Zählwerte für die Y-Histogramme in dem festgelegten Bereich gemäß den inneren Endabschnitten beider Augen eingesetzt wird.

Ausführungsform 17

Nun wird eine Ausführungsform 17 der folgenden Erfindung nachfolgend unter Bezug auf die Fig. 34 und 35 beschrieben.

Die Fig. 34 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das durch die Ausführungsform 14 (17) der vorliegenden Erfindung eingesetzt wird. Diese Figur zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, bis zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist, über einen zwichenliegenden Zwischenzeitpunkt TB), der sich während dieses Zeitaums verändernden Binärbilder des Ortsbereichs des Auges 8, sowie von Formfunktionen (insbesondere Oberschranken-Formfunktionen), jeweils unter Einsatz der Koordinaten der Oberschranken der Binärbilder.

Die Fig. 35 zeigt eine Veränderung des Werts K der Bewertungsfunktion, der der Differenz zwischen den beiden Mittenwerten oder Durchschnittswerten entspricht, die durch die Berechnung auf der Grundlage der in Fig. 34 gezeigten Oberschranken-Formfunktion erhalten werden.

In dem Fall, in dem das durch die Ausführungsform 17 der vorliegenden Erfindung eingesetzte Verfahren durchgeführt wird, ändert sich bei geöffnetem oder geschlossenem Auge die Oberschranken-Formfunktion in ähnlicher Weise wie bei dem durch die Ausführungsform 16 eingesetzten Verfahren. Demnach kann festgestellt werden, ob das Auge geöffnet oder geschlossen ist.

Ausführungsform 18

Nun wird eine Ausführungsform 18 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 36 und 37 beschrieben. Die Fig. 36 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das durch die Ausführungsform 18 der vorliegenden Erfindung eingesetzt wird. Diese Figur zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, bis zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist, über einen zwischenliegenden Zwischenzeitpunkt TB), der sich während dieses Zeitraums verändernden Binärbilder des Ortsbereichs des Auges 8, und von Formfunktionen (insbesondere Y-Mittenort-Formfunktionen), jeweils unter Einsatz der Form dessen, was als Y-Mittenort bezeichnet wird.

Die Fig. 37 zeigt eine Veränderung des Werts K der Bewertungsfunktion, der der Differenz zwischen den beiden Mittenwerten oder Durchschnittswerten entspricht, die durch die Berechnung auf der Grundlage der in Fig. 37 gezeigten Y- Mittenort-Formfunktionen erhalten werden.

In dem Fall, in dem das durch die Ausführungsform 18 der vorliegenden Erfindung eingesetzte Verfahren durchgeführt wird, ändert sich bei geöffnetem oder geschlossenem Auge die Y-Mittenort-Formfunktion, in ähnlicher Weise, wie bei dem in der Ausführungsform 16 eingesetzten Verfahren. Demnach kann festgestellt werden, ob das Auge geöffnet oder geschlossen ist.

Ausführungsform 19

Nun wird eine Ausführungsform 19 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 38 und 39 beschrieben. Die Fig. 38 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren eines geöffneten oder geschlossenen Zustands eines Auges, das durch die Ausführungsform 19 der vorliegenden Erfindung eingesetzt wird. Dieses Diagramm zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, bis zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist), der sich während dieses Zeitraums verändernden Binärbilder des Ortsbereichs des Auges 8, sowie von Y-Histogrammen, die Formfunktionen erster Ordnung sind, gemäß den Binärbildern des Ortsbereichs des Auges 8, und von Häufigkeitverteilungskurven, die Formfunktionen zweiter Ordnung sind und auf der Grundlage der Formfunktionen erster Ordnung berechnet werden und jeweils die Häufigkeitanteile A der Summenwerte (SUM) darstellen.

Die Fig. 39 zeigt eine Veränderung des Werts K der Bewertungsfunktion, die durch Ausführen von Berechnungen auf Grundlage der in Fig. 38 gezeigten Häufigkeitverteilungskurven erhalten wird.

Ferner wird im Fall dieser Ausführungsform 19 der Wert K der Bewertungsfunktion durch die folgende Gleichung (6) erhalten, in der "MAX" dem Maximalwert der in den Häufigkeitverteilungskurven gezeigten kumulierten Häufigkeit darstellt, und "POS" kennzeichnet den Wert des Exponenten J in dem Zeitpunkt, wenn die kumulierte Häufigkeit den Maximalwert "MAX" aufweist. Dieser Wert K zeigt den Umfang der Zentrierung des Y-Histogramms an. Es sei bemerkt, daß bei der Gleichung (6) die Summierung der rechten Seite hiervon im Hinblick auf die kumulierte Häufigkeit (insbesondere der Zählwert) von 0 bis zu dem Maximalwert erfolgt.

K = MAX/Σ {A^(POS-J)} (6)

Wie in Fig. 38 gezeigt ist, verändert sich bei geöffnetem oder geschlossenem Auge die Form der Häufigkeitverteilungskurve. Im Ergebnis ist, wie in Fig. 39 gezeigt ist, bei geschlossenem Auge der Wert K der Bewertungsfunktion hoch. Demnach wird ein Schwellwert zu KB festgelegt, und es kann erfaßt werden, ob das Auge geöffnet oder geschlossen ist.

Ausführungsform 20

Nun wird eine Ausführungsform 20 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 40 und 41 beschrieben. Die Fig. 40 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das durch die Ausführungsform 20 der vorliegenden Erfindung eingesetzt wird. Dieses Diagramm zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, bis zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist), der sich während dieses Zeitraums verändernden Binärbilder des Ortsbereichs des Auges 8, und von Formfunktionen erster Ordnung (insbesondere der Oberschranken-Formfunktionen), die die (Y-)Koordinaten der Oberschranken der Binärbilder in dem Ortsbereich des Auges 8 benützten, sowie von Häufigkeitverteilungskurven, die Formfunktionen zweiter Ordnung sind und auf der Grundlage der Formfunktionen erster Ordnung berechnet werden und hierbei die Häufigkeitanteile A der Werte (UF) der Oberschrankenfunktionen darstellen.

Die Fig. 41 zeigt eine Veränderung des Werts K der Bewertungsfunktion, der durch Durchführen von Berechnungen auf der Grundlage der in Fig. 40 gezeigten Häufigkeitsverteilungskurven erhalten wird.

Ferner ändert sich in dem Fall, in dem das durch diese Ausführungsform 20 eingesetzte Verfahren durchgeführt wird, bei geöffnetem oder geschlossenem Auge die Form der Häufigkeitsverteilungskurven, in ähnlicher Weise, wie in dem Fall der zuvor erläuterten Ausführungsform 19. Demnach kann festgestellt werden, ob das Auge geöffnet oder geschlossen ist.

Ausführungsform 21

Nun wird eine Ausführungsform 21 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 42 und 43 beschrieben. Fig. 42 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das durch diese Ausführungsform 21 der vorliegenden Erfindung eingesetzt wird. Dieses Diagramm zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, bis zu einem Zeitpunkt TC, in dem das Auge geschlossen ist), der sich während dieses Zeitraums verändernden Binärbilder der Ortsbereiche des Auges 8, und der Formfunktionen erster Ordnung (insbesondere der Y-Mittenordnung-Formfunktionen), die die Form der Y-Mittenlinien (oder -kurven) der Binärbilder benützen, und von Häufigkeitsverteilungskurven, die Formfunktionen zweiter Ordnung sind und auf der Grundlage der Formfunktionen erster Ordnung berechnet werden und jeweils die Häufigkeitsverteilung A der Werte (CF) der Y- Mittenort-Formfunktionen darstellen.

Die Fig. 43 zeigt eine Veränderung des Werts K der Bewertungsfunktion, die durch Durchführen der Berechnungen auf der Grundlage der in Fig. 42 gezeigten Häufigkeitsverteilungskurven erhalten wird.

Ferner verändert sich in dem Fall, in dem das durch diese Ausführungsform 21 eingesetzte Verfahren durchgeführt wird, bei geöffnetem oder geschlossenem Auge die Form der Häufigkeitsverteilungskurve, in ähnlicher Weise wie im Fall der zuvor erläuterten Ausführungsform 19. Demnach kann erfaßt werden, ob das Auge geöffnet oder geschlossen ist.

Ausführungsform 22

Nun wird eine Ausführungsform 22 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 44 und 45 beschrieben. Die Fig. 44 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das durch diese Ausführungsform 22 der vorliegenden Erfindung eingesetzt wird. Dieses Diagramm zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, bis zu einem Zeitpunkt TC, in dem das Auge geschlossen ist), der sich während dieses Zeitraums verändernden Binärbilder des Ortsbereichs des Auges 8, und von Y-Histogrammen (insbesondere von Formfunktionen erster Ordnung) der Binärbilder, sowie der Kreismittelpunkte, die Formfunktionen zweiter Ordnung sind und auf der Grundlage der gekrümmten Formen der Formfunktionen erster Ordnung erhalten werden, und zwar durch Einsatz dessen, was als Speicherfilter bezeichnet wird.

Die Fig. 45 zeigt eine Veränderung des Werts K der Bewertungsfunktion, die durch Durchführen von Berechnungen auf der Grundlage der in Fig. 44 gezeigten Y-Histogrammen erhalten wird.

Die durch diese Ausführungsform 22 angezeigte Mittenposition ist der Mittelpunkt eines Kreises, der auf der Grundlage der gekrümmten Form der Formfunktion unter Einsatz des Speichenfilters bestimmt wird. Ferner entspricht der Wert K der Bewertungsfunktion der Differenz zwischen dem Maximalwert der Formfunktion erster Ordnung und der Ordinate (insbesondere der Y-Koordinate) dieses Mittelpunkts.

Wie in Fig. 44 gezeigt ist, verändert sich bei geöffnetem oder geschlossenem Auge die Form des Y-Histogramms. Im Ergebnis ist, wie in Fig. 45 gezeigt, bei geschlossenem Auge der Wert K der Bewertungsfunktion hoch. Demnach wird ein Schwellwert KB festgelegt, und es kann erfaßt werden, ob das Auge geöffnet oder geschlossen ist.

Ausführungsform 23

Nun wird eine Ausführungsform 23 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 46 beschrieben. Diese Figur zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das durch diese Ausführungsform 23 der vorliegenden Erfindung eingesetzt wird. Dieses Diagramm zeigt die Beziehung zwischen dem Zeitablauf (ausgehen 24977 00070 552 001000280000000200012000285912486600040 0002019614975 00004 24858d von einem Zeitpunkt TA, in dem das Auge geöffnet ist, bis zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist), den sich während diesem Zeitraum verändernden Binärbildern des Ortsbereichs des Auges 8, und der Formfunktionen erster Ordnung (insbesondere von Oberschranken-Formfunktionen) der Binärbilder, sowie der Mittelpunkte der Kreise, die Formfunktionen zweiter Ordnung sind und auf der Grundlage der gekrümmten Formen der Formfunktionen erster Ordnung durch Einsatz des Speichenfilters erhalten werden.

In dem Fall der Ausführungsform 23 verändert sich bei geöffnetem oder geschlossenem Auge die Formfunktion. Hierdurch ist bei geschlossenem Auge der Wert K der Bewertungsfunktion hoch. In einem extremen Fall, der in dieser Figur gezeigt ist, ist bei geschlossenem Auge die Positionsbeziehung zwischen dem konvexen Abschnitt und dem konkaven Abschnitt umgekehrt, so daß ein divergenter/überkritischer Zustand auftritt, in dem keine Mitte erfaßt wird. Demnach kann erfaßt werden, ob das Auge geöffnet oder geschlossen ist.

Ausführungsform 24

Nun wird eine Ausführungsform 24 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 47 erläutert. Diese Figur zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das für diese Ausführungsform der Fig. 24 der vorliegenden Erfindung eingesetzt wird. Dieses Diagramm zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, und einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist), den sich während dieses Zeitraums verändernden Binärwerten des Ortsbereichs des Auges 8, und der Formfunktionen erster Ordnung (insbesondere der Y-Mittenort-Formfunktionen), die die Form der Y-Mittenlinien (oder -kurven) der Binärbilder benützen, sowie der Mittelpunkte der Kreise, die Formfunktionen zweiter Ordnung sind und auf der Grundlage der gekrümmten Formen der Formfunktionen erster Ordnung durch Einsatz der Speichenfilter erhalten werden.

In dem Fall des durch die Ausführungsform 24 eingesetzten Verfahrens ändert sich bei geöffnetem oder geschlossenem Auge die Formfunktion, in ähnlicher Weise wie in dem Fall des durch die Ausführungsform 22 eingesetzten Verfahrens. Demnach kann festgestellt werden, ob das Auge geöffnet oder geschlossen ist.

Ausführungsform 25

Nun wird eine Ausführungsform 25 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 48 und 49 beschrieben. Die Fig. 48 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren eines geöffneten oder geschlossenen Zustands eines Auges, das durch die Ausführungsform 25 der vorliegenden Erfindung eingesetzt wird. Diese Figur zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, bis zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist, über einen zwischenliegenden Zwischenzeitpunkt TB), der sich während dieses Zeitraums verändernden Binärbilder der Ortsbereiche des Auges 8, der ersten Formfunktion Ordnung (Oberschranken-Formfunktionen), die die Y-Koordinaten der Oberschranken der Binärbilder benützen, sowie von "X-Histogrammen" (insbesondere zweiter Formfunktionen), die hier als Graphen zum Darstellen der Verteilung der Werte definiert sind, die durch Akkumulieren der Binärtonpegel der Pixel entlang der X-Richtung erhalten werden, gemäß jeder der Y-Koordinaten in dem Ortsbereich des Auges 8 für jedes der Binärbilder.

Die Fig. 49 zeigt eine Veränderung des Werts K der Bewertungsfunktion, die auf der Grundlage der ersten Formfunktion berechnet wird und der Y-Koordinate eines Spitzenwerts in dem in Fig. 48 gezeigten X-Histogramm.

In dem Fall dieser Ausführungsform 25 entspricht die Summe der Differenzen zwischen den Y-Koordinaten UF der Oberschranke in dem festgelegten Bereich des Mittenabschnitts des Auges (gemäß dem Bereich von X zwischen (C - 20) bis (C + 20)) und der Y-Koordinate POS des Spitzenwerts des X- Histogramms dem Wert K der Bewertunsfunktion, die durch die folgende Gleichung (7) bestimmt ist. Es sei bemerkt, daß in der Gleichung (7) die Summierung der rechten Seite hiervon im Hinblick auf X zwischen (C - 20) bis (C + 20) durchgeführt wird.

K = Σ (UF - POS) (7)

Wie in Fig. 48 gezeigt ist, verändern sich bei geöffnetem oder geschlossenem Auge die Form der ersten Formfunktion und diejenige des X-Histogramms. Im Ergebnis ist bei geschlossenem Auge der Wert K der Bewertungsfunktion niedrig, wie in Fig. 49 gezeigt ist. Demnach wird ein Schwellwert KB bestimmt, und es kann erfaßt werden, ob das Auge geöffnet oder geschlossen ist.

Ausführungsform 26

Nun wird eine Ausführungsform 26 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 50 und 51 beschrieben. Die Fig. 50 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren eines geöffneten oder geschlossenen Zustands eines Auges, das durch die Ausführungsform 26 der vorliegenden Erfindung eingesetzt wird. Diese Figur zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, bis zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist, über einen zwischenliegenden Zwischenzeitpunkt TB), der sich während dieses Zeitraums verändernden Binärbilder des Ortsbereichs des Auges 8, erster Formfunktionen (insbesondere Y-Mittenort-Formfunktionen), die die Form des Y-Mittenorts der Binärbilder benützen, sowie von X-Histogrammen (insbesondere zweiter Formfunktionen), die jeweils den Binärbildern zugeordnet sind.

Die Fig. 51 zeigt eine Veränderung des Werts K der Bewertungsfunktion, der auf der Grundlage der ersten Formfunktion und der Y-Koordinate des Spitzenwerts des in Fig. 50 gezeigten X-Histogramms berechnet wird.

In dem Fall dieser Ausführungsform 26 ändert sich bei geöffnetem oder geschlossenem Auge die Form der ersten Formfunktion und diejenige des X-Histogramms, in ähnlicher Weise wie in dem Fall der zuvor erwähnten Ausführungsform 25. Demnach wird ein Schwellwert KB bestimmt, und es kann erfaßt werden, ob das Auge geöffnet oder geschlossen ist.

Ausführungsform 27

Nun wird eine Ausführungsform 27 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 52 und 53 beschrieben. Die Fig. 52 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das durch die Ausführungsform 27 der vorliegenden Erfindung eingesetzt wird. Diese Figur zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, bis zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist, über einen zwischenliegenden Zwischenzeitpunkt TB, der sich während diesem Zeitraum verändernden Binärbilder der Ortsbereiche des Auges 8, der Mittelpunkte oder Schwerpunkte (insbesondere erste Formfunktionen) festgelegter Abschnitte oder Bereiche der Binärbilder eines Auges, sowie von Linien zum Verbinden zweier der Mittelpunkte oder Schwerpunkte (insbesondere zweite Formfunktionen) des festgelegten Abschnitts oder Bereichs der Binärbilder des Auges.

Fig. 53 zeigt eine Veränderung des Werts K der Bewertungsfunktion, die auf der Grundlage der in Fig. 52 gezeigten Formfunktionen berechnet wird.

Bei jedem der in Fig. 52 gezeigten Graphen, markiert "+" den Mittelpunkt oder Schwerpunkt (XC, YC) eines festgelegten Teils des Mittenabschnitts des Bilds des Auges, der den Bereich von X Zwischen (C - 5) bis (C + 5) zugeordnet ist, und den Mittelpunkt oder Schwerpunkt (XL, YL) eines festgelegten Teils des linken Endabschnitts des Bilds des Auges, der dem Bereich von X zwischen L bis (L + 10) zugeordnet ist. Jeder der Mittelpunkte oder Schwerpunkte entspricht dem Mittelwert oder Durchschnitt der Koordinaten schwarzer Pixel, die in dem entsprechenden Bildteil enthalten sind. Beispielsweise sind die Mittelpunkte (XC, YC) oder Schwerpunkte durch die folgende Gleichung (8) bestimmt, die die Gesamtzahl N schwarzer Pixel in dem festgelegten Teil des Mittenabschnitts des Bilds enthält.

(XC, YC) = (Σ X/N, Σ Y/N) (8)

In dem Fall dieser Ausführungsform 27 wird der Gradient einer Linie 20 zum Verbinden des Mittelpunkts oder Schwerpunkts (XC, YC) des festgelegten Teils des Mittenabschnitts des Bilds des Auges mit dem Mittelpunkt oder Schwerpunkt (XL, YL) des festgelegten Teils des linken Endabschnitts des Bilds anhand der folgenden Gleichung (9) bestimmt und stellt den Wert K der Bewertungsfunktion dar.

K = (YC - YL)/(XC - XL) (9)

Wie in Fig. 52 gezeigt ist, ändert sich bei geöffnetem oder geschlossenem Auge die Form der ersten Formfunktion und diejenige der zweiten Formfunktion. Im Ergebnis ist bei geschlossenem Auge der Wert K der Bewertungsfunktion niedrig, wie in Fig. 53 gezeigt ist. Demnach wird ein Schwellwert zu KB festgelegt, und es kann erfaßt werden, ob das Auge geöffnet oder geschlossen ist.

Weiterhin wird in dem Fall dieser Ausführungsform der Durchschnitt der Werte der ersten Formfunktion, die dem festgelegten Teil des linken Endabschnitts des Bilds des Auges zugeordnet ist, zum Erhalten der Bewertungsfunktion eingesetzt. Jedoch lassen sich ähnliche Wirkungen in dem Fall erhalten, in dem der Durchschnitt der Werte der ersten Formfunktion benützt wird, der dem festgelegten Teil des rechten Endabschnitts des Bilds zugeordnet ist.

Ausführungsform 28

Nun wird eine Ausführungsform 28 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 54 und 55 beschrieben. Die Fig. 54 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren eines geöffneten oder geschlossenen Zustands eines Auges, das durch die Ausführungsform 28 der vorliegenden Erfindung eingesetzt wird. Diese Figur zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, bis zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist, über einen zwischenliegenden Zwischenzeitpunkt TB), der sich während dieses Zeitraums verändernden Binärbilder des Ortsbereichs des Auges 8, der Mittelpunkte oder Schwerpunkte (insbesondere erste Formfunktionen) festgelegter Abschnitte oder Bereiche der Binärbilder eines Auges, sowie von Linien zum Verbinden zweier der Schwerpunkte oder Mittelpunkte (insbesondere zweite Formfunktionen) für festgelegte Abschnitte oder Bereiche des Auges.

Die Fig. 55 zeigt eine Veränderung des Werts K der Bewertungsfunktion, die auf der Grundlage der in Fig. 54 gezeigten Formfunktionen berechnet wird.

Im Fall dieser Ausführungsform 28 ist die Differenz zwischen dem Gradienten einer Linie 20 zum Verbinden des Mittelpunkts oder Schwerpunkts (XC, YC) des festgelegten Teils mit dem X- Koordinatenbereich von (C - 5) bis (C + 5) und des Mittenabschnitts des Bilds des Auges mit dem Mittelpunkt oder Schwerpunkt (XL, YL) des festgelegten Teils mit dem X- Koordinatenbereich von L bis (L + 10) bei dem linken Endabschnitt des Bilds, sowie dem Gradienten einer anderen Linie 20' zum Verbinden des Mittelpunkts oder Schwerpunkts (XC, YC) desselben (festgelegten) Teils des Mittenabschnitts des Bilds des Auges mit dem Mittelpunkt oder Schwerpunkt (XR, YR) des festgelegten Teils mit dem X-Koordinatenbereich von R bis (10 - R) des linken Endabschnitts des Bilds anhand der folgenden Gleichung (10) bestimmt, und diese bildet den Wert K der Bewertungsfunktion.

K = (YC - YL)/(XC - XL) - (YC - YR)/(XC - XR) (10)

Wie in Fig. 54 gezeigt ist, verändert sich bei geöffnetem oder geschlossenem Auge die Form der ersten Formfunktion und diejenige der zweiten Formfunktion. Im Ergebnis ist bei geschlossenem Auge der Wert K der Bewertungsfunktion niedrig, wie in Fig. 55 gezeigt ist. Demnach wird ein Schwellwert zu KB festgelegt, und es kann erfaßt werden, ob das Auge geöffnet oder geschlossen ist.

Ausführungsform 29

Nun wird eine Ausführungsform 29 der vorliegenden Erfindung nachstehend unter Bezug auf die Fig. 56 und 57 beschrieben. Die Fig. 56 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das durch die Ausführungsform 29 der vorliegenden Erfindung eingesetzt wird. Diese Figur zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, bis zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist, über einen zwischenliegenden Zwischenzeitpunkt TB), der sich während dieses Zeitraums verändernden Binärbilder des Ortsbereichs des Auges 8, der Mittelpunkte oder Schwerpunkte (insbesondere erste Formfunktionen) festgelegter Abschnitte oder Bereiche der Binärbilder eines Auges, sowie zwei Linien, von denen jede zwei der Mittelpunkte oder Schwerpunkte (insbesondere zweite Formfunktionen) des festgelegten Abschnitts oder Bereichs der Binärbilder des Auges gemäß jedem der Zeitpunkte TA, TB und TC verbindet.

Die Fig. 57 zeigt eine Veränderung des Werts K der Bewertungsfunktion, der auf der Grundlage der in Fig. 56 gezeigten Formfunktionen berechnet wird.

In dem Fall dieser Ausführungsform 29 wird anhand der folgenden Gleichung (11) die Differenz zwischen dem Gradienten einer Linie 20 zum Verbinden des Mittelpunkts oder Schwerpunktes (XCL, YCL) des festgelegten Teils mit dem X- Koordinatenbereich von (LC - 5) bis (LC + 5) des Mittenabschnitts des Bilds des linken Auges mit dem Mittelpunkt oder Schwerpunkt (XLL, YLL) des festgelegten Teils mit dem X-Koordinatenbereich von LL bis (LL + 10) des linken Endabschnitts des Auges und dem Gradienten einer anderen Linie 20" zum Verbinden des Mittelpunkts oder Schwerpunkts (XCR, YCR) des zugeordneten (festgelegten) Teils mit dem X-Koordinatenbereich von (RC - 5) bis (RC + 5) des Mittenabschnitts des Bilds des rechten Auges mit dem Mittelpunkt oder Schwerpunkt (XRR, YRR) des festgelegten Teils mit dem X-Koordinatenbereich zwischen RR und (10 - RR) des linken Endabschnitts des Auges bestimmt; und diese bildet den Wert K der Bewertungsfunktion.

K = (YCL - YLL)/(XCL - XLL) - (YCR - YRR)/(XCR - XRR) (11)

Wie in Fig. 56 gezeigt ist, verändert sich bei geöffnetem oder geschlossenem Auge die Form der ersten Formfunktion und diejenige der zweiten Formfunktion. Im Ergebnis ist bei geschlossenem Auge der Wert K der Bewertungsfunktion niedrig, wie in Fig. 57 gezeigt ist. Demnach wird ein Schwellwert KB festgelegt, und es kann festgelegt werden, ob das Auge geöffnet oder geschlossen ist.

Ferner werden in diesem Fall die Formen festgelegter Bereiche jeweils der äußeren Endabschnitte gemäß dem linken und rechten Auge zum Erhalten der Bewertungsfunktion eingesetzt. Jedoch läßt sich eine ähnliche Wirkung in dem Fall erzielen, in dem die Formen festgelegter Bereiche der inneren Endabschnitte des linken und rechten Auges benützt werden.

Ausführungsform 30

Nun wird eine Ausführungsform 30 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 58 und 59 beschrieben. Die Fig. 58 zeigt ein Diagramm zum Darstellen eines Verfahrens zum Detektieren des geöffneten oder geschlossenen Zustands eines Auges, das durch die Ausführungsform 30 der vorliegenden Erfindung eingesetzt wird. Diese Figur zeigt die Beziehung zwischen dem Zeitablauf (ausgehend von einem Zeitpunkt TA, in dem das Auge geöffnet ist, bis zu einem anderen Zeitpunkt TC, in dem das Auge geschlossen ist, über einen zwischenliegenden Zeitpunkt TB), der sich während dieses Zeitraums verändernden Binärbilder des Ortsbereichs des Auges 8, und von X-Histogrammen (insbesondere Formfunktionen) zum Darstellen der Häufigkeit der Werte, die durch die Akkumulierung der Binärtonpegel der Pixel entlang der X-Richtung gemäß jeder der Y-Koordinaten für jedes der Binärbilder erhalten werden. Ferner wird jedes der X- Histogramme praktisch durch Scannen des Ortsbereichs des Auges 8 entlang der X-Richtung und durch Zählen der schwarzen Pixel gemäß jeder der Y-Koordinaten erhalten (es sei bemerkt, daß "SUMX" den Zählwert (insbesondere die Gesamtzahl) der schwarzen Pixel gemäß jeder der Y-Koordinaten entspricht).

Die Fig. 59 zeigt eine Veränderung des Werts K der Bewertungsfunktion, der auf der Grundlage des in Fig. 58 gezeigten X-Histogramms berechnet wird.

In dem Fall dieser Ausführungsform 30 werden die Y- Koordinaten POS, U und D des Spitzenwerts des X-Histogramms und des oberen Endes und des unteren Endes hiervon erfaßt. Ferner wird der Wert K der Bewertungsfunktion anhand der relativen Positionsbeziehung erhalten, wie sie durch die nachfolgende Gleichung (12) ausgedrückt wird. Es sei bemerkt, daß in diesem Fall der Wert K der Bewertungsfunktion die Relativposition des Spitzenwerts in dem X-Histogramm anzeigt.

K = (U - POS)/(POS - D) (12)

Wie in Fig. 58 gezeigt ist, ändert sich bei geöffnetem und geschlossenem Auge die Form des X-Histogramms. Im Ergebnis ist bei geschlossenem Auge der Wert K der Bewertungsfunktion niedrig, wie in Fig. 59 gezeigt ist. Demnach wird ein Schwellwert KB festgelegt, und es kann erfaßt werden, ob das Auge geöffnet oder geschlossen ist.

Ausführungsform 31

Nun wird eine Ausführungsform 31 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 60 und 61 beschrieben. Die Fig. 60 zeigt ein Diagramm zum Darstellen der Anordnung dieser Ausführungsform 31 der vorliegenden Erfindung. Die Fig. 61 zeigt ein Diagramm zum Darstellen eines Verfahrens dieser Ausführungsform 31 zum Extrahieren eines möglichen Ortsbereichs für ein Auge anhand des Binärbilds eines Gesichts.

Wie in Fig. 60 gezeigt ist, ist gemäß dieser Ausführungsform 31 eine Kamera 11 vorgesehen, sowie eine Bildeingabevorrichtung 12, eine Binärumsetzvorrichtung 13, eine Bewertungsfunktions-Berechnungsvorrichtung 15A und eine Extrahiervorrichtung für ein Auge 14A.

Ein Teil des Betriebs dieser Ausführungsform 31 stimmt mit einem Teil des Betriebs der zuvor erläuterten Ausführungsform 1 zwischen dem Beginn bis zu der Binärumsetzung überein. Jedoch bestimmt die Bewertungsfunktions- Berechnungsvorrichtung 15A zunächst den Mittelpunkt oder Schwerpunkt 31 anhand des Durchschnitts der Koordinaten der schwarzen Pixel eines Binärbilds 30. Anschließend werden rechteckige Bereiche, die in den festgelegten Bereichen entlang der X-Richtung auf der linken und rechten Seite dieses Mittelpunkts oder Schwerpunkts 31 vorliegen, als Ortsbereiche des Auges 32 festgelegt. Ferner werden in dem Ortsbereich des Auges 32 X-Histogramme 33 (insbesondere 33a und 33b) generiert. Anschließend werden Bandbereiche auf der Grundlage der X-Histogramme festgelegt. Ferner werden Y- Histogramme 34 (insbesondere 34a und 34b) erzeugt, zum Darstellen der Verteilung der Werte, die durch die Akkumulierung der Binärtonpegel der Pixel entlang der Y- Richtung der Spalten der Randbereiche erhalten werden. Dann werden schraffierte mögliche Bereiche 35 (insbesondere 35a und 35b) für einen Ortsbereich eines Auges extrahiert.

Hierbei werden Bewertungsfunktionen gemäß einer der zuvor erläuterten Ausführungsformen der vorliegenden Erfindung, die jeweils allen möglichen Bereichen 35 zugeordnet sind, durch die Bewertungsfunktions-Berechnungsvorrichtung 25A berechnet. Anschließend werden die berechneten Werte der Bewertungsfunktionen in einem Speicher erfaßt. Hierbei ist zu erwähnen, daß sich bei einem Blinken die Form eines Auges verändert und sich der Wert K der zugeordneten Bewertungsfunktion verändert und daß sich im Gegensatz hierzu die Form einer Augenbraue und diejenige des Rahmens einer Brille über die Zeit kaum verändert und daß somit eine Veränderung des Werts K der zugeordneten Bewertungsfunktion sehr gering ist. Demnach überprüft die Extrahiervorrichtung für ein Auge 14A, wie sich die Werte K der Bewertungsfunktionen über die Zeit verändern. Ferner unterscheidet die Extrahiervorrichtung für ein Auge 14A zwischen dem Auge, den Brauen und dem Rahmen einer Brille gemäß den Werten K der Bewertungsfunktionen und den hierbei auftretenden Veränderungen. Demnach extrahiert die Extrahiervorrichtung für ein Auge 14A den Ortsbereich eines Auges und beurteilt, ob das Auge geöffnet oder geschlossen ist.

Ausführungsform 32

Nun wird eine Ausführungsform 32 der vorliegenden Erfindung nachfolgend unter Bezug auf die Fig. 62 beschrieben. Die Fig. 62 zeigt ein Diagramm zum Darstellen des Aufbaus dieser Ausführungsform 32 der vorliegenden Erfindung. Diese Ausführungsform ist eine Kombination der zuvor erläuterten Ausführungsform 1 und der zuvor erwähnten Ausführungsform 31. Die Bewertungsfunktionen einer der vorhergehenden Ausführungsformen, die jeweils sämtlichen möglichen Bereichen 35 zugeordnet sind, werden durch die Bewertungsfunktions- Berechnungsfunktion 15A berechnet. Anschließend werden die berechneten Werte der Berechnungsfunktionen in einem Speicher erfaßt. Hierbei ist zu erwähnen, daß sich bei einem Zwinker die Form eines Auges verändert und daß sich der Wert K der zugeordneten Bewertungsfunktion verändert und daß sich im Gegensatz hierzu die Form einer Braue und diejenige des Rahmens einer Brille über die Zeit kaum verändert, und demnach ist die Veränderung des Werts K der zugeordneten Bewertungsfunktion sehr gering. Demnach überprüft die Extrahiervorrichtung für ein Auge 14B, ob sich die Werte K der Bewertungsfunktionen über die Zeit verändern. Ferner unterscheidet die Extrahiervorrichtung für das Auge/die Vorrichtung zum Beurteilen des geöffneten oder geschlossenen Zustands 14B zwischen dem Auge, der Braue und dem Rahmen einer Brille in Übereinstimmung mit den Werten K der Bewertungsfunktionen und deren Veränderungen. Demnach extrahiert die Extrahiervorrichtung für ein Auge/die Vorrichtung zum Beurteilen des geöffneten oder geschlossenen Zustands 14B den Ortsbereich eines Auges. Gleichzeitig bestimmt die Extrahiervorrichtung für das Auge/die Vorrichtung zum Beurteilen des geöffneten oder geschlossenen Zustands 14B einen Schwellwert für den Wert K der Bewertungsfunktion und beurteilt anschließend, ob das Auge geöffnet oder geschlossen ist.

Jede der zuvor erläuterten Ausführungsformen der vorliegenden Erfindung kann genau beurteilen, ob ein Auge geöffnet oder geschlossen ist, selbst in den Fällen, in denen die Veränderung der Zahl fortlaufender schwarzer Pixel entlang der Y-Richtung gering ist, was in dem Zeitpunkt des Schließens des Auges der Fall ist, und in dem sich die Veränderung der Maximalzahl fortlaufender schwarzer Pixel entlang der Y-Richtung aus einer Veränderung einer Aufwärts- oder Abwärtsrichtung eines Gesichts oder aus einer Veränderung der Links- oder Rechtsneigung des Gesichts ergibt, indem die Aufmerksamkeit auf eine Veränderung der Form des Auges gerichtet wird, die durch das Schließen des Auges bewirkt wird. Weiterhin wurden bei der vorhergehenden Beschreibung der Ausführungsformen der vorliegenden Erfindung diejenigen Fälle beschrieben, bei denen die vorliegende Erfindung bei Automobilen angewandt wird. Jedoch kann die vorliegende Erfindung auf alle Arten von Fahrzeugen angewandt werden, beispielsweise einem Zug, einer Einschienenbahn, einem Flugzeug oder einem Schiff.

Claims

1. Gesichtsbildverarbeitungssystem, umfassend:

a) eine Kamera (1) zum Aufnehmen eines Gesichtsbilds;
b) eine Bildeingabevorrichtung (2) zum Eingeben eines durch die Kamera (1) gesendeten Videosignals;
c) eine Binärumsetzvorrichtung (13) für die Binärumsetzung des durch die Bildeingabevorrichtung eingegebenen Gesichtsbilds;
d) eine Augenextrahiervorrichtung (14) zum Extrahieren eines Ortsbereichs eines Auges, der ein Auge enthält, aus dem binär umgesetzten Gesichtsbild;
e) eine Bewertungsfunktions-Berechnungsvorrichtung (15) zum Berechnen einer Bewertungsfunktion,
f) eine Vorrichtung zum Beurteilen des geöffneten oder geschlossenen Zustands zum Beurteilen anhand der Bewertungsfunktion, ob das Auge geöffnet oder geschlossen ist;

dadurch gekennzeichnet, daß

1. die Bewertungsfunktions-Berechnungsvorrichtung (15) eine Formfunktion (9, 10) berechnet, die die Krümmung des Auges in dem Ortsbereich des Auges darstellt, und die Bewertungsfunktion auf Grundlage dieser Formfunktion berechnet.

2. Gesichtsbildverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, daß die Bewertungsfunktions-Berechnungsvorrichtung

1. eine Formfunktion erster Ordnung auf der Grundlage des Binärbilds des Ortsbereichs des Auges bestimmt;
2. eine Formfunktion zweiter Ordnung in Abhängigkeit von der Formfunktion erster Ordnung berechnet; und
3. die Bewertungsfunktion in Abhängigkeit von der Formfunktion zweiter Ordnung berechnet.

3. Gesichtsbildverarbeitungssystem nach Anspruch 2, dadurch gekennzeichnet, daß
der Ortsbereich (8) des Auges, der das binäre Augenbild enthält, durch eine erste Koordinatenachse X und eine zweite Koordinatenachse Y aufgespannt wird, die zweite Koordinatenachse Y im wesentlichen die Öffnungs/Schließungs-Koordinatenachse des Auges ist, die erste Koordinatenachse X eine zu der zweiten Koordinatenachse Y senkrechte Koordinatenachse X ist, und
die Bewertungsfunktions-Berechnungsvorrichtung die Funktionswerte der Formfunktion erster Ordnung jeweils als die Anzahl der in der zweiten Koordinatenachse Y aufakkummulierten Binärtonpegel des binären Augenbilds in dem Ortsbereich (8) des Auges abhängig von der X- Koordinate in Form eines Y-Histogramms (SUM) bestimmt.

4. Gesichtsbildverarbeitungssystem nach Anspruch 2, dadurch gekennzeichnet, daß
der Ortsbereich (8) des Auges, der das binäre Augenbild enthält, durch eine erste Koordinatenachse X und eine zweite Koordinatenachse Y aufgespannt wird, die zweite Koordinatenachse Y im wesentlichen die Öffnungs/Schließungs-Koordinatenachse des Auges ist, die erste Koordinatenachse X eine zu der zweiten Koordinatenachse Y senkrechte Koordinatenachse X ist, und
die Bewertungsfunktions-Berechnungsvorrichtung die Funktionswerte der Formfunktion erster Ordnung jeweils als die Gesamtanzahl (UF) der schwarzen Pixel des binären Augenbilds in dem Ortsbereich (8) des Auges an jeder X-Koordinate bestimmt.

5. Gesichtsbildverarbeitungssystem nach Anspruch 2, dadurch gekennzeichnet, daß
der Ortsbereich (8) des Auges, der das binäre Augenbild enthält, durch eine erste Koordinatenachse X und eine zweite Koordinatenachse Y aufgespannt wird, die zweite Koordinatenachse Y im wesentlichen die Öffnungs/Schließungs-Koordinatenachse des Auges ist, die erste Koordinatenachse X eine zu der zweiten Koordinatenachse Y senkrechte Koordinatenachse X ist, und
die Bewertungsfunktions-Berechnungsvorrichtung die Funktionswerte der Formfunktion erster Ordnung an jeder X-Koordinate jeweils als den Durchschnittswert (CF) des Pixels mit dem kleinsten Y-Funktionswert und des Pixels mit dem größten Y-Funktionswert des binären Augenbilds in dem Ortsbereich (8) des Auges bestimmt.

6. Gesichtsbildverarbeitungssystem nach Anspruch 2-5, dadurch gekennzeichnet, daß die Bewertungsfunktions-Berechnungsvorrichtung eine einzelne Approximationslinie (9) als die Formfunktion zweiter Ordnung auf Grundlage der Formfunktion erster Ordnung berechnet.

7. Gesichtsbildverarbeitungssystem nach Anspruch 6, dadurch gekennzeichnet, daß die Bewertungsfunktions-Berechnungsvorrichtung die Bewertungsfunktion als einen Gradienten der einzelnen Approximationslinie (9) berechnet.

8. Gesichtsbildverarbeitungssystem nach Anspruch 2-5, dadurch gekennzeichnet, daß die Bewertungsfunktions-Berechnungsvorrichtung wenigstens zwei Approximationslinien (9, 10; 9, 9'; 9, 9") als die Formfunktion zweiter Ordnung auf Grundlage der Formfunktion erster Ordnung berechnet.

9. Gesichtsbildverarbeitungssystem nach Anspruch 6, dadurch gekennzeichnet, daß die Bewertungsfunktions-Berechnungsvorrichtung die Bewertungsfunktion als eine Differenz zwischen den Gradienten von zwei Approximationslinien (9, 10; 9, 9') berechnet.

10. Gesichtsbildverarbeitungssystem nach Anspruch 6 oder 8, dadurch gekennzeichnet, daß die Bewertungsfunktions-Berechnungsvorrichtung die jeweilige Approximationslinie dadurch berechnet, daß in einem vorgegebenen Bereich von X-Koordinaten (L; L + 20) durch Einsatz der Methode der kleinsten Fehlerquadrate eine Linie durch die Funktionswerte der Formfunktion erster Ordnung gelegt wird.

11. Gesichtsbildverarbeitungssystem nach Anspruch 6 und 10, dadurch gekennzeichnet, daß sich der vorgegebene Bereich für die einzelne Approximationslinie (9) von einem Ende des Ortsbereichs bis zu einer vorgegebenen X-Koordinate (L; L + 20) erstreckt.

12. Gesichtsbildverarbeitungssystem nach Anspruch 8 und 10, dadurch gekennzeichnet, daß sich der vorgegebene Bereich für eine erste Approximationslinie (9) von einem Ende des Ortsbereichs bis zu einer vorgegebenen X-Koordinate (L; L + 20) erstreckt, und der vorgegebene Bereich für eine zweite Approximationslinie (10) der gesamte Bereich (L; R) des Ortsbereichs in der X-Koordinatenrichtung ist.

13. Gesichtsbildverarbeitungssystem nach Anspruch 8 und 10, dadurch gekennzeichnet, daß sich der vorgegebene Bereich für eine erste Approximationslinie (9) von einem linken Ende des Ortsbereichs bis zu einer ersten vorgegebenen X- Koordinate (L; L + 20) erstreckt, und sich der vorgegebene Bereich für eine zweite Approximationslinie (9') von einem rechten Ende des Ortsbereichs bis zu einer zweiten vorgegebenen X-Koordinate erstreckt.

14. Gesichtsbildverarbeitungssystem nach Anspruch 8 und 10, dadurch gekennzeichnet, daß sich der vorgegebene Bereich für eine erste Approximationslinie (9) von einem linken Ende des Ortsbereichs bis zu einer ersten vorgegebenen X- Koordinate (L; L + 20) erstreckt, sich der vorgegebene Bereich für eine zweite Approximationslinie (9') von einem rechten Ende des Ortsbereichs bis zu einer zweiten vorgegebenen X-Koordinate erstreckt, und sich der vorgegebene Bereich für eine dritte Approximationslinie (10) über den gesamten Ortsbereichs in der X-Richtung erstreckt, wobei die Bewertungsfunktions- Berechnungsvorrichtung die Bewertungsfunktion als die Höhe (K) des durch die drei Approximationslinien (9, 9', 10) gebildeten Dreiecks berechnet.

15. Gesichtsbildverarbeitungssystem nach Anspruch 3, dadurch gekennzeichnet, daß die Bewertungsfunktions-Berechnungsvorrichtung Formfunktionen erster Ordnung jeweils auf Grundlage eines Binärbilds des rechten bzw. linken Auges bestimmt.

16. Gesichtsbildverarbeitungssystem nach Anspruch 10 und 15, dadurch gekennzeichnet, daß eine erste Approximationslinie (9) auf Grundlage der Formfunktion erster Ordnung abgeleitet aus dem Binärbild des linken Auges in einem ersten vorgegebenen Bereich von X-Koordinaten (L; L + 20) von einem Ende des Ortsbereichs bis zu einer ersten vorgegebenen X- Koordinate (L; L + 20) berechnet wird, und eine zweite Approximationslinie (9") auf Grundlage der Formfunktion erster Ordnung abgeleitet aus dem Binärbild des rechten Auges in einem zweiten vorgegebenen Bereich von X- Koordinaten (L; L + 20) von einem Ende des Ortsbereichs bis zu einer vorgegebenen zweiten X-Koordinate (L; L + 20) berechnet wird.

17. Gesichtsbildverarbeitungssystem nach Anspruch 2-5, dadurch gekennzeichnet, daß die Bewertungsfunktions-Berechnungsvorrichtung für wenigstens zwei vorgegebene Bereiche von X-Koordinaten den Durchschnittswert der Funktionswerte der Formfunktion erster Ordnung berechnet, und die Bewertungsfunktion als eine Differenz zwischen den wengistens zwei Durchschnittswerten berechnet.

18. Gesichtsbildverarbeitungssystem nach Anspruch 17, dadurch gekennzeichnet, daß ein erster vorgegebener Bereich der Mittenbereich von X- Koordinaten ist, und ein zweiter vorgegebener Bereich sich von einem Ende des Ortsbereichs bis zu einer vorgegebenen X-Koordinate erstreckt.

19. Gesichtsbildverarbeitungssystem nach Anspruch 17, dadurch gekennzeichnet, daß ein erster vorgegebener Bereich der Mittenbereich von X- Koordinaten ist, ein zweiter vorgegebener Bereich sich von einem Ende des Ortsbereichs bis zu einer vorgegebenen X-Koordinate erstreckt, und sich ein dritter vorgegebener Bereich von dem anderen Ende des Ortsbereichs bis zu einer vorgegebenen X-Koordinate erstreckt.

20. Gesichtsbildverarbeitungssystem nach Anspruch 15 und 17, dadurch gekennzeichnet, daß ein erster vorgegebener Bereich der Mittenbereich von X- Koordinaten des linken Augenbilds ist, ein zweiter vorgegebener Bereich der Mittenbereich von X-Koordinaten des rechten Augenbilds ist, ein dritter vorgegebener Bereich sich von dem linken Ende des Ortsbereichs bis zu einer vorgegebenen X-Koordinate des linken Augenbilds erstreckt, und sich ein vierter vorgegebener Bereich von dem rechten Ende des Ortsbereichs des rechten Augenbilds bis zu einer vorgegebenen X-Koordinate erstreckt, und die Bewertungsfunktions-Berechnungsvorrichtung als Berwertungsfunktion die Summe der ersten und zweiten Durchschnittswerte von der Summe der dritten und vierten Durchschnittswerte subtrahiert (GL (5)).

21. Gesichtsbildverarbeitungssystem nach Anspruch 2-5, dadurch gekennzeichnet, daß die Bewertungsfunktions-Berechnungsvorrichtung die Formfunktion zweiter Ordnung als Häufigkeitsverteilung (A) der Funktionswerte der Formfunktion erster Ordnung berechnet, und die Berwertungsfunktion als den Maximalwert (MAX) der Häufigkeitsverteilung berechnet.

22. Gesichtsbildverarbeitungssystem nach Anspruch 2-4, dadurch gekennzeichnet, daß die Bewertungsfunktions-Berechnungsvorrichtung die Formfunktion zweiter Ordnung als den X-Kreismittelpunkt der Funktionswerte der Formfunktion erster Ordnung berechnet, und die Bewertungsfunktion als den Differenzwert des Maximalwerts der Formfunktion erster Ordnung und des Funktionswerts der Formfunktion erster Ordnung an dem Kreismittelpunkt berechnet.

23. Gesichtsbildverarbeitungssystem nach Anspruch 4 oder 5, dadurch gekennzeichnet, daß
die Bewertungsfunktions-Berechnungsvorrichtung die Funktionswerte der Formfunktion erster Ordnung jeweils als die Anzahl der in der ersten Koordinatenachse X aufakkummulierten Pixel des binären Augenbilds in dem Ortsbereich (8) des Auges abhängig von der Y-Koordinate in Form eines X-Histogramms (UF, CF) bestimmt; und
die Bewertungsfunktions-Berechnungsvorrichtung den Y- Koordinatenwert (POS) des Spitzenwerts der Formfunktion zweiter Ordnung ermittelt, und die Bewertungsfunktion als den Summenwert der in einem vorgegebenen Bereich von X-Koordinaten bestimmten Differenzen zwischen den Funktionswerten (UF, CF) der Formfunktion erster Ordnung und dem Y Koordinatenwert (POS) des Spitzenwerts der Formfunktion zweiter Ordnung bestimmt.

24. Gesichtsbildverarbeitungssystem nach Anspruch 2, dadurch gekennzeichnet, daß die Bewertungsfunktions-Berechnungsvorrichtung als Formfunktion erster Ordnung einen oder mehrere Schwerpunkte von einem oder mehreren vorgegebenen Bereiche des Binärbilds in dem Ortsbereich des Auges bestimmt.

25. Gesichtsbildverarbeitungssystem nach Anspruch 24, dadurch gekennzeichnet, daß die Bewertungsfunktions-Berechnungsvorrichtung als Formfunktion erster Ordnung zwei Schwerpunkte von zwei vorgegebenen Bereichen des Binärbilds in dem Ortsbereich des Auges bestimmt, und die Formfunktion zweiter Ordnung als eine durch die zwei Schwerpunkte verlaufende Linie (20) berechnet und als Bewertungsfunktion den Gradienten dieser Linie berechnet.

26. Gesichtsbildverarbeitungssystem nach Anspruch 24, dadurch gekennzeichnet, daß die Bewertungsfunktions-Berechnungsvorrichtung für einen ersten, einen zweiten bzw. einen dritten vorgegebenen Bereich des Binärbilds einen ersten, zweiten bzw. dritten Schwerpunkt berechnet, und die Formfunktion zweiter Ordnung als zwei Linien (20, 20') bestimmt, die durch den ersten und zweiten bzw. zweiten und dritten Schwerpunkt verlaufen, und die Bewertungsfunktion als die Differenz der Gradienten der beiden Linien (20, 20') ermittelt.

27. Gesichtsbildverarbeitungssystem nach Anspruch 26, dadurch gekennzeichnet, daß der erste bzw. dritte Bereich jeweils ein X- Koordinatenbereich am linken bzw. rechten Ende des Ortsbereichs ist und der dritte Bereich ein Mittenbereich des Ortsbilds ist.

28. Gesichtsbildverarbeitungssystem nach Anspruch 24, dadurch gekennzeichnet, daß die Bewertungsfunktions-Berechnungsvorrichtung für einen ersten und zweiten Bereich von X-Koordinaten eines Binärbild des linken Augens und einen dritten und vierten vorgegebenen Bereich von X-Koordinaten in einem Binärbild des rechten Auges jeweils einen ersten, zweiten, dritten und vierten Schwerpunkt berechnet, und die Formfunktion zweiter Ordnung als zwei Linien (20, 20") bestimmt, die durch den ersten und zweiten bzw. zweiten und dritten Schwerpunkt verlaufen.

29. Gesichtsbildverarbeitungssystem nach Anspruch 28, dadurch gekennzeichnet, daß die Bewertungsfunktions-Berechnungsvorrichtung als Bewertungsfunktion die Differenz der Gradienten der beiden Linien (20, 20") ermittelt.

30. Gesichtsbildverarbeitungssystem nach Anspruch 28, dadurch gekennzeichnet, daß der erste bzw. dritte Bereich jeweils ein Mittenbereich des jeweiligen Binärbilds ist und der erste bzw. vierte Bereich jeweils ein Bereich am linken bzw. rechten Ende des jeweiligen Binärbilds ist.

31. Gesichtsbildverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, daß die Bewertungsfunktions-Berechnungsvorrichtung Formfunktionen erster und zweiter Ordnung auf der Grundlage des Binärbilds des Ortsbereichs des Auges bestimmt und die Bewertungsfunktion in Abhängigkeit von der Formfunktionen erster und zweiter Ordnung berechnet.

32. Gesichtsbildverarbeitungssystem nach Anspruch 31, dadurch gekennzeichnet, daß
der Ortsbereich (8) des Auges, der das binäre Augenbild enthält, durch eine erste Koordinatenachse X und eine zweite Koordinatenachse Y aufgespannt wird, die zweite Koordinatenachse Y im wesentlichen die Öffnungs/Schließungs-Koordinatenachse des Auges ist, die erste Koordinatenachse X eine zu der zweiten Koordinatenachse Y senkrechte Koordinatenachse X ist, und
die Bewertungsfunktions-Berechnungsvorrichtung die Funktionswerte der Formfunktion erster Ordnung jeweils als den größten Y-Koordinatenwert (UF) der Pixel des binären Augenbilds in dem Ortsbereich (8) des Auges an jeder X-Koordinate bestimmt.

33. Gesichtsbildverarbeitungssystem nach Anspruch 32, dadurch gekennzeichnet, daß die Bewertungsfunktions-Berechnungsvorrichtung die Funktionswerte der Formfunktion zweiter Ordnung jeweils als die Anzahl der in der ersten Koordinatenachse X aufakkummulierten Pixel des binären Augenbilds in dem Ortsbereich (8) des Auges abhängig von der Y-Koordinate in Form eines X-Histogramms (SUMX) bestimmt.

34. Gesichtsbildverarbeitungssystem nach Anspruch 33, dadurch gekennzeichnet, daß die Bewertungsfunktions-Berechnungsvorrichtung die Y Koordinaten (POS, U, D) des Spitzenwerts und des oberen und unteren Endes des X-Histrogramms ermittelt und die Bewertungsfunktion durch Ermitteln der relativen Positionsbeziehung der Koordinaten berechnet (GL (12)).

35. Gesichtsbildverarbeitungssystem, umfassend:

a) eine Kamera (11) zum Aufnehmen eines Gesichtsbilds;
b) eine Bildeingabevorrichtung (12) zum Eingeben eines durch die Kamera gesendeten Videosignals;
c) eine Binärumsetzvorrichtung (13) für die Binärumsetzung des durch die Bildeingabevorrichtung eingegebenen Gesichtsbilds;
d) eine Augen-Extrahiervorrichtung (14A) für ein Auge zum Extrahieren eines Ortsbereichs eines Auges, der ein Auge enthält,
e) eine Bewertungsfunktions-Berechnungsvorrichtung (15A) zum Berechnen von Bewertungsfunktion, wobei
f) die Bewertungsfunktions-Berechnungsvorrichtung (15A) vorgesehen ist
- 1. zum Extrahieren von Einzelbereichen (34a, 34b; 35a, 35b) in dem binär umgesetzten Gesichtsbild (30), in denen jeweils Einzelmerkmale (33a, 33b) des Gesichts festgestellt werden; und
- 2. zum Berechnen einer Bewertungsfunktion für jeden Einzelbereich; und wobei
g) die Augenextrahiervorrichtung (14A) auf Grundlage der Bewertungsfunktionen bestimmt, in welchem Einzelbereich das Auge vorhanden ist und diesen Einzelbereich als Ortsbereich des Auges, der das Auge enthält, extrahiert;

dadurch gekennzeichnet, daß

1. die Bewertungsfunktions-Berechnungsvorrichtung (15A) ferner vorgesehen ist
- 1. zum Berechnen einer Formfunktion, die die Krümmung des Einzelmerkmals (33a, 33b) darstellt, für jeden Einzelbereich; und
- 2. zum Berechnen der Bewertungsfunktion jeweils auf Grundlage der Formfunktion in jedem Einzelbereich.

36. Gesichtsbildverarbeitungssystem nach Anspruch 35, gekennzeichnet durch eine Vorrichtung (14B) zum Beurteilen des geöffneten/geschlossenen Zustands des Auges auf Grundlage der Bewertungsfunktion, die dem extrahierten Einzelbereich zugeordnet ist.