DE19613614C2

DE19613614C2 - Vorrichtung zur Bearbeitung eines Bildes eines Gesichts

Info

Publication number: DE19613614C2
Application number: DE19613614A
Authority: DE
Inventors: Hiroyoshi Suzuki
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1995-05-10
Filing date: 1996-04-04
Publication date: 1999-10-21
Anticipated expiration: 2016-04-05
Also published as: JPH08300978A; US5859921A; JP3452685B2; DE19613614A1

Description

Die vorliegende Erfindung betrifft eine Vorrichtung zur Bearbeitung eines Bildes eines Gesichts, und betrifft insbesondere eine Vorrichtung zur Bearbeitung eines Bildes eines Gesichts, um das mit einem Fotoapparat aufgenommene Bild des Gesichts eines Fahrers auf solche Weise zu bearbeiten, daß ein Bereich mit einem charakteristischen Merkmal des Gesichts herausgezogen wird, und dann der Fahrzustand des Fahrers auf der Grundlage des Zustands des herausgezogenen Bereichs mit dem charakteristischen Merkmal erfaßt wird.

Es ist bislang eine Vorrichtung zur Bearbeitung des Bildes eines Gesichts bekannt, welche dadurch ein Auge, welches eines von charakteristischen Merkmalen eines Gesichts ist, dadurch herauszieht, daß das mit einer in einem Fahrzeug angeordneten Kamera aufgenommene Bild des Gesichts eines Fahrers bearbeitet wird, wodurch ein Fahrzustand (des Fahrers) erfaßt wird, nämlich beispielsweise, daß der Fahrer zur Seite sieht, oder schläft. Bei einer bekannten Vorrichtung wird dadurch ein Auge herausgezogen, daß auf der Grundlage der Übereinstimmung mit einer Schablone das Auge direkt aus einem Gesichtsbild in Form eines Halbtonbildes herausgezogen wird, ohne in eine andere Form umgewandelt zu werden (offengelegtes japanisches Patent Nr. 6-255388 (1994)). Bei einem weiteren bekannten Verfahren wird dadurch ein Auge herausgezogen, daß der dunkelste Punkt eines Gesichtsbildes bestimmt wird (offengelegtes japanisches Patent Nr. 6-266981 (1994)). Bei einem weiteren bekannten Verfahren wird ein Halbtonbild in ein binäres Bild (mit zwei Pegeln) umgewandelt, und dann wird dadurch ein Auge herausgezogen, daß ein schwarzer Bereich innerhalb der Gesichtskontur des binären Bildes festgestellt wird (offengelegtes japanisches Patent Nr. 6-32154 (1994)). Von diesen konventionellen Vorgehensweisen wird nachstehend die in dem japanischen offengelegten Patent Nr. 6-32154 (1994) beschriebene Vorgehensweise erläutert.

Fig. 42 ist ein Flußdiagramm des Betriebsablaufs zur Erfassung des Zustands eines Fahrers entsprechend dem Verfahren, welches in dem offengelegten japanischen Patent Nr. 6-32154 (1994) beschrieben ist. Fig. 43 ist eine schematische Darstellung des Vorgangs zum Umwandeln eines Gesichtsbild in binäre Form entsprechend diesem Verfahren.

Bei dem in Fig. 42 gezeigten ersten Schritt S88 wird ein Bild des Gesichts eines Fahrers mit einer Kamera aufgenommen, und das sich ergebende Halbtonbildsignal an eine Bildeingabevorrichtung (nicht gezeigt) angelegt. Das Bildsignal in analoger Form wird dann in digitale Form umgewandelt, und im Schritt S89 wird das sich ergebende, digitale Halbtonbild in einem (nicht gezeigten) Einzelbildspeicher gespeichert.

Im Schritt S90 werden die Bilddaten aus dem Einzelbildspeicher ausgelesen und durch eine Binärumwandlungsvorrichtung (nicht dargestellt) in ein binäres Bild in Bezug auf eine geeignete Schwelle umgewandelt. Im Schritt S91 wird eine Startlinie zum Abtasten des Gesichtsbildes in Horizontalrichtung (auch als Y- Richtung bezeichnet) festgelegt, und Bildelemente mit weißem Pegel werden dadurch gesucht, daß das Gesichtsbild in der Horizontalrichtung abgetastet wird, mit der Startlinie beginnend. Im Schritt S92 wird die Anzahl aufeinanderfolgender Bildelemente mit weißem Pegel gezählt. Im Schritt S93 wird die vertikale Grenze des Gesichtsbildes dadurch festgestellt, daß die Enden einer Fläche festgestellt werden, welche die größte Anzahl aufeinanderfolgender Bildelemente mit weißem Pegel enthält.

Im Schritt S94 werden die Y-Koordinaten eines Augensuchbereiches auf der Grundlage der Vertikalgrenze des Gesichtsbilds festgelegt, die im Schritt S93 ermittelt wurde. Im Schritt S95 wird eine Startlinie zur Abtastung des Gesichtsbildes in Vertikalrichtung (auch als X-Richtung bezeichnet) festgelegt. Im Schritt S96 werden schwarze Bereiche erfaßt, die aufeinanderfolgende schwarze Bildelemente in dem Augensuchbereich enthalten, durch Abtastung des Gesichtsbildes, beginnend mit der voranstehend festgelegten Startlinie. Im Schritt S97 wird eine Augenfläche aus der Positionsbeziehung zwischen den festgestellten schwarzen Bereichen und auch aus der Anzahl schwarzer Bildelemente festgestellt, die in der Vertikalrichtung gezählt wurden.

Schließlich stellt im Schritt S98 eine Augenmomentanzustands- Erfassungsvorrichtung (nicht gezeigt) eine Öffnungs- und Schließbewegung eines Auges dadurch fest, daß die Anzahl schwarzer Bildelemente festgestellt wird, die in der Vertikalrichtung gezählt wurde, innerhalb der in dem vorherigen Schritt festgelegten Augenfläche. Im Schritt S99 bestimmt eine (nicht dargestellte) Schlafbeurteilungsvorrichtung, ob der Fahrer schläft oder nicht, auf der Grundlage der Information bezüglich der Öffnungs- und Schließbewegung, die in dem vorherigen Schritt ermittelt wurde.

Allerdings ist es bei der voranstehend geschilderten, konventionellen Vorgehensweise erforderlich, ständig das Gesicht mit einem Lichtstrahl im nahen Infrarot mit hoher Intensität zu beleuchten, um ein stabiles Binärbild zu erhalten. Insbesondere ist im Betrieb bei Tage eine sehr hohe Beleuchtungsintensität erforderlich, um Störeinflüsse infolge von Bestandteilen des Sonnenlichts im nahen Infrarot auszuschalten.

In einigen Fällen wird das Gesichtsbild unter Beleuchtung mittels Sonnenlicht aufgenommen, ohne eine künstliche Beleuchtung einzusetzen, die viel elektrische Energie erfordert. Allerdings wird bei dieser Vorgehensweise beim Fahren eines Fahrzeugs die Beleuchtung mit Sonnenlicht durch die Richtung oder Höhe der Sonne und andere Umstände gestört, beispielsweise das Filtern des Sonnenlichts in Richtung nach unten durch Bäume. Dies führt dazu, daß ein Gesicht im Schatten liegen kann, und daher das Gesichtsbild nicht in ein ordnungsgemäßes Binärbild umgewandelt werden kann, wodurch in der Hinsicht Schwierigkeiten auftreten, wenn ein Auge herausgezogen werden soll. Bei dem in Fig. 43 gezeigten Beispiel wird das Gesicht eines Fahrers durch Sonnenlicht beleuchtet, welches schräg von vor dem Fahrer aus einfällt, wobei die obere Hälfte des Gesichts infolge des Windschutzscheibenrahmens oder der Sonnenblende eines Fahrzeugs im Schatten liegt. Wenn das Gesichtsbild entsprechend der konventionellen Vorgehensweise in Binärform umgewandelt wird, tritt ein großer Unterschied des Bildelementsignalpegels zwischen der oberen und der unteren Hälfte des Gesichts auf, und daher wird der Schwellenwert bei dem Binärumwandlungsvorgang infolge des hellen Abschnitts des Gesichtsbildes hoch. Daher wird bei dem in Fig. 43 gezeigten Beispiel, obwohl die Nasenlöcher und eine Linie zwischen den Lippen festgestellt werden können, die obere Hälfte einschließlich der Augen, des Haars und der Augenbrauen als einzige schwarze Fläche erfaßt, und ist es daher unmöglich, einen Augenbereich herauszuziehen.

Andererseits ist es bei einem Verfahren zum Herausziehen eines Auges aus einem Halbtonbild ohne Verwendung eines binären Bildes ein Einzelbildspeicher mit hoher Kapazität zum Speichern eines Halbtonbildes erforderlich. Dies führt allerdings zu hohen Kosten. Darüber hinaus erfordert der Umgang mit dem Halbtonbild relativ viel Zeit, und ist es schwierig, eine ausreichend hohe Geschwindigkeit im Echtzeitbetrieb zu erzielen.

Wenn bei dem Verfahren zur Erfassung eines Auges unter Verwendung der Gesichtskonturen der Hintergrund hell ist, kann darüber hinaus die Gesichtskontur nicht korrekt herausgezogen werden. Bei dem auf Mustererkennung beruhenden Verfahren führen Änderungen der Form oder Positionen von Augen oder Brillengläsern zu Schwierigkeiten bei dem Musteranpassungsvorgang. Andererseits ist es bei dem auf der Erfassung des dunkelsten Punktes beruhenden Verfahren schwierig, die Pupille eines Auges von anderen schwarzen Bereichen, beispielsweise einer Warze, zu unterscheiden.

Die nicht vorveröffentlichte DE 44 41 332 A1 zeigt insbesondere die Ausbildung der Strahlungsrichtung zwischen einer Beleuchtungsvorrichtung und einem Fahrer bei einer Fahrer- Fotografiervorrichtung.

Die ebenfalls nicht vorveröfentlichte DE 195 09 689 A1 zeigt ein Körperzustands-Erfassungsgerät mit einer Kamera zur Aufnahme eines Bildes eines Gesichts, einer Bildsignaleingabevorrichtung zur Eingabe eines Bildsignals von der Kamera, einer Graustufenumwandlungsvorrichtung zum Umwandeln des Graupegels eines Gesichtsbildes, einer variablen Binärumwandlungsvorrichtung zur Einstellung eines Augensuchbereichs eines Ausgangsbildes der Graustufenumwandlungsvorrichtung, einer Augensuchbereichseinstellvorrichtung zur Einstellung eines Augensuchbereichs in einem binären Bild von der Binärumwandlungsvorrichtung, einer Zielbereichseinstellvorrichtung zur Einstellung eines oder mehrerer Zielbereiche in dem Augensuchbereich und einer Augenbereichserfassungsvorrichtung zur Erfassung eines Augenbereichs aus den Zielbereichen. Dabei ist insbesondere ein derartiges Beleuchten beschrieben, daß die optische Achse der Kamera und die Richtung der Beleuchtung zusammenfallen.

Das allgemeine Ziel der vorliegenden Erfindung besteht in der Lösung der voranstehend geschilderten Probleme. Genauer gesagt besteht ein Ziel der vorliegenden Erfindung in der Bereitstellung einer kostengünstigen Gesichtsbildbearbeitungsvorrichtung, welche den Fahrzustand des Fahrers nicht nur bei künstlicher Beleuchtung korrekt erfassen kann, sondern auch bei Beleuchtung mit Sonnenlicht, unabhängig von der Richtung oder Höhe der Sonne, und unabhängig von zufälligen Umständen wie beispielsweise der Filterung des Sonnenlichts in Richtung nach unten durch Bäume, und ebenfalls unabhängig von Änderungen der Gesichtsform bei verschiedenen Personen. Insbesondere soll die Graustufenumwandlungsvorrichtung kostengünstig ausgebildet werden.

Diese Aufgabe wird durch eine Vorrichtung gelöst, wie sie im Anspruch 1 definiert ist. Die abhängigen Ansprüche 2 bis 33 zeigen vorteilhafte Ausgestaltungen der Vorrichtung des Anspruchs 1.

Gemäß vorliegenden Erfindung wird insbesondere eine Vorrichtung zur Bearbeitung eines Bildes eines Gesichts zur Verfügung gestellt, welche aufweist: eine Kamera (Fotoapparat) zur Aufnahme eines Bildes eines Gesichts; eine Bildsignaleingabevorrichtung zur Eingabe eines Bildsignals von der Kamera; eine Graustufenumwandlungsvorrichtung zur Umwandlung des Graupegels eines Gesichtsbildes, welches über die Bildsignaleingabevorrichtung eingegeben wurde, auf solche Weise, daß ein Schwarzpegelbereich herausgezogen wird, der zumindest in den Abmessungen entlang einer Bildachse (X-Achse) parallel oder nahezu parallel zur Vertikalrichtung eines Gesichts kleiner ist als eine vorbestimmte Länge entsprechend der Breite von oben nach unten eines Auges; eine variable Binärumwandlungsvorrichtung zum Umwandeln eines Ausgangsbildes der Graupegelumwandlungsvorrichtung in ein binäres Bild entsprechend einer variablen Schwelle; eine Augensuchbereichseinstellvorrichtung zur Einstellung eines Augensuchbereiches in einem Binärbild, welches von der variablen Binärumwandlungsvorrichtung zur Verfügung gestellt wird; eine Zielbereichseinstellvorrichtung zum Einstellen eines oder mehrerer Zielbereiche in dem Augensuchbereich; und eine Augenbereichserfassungsvorrichtung zur Erfassung eines Augenbereichs aus den Zielbereichen.

Dabei wird ein Bild des Gesichts eines Fahrers mit einer Kamera aufgenommen, und das sich ergebende Gesichtsbild in die Bildsignaleingabevorrichtung eingegeben. Dann zieht die Graupegelumwandlungsvorrichtung durch Filtern Schwarzpegelbereiche, deren Abmessungen kleiner sind als die Breite in Richtung von oben nach unten eines Auges, aus dem eingegebenen Gesichtsbild heraus, wodurch die Bereiche mit charakteristischen Merkmalen wie beispielsweise Augen, Augenbrauen, Nasenlöcher und eine Linie zwischen den Lippen herausgezogen werden. Das sich ergebende Bild der charakteristischen Merkmale wird dann durch die variable Binärumwandlungsvorrichtung in ein binäres Bild umgewandelt. Hierdurch wird sichergestellt, daß das Gesichtsbild korrekt in ein Binärbild umgewandelt wird, unabhängig von Störungen wie beispielsweise der Abschattierung von Sonnenlicht, wodurch nur die charakteristischen Merkmale eines Gesichts korrekt herausgezogen werden können. Weiterhin führt diese Vorgehensweise zu einer wesentlichen Verringerung der Menge an Bildinformation, die bearbeitet werden muß, und aus diesem Grund ist weniger Speicherplatz erforderlich. Weiterhin legt die Augensuchbereichseinstellvorrichtung Augensuchbereiche in dem Binärbild fest, und dann werden Augenzielbereiche in diesem Augensuchbereich durch die Zielbereichseinstellvorrichtung eingestellt. Aus diesen Zielbereichen werden Augenbereiche korrekt durch die Augenbereichserfassungsvorrichtung erfaßt, unabhängig von Änderungen der Form eines Gesichts bei verschiedenen Personen, und unabhängig von den Umgebungsbedingungen, beispielsweise einer Abschattierung des Sonnenlichts. Da bei diesem Verfahren der Augenerfassungsvorgang für einen begrenzten Bereich durchgeführt wird, können Augen in kurzer Zeit korrekt erfaßt werden.

Bei einer bevorzugten Ausführungsform zieht die voranstehend geschilderte Graupegelumwandlungsvorrichtung einen Schwarzpegel in einer Richtung parallel zur Bildelementenabtastrichtung der Kamera heraus. Hierdurch kann die Bildelement- Graustufenumwandlung mit höherer Geschwindigkeit durchgeführt werden. Darüber hinaus wird die Graustufenumwandlungsvorrichtung vorzugsweise durch Hardware verwirklicht, um eine höhere Betriebsgeschwindigkeit zu erreichen.

Gemäß der vorliegenden Erfindung wird weiterhin eine Vorrichtung zur Bearbeitung eines Bildes eines Gesichts zur Verfügung gestellt, welche aufweist: Eine Kamera zum Aufnehmen eines Bildes eines Gesichts; eine Bildsignaleingabevorrichtung zur Eingabe eines Bildsignals von der Kamera; eine erste Graustufenumwandlungsvorrichtung zur Durchführung einer Graustufenumwandlung bei dem Gesichtsbild, welches über die Bildsignaleingabevorrichtung empfangen wurde, auf solche Weise, daß ein Schwarzpegelbereich herausgezogen wird, der geringere Abmessungen entlang der X-Achse aufweist als eine vorbestimmte Länge entsprechend der Breite in Richtung von oben nach unten eines Auges; eine erste variable Binärumwandlungsvorrichtung zur Umwandlung eines Ausgangsbildes der ersten Graustufenumwandlungsvorrichtung in ein binäres Bild entsprechend einer variablen Schwelle; eine zweite Graustufenumwandlungsvorrichtung zum Herausziehen eines Schwarzpegelbereiches, der kleinere Abmessungen entlang der Y- Achse senkrecht zur X-Achse aufweist als eine vorbestimmte Länge entsprechend der Breite von oben nach unten eines Auges; eine zweite variable Binärumwandlungsvorrichtung zum Umwandeln eines Ausgangsbildes der zweiten Graustufenumwandlungsvorrichtung in ein binäres Bild entsprechend einer variablen Schwelle; eine Logikadditions- Bildberechnungsvorrichtung (zur Durchführung einer logischen UND-Operation) zur Berechnung des Produktes binärer Bilder, die von der ersten und zweiten variablen Binärumwandlungsvorrichtung zur Verfügung gestellt werden; eine Augensuchbereichseinstellvorrichtung zur Einstellung eines Augensuchbereiches in einem binären Bild, welches als Ergebnis der logischen UND-Operation erhalten wird; eine Zielbereichseinstellvorrichtung zur Einstellung eines oder mehrerer Zielbereiche in dem Augensuchbereich; und eine Augenbereichserfassungsvorrichtung zur Erfassung eines Augenbereichs aus den Zielbereichen.

Dabei wird ein Bild des Gesichts eines Fahrers mit einer Kamera aufgenommen, und das sich ergebende Gesichtsbild in die Bildsignaleingabevorrichtung eingegeben. Dann zieht die erste Graustufenumwandlungsvorrichtung durch Filtern Schwarzpegelbereiche, deren Abmessungen kleiner sind als die Breite in Richtung von oben nach unten eines Auges, aus dem eingegebenen Gesichtsbild heraus, wodurch die Bereiche mit charakteristischen Merkmalen wie beispielsweise Augen, Augenbrauen, Nasenlöcher und eine Linie zwischen den Lippen herausgezogen werden. Das sich ergebende Bild mit den charakteristischen Merkmalen wird dann durch die erste variable Binärumwandlungsvorrichtung in ein binäres Bild umgewandelt. Dann zieht die zweite Graustufenumwandlungsvorrichtung durch Filtern Schwarzpegelbereiche, deren Horizontallänge kleiner ist als die Breite von oben nach unten eines Auges, aus dem eingegebenen Gesichtsbild heraus, wodurch die Bereiche mit charakteristischen Merkmalen wie beispielsweise die Iris- und Pupillenbereiche und die Nasenlöcher herausgezogen werden. Das sich ergebende Bild der charakteristischen Merkmale wird dann durch die zweite variable Binärumwandlungsvorrichtung in ein binäres Bild umgewandelt. Dann zieht die zweite Graustufenumwandlungsvorrichtung durch Filtern Schwarzpegelbereiche, deren Horizontallänge kleiner ist als die Breite von oben nach unten eines Auges, aus dem eingegebenen Gesichtsbild heraus, wodurch die Bereiche mit charakteristischen Merkmalen wie beispielsweise die Iris- und Pupillenbereiche und die Nasenlöcher herausgezogen werden. Das sich ergebende Bild der charakteristischen Merkmale wird dann durch die zweite variable Binärumwandlungsvorrichtung in ein Binärbild umgewandelt. Hierdurch wird sichergestellt, daß das Gesichtsbild korrekt in ein Binärbild umgewandelt wird, unabhängig von Störungen wie beispielsweise der Abschattierung von Sonnenlicht, so daß nur charakteristische Merkmale eines Gesichts ordnungsgemäß herausgezogen werden können. Die Logikadditions-Berechnungsvorrichtung berechnet das Produkt der binäre Bilder, die von der ersten und zweiten variablen Binärumwandlungsvorrichtung ausgegeben werden, wodurch weiter eingeschränkte Bereiche mit charakteristischen Merkmalen erhalten werden, die im wesentlichen nur die Iris- und Pupillenbereiche enthalten. Dies erhöht die Wahrscheinlichkeit für das korrekte Herausziehen der Augen. Weiterhin stellt die Augensuchbereichseinstellvorrichtung einen Augensuchbereich in einem binären Bild ein, welches als Ergebnis der genannten logischen UND-Operation erhalten wird, und dann stellt die Zielbereichseinstellvorrichtung Augenzielbereiche in dem genannten Augensuchbereich ein. Die Augenbereichserfassungsvorrichtung erfaßt korrekt Augenbereiche aus diesen Zielbereichen. Bei dieser Vorgehensweise wird der Augenerfassungsvorgang auf einen engen Bereich begrenzt, und daher können die Augen mit hoher Verläßlichkeit erfaßt werden.

Bei einer bevorzugten Ausführungsform weist die voranstehend geschilderte Graustufenumwandlungsvorrichtung auf: ein Maximalwertextraktionsfilter zum Herausziehen eines maximalen Signalpegels zwischen benachbarten Bildelementen, die sich an aufeinanderfolgenden Positionen innerhalb eines vorbestimmten Bereichs befinden; ein Minimalwertextraktionsfilter zum Herausziehen eines minimalen Signalpegels aus dem Ausgangsbild des Maximalwertextraktionsfilters im selben Bereich wie jenem des Maximalwertextraktionsfilters; und einen Subtrahierer zum Subtrahieren des Ausgangswertes des Minimalwertextraktionsfilters von dem eingegebenen Gesichtsbild.

In der Graustufenumwandlungsvorrichtung legt daher das Maximalwertextraktionsfilter erneut den Signalpegel jedes Bildelements des Gesichtsbildes fest, so daß der Signalpegel des Bildelements gleich dem maximalen Signalpegel seiner benachbarten Bildelemente ist, die sich an aufeinanderfolgenden Positionen in einem vorbestimmten Bereich befinden, welcher dieses Bildelement in seinem Zentrum aufweist. Dann legt das Minimalwertextraktionsfilter erneut den Signalpegel jedes Bildelements fest, der von dem Maximalwertextraktionsfilter ausgegeben wird, so daß der Signalpegel des Bildelements gleich dem minimalen Signalpegel seiner benachbarten Bildelemente ist, die sich an aufeinanderfolgenden Positionen in einem vorbestimmten Bereich befinden, welcher dieses Bildelement in seinem Zentrum aufweist. Schließlich subtrahiert der Subtrahierer den Ausgangswert (das Ausgangssignal) des Minimalwertextraktionsfilters von dem eingegebenen Gesichtsbild, wodurch der voranstehend geschilderte Schwarzpegelbereich herausgezogen wird, dessen Abmessungen kleiner als der vorbestimmte Wert sind. Die Graustufenumwandlungsvorrichtung kann unter geringem Kostenaufwand einfach durch Hardware verwirklicht werden, und daher ist es möglich, einen Betrieb mit hoher Geschwindigkeit zu erreichen.

Bei einer weiteren bevorzugten Ausführungsform weist die Graustufenumwandlungsvorrichtung auf: ein Maximalwertextraktionsfilter zum Herausziehen eines maximalen Signalpegel von Bildelementen, die jeweils einzeln aus einer vorbestimmten Anzahl an Bildelementen ausgewählt werden, in Bezug auf die dem ausgewählten Bildelement benachbarten Bildelemente, die in einem vorbestimmten Bereich liegen; ein Minimalwertextraktionsfilter zum Herausziehen eines minimalen Signalpegels des Ausgangsbildes des Maximalwertextraktionsfilters auf solche Weise, daß Bildelemente jeweils aus einer vorbestimmten Anzahl von Bildelementen ausgewählt werden, wobei der Minimalwert gegenüber benachbarten Bildelementen bestimmt wird, die in demselben Bereich liegen wie jenem des Maximalwertextraktionsfilters, und ein minimaler Signalpegel dieser ausgewählten Bildelemente als das Ausgangssignal des Minimalwertextraktionsfilters genommen wird; und einen Subtrahierer zum Subtrahieren des Ausgangswertes bzw. Ausgangssignals des Minimalwertextraktionsfilters von dem eingegebenen Gesichtsbild.

Bei der Graustufenumwandlungsvorrichtung wird daher der Maximalwertfiltervorgang mit dem Maximalwertextraktionsfilter, und ebenso der Minimalwertfiltervorgang mit dem Minimalwertextraktionsfilter, für jede vorbestimmte Anzahl an Bildelementen durchgeführt. Dies ermöglicht eine Verringerung der Hardwareschaltungsgröße der Filter.

Bei einer weiteren bevorzugten Ausführungsform führt die variable Binärumwandlungsvorrichtung eine Binärumwandlung von Bildelementen auf einer Abtastlinie auf der Grundlage einer Binärumwandlungsschwelle durch, die als Funktion der Summe zumindest des gewichteten Spitzenwertpegels und des gewichteten Mittelwerts der Bildelemente auf der vorherigen Abtastlinie festgelegt wird.

Hierbei wandelt die variable Binärumwandlungsvorrichtung den Signalpegel von Bildelementen in Binärpegel für jede Abtastlinie durch Hardware bei hoher Geschwindigkeit um. Da die Binärumwandlungsschwelle als Funktion der Summe des gewichteten Spitzenwertpegels und des gewichteten Mittelwerts der Bildelemente festgelegt wird, kann bei dieser Operation die Binärumwandlung selbst dann korrekt durchgeführt werden, wenn eine örtliche Verteilung der Graustufen bzw. des Graupegels bei dem Bild vorhanden ist.

Bei einer weiteren bevorzugten Ausführungsform weist die Augensuchbereichseinstellvorrichtung eine Gesichtszentrumserfassungsvorrichtung zur Berechnung einer Zentrumsposition des Gesichts innerhalb des binären Bildes auf, und die Augensuchbereichseinstellvorrichtung ordnet zwei rechteckige Augensuchbereiche an zwei Basispositionen auf der rechten bzw. linken Seite des Gesichts an, wobei jede Basisposition um eine vorbestimmte Entfernung von der Zentrumsposition des Gesichts entfernt angeordnet ist, eine Seite jedes rechteckigen Augensuchbereiches sich um eine vorbestimmte Entfernung gegenüber der zugehörigen Basisposition in einer Richtung entlang der Vertikalrichtung des Gesichts erstreckt, und eine andere Seite jedes rechteckigen Augensuchbereiches sich um eine vorbestimmte Entfernung von der zugehörigen Basisposition aus entlang der Horizontalrichtung des Gesichts erstreckt.

In einem binären Bild, welches aus herausgezogenen Bereichen charakteristischer Merkmale besteht, liegen Augenbereiche in der Nähe des Gesichtszentrums. Unter Berücksichtigung dieser Tatsache ordnet die Augensuchbereichseinstellvorrichtung zwei rechteckige Augensuchbereiche auf der rechten bzw. linken Seite des Gesichts so an, daß ihre jeweiligen Basispositionen um eine vorbestimmte Entfernung von der Zentrumsposition des Gesichts entfernt angeordnet sind, wodurch der Augenerfassungsvorgang auf kleinere Bereiche beschränkt wird. Dies führt zu einer Verringerung der zum Herausziehen von Augen erforderlichen Betriebszeit.

Bei einer weiteren bevorzugten Ausführungsform weist die Augensuchbereichseinstellvorrichtung eine Gesichtszentrumserfassungsvorrichtung zur Berechnung einer Zentrumsposition des Gesichtes innerhalb des binären Bildes auf, und weist eine Gesichtszentrumslinienerfassungsvorrichtung zur Berechnung einer vertikalen Zentrumslinie des Gesichts auf, und die Augensuchbereichseinstellvorrichtung ordnet zwei rechteckige Augensuchbereiche an zwei Basispositionen auf der rechten bzw. linken Seite des Gesichts an, wobei jede Basisposition um eine vorbestimmte Entfernung von der Zentrumsposition des Gesichts entfernt angeordnet ist, eine Seite jedes rechteckigen Augensuchbereiches sich parallel zur Gesichtszentrumslinie um eine vorbestimmte Entfernung von der zugehörigen Basisposition in einer Richtung entlang der Vertikalrichtung des Gesichts erstreckt, und eine andere Seite jedes rechteckigen Augensuchbereiches sich um eine vorbestimmte Entfernung von der zugehörigen Basisposition entlang der Horizontalrichtung des Gesichts erstreckt.

In einem Binärbild, welches aus herausgezogenen Bereichen mit charakteristischen Merkmalen besteht, befinden sich Augenbereiche in der Nähe des Gesichtszentrums, wobei ein Augenbereich auf der rechten Seite der vertikalen Zentrumslinie des Gesichts liegt, und der andere an der linken Seite der vertikalen Zentrumslinie des Gesichts liegt. Bei der vorliegenden Erfindung ordnet daher die Augensuchbereichseinstellvorrichtung zwei rechteckige Augensuchbereiche an zwei Basispositionen auf der rechten bzw. linken Seite des Gesichts an, wobei jede Basisposition um eine vorbestimmte Entfernung von der Zentrumsposition des Gesichts entfernt ist, eine Seite jedes rechteckigen Augensuchbereiches parallel zur Gesichtszentrumslinie verläuft, wodurch der Augenerfassungsvorgang auf einen noch weiter eingegrenzten Bereich beschränkt wird. Hierdurch wird sichergestellt, daß Augen mit höherer Verläßlichkeit in kürzerer Zeit herausgezogen werden können. Darüber hinaus erlaubt diese Vorgehensweise ein erfolgreiches Herausziehen der Augen selbst dann, wenn das Gesicht schräg in dem Bild angeordnet ist.

Bei einer weiteren bevorzugten Ausführungsform weist die Augensuchbereichseinstellvorrichtung eine Nasenlochflächenerfassungsvorrichtung zur Feststellung einer Nasenlochfläche in dem binären Bild auf, und die Augensuchbereichseinstellvorrichtung ordnet zwei rechteckige Augensuchbereiche an zwei Basispositionen auf der rechten bzw. linken Seite des Gesichts an, wobei jede Basisposition um eine vorbestimmte Entfernung von dem Mittelpunkt zwischen rechten und linken Nasenlochbereichen entfernt angeordnet ist, eine Seite jedes rechteckigen Augensuchbereiches sich um eine vorbestimmte Entfernung von der zugehörigen Basisposition in einer Richtung entlang der Vertikalrichtung des Gesichts erstreckt, und eine andere Seite jedes rechteckigen Augensuchbereiches sich um eine vorbestimmte Entfernung gegenüber der zugehörigen Basisposition entlang der Horizontalrichtung des Gesichts erstreckt.

Unter Berücksichtigung der Tatsache, daß Augenbereiche oberhalb der Nasenlöcher angeordnet sind, ordnet daher die Augensuchbereichseinstellvorrichtung zwei rechteckige Bereiche als Augensuchbereiche an einem oben rechts bzw. oben links angeordneten Ort an, wobei diese Orte in Bezug auf den Mittelpunkt zwischen Nasenlochbereichen festgelegt werden, wodurch der Augenherausziehvorgang auf verengte Bereiche begrenzt wird. Daher können Augen in noch kürzerer Zeit herausgezogen werden. Selbst wenn ein Augensuchbereich aus irgendeinem Grund nicht in Bezug auf das Gesichtszentrum festgelegt werden kann, ist es möglich, einen Augensuchbereich am richtigen Ort durch Bezugnahme auf den Ort der Nasenlöcher anzuordnen.

Bei einer weiteren bevorzugten Ausführungsform weist die Augenbereichserfassungsvorrichtung eine Vertikalhistogramm- Berechnungsvorrichtung zur Berechnung des Horizontalprofils der Summe der Binärpegel auf, die entlang der Vertikalrichtung des Gesichts innerhalb eines Zielbereiches liegen, und wenn die Horizontalbreite des Zielbereiches innerhalb eines vorbestimmten Bereiches liegt, beurteilt die Augenbereichserfassungsvorrichtung, ob der Zielbereich ein Augenbereich ist oder nicht, auf der Grundlage einer Bewertungsfunktion, die sowohl den repräsentativen Wert für die Größe des vertikalen Histogramms als auch den repräsentativen Wert der Form des vertikalen Histogramms umfaßt.

Daher wählt die Augenbereichserfassungsvorrichtung eine begrenzte Anzahl an Augenzielbereichen auf der Grundlage der Breite von Augenzielbereichen in Bezug auf die typische Breite eines Auges aus. Dies gestattet eine Verringerung der Menge an Berechnungen, die zum Herausziehen von Augen erforderlich sind. Darüber hinaus kann die Bearbeitung bezüglich des vertikalen Histogramms auf einfache Weise durch Hardware erzielt werden, und daher ist es möglich, korrekt und schnell Augenbereiche zu erfassen, wobei sowohl der repräsentative Wert der Größe des vertikalen Histogramms als auch der repräsentative Wert der Form des vertikalen Histogramms als Bewertungsfunktion verwendet werden.

Bei einer weiteren bevorzugten Ausführungsform weist die Augenbereichserfassungsvorrichtung eine Speichervorrichtung auf, um den Bewertungsfunktionswert jedes Zielbereiches in den beiden rechteckigen Augensuchbereichen (dem rechten und dem linken Bereich) zu speichern, wobei der Bewertungsfunktionswert für jedes Bild gespeichert wird, und die Augenbereichserfassungsvorrichtung untersucht die Bewertungsfunktionswerte, die in der Speichervorrichtung gespeichert sind, und betrachtet einen Zielbereich, der eine maximale Variation bezüglich der Bewertungsfunktion bei einer vorbestimmten Anzahl an Bildern aufweist, als ein Auge.

Unter Berücksichtigung der Tatsache, daß Augenbereiche eine zeitliche Änderung der Form in größerem Ausmaß zeigen als die anderen Bereiche charakteristischer Merkmale, erfaßt daher die Augenbereichserfassungsvorrichtung einen Augenbereich, unter Beurteilung der zeitlichen Änderungen der Bewertungsfunktionswerte, die in dem Speicher für jedes Bild gespeichert sind, ohne daß eine Verwechslung mit anderen Teilen wie beispielsweise Augenbrauen oder Brillen auftritt.

Bei einer weiteren bevorzugten Ausführungsform weist die Augenbereichserfassungsvorrichtung eine Berechnungsvorrichtung für einen repräsentativen Punkt zur Berechnung eines repräsentativen Punkts jedes Zielbereiches auf, der in dem rechteckigen Augensuchbereich als ein Auge angesehen wurde, und schließlich wird ein Zielbereich, dessen Entfernung zwischen dem Gesichtszentrum und dem repräsentativen Punkt des als Auge angesehenen Zielbereichs am kleinsten ist, als ein Auge angesehen.

Unter Berücksichtigung der Tatsache, daß Augen näher am Gesichtszentrum liegen als andere Bereiche charakteristischer Merkmale, kann daher die Augenbereichserfassungsvorrichtung schließlich korrekte Augenbereiche dadurch erfassen, daß ein Zielbereich ausgesucht wird, dessen Entfernung zwischen dem Gesichtszentrum und dem repräsentativen Punkt des Zielbereiches, der als ein Auge angesehen wird, am kleinsten ist. Dies führt zu einer weiteren Verbesserung der Verläßlichkeit bei der Erfassung von Augenbereichen.

Bei einer weiteren bevorzugten Ausführungsform weist die Augenbereichserfassungsvorrichtung eine Berechnungsvorrichtung für einen repräsentativen Punkt zur Berechnung eines repräsentativen Punktes jedes Zielbereiches auf, der als ein Auge in jedem der beiden rechteckigen Augensuchbereiche (dem rechten und dem linken Bereich) angesehen wurde, und schließlich werden ein rechter Zielbereich und ein linker Zielbereich, deren Entfernung zwischen dem Gesichtszentrum und dem repräsentativen Punkt des als Auge angesehenen Zielbereiches am kleinsten und kleiner als ein vorbestimmter Wert ist, als Augen angesehen.

Unter Berücksichtigung der Tatsache, daß Augenbereiche näher am Gesichtszentrum liegen als andere Bereiche charakteristischer Merkmale, wobei ein Augenbereich auf der rechten Seite des Bildes und der andere auf der linken Seite liegt, und zwar an Positionen, die in Bezug auf das Gesichtszentrum im wesentlichen symmetrisch sind, kann daher die Augenbereichserfassungsvorrichtung schließlich dadurch korrekte Augenbereiche erfassen, daß ein rechter Zielbereich und ein linker Zielbereich ausgewählt werden, deren Entfernung zwischen dem Gesichtszentrum und dem repräsentativen Punkt des als ein Auge angesehenen Zielbereiches am kleinsten und kleiner als ein vorbestimmter Wert ist. Dies führt zu einer weiteren Verbesserung der Verläßlichkeit bei der Erfassung von Augenbereichen.

Bei einer weiteren bevorzugten Ausführungsform weist die Nasenlochbereichserfassungsvorrichtung auf: eine Zielbereichseinstellvorrichtung zur Einstellung eines oder mehrerer Zielbereiche indem binären Bild; eine Gesichtszentrumslinienerfassungsvorrichtung zur Bestimmung einer vertikalen Zentrumslinie des Gesichts in dem binären Bild; eine Nasenlochsuchbereichseinstellvorrichtung zum Anordnen eines Nasenlochsuchbereiches zwischen zwei parallelen Linien, von denen eine auf der rechten Seite der Gesichtszentrumslinie liegt, und die andere auf der linken Seite der Gesichtszentrumslinie, und jede Linie von der Gesichtszentrumslinie um eine vorbestimmte, konstante Entfernung entfernt ist; wodurch ein Nasenloch aus den Nasenlochbereichen erfaßt wird, die sich in dem Nasenlochsuchbereich befinden.

Unter Berücksichtigung der Tatsache, daß Nasenlochbereiche in der Nähe der Gesichtszentrumslinie angeordnet sind, begrenzt daher die Nasenlochbereichserfassungsvorrichtung einen Nasenlochsuchbereich auf einen engen Bereich zwischen zwei parallelen Linien, von denen eine auf der rechten Seite der vertikalen Zentrumslinie des Gesichts und die andere auf der linken Seite liegt, so daß Nasenlöcher aus Zielbereichen erfaßt werden können, die in diesem engen Bereich zwischen den parallelen Linien liegen. Dies führt dazu, daß Nasenlöcher einfach und mit geringem Rechenaufwand herausgezogen werden können, ohne daß eine Störung durch das Vorhandensein einer Brille oder dergleichen auftritt.

Bei einer weiteren bevorzugten Ausführungsform weist die Nasenlochsuchbereichseinstellvorrichtung eine Berechnungsvorrichtung für den repräsentativen Punkt eines Zielbereiches zur Berechnung der Koordinaten des repräsentativen Punkts jedes Zielbereiches auf, der in dem binären Bild angeordnet ist, wobei die mittlere Entfernung zwischen den Y-Koordinaten der repräsentativen Punkte von Zielbereichen, welche dieselben vertikalen Koordinaten des repräsentativen Punktes aufweisen, und die Y-Koordinaten der Gesichtszentrumslinie berechnet werden, und die Entfernung zwischen den parallelen Linien als Funktion der mittleren Entfernung bestimmt wird.

Auf diese Weise wird der Nasenlochsuchbereich auf den Bereich zwischen den parallelen Linien begrenzt, wobei die Entfernung zwischen den parallelen Linien auf der Grundlage der mittleren Entfernung der repräsentativen Punkte von Zielbereichen festgelegt wird, welche dieselben vertikalen Koordinaten des repräsentativen Punkts in Bezug auf die Gesichtszentrumslinie aufweisen, wodurch der Nasenlochsuchbereich an einem korrekten Ort eingestellt wird, unabhängig von Änderungen der Gesichtsform bei verschiedenen Personen.

Bei einer weiteren bevorzugten Ausführungsform weist die Nasenlochbereichserfassungsvorrichtung auf: eine Zielbereichseinstellvorrichtung zur Einstellung eines oder mehrerer Zielbereiche in dem Binärbild; eine Gesichtszentrumserfassungsvorrichtung zur Berechnung einer Zentrumsposition des Gesichts in dem binären Bild; und eine Nasenlochsuchbereichseinstellvorrichtung, durch welche ein Nasenlochsuchbereich in einem Bereich eingestellt wird, der niedriger angeordnet ist als eine horizontale Linie, die vom Gesichtszentrum in Richtung nach unten um eine vorbestimmte Entfernung beabstandet angeordnet ist; wodurch ein Nasenloch aus den Zielbereichen erfaßt wird, die in dem Nasenlochsuchbereich liegen.

Unter Berücksichtigung der Tatsache, daß sich in einem binären Bild, welches aus herausgezogenen, charakteristischen Merkmalen eines Gesichtsbildes besteht, Nasenlöcher an unteren Positionen befinden, relativ weit vom Gesichtszentrum entfernt, stellt daher die Nasenlochbereichserfassungsvorrichtung einen Nasenlochsuchbereich auf solche Weise ein, daß der Nasenlochsuchbereich auf einen Bereich oder eine Fläche begrenzt wird, der bzw. die unterhalb einer Horizontallinie liegt, die um eine vorbestimmte Entfernung unterhalb des Gesichtszentrums liegt, so daß Nasenlöcher aus Zielbereichen erfaßt werden können, die in diesem begrenzten Nasenlochsuchbereich liegen. Dies führt dazu, daß Nasenlöcher einfach mit geringem Rechenaufwand herausgezogen werden können, ohne durch das Vorhandensein einer Brille oder dergleichen gestört zu werden.

Bei einer weiteren bevorzugten Ausführungsform weit die Nasenlochsuchbereichseinstellvorrichtung auf: eine Berechnungsvorrichtung für den repräsentativen Punkt eines Zielbereiches zum Berechnen repräsentativer Punkte von Zielbereichen in dem binären Bild; und eine Berechnungsvorrichtung für den repräsentativen Punkt eines bandförmigen Bereichs zur Erzeugung eines bandförmigen Bereichs einschließlich Zielbereichen, deren X-Koordinate des repräsentativen Punkts gleich ist, wobei dann diese X- Koordinate als die X-Koordinate des repräsentativen Punktes des voranstehend angeführten bandförmigen Bereichs genommen wird; wobei die voranstehend geschilderte, vorbestimmte Entfernung als Funktion der Anzahl an Bereichen bestimmt wird, die in dem bandförmigen Bereich liegen, und als Funktion der X-Koordinate zwischen dem Gesichtszentrum und dem repräsentativen Punkt jedes bandförmigen Bereiches.

Die voranstehend geschilderte Entfernung, die dem Nasenlochsuchbereich zugeordnet ist, wird daher als Funktion der Anzahl an Bereichen bestimmt, die in dem bandförmigen Bereich liegen, und als Funktion der Differenz der X-Koordinate zwischen dem Gesichtszentrum und dem repräsentativen Punkt jedes bandförmigen Bereichs, wodurch sichergestellt wird, daß der Nasenlochsuchbereich korrekt eingestellt werden kann, ohne durch Änderungen der Form des Gesichts von einer Person zur nächsten beeinflußt zu werden.

Bei einer weiteren bevorzugten Ausführungsform legt eine Nasenlochherausziehbereichs-Begrenzungsvorrichtung einen begrenzten Erfassungsvorrichtung in dem Nasenlochsuchbereich fest, so daß ein Nasenlocherfassungsvorgang in diesem begrenzten Erfassungsvorrichtung durchgeführt wird, und das Zentrum der Bildelemente in dem begrenzten Nasenlochherausziehbereich als der Mittelpunkt zwischen Nasenlochbereichen angesehen wird.

Die Nasenlochherausziehbereichs-Begrenzungsvorrichtung begrenzt daher den Erfassungsvorrichtung auf einen noch engeren Bereich in dem Nasenlochsuchbereich, und der Mittelpunkt zwischen Nasenlochbereichen wird einfach als das Zentrum der Bildelemente in diesen begrenzten Nasenlochherausziehbereichen angesehen. Dies gestattet eine stärkere Verringerung der Bearbeitungszeit, die zum Herausziehen von Nasenlöchern erforderlich ist.

Bei einer weiteren bevorzugten Ausführungsform weist die Nasenlochbereichserfassungsvorrichtung auf: eine Zielbereichseinstellvorrichtung zur Einstellung eines oder mehrerer Zielbereiche in dem binären Bild; und eine Berechnungsvorrichtung für den repräsentativen Punkt eines Zielbereiches zur Berechnung der Koordinaten des repräsentativen Punktes jedes Zielbereiches; wobei die Y- Richtungsentfernung zwischen Zielbereichen berechnet wird, deren X-Koordinate des repräsentativen Punktes gleich ist, und die Y-Richtungsentfernung mit einer vorbestimmten Bezugsentfernung von Nasenloch zu Nasenloch verglichen wird, und Nasenlöcher auf der Grundlage des voranstehend angegebenen Vergleichsergebnisses erfaßt werden.

Unter Berücksichtigung der Tatsache, daß bei symmetrischen Paaren von Bereichen charakteristischer Merkmale ein Paar an Nasenlöchern den kleinsten Abstand der Nasenlöcher voneinander aufweist, erfaßt die Nasenlochbereichserfassungsvorrichtung Nasenlöcher einfach durch Vergleichen der Entfernung zwischen den repräsentativen Punkten von Zielbereichen, deren X- Koordinate des repräsentativen Punktes gleich ist, mit der vorher festgelegten Bezugsentfernung von Nasenloch zu Nasenloch. Daher können Nasenlöcher schnell erfaßt werden.

Bei einer weiteren bevorzugten Ausführungsform weist die Nasenlochbereichserfassungsvorrichtung auf: eine Zielbereichseinstellvorrichtung zur Einstellung eines oder mehrerer Zielbereiche in dem binären Bild; und eine Berechnungsvorrichtung für den repräsentativen Punkt eines Zielbereiches zur Berechnung der Koordinaten des repräsentativen Punktes jedes Zielbereiches; wobei die Horizontalentfernung zwischen Zielbereichen, deren X-Koordinate des repräsentativen Punktes gleich ist, berechnet wird, und Nasenlochbereiche auf der Grundlage einer Bewertungsfunktion erfaßt werden, welche das Streckungsverhältnis von Zielbereichen und die Differenz bezüglich der Y-Koordinate zwischen den repräsentativen Punkten enthält.

Unter Berücksichtigung der Tatsache, daß unter symmetrischen Paaren von Bereichen mit charakteristischen Merkmalen die Nasenlöcher die kleinste Entfernung voneinander aufweisen, und daß Nasenlöcher eine Form aufweisen, die sich stark von jener anderer Bereiche charakteristischer Merkmale unterscheiden, erfaßt daher die Nasenlochbereichserfassungsvorrichtung Nasenlöcher korrekt auf der Grundlage der Bewertungsfunktion, welche die Horizontalentfernung zwischen Zielbereichen enthält, deren X-Koordinate des repräsentativen Punkts gleich ist, und das Streckungsverhältnis von Zielbereichen enthält.

Bei einer weiteren bevorzugten Ausführungsform weist die Nasenlochbereichserfassungsvorrichtung auf: eine Zielbereichseinstellvorrichtung zur Einstellung eines oder mehrerer Zielbereiche in dem binären Bild; eine Zielbereichsbegrenzungsvorrichtung zur Verringerung der Länge der Vertikalseiten jedes Zielbereichs, der durch die Zielbereichseinstellvorrichtung festgelegt wird, durch Verschiebung der Unterseite jedes Zielbereiches von unten nach oben; und eine Vertikalhistogramm-Berechnungsvorrichtung zur Berechnung des Horizontalprofils der Summe der Binärpegel entlang der Vertikalrichtung des Gesichts innerhalb jedes Zielbereiches, wodurch Nasenlochbereiche durch Beurteilung der Änderung der Form des vertikalen Histogramms erfaßt werden, welche auftritt, wenn die Länge der Vertikalseiten des Zielbereiches verringert wird.

Die Nasenlochbereichserfassungsvorrichtung erfaßt daher Nasenlöcher mit hoher Verläßlichkeit auf der Grundlage der Änderung des vertikalen Histogramms, welche auftritt, wenn die Zielbereichsbegrenzungsvorrichtung die Länge der Vertikalseiten des Zielbereiches dadurch verringert, daß sie die Unterseite des Zielbereiches in Richtung von unten nach oben verschiebt. Daher ist es möglich, selbst dann Nasenlöcher korrekt zu erfassen, wenn Nasenlöcher über einen Oberlippenbart oder eine Brücke verbunden sind.

Bei einer weiteren bevorzugten Ausführungsform werden die Zentrumskoordinaten von Bildelementen in dem binären Bild als die Koordinaten verwendet, welche die Zentrumsposition des Gesichts repräsentieren.

Die Koordinaten der Zentrumsposition des Gesichts können daher schnell durch einfache Berechnung des Zentrums der Bildelemente in dem binären Bild berechnet werden.

Bei einer weiteren bevorzugten Ausführungsform sind vorgesehen: eine Horizontalhistogramm-Berechnungsvorrichtung zur Berechnung des Vertikalprofils der Summe der binären Pegel innerhalb des binären Bildes entlang der Horizontalrichtung des Gesichts; eine Bandformbereichseinstellvorrichtung zur Einstellung eines bandförmigen Bereiches, der parallel zur Vertikalrichtung des Gesichts verläuft; eine Berechnungsvorrichtung für den repräsentativen Punkt des bandförmigen Bereiches zur Berechnung der X-Koordinaten des repräsentativen Punktes des bandförmigen Bereiches; und eine Vertikalhistogramm-Berechnungsvorrichtung zur Berechnung des Horizontalprofils der Summe der Binärpegel über den Bereich der Breite in X-Richtung des bandförmigen Bereiches, wobei die voranstehend angegebene Summe eine Summierung über sämtliche bandförmigen Bereiche umfaßt; wobei die X-Koordinate der Zentrumsposition des Gesichts durch die gemittelte Koordinate der repräsentativen Punkte bandförmiger Bereiche festgelegt wird, und die Y-Koordinate der Zentrumsposition des Gesichts durch die Zentrumskoordinate des vertikalen Histogramms bestimmt wird.

Die Horizontalhistogramm-Berechnungsvorrichtung begrenzt daher den bandförmigen Bereich auf einen engen Bereich zwischen zwei parallelen Linien, die in der Vertikalrichtung in dem binären Bild verlaufen, und die Vertikalhistogramm- Berechnungsvorrichtung bestimmt das vertikale Histogramm des gesamten bandförmigen Bereichs. Darüber hinaus ist die X- Koordinate der Zentrumsposition des Gesichts als die gemittelte Koordinate der repräsentativen Punkte bandförmiger Bereiche festgelegt, und ist die Y-Koordinate der Zentrumsposition des Gesichts als die Zentrumskoordinate des vertikalen Histogramms festgelegt. Das Gesichtszentrum kann durch Hardware-Berechnung des Histogramms bestimmt werden, und daher ist es möglich, die Speicherplatzanforderungen zu verringern, die zur Berechnung erforderlich sind, und ebenso die Menge an Berechnungen. Hierdurch wird eine Verringerung der zur Berechnung der Koordinaten des Gesichtszentrums erforderlichen Zeit erzielt. Bei einer weiteren bevorzugten Ausführungsform weist die Gesichtsbildbearbeitungsvorrichtung zusätzlich eine Zielbereichseinstellvorrichtung zur Festlegung eines oder mehrerer Zielbereich in dem binären Bild auf, und die Koordinaten (Xg, Yg) der Zentrumsposition des Gesichts werden festgelegt unter Verwendung der Anzahl Ni an Schwarzpegelbildelementen, die in jedem Zielbereich i vorhanden sind, der Koordinaten (Xi, Yi) des repräsentativen Punktes jedes Zielbereiches i, und der Anzahl m der Zielbereiche i gemäß nachstehender Gleichung:

Xg = ΣmNiXi/ΣNi
Yg = ΣmNiYi/ΣNi

Wird angenommen, daß die Anzahl Ni an Schwarzpegelbildelementen sämtlich am repräsentativen Punkt (Xi, Yi) jedes Zielbereiches i konzentriert angeordnet sind, dann können die Koordinaten (Xg, Yg) der Zentrumsposition des Gesichts durch die voranstehend genannte Gleichung erhalten werden. Dies führt zu einer Vereinfachung der Berechnung, und daher wird es möglich, einfacher und schneller die Koordinaten der Zentrumsposition des Gesichtes zu bestimmen.

Bei einer weiteren bevorzugten Ausführungsform weist die Gesichtszentrumslinienerfassungsvorrichtung auf: eine Horizontalhistogramm-Berechnungsvorrichtung zur Berechnung des Vertikalprofils der Summe der Binärpegel entlang der Horizontalrichtung; eine Bandformbereichseinstellvorrichtung zur Einstellung eines oder mehrerer bandförmiger Bereiche, die in Horizontalrichtung eines Gesichts verlaufen, wobei die bandförmigen Bereiche auf der Grundlage der Horizontalhistogramm-Berechnungsvorrichtung festgelegt werden; und eine Bandformbereichszentrumserfassungsvorrichtung zur Berechnung der Zentrumsposition von Bildelementen, die in jedem bandförmigen Bereich vorhanden sind; wobei eine vertikale Zentrumslinie des Gesichts aus der Zentrumsposition bandförmiger Bereiche bestimmt wird.

Bei dieser Gesichtszentrumslinienerfassungsvorrichtung legt daher die Bandformbereichseinstellvorrichtung bandförmige Bereiche so fest, daß Bereiche charakteristischer Merkmale wie beispielsweise Augenbrauen, Augen und Nasenlöchern, die auf einer horizontalen Linie liegen, in den jeweiligen bandförmigen Bereichen enthalten sind. Dann bestimmt die Bandformbereichszentrumserfassungsvorrichtung die Zentrumsposition der in jedem bandförmigen Bereich vorhandenen Bildelemente, und dann wird eine Linie bestimmt, welche die beste Anpassung an die Zentrumspunkte bandförmiger Bereiche ergibt, und durch diese Linie wird die vertikale Zentrumslinie des Gesichts festgelegt. Daher kann die vertikale Zentrumslinie des Gesichts schnell unter geringem Rechenaufwand für einen begrenzten Bereich bestimmt werden.

Bei einer weiteren bevorzugten Ausführungsform weist die Gesichtszentrumslinienerfassungsvorrichtung auf: eine Zielbereichseinstellvorrichtung zur Einstellung eines oder mehrerer Zielbereiche in dem binären Bild; eine Berechnungsvorrichtung für den repräsentativen Punkt eines Zielbereichs zur Berechnung der Koordinaten des repräsentativen Punktes jedes Zielbereiches; und eine Berechnungsvorrichtung für den repräsentativen Punkt jedes bandförmigen Bereiches zur Berechnung des Mittelwerts der Y-Koordinaten der repräsentativen Punkte von Zielbereichen, die in einem bandförmiges Bereich liegen, der so erzeugt wird, daß Zielbereiche, deren X-Koordinate des repräsentativen Punktes gleich ist, in dem bandförmigen Bereich liegen, und der sich ergebende Mittelwert als die Y-Koordinate des repräsentativen Punktes des bandförmigen Bereiches festgelegt wird; wodurch die vertikale Zentrumslinie des Gesichtes auf der Grundlage der repräsentativen Punkte bandförmiger Bereiche festgelegt wird. Bei dieser Gesichtszentrumslinienerfassungsvorrichtung legt daher die Bandformbereichseinstellvorrichtung bandförmige Bereiche so fest, daß Bereiche mit charakteristischen Merkmalen wie beispielsweise Augenbrauen, Augen, und Nasenlöchern, die auf einer Horizontallinie liegen, in den jeweiligen bandförmigen Bereichen enthalten sind. Dann wird der Mittelwert der Y-Koordinaten der repräsentativen Punkte von Zielbereichen, die in jedem bandförmigen Bereich liegen, berechnet, und der sich ergebende Wert wird als die Koordinate des repräsentativen Punktes des bandförmigen Bereiches verwendet. Die vertikale Zentrumslinie des Gesichts wird durch eine Linie festgelegt, welche die beste Anpassung an die Koordinaten repräsentativer Punkte bandförmiger Bereiche ergibt. Bei dieser Vorgehensweise kann die vertikale Zentrumslinie des Gesichts schnell dadurch bestimmt werden, daß eine Berechnung für begrenzte Bereiche durchgeführt wird, ohne eine Berechnung des Zentrums der bandförmigen Bereiche.

Bei einer weiteren bevorzugten Ausführungsform weist die Gesichtszentrumslinienerfassungsvorrichtung auf: eine Zielbereichseinstellvorrichtung zur Einstellung eines oder mehrerer Zielbereiche in dem binären Bild; eine Berechnungsvorrichtung für den repräsentativen Punkt eines Zielbereiches zur Berechnung der Koordinaten des repräsentativen Punktes jedes Zielbereiches; und eines Gesichtspunktzentrumslinienzielberechnungsvorrichtung zur Berechnung der Koordinaten des Mittelpunktes zwischen dem repräsentativen Punkt jedes Zielbereiches und dem repräsentativen Punkt eines anderen Zielbereiches, der innerhalb eines Bereiches zwischen zwei Linien in einem Winkel im Bereich von ±θ in Bezug auf die Y-Achse der Bildebene vorhanden ist; wodurch die vertikale Zentrumslinie des Gesichtes auf der Grundlage der Orte der Gesichtspunktzentrumslinienziele bestimmt wird.

Unter Berücksichtigung der Tatsache, daß Bereiche charakteristischer Merkmale symmetrisch zur Gesichtszentrumslinie auf deren rechter und linker Seite angeordnet sind, bestimmt daher die Gesichtszentrumslinienerfassungsvorrichtung die vertikale Zentrumslinie des Gesichts auf solche Weise, daß die Gesichtspunktzentrumslinienzielberechnungsvorrichtung die Koordinaten des Mittelpunktes zwischen dem repräsentativen Punkt jedes Zielbereiches und dem repräsentativen Punkt eines anderen Zielbereiches berechnet, der innerhalb eines Bereiches zwischen zwei Linien in einem Winkel im Bereich von ±θ in Bezug auf die Y-Achse der Bildebene vorhanden ist, wodurch die vertikale Zentrumslinie des Gesichtes auf der Grundlage der Orte der Gesichtspunktzentrumslinienziele bestimmt wird. Hierdurch wird sichergestellt, daß die vertikale Zentrumslinie des Gesichts schnell durch einfache Berechnungen bestimmt werden kann, selbst wenn das Gesicht schräg in dem Bild angeordnet ist.

Bei einer weiteren bevorzugten Ausführungsform weist die Gesichtsbildbearbeitungsvorrichtung weiterhin auf: eine erste Zentrumserfassungsvorrichtung zur Berechnung der Zentrumsposition sämtlicher Bildelemente in dem binären Bild; und eine Zielortbereichseinstellvorrichtung zur Einstellung eines rechteckigen Bereiches mit vorbestimmten Abmessungen um die erste Zentrumsposition herum; wobei der Augensuchbereich in dem Zielortbereich eingestellt wird, oder anderenfalls die Zentrumsposition des Gesichts, die Gesichtszentrumslinie, oder die Nasenlochbereiche, die zur Einstellung des Augensuchbereiches verwendet werden, mittels Durchführung einer Berechnung innerhalb dieses Zielortbereiches bestimmt werden.

Die erste Zentrumserfassungsvorrichtung berechnet daher die Zentrumsposition sämtlicher Bildelemente, und die Zielortbereichseinstellvorrichtung legt einen rechteckigen Bereich fest, der vorbestimmte Abmessungen aufweist, um die erste Zentrumsposition herum, so daß die Berechnung innerhalb dieses rechteckigen Bereiches durchgeführt wird. Durch Einstellen des Augensuchbereiches in dem Zielortbereich wird es möglich, den Einfluß von Hintergrundrauschen oder von schwarzen Blöcken abgesehen von den Bereichen mit charakteristischen Merkmalen auszuschalten. Anderenfalls kann die Zentrumsposition des Gesichts, die Gesichtszentrumslinie, oder können die Nasenlochbereiche dadurch bestimmt werden, daß Berechnungen innerhalb des voranstehend geschilderten, rechteckigen Bereiches durchgeführt werden, und der Augensuchbereich kann entsprechend der sich ergebenden Zentrumsposition des Gesichts, der Gesichtszentrumslinie oder der Nasenlochbereiche eingestellt werden.

Bei einer weiteren bevorzugten Ausführungsform stellt die Augensuchbereichseinstellvorrichtung einen Augensuchbereich auf solche Weise ein, daß ein rechteckförmiger Bereich festgelegt wird, in welchem ein schwarzer Block vorhanden ist, so daß die X- und Y-Koordinaten der Endpunkte des Bereiches in der X- bzw. Y-Richtung gleich den minimalen und maximalen X-Koordinaten und den minimalen und maximalen Y-Koordinaten sämtliche Endpunkte von Schwarzblockbereichen sind, die in dem Binärbild vorhanden sind, wobei jeder Schwarzblockbereich eine vorbestimmte Anzahl aufeinanderfolgender, schwarzer Bildelemente aufweist, und die Startkoordinaten und die Längen des Augensuchbereiches als Funktion der Startkoordinaten und der Längen der Seiten des Bereiches gegeben sind, in welchem ein schwarzer Block exisitiert, oder als Funktion der Startkoordinaten des Bereiches, in welchem ein schwarzer Block existiert, und der Verhältnisse der Längen der Seiten des Bereiches, in welchem ein schwarzer Block existiert, zu den jeweiligen Bezugslängen.

In der Augensuchbereichseinstellvorrichtung wird daher ein Bereich, der Bereiche mit charakteristischen Merkmalen enthält, als ein Bereich festgelegt, in welchem ein schwarzer Block vorhanden ist, und dann wird der Augensuchbereich so festgelegt, daß die Startkoordinaten und die Längen der Seiten des Augensuchbereiches als Funktion der Startkoordinaten und der Längen der Seiten des Bereiches, in welchem ein schwarzer Block vorhanden ist, festgelegt werden, oder als Funktion der Startkoordinaten und der Verhältnisse der Längen der Seiten des Bereiches, in welchem ein schwarzer Block vorhanden ist, zu den entsprechenden Bezugswerten, wodurch der Augensuchbereich auf die beste Art und Weise eingestellt wird, abhängig von der Entfernung zwischen der Kamera und dem zu überwachenden Gesicht, der Ausrichtung des Gesichts, und der Form oder Größe des Gesichts, die sich von einer Person zur nächsten ändern können.

Bei einer weiteren bevorzugten Ausführungsform weist die Gesichtsbildbearbeitungsvorrichtung eine Speichervorrichtung zum Speichern der Längen der Seiten des Bereiches, in welchem ein schwarzer Block vorhanden ist, für jedes Bild auf, und die Bezugslängen der Seiten werden auf die Längen der Seiten eingestellt, die unter einer vorbestimmten Anzahl an Bildern am größten sind, die in der Speichervorrichtung gespeichert sind, oder werden auf die Längen der Seiten eingestellt, die am häufigsten auftreten.

Daher werden die Bezugswerte der Längen der Seiten des Bereiches, in welchem ein schwarzer Block existiert, auf jene Werte eingestellt, die am größten sind oder am häufigsten auftreten, bei der vorbestimmten Anzahl an Bildern, die in dem Speicher gespeichert sind, so daß die Bezugswerte den Werten im Normalzustand entsprechen, in welchem das Gesicht des Fahrers nach vorn gerichtet ist, wodurch sichergestellt wird, daß der Augensuchbereich auf die beste Art und Weise abhängig von der Position des Gesichts eingestellt werden kann.

Bei einer weiteren bevorzugten Ausführungsform stellt die Augensuchbereichseinstellvorrichtung einen Augensuchbereich so ein, daß die Startkoordinate des Augensuchbereiches und die Länge entlang der Horizontalrichtung des Gesichts als Funktion der Entfernung zwischen Nasenlochbereichen festgelegt werden, die von der Nasenlochbereichserfassungsvorrichtung festgestellt wird, oder als Funktion des Verhältnisses der Entfernung zwischen Nasenlochbereichen zu einem Bezugswert.

Daher werden die Startkoordinaten und die Längen der Seiten des Augensuchbereiches als Funktion der Entfernung zwischen Nasenlochbereichen festgelegt, die von der Nasenlochbereichserfassungsvorrichtung festgestellt wird, oder als Funktion des Verhältnisses der Entfernung zwischen Nasenlochbereichen zum Bezugswert, wodurch sichergestellt wird, daß der Augensuchbereich in Abhängigkeit von der Position des Gesichts und von der Entfernung zwischen der Kamera und dem Gesicht korrekt eingestellt werden kann.

Bei einer weiteren bevorzugten Ausführungsform stellt die Augensuchbereichseinstellvorrichtung so einen Augensuchbereich ein, daß die Startkoordinate des Augensuchbereiches und dessen Länge entlang der Vertikalrichtung des Gesichts als Funktion der Entfernung zwischen Nasenlochbereichen festgelegt werden, die von der Nasenlochbereichserfassungsvorrichtung festgestellt wird, und der Fläche der Nasenlochbereiche, oder des Streckungsverhältnisses der Nasenlochbereiche, oder als Funktion des Verhältnisses der Entfernung zwischen Nasenlochbereichen, die von der Nasenlocherfassungsvorrichtung festgestellt wird, zu deren Bezugswert, oder des Verhältnisses der Fläche der Nasenlochbereiche zu deren Bezugswert, oder des Verhältnisses des Streckungsverhältnisses der Nasenlochbereiche zu dessen Bezugswert.

Daher werden die Startkoordinate des Augensuchbereiches und dessen Länge entlang der Vertikalrichtung des Gesichts als Funktion der Entfernung zwischen Nasenlochbereichen, die von der Nasenlochbereichserfassungsvorrichtung festgestellt wird, und der Fläche der Nasenlochbereiche festgelegt, oder des Streckungsverhältnisses der Nasenlochbereiche, oder als Funktion des Verhältnisses der Entfernung zwischen Nasenlochbereichen, die von der Nasenlochbereichserfassungsvorrichtung festgestellt wird, zu deren Bezugswert, und des Verhältnisses der Fläche der Nasenlochbereiche zu deren Bezugswert, oder des Verhältnisses des Streckungsverhältnisses der Nasenlochbereiche zu dessen Bezugswert, wodurch sichergestellt wird, daß der Augensuchbereich in Abhängigkeit von der Gesichtsposition auf optimale Weise eingestellt werden kann.

Bei einer weiteren bevorzugten Ausführungsform weist die Gesichtsbildbearbeitungsvorrichtung darüber hinaus eine Speichervorrichtung auf, zum Speichern der Entfernung zwischen den Nasenlochbereichen und den Längen der Seiten der Nasenlochbereiche für jedes Bild, wobei die jeweiligen Bezugswerte der Entfernung zwischen den Nasenlochbereichen, der Fläche der Nasenlochbereiche, und des Streckungsverhältnisses der Nasenlochbereiche auf die Maximalwerte der Entfernung zwischen den Nasenlochbereichen unter einer vorbestimmten Anzahl an Bildern eingestellt werden, die in der Speichervorrichtung gespeichert sind, oder auf die am häufigsten auftretenden Werte der Entfernung zwischen den Nasenlochbereichen, der Fläche der Nasenlochbereiche, und des Streckungsverhältnisses der Nasenlochbereiche.

Daher werden die jeweiligen Bezugswerte für die Entfernung zwischen den Nasenlochbereichen, die Fläche der Nasenlochbereiche, und das Streckungsverhältnis der Nasenlochbereiche auf die Maximalwerte der Entfernung zwischen den Nasenlochbereichen eingestellt, unter einer vorbestimmten Anzahl an Bildern, die in der Speichervorrichtung gespeichert sind, oder auf die am häufigsten auftretenden Werte der Entfernung zwischen den Nasenlochbereichen, der Fläche der Nasenlochbereiche, und des Streckungsverhältnisses der Nasenlochbereiche, so daß die Bezugswerte jenen Werten in dem Zustand entsprechen, in welchem sich das Gesicht des Fahrers in der vorderen Position oder in einer häufigsten Position befindet, wodurch sichergestellt wird, daß der Augensuchbereich in Abhängigkeit von der Position des Gesichts auf die bestmögliche Weise eingestellt werden kann.

Bei einer weiteren bevorzugten Ausführungsform weist die Zielbereichseinstellvorrichtung auf: eine Horizontalhistogrammberechnungsvorrichtung zur Berechnung des Vertikalprofils der Summe der Binärpegel entlang der Horizontalrichtung des Gesichts; eine Bandformbereichseinstellvorrichtung zur Einstellung eines bandförmigen Bereiches, der parallel zur Vertikalrichtung des Gesichts verläuft, wobei der bandförmige Bereich auf der Grundlage der Horizontalhistogrammberechnungsvorrichtung festgelegt wird; und eine Vertikalhistogrammberechnungsvorrichtung zur Berechnung des Horizontalprofils der Summe der Binärpegel über dem Bereich der X-Richtungsbreite des bandförmigen Bereiches; wobei der Zielbereich als rechteckiger Bereich eingestellt wird, der eine Höhe aufweist, die gleich der voranstehend geschilderten Breite des Bandes ist, und eine Breite aufweist, die gleich der Breite in der Horizontalrichtung des Gesichts ist, die auf der Grundlage des vertikalen Histogramms bestimmt wird.

Daher stellt die Zielbereichseinstellvorrichtung einen Zielbereich als rechteckigen Bereich ein, der eine Höhe aufweist, die gleich der Breite des Bandes des vertikalen bandförmigen Bereiches ist, die von der Horizontalhistogrammberechnungsvorrichtung bestimmt wird, und eine Breite aufweist, die gleich der Breite ist, die von der Vertikalhistogrammberechnungsvorrichtung bestimmt wird. Dies gestattet eine schnelle Einstellung des Zielbereiches durch Berechnung von Histogrammen unter Verwendung von Hardware.

Bei einer weiteren bevorzugten Ausführungsform weist die Zielbereichseinstellvorrichtung eine Schwarzblockbereichsextraktionsvorrichtung zum Herausziehen mittels Markierungen eines isolierten Schwarzblockbereiches auf, der eine vorbestimmte Anzahl oder mehr aufeinanderfolgende Schwarzpegelbildelemente des binären Bildes aufweist, und die Zielbereichseinstellvorrichtung stellt einen Zielbereich in rechteckiger Form ein, so daß der rechteckige Zielbereich die Endpunkte in X- und Y-Richtung des markierten Schwarzblockbereichs umgibt.

Die Zielbereichseinstellvorrichtung zieht daher durch Markierung einen isolierten Schwarzblockbereich heraus, der eine vorbestimmte Anzahl oder mehr aufeinanderfolgende Schwarzpegelbildelemente des binären Bildes enthält, und die Zielbereichseinstellvorrichtung stellt einen Zielbereich in rechteckiger Form so ein, daß der rechteckige Zielbereich die Endpunkte in X- und Y-Richtung des markierten Schwarzblockbereiches umgibt, wodurch sichergestellt wird, daß der Zielbereich korrekt eingestellt werden kann, selbst wenn das Gesichtsbild komplizierte Muster wie beispielsweise eine Brille oder einen Bart enthält.

Die Erfindung wird nachstehend anhand zeichnerisch dargestellter Ausführungsbeispiele näher erläutert, aus welchen weitere Vorteile und Merkmale hervorgehen. Es zeigt:

Fig. 1 ein vereinfachtes Blockschaltbild eines Detektors zur Feststellung des Zustands eines Fahrers, mit einer Vorrichtung zur Bearbeitung des Bildes eines Gesichts, gemäß einer ersten Ausführungsform der vorliegenden Erfindung;

Fig. 2 ein Blockschaltbild zur Erläuterung von Einzelheiten des Aufbaus der Vorrichtung zur Bearbeitung des Bildes eines Gesichts gemäß der ersten Ausführungsform;

Fig. 3 ein Schaltbild eines MAX/MIN-Filters gemäß der ersten Ausführungsform;

Fig. 4 eine schematische Darstellung des Vorgangs zur Umwandlung eines Bildes in ein binäres Bild unter Verwendung einer Graustufenumwandlungsvorrichtung gemäß der ersten Ausführungsform;

Fig. 5 ein Flußdiagramm der Berechnung eines Schwellenwertes unter Verwendung einer variablen Binärumwandlungsvorrichtung bei der ersten Ausführungsform;

Fig. 6 eine schematische Darstellung des Vorgangs, zur Einstellung von Augensuchbereichen gemäß der ersten Ausführungsform;

Fig. 7 eine schematische Darstellung des Vorgangs zur Einstellung eines Augensuchbereiches gemäß der ersten Ausführungsform;

Fig. 8 ein Histogramm in X-Richtung eines Augenzielbereiches gemäß der ersten Ausführungsform;

Fig. 9 ein Flußdiagramm des Vorgangs zur Erfassung eines Augenbereiches gemäß der ersten Ausführungsform;

Fig. 10 das Bild eines Gesichts mit einer Brille gemäß der ersten Ausführungsform;

Fig. 11 ein binäres Bild des Gesichts mit einer Brille bei der ersten Ausführungsform;

Fig. 12 ein binäres Bild eines Augenzielbereiches in einem Augensuchbereich gemäß der ersten Ausführungsform;

Fig. 13 ein Schaltbild einer weiteren Ausführungsform einer weiteren Ausführungsform eines MAX/MIN-Bildelement- Signalextraktionsfilters gemäß der vorliegenden Erfindung;

Fig. 14 eine schematische Darstellung einer weiteren Augenbereichserfassungsvorrichtung gemäß der vorliegenden Erfindung;

Fig. 15 eine schematische Darstellung einer weiteren Augenbereichserfassungsvorrichtung gemäß der vorliegenden Erfindung;

Fig. 16 ein Flußdiagramm des Vorgangs zur Erfassung eines Augenbereichs unter Verwendung einer anderen Augenbereichserfassungsvorrichtung gemäß der vorliegenden Erfindung;

Fig. 17 ein Flußdiagramm des von einer Gesichtszentrumserfassungsvorrichtung gemäß der vorliegenden Erfindung durchgeführten Vorgangs;

Fig. 18 ein Flußdiagramm des von einer anderen Gesichtszentrumserfassungsvorrichtung gemäß der vorliegenden Erfindung durchgeführten Vorgangs;

Fig. 19 eine schematische Darstellung des Vorgangs zur Einstellung von Augensuchbereichen in einem binären Bild auf der Grundlage der Gesichtzentrumslinie und des Gesichtszentrums gemäß der vorliegenden Erfindung;

Fig. 20 eine schematische Darstellung des Vorgangs zur Einstellung von Zielbereichen unter Verwendung von Histogrammen in X-Richtung von bandförmigen Bereichen gemäß der vorliegenden Erfindung;

Fig. 21 ein Flußdiagramm des Vorgangs zur Einstellung von Augensuchbereichen gemäß einer weiteren Ausführungsform der Erfindung;

Fig. 22 eine Erläuterung der Änderungen des binären Bildes bei einer Änderung der Orientierung eines Gesichts;

Fig. 23 eine schematische Darstellung des Vorgangs zur Einstellung von Augensuchbereichen in einem binären Bild gemäß einer weiteren Ausführungsform der Erfindung;

Fig. 24 eine schematische Darstellung des Vorgangs zur Erfassung eines Nasenlochbereiches gemäß der vorliegenden Erfindung;

Fig. 25 ein binäres Bild des Gesichts einer Person, die eine Brille trägt, wobei in dem Bild Zielbereiche und die Gesichtszentrumslinie festgelegt sind;

Fig. 26 Nasenlochsuchbereiche, die in dem binären Bild festgelegt sind;

Fig. 27 eine schematische Darstellung des Vorgangs zum Aufsuchen von Nasenlochsuchbereichen gemäß der vorliegenden Erfindung;

Fig. 28 ein Flußdiagramm des Vorgangs zur Beurteilung, ob ein Bereich ein Nasenlochbereich ist, gemäß der vorliegenden Ausführungsform;

Fig. 29 Augensuchbereiche, die in einem binären Bild festgelegt sind;

Fig. 30 ein Flußdiagramm des Vorgangs zur Einstellung eines Augensuchbereiches gemäß einer weiteren Ausführungsform der vorliegenden Erfindung; < ;P 99999 00070 552 001000280000000200012000285919988800040 0002019613614 00004 99880AR<Fig. 31 eine schematische Darstellung des Vorgangs zur Einstellung eines Nasenlochsuchbereiches in einem binären Bild gemäß einer weiteren Ausführungsform der Erfindung;

Fig. 32 eine schematische Darstellung der Festlegung eines weiter eingeschränkten Bereichs in dem Nasenlochsuchbereich in einem binären Bild, so daß Nasenlöcher in diesem Bereich erfaßt werden sollen;

Fig. 33 eine schematische Darstellung des Vorgangs zur Erfassung von Nasenlochbereichen gemäß einer weiteren Ausführungsform der Erfindung;

Fig. 34 eine schematische Darstellung des Vorgangs zur Einstellung von Zielbereichen mit Hilfe einer Markierung gemäß der vorliegenden Erfindung;

Fig. 35 ein binäres Bild, in welchem Zielbereiche mit Hilfe einer Markierung eingestellt wurden;

Fig. 36 eine schematische Darstellung des Vorgangs zur Festlegung einer Gesichtszentrumslinie gemäß einer weiteren Ausführungsform der vorliegenden Erfindung;

Fig. 37 einen in einem binären Bild angeordneten Bereich, in welchem ein Ziel vorhanden ist;

Fig. 38 Augensuchbereiche in dem Bereich in dem binären Bild, in dem ein Ziel existiert;

Fig. 39 ein Blockschaltbild von Einzelheiten des Aufbaus einer Vorrichtung zur Bearbeitung eines Bildes eines Gesichts gemäß einer weiteren Ausführungsform der Erfindung;

Fig. 40 ein binäres Bild, welches von einem Y-Achsen-Filter gemäß einer weiteren Ausführungsform der Erfindung bearbeitet wurde;

Fig. 41 ein binäres Bild, welches erhalten wird, nachdem eine logische Addition (UND) von Bildern durchgeführt wurde;

Fig. 42 ein Flußdiagramm des Vorgangs zur Erfassung des Zustands eines Fahrers gemäß einer konventionellen Vorgehensweise; und

Fig. 43 eine schematische Darstellung des Vorgangs zur Umwandlung eines Gesichtsbildes in binäre Form.

Ausführungsform 1

Die Fig. 1 bis 12 betreffen eine erste Ausführungsform einer Vorrichtung zur Bearbeitung eines Bildes eines Gesichts gemäß der vorliegenden Erfindung. Hierbei ist Fig. 1 ein vereinfachtes Blockschaltbild eines Detektors zur Erfassung des Zustands eines Fahrers mit einer Vorrichtung zur Bearbeitung eines Bildes eines Gesichts; Fig. 2 erläutert den Gesamtaufbau der Vorrichtung zur Bearbeitung des Bildes eines Gesichts; Fig. 3 ist ein Schaltbild eines MAX/MIN-Filters; Fig. 4 ist eine schematische Darstellung der Graustufenumwandlung und der weiteren Umwandlung in ein binäres Bild; Fig. 5 ist ein Flußdiagramm eines Vorgangs zur Berechnung einer Schwelle mit einer variablen Binärumwandlungsvorrichtung; Fig. 6 ist eine schematische Darstellung eines Vorgangs zur Festlegung eines Bereiches, in welchem ein Auge vorhanden ist; Fig. 7 ist eine schematische Darstellung eines Vorgangs zur Einstellung eines Augensuchbereiches; Fig. 8 ist ein X-Achsenhistogramm in Bezug auf einen Bereich, in welchem ein Augenziel vorhanden ist; Fig. 9 ist ein Flußdiagramm der Identifizierung eines Augenbereiches; Fig. 10 ist ein Bild eines Gesichts mit einer Brille; Fig. 11 ist ein binäres Bild des Gesichts mit einer Brille; und Fig. 12 ist ein binäres Bild eines Augenzielbereiches in einem Augensuchbereich des Gesichtsbildes mit einer Brille. Unter Bezugnahme auf die Fig. 1 bis 12 wird nachstehend nunmehr die erste Ausführungsform beschrieben.

Wie in Fig. 1 gezeigt ist, weist der Detektor zur Erfassung des Zustands eines Fahrers eine Kamera a auf, eine Vorrichtung b zur Bearbeitung eines Bildes eines Gesichts, eine Erfassungsvorrichtung c für den Momentanzustand des Auges, eine Schlafbeurteilungsvorrichtung d, eine Alarmvorrichtung e, eine Beleuchtungssteuer- oder Regelvorrichtung f, und eine Beleuchtungsvorrichtung g für eine Beleuchtung im nahen Infrarot. Die Vorrichtung b zur Bearbeitung eines Bildes eines Gesichts weist eine Bildsignaleingabevorrichtung 1 auf, eine Graustufenumwandlungsvorrichtung 2, eine variable Binärumwandlungsvorrichtung 3, eine Augensuchbereichseinstellvorrichtung 4, eine Zielbereichseinstellvorrichtung 5 und eine Augenbereichserfassungsvorrichtung 6.

Die Kamera 1 weist sehr geringe Abmessungen auf und verwendet eine Festkörperabbildungsvorrichtung mit 380.000 Pixeln (Bildpunkten), die in Form eines Feldes (array) mit den Abmessungen 768 × 493 angeordnet sind. Die Kamera 1 ist auf dem Armaturenbrett oder der Instrumententafel eines Fahrzeugs wie beispielsweise eines Kraftfahrzeuges angeordnet, so daß die Kamera von vorn aus ein Bild des Gesichts eines Fahrers auf solche Weise aufnehmen kann, daß die Vertikalrichtung des Gesichtsbildes parallel zu der Seite mit 768 Pixeln der Festkörperabbildungsvorrichtung liegt. Um einen Augenbereich korrekt herauszuziehen wird besonders bevorzugt das Gesichtsbild von der Vorderseite aus in einer Position etwas unterhalb des Gesichts aufgenommen. Die Beleuchtungssteuervorrichtung bestimmt die Helligkeit des Bildes aus dem von der Kamera ausgegebenen Luminanzsignal. Wenn die festgestellte Helligkeit des Bildes niedrig ist, was beispielsweise nachts auftreten kann, steuert oder regelt die Beleuchtungssteuervorrichtung die Lichtabgabe der im nahen Infrarot arbeitenden Beleuchtungsvorrichtung g auf einen ordnungsgemäßen Wert entsprechend der Helligkeit des Bildes. Tagsüber kann ein ausreichend helles Bild erhalten werden, und daher kann das Bild mit den sichtbaren Lichtbestandteilen des Sonnenlichts aufgenommen werden. Im Betrieb tagsüber kann ein Sperrfilter für sichtbares Licht vor der Kamera angeordnet werden, so daß eines helles und scharfes Gesichtsbild mit den Lichtbestandteilen im nahen Infrarot des Sonnenlichts aufgenommen werden kann, ohne daß das Problem der chromatischen Aberration des Kameraobjektivs auftritt.

Das von der Kamera 1 aufgenommene Gesichtsbild wird an die Bildeingabevorrichtung 1 der Vorrichtung b zur Bearbeitung des Bildes eines Gesichts angelegt, und in ein digitales Halbtonbild umgewandelt. Die Graustufenumwandlungsvorrichtung 10 zieht Schwarzpegelbereiche (Schwarzstufenbereiche) mit einer Abmessung heraus, die kleiner als ein vorbestimmter Wert ist. Dann wandelt die variable Binärumwandlungsvorrichtung 3 das digitale Halbtonbild in ein binäres Bild entsprechend einer variablen Schwelle um. Die Augensuchbereichseinstellvorrichtung 4 legt ein Paar rechteckiger Bereiche in dem binären Bild fest, von denen man annimmt, daß die Wahrscheinlichkeit hoch ist, daß sie das rechte bzw. linke Auge enthalten, wodurch die Augensuchbereiche auf die voranstehend geschilderten, engen Bereiche begrenzt werden. Die Zielbereichseinstellvorrichtung 5 begrenzt Augenzielbereiche noch weiter auf engere Bereiche innerhalb des jeweiligen Augensuchbereiches. Schließlich zieht die Augenbereichserfassungsvorrichtung 6 ein Auge in jedem Zielbereich heraus. Nachdem Augen durch die Gesichtsbildbearbeitungsvorrichtung b herausgezogen wurden, erfaßt die Erfassungsvorrichtung c für den Momentanzustand der Augen die Öffnungs- und Schließbewegung der Augen. Die Schlafbeurteilungsvorrichtung d bestimmt, ob der Fahrer schläft oder nicht, auf der Grundlage der Information der Öffnungs- und Schließbewegung. Wenn die Schlafbeurteilungsvorrichtung d hieraus schließt, daß der Fahrer schläft, so gibt die Alarmvorrichtung e einen Alarm an den Fahrer aus.

Jede Vorrichtung in der Vorrichtung b zur Bearbeitung eines Bildes eines Gesichts wird nachstehend unter Bezugnahme auf die Fig. 2 bis 12 genauer erläutert.

In Fig. 2 berechnet, wenn ein digitales Halbtonbild an die Graustufenumwandlungsvorrichtung 2 angelegt wird, ein entlang der X-Achse arbeitendes Mittlungsfilter 21 einen Mittelwert von Signalpegeln dreier benachbarter Bildelemente, wodurch hochfrequentes, räumliches Frequenzrauschen ausgeschaltet wird und daher ein geglättetes Bild erhalten wird.

Das sich ergebende Signal wird in zwei Signale unterteilt, und eines der Signale wird an einen Subtrahierer 24 angelegt, nachdem es durch ein Maximum-Bildelementsignalextraktionsfilter 22 und ein Minimum-Bildelementextraktionsfilter 23 hindurch gegangen ist, wogegen das andere Signal direkt an den Subtrahierer 24 angelegt wird. Der Subtrahierer 24 gibt ein Signal aus, welches gleich der Differenz zwischen den beiden genannten Eingangssignalen ist.

Das Maximum-Bildelementsignalextraktionsfilter 22 und das Minimum-Bildelementsignalextraktionsfilter 23 sind durch Hardware verwirklicht, und zwar so wie im Schaltbild von Fig. 3 gezeigt ist. Wie aus Fig. 3 hervorgeht, bestehen diese Filter jeweils aus Bildelementverzögerungsschaltungen 25, welche bei jedem Bildelementsignal (es wird darauf hingewiesen, daß nur ein Teil der Verzögerungsschaltung 25 in Fig. 3 gezeigt ist) eine Verzögerung hervorrufen, sowie Komparatoren 26 zum Vergleichen des Bildelementsignalspegels nach der Verzögerung mit dem Signalpegel vor der Verzögerung. Ein Eingangssignal, welches an die Bildelementverzögerungsschaltung 25 über eine Eingangsklemme DATA IN angelegt wird, wird von jeder Stufe auf die nächste Stufe in der Verzögerungsschaltung übertragen, in Reaktion auf ein Steuersignal, welches an einen Steuereingang CLOCK angelegt wird. Jeder Komparator 26 führt einen Vergleich des Signalpegels eines Bildelements mit dem Pegel eines benachbarten Bildelements durch. Die Ergebnisse der Vergleiche werden darüber hinaus miteinander schrittweise entsprechend der Turnierregel verglichen. Das endgültige Filterausgangssignal FLT OUT ergibt einen Maximalwert (im Falle des Maximum-Bildelementsignalextraktionsfilters 22) oder einen Minimalwert (bei dem Minimum-Bildelementsignalextraktionsfilter 23) von so vielen Bildelementen, wie der Anzahl (15 im Falle des in Fig. 3 gezeigten Beispiels) an Knoten entspricht, die zwischen dem Eingang und dem Ausgang der Verzögerungsschaltung 25 angeordnet sind. Ein Steuersignal wird an jeden Komparator 26 über eine Klemme MAX/MIN angelegt, so daß dann, wenn ein MAX-Steuersignal angelegt wird, jeder Komparator 26 ein Ausgangssignal entsprechend dem größeren der beiden Eingangssignale zur Verfügung stellt, wogegen dann, wenn ein MIN-Steuersignal angelegt wird, jeder Komparator 26 ein Ausgangssignal entsprechend dem kleineren der beiden Eingangssignale zur Verfügung stellt, wodurch die Verzögerungsschaltung insgesamt als ein Maximum- Bildelementsignalextraktionsfilter 22 oder das Minimum- Bildelementsignalextraktionsfilter 23 arbeitet. Die Anzahl an Knoten zwischen den Eingangs- und Ausgangsklemmen, oder die Anzahl an Bildelementen, deren maximaler Signalpegel herausgezogen oder extrahiert wird, wird auf einen Wert eingestellt, der geringfügig größer ist als jener Wert, welcher der Höhe des Augenbereiches entspricht. Bei der vorliegenden Ausführungsform beträgt die Anzahl an Knoten 28.

Fig. 4 erläutert Bearbeitungsschritte bei der Umwandlung der in Fig. 43 gezeigten Bildelementsignalpegel (entlang der Linie AOA') in ein binäres Bild gemäß der vorliegenden Ausführungsform der Erfindung, wobei zu berücksichtigen ist, daß die konventionelle Vorgehensweise ein derartiges Signal nicht in ein korrektes binäres Bild umwandeln konnte. Nach dem Durchgang durch das entlang der X-Achse mittelnde Filter 21 ist der Bildelementsignalpegel des Bildes so, wie durch P1 in Fig. 4 dargestellt ist. In dem Bild P2, welches nach Durchgang durch das Maximum-Bildelementsignalextraktionsfilter 22 und das Minimum-Bildelementsignalextraktionsfilter 23 erhalten wird, sind die Signalpegel der Bildelemente innerhalb von Bereichen kleiner als die Filterlänge auf die Pegel fixiert, die durch die Filter abgeschnitten werden. Der Subtrahierer 24 subtrahiert die Signalpegel des Bildes P1 von denen des Bildes P2. Dies führt dazu, daß nur die Schwarzpegelbereiche mit Abmessungen, die kleiner als die Filterlänge sind, erfolgreich herausgezogen werden, wie durch P3 in Fig. 4 gezeigt ist. Selbst wenn das Gesicht durch eine Störung abschattiert wird, die in Abhängigkeit von der Richtung oder Höhe der Sonne oder durch den Einfluß anderer Umstände wie beispielsweise das Filtern von Sonnenstrahlen in Richtung nach unten durch Bäume auftreten kann, ist es daher möglich, deutlich die Bereiche mit charakteristischen Merkmalen des Gesichts herauszuziehen, beispielsweise Augenbrauen, Augen, Nasenlöcher, und eine Linie zwischen Lippen, wie in Fig. 4 gezeigt ist. Tagsüber ist es möglich, ein Bild eines Gesichts unter Sonnenlicht aufzunehmen, und das Gesichtsbild ohne Verwendung irgendeiner bestimmten künstlichen Beleuchtung zu bearbeiten. Dies gestattet eine Verringerung der Kosten der Vorrichtung. Darüber hinaus werden schwarze Bereiche, die größere Abmessungen in Vertikalrichtung aufweisen als die vorbestimmte Filterlänge beträgt, nicht herausgezogen. Daher kann in einer frühen Stufe des Betriebsablaufs der Haarbereich entfernt werden, der bei verschiedenen Personen unterschiedlich ist, und daher sonst einen großen Einfluß auf den Betriebsablauf hätte.

Weiterhin werden das Maximum-Bildelementsignalextraktionsfilter 22, das Minimum-Bildelementsignalextraktionsfilter 23 und der Subtrahierer 24 durch Hardware verwirklicht, welche aus den einfachen Schaltungsaufbauten besteht, die voranstehend geschildert wurden, so daß diese Schaltungen in Reaktion auf das Steuersignal arbeiten können, welches zum selben Zeitpunkt wie dem Zeitpunkt der Bildabtastung erzeugt wird. Dies führt dazu, daß die Graustufenumwandlungsvorrichtung zum Herausziehen von Bereichen mit charakteristischen Merkmalen des Gesichts kostengünstig realisiert werden kann. Darüberhinaus kann diese Graustufenumwandlungsvorrichtung auf Echtzeitbasis arbeiten.

Auf diese Weise werden Schwarzpegelbereiche herausgezogen, und so erhält man ein Differenzbild P3. In der variablen Binärumwandlungsvorrichtung 3 wandelt dann die Binärumwandlungsvorrichtung 32 das Differenzbild P3 in ein binäres Bild P4 entsprechend der Binärumwandlungsschwelle um, die von der Schwellenwertberechnungsvorrichtung 31 festgelegt wird. Das sich ergebende, binäre Bild P4 wird in dem Binärbildeinzelbildspeicher 11 gespeichert.

Fig. 5 ist ein Flußdiagramm des Betriebsablaufs zur Bestimmung des Schwellenwertes, der bei dem voranstehend geschilderten Binärumwandlungsvorgang verwendet wird. Zuerst berechnet im Schritt S301 die Schwellenwertberechnungsvorrichtung 31 die Summe SUMPX der Signalpegel der Bildelemente, die auf der vorherigen Abtastlinie oder Abtastzeile liegen (in der X- Richtung), und speichert das Ergebnis als SUMPX. Im Schritt S302 wird ein maximaler Bildelementsignalpegel bestimmt und als MAXPX gespeichert. Dann wird im Schritt S303 die Schwelle SHL entsprechend nachstehender Gleichung berechnet:

SHL = SUMPX/(768 - 2 . SFLT) + MAXPX/C1 + C2 (1)

wobei SFLT die Bildelementlänge des Maximum- Bildelementsignalextraktionsfilters 22 und des Minimum- Bildelementsignalextraktionsfilters 23 ist, und C1 und C2 Konstanten sind. Unter Verwendung dieses Schwellenwertes SHL wandelt die Binärumwandlungsvorrichtung 32 die Signalpegel der Bildelemente, die auf der momentanen Abtastlinie oder Abtastzeile liegen, in binäre Werte (Werte mit zwei Pegeln) um. In Gleichung (1) stellt der erste Term auf der rechten Seite den Mittelwert der Signalpegel der Bildelemente dar, die auf der vorherigen Abtastlinie liegen. Auf diese Weise werden die Signalpegel der Bildelemente auf der momentanen Abtastlinie in Binärwerte umgewandelt, entsprechend der Binärumwandlungsschwelle SHL, die als gewichtete, lineare Funktion des Mittelwertes und des Maximalwertes der Signalpegel auf der vorherigen Abtastlinie festgelegt wird, um so sicherzustellen, daß die Umwandlung in Binärwerte immer korrekt durchgeführt werden kann, unabhängig davon, ob das Bild lokale oder teilweise Änderungen des Graupegels aufweist.

Unter Verwendung der Gesichtszentrumserfassungsvorrichtung 41 berechnet die Augensuchbereichseinstellvorrichtung 4 die Summen der Bildelementsignalpegel in der X- und Y-Richtung des binären Bildes 12, welches in dem Binärbildeinzelbildspeicher 11 gespeichert ist, wodurch ein Y-Richtungshistogramm SUMY501 und ein X-Richtungshistogramm SUMX502 erhalten werden, wie in Fig. 6 gezeigt ist. Aus diesen Ergebnissen berechnet die Augensuchbereichseinstellvorrichtung 4 weiterhin die Koordinaten (XFC, YFC) der Position des Gesichtszentrums 7 auf der Grundlage folgender Gleichung:

XFC = Σi Xi SUMX(Xi)/Σi SUMX(Xi)
YFC = ΣjYj SUMX(Yj)/Σj SUMX(Yj) (2)

In der voranstehenden Gleichung gilt: Σi SUMX(Xi) = Σj SUMX(Yj), und daher ist es nicht erforderlich, Σj SUMX(Yj) zu berechnen.

Auf diese Weise werden Bereiche mit charakteristischen Merkmalen des Gesichts, beispielsweise Augenbrauen, Augen, Nasenlöcher, und eine Linie zwischen Lippen, mit Ausnahme des Haares, aus dem Binärbild 12 herausgezogen, und man weiß, daß die Augen an im wesentlichen symmetrisch angeordneten Positionen auf der rechten bzw. linken Seite in der Nähe des Gesichtszentrums 7 liegen. Unter Verwendung der Koordinaten (XFC, YFC) des Gesichtszentrums liegt daher die Augensuchbereichsfestlegungsvorrichtung 42 ein Paar von Basispunkten PER und PEL für rechteckige Augensuchbereiche 40 folgendermaßen fest:

Basispunkt PER: (X, Y) = (XFC - XECA, YFC - YECA),
Basispunkt PEL: (X, Y) = (XFC - XECA, YFC + YECA - EACW). (3)

Daher ist ein Paar von Augensuchbereichen 40 so festgelegt, daß sich diese in der Y-Richtung um EACW bzw. in der X-Richtung um ECAH in Bezug auf den Basispunkt PER bzw. PEL erstrecken. Bei der voranstehenden Definition können sowohl XECA als auch YECA eine variable Größe aufweisen, abhängig von der Entfernung zwischen der Kamera und dem zu überwachenden System, und auch von dem Kameragesichtsfeldwinkel. Entsprechend werden EACW und ECAH auf ordnungsgemäße Werte eingestellt, abhängig von den voranstehend genannten Bedingungen, so daß die Augen in den vorgegebenen Bereichen liegen. Bei der vorliegenden Ausführungsform ist die Kamera etwa 60 cm entfernt vom Gesicht angeordnet, EACW ist auf einen Wert entsprechend 100 Bildelementen eingestellt, und ECAH ist auf einen Wert entsprechend 180 Bildelementen eingestellt.

Gemäß Fig. 7 berechnet dann die Zielbereichseinstellvorrichtung 5 das X-Richtungsprofil der Summe der Bildelementenwerte entlang der Y-Richtung innerhalb des Augensuchbereiches 40, unter Verwendung der Y- Richtungshistogrammberechnungsvorrichtung 51 für den Augensuchbereich, wodurch ein Y-Richtungshistogramm SUMY501 erhalten wird. Unter Verwendung der Augenzielzoneneinstellvorrichtung 22 nimmt dann die Zielbereichseinstellvorrichtung 5 einen Bereich EAH, der einen Wert von SUMY aufweist, der größer als der Schwellenwert SHL ist, als einen Augenzielbandbereich 520, wodurch der Augensuchbereich auf einen engeren Bereich begrenzt wird. Bei dem in Fig. 7 gezeigten Beispiel sind ein Augenbrauenbereich BER1 und ein Augenbereich BER2 als Augenzielbandbereiche 520 ausgewählt.

Wie in Fig. 8 gezeigt berechnet dann die X- Richtungshistogrammberechnungsvorrichtung 53 für den Augenzielbereich ein Y-Richtungsprofil der Summe der Signalpegel von Bildelementen in Richtung X innerhalb des Augenzielbandbereiches 520, und zwar über die Breite ECAW des Bereiches, in welchem ein Auge vorhanden ist, wodurch ein X- Richtungshistogramm SUMX502 erhalten wird. Dann stellt die Augenzielbereichseinstellvorrichtung 54 Bereiche in dem Augenzielbandbereich 520 ein, die einen Wert für SUMX aufweisen, der größer als der Schwellenwert SHL ist, als Augenzielbereiche 50, die eine Y-Richtungslänge EAW und eine X- Richtungslänge EAH aufweisen. Bei dem in den Fig. 7 und 8 gezeigten Beispiel sind ein Augenbrauenbereich BER11 und ein Augenbereich BER21 als Augenzielbereiche 50 festgelegt.

Schließlich berechnet in der Augenbereichserfassungsvorrichtung 6 die Augenbewertungsfunktionsberechnungsvorrichtung 61 eine Augenbewertungsfunktion für jeden Augenzielbereich 50, der voranstehend festgelegt wurde, und die Augenzielbereichsauswahlvorrichtung 62 wählt schließlich ein Paar von Augenzielbereichen 50 als Augen aus den voranstehend genannten Augenzielbereichen 50 aus, auf der Grundlage einer Beurteilung der Augenbewertungsfunktionswerte.

Fig. 9 ist ein Flußdiagramm, welches im einzelnen den voranstehend geschilderten Vorgang der Unterscheidung von Augenbereichen erläutert. Im Schritt S601 wird beurteilt, ob ein Augenzielbereich 50 vorhanden ist oder nicht. Gibt es einen Augenzielbereich 50, dann wird die Breite EAW des Augenzielbereiches BERij im Schritt S602 eingelesen. Im Schritt 5603 wird überprüft, ob die Breite EAW in dem zulässigen Bereich zwischen einem Minimalwert EAWMIN und einem Maximalwert EAWMAX liegt, die auf der Grundlage der Entfernung zwischen einer Kamera und einem zu überwachenden Gesicht und ebenfalls vom Kameragesichtsfeldwinkel bestimmt werden. Falls festgestellt wird, daß die Breite EAW außerhalb des voranstehend genannten, zulässigen Bereiches liegt, wird der Bereich BERij so angesehen, daß er kein Augenbereich ist. In diesem Fall geht, um einen anderen Augenzielbereich aufzurufen, der Betriebsablauf zum Schritt S604 über, und j oder i des Bereiches BER wird inkrementiert (schrittweise erhöht). Dann kehrt der Betriebsablauf zum Schritt S601 zurück. Liegt die Breite EAW des Bereiches BERij in dem zulässigen Bereich, so geht der Betriebsablauf zum Schritt S605 über, und es wird ein X-Richtungshistogramm SUMX des Bereichs BERij gelesen, welches vorher berechnet wurde. Im Schritt S606 wird ein Maximalwert SUMXMAX von SUMX bestimmt. Dann wird im Schritt S607 eine Augenbereichsbewertungsfunktion EFV1, welche die Komplexität des X-Richtungshistogramms repräsentiert, gemäß der nachstehend beschriebenen Gleichung (4) berechnet. Es wird daher die Summe der Differenz zwischen dem Maximalwert SUMXMAX und jedem Histogrammwert SUMX über die Breite EAW des Bereiches BERij berechnet, und dann wird dieser Wert in Bezug auf die Summe der gesammten Histogrammwerte normiert.

EFV1 = Σ(SUMXMAX - SUMX)/ΣySUMX (4)

Dann wird im Schritt S608 eine Bewertungsfunktion EFV2 berechnet, welche den Maximalwert des X-Histogramms relativ zu einer Konstanten C repräsentiert, gemäß Gleichung (5).

EFV2 = SUMXMAX - C (5)

Das Produkt dieser beiden Bewertungsfunktionen EFV1 × EFV2 wird berechnet, und das Ergebnis wird als Augenbereichsbewertungsfunktion EFV verwendet. Im Schritt S610 wird die Augenbereichsbewertungsfunktion EFV mit dem Minimalwert EFVMIN verglichen. Ist EFV größer als EFVMIN, so wird geschlossen, daß der Bereich BERij ein Augenbereich ist, und daher werden im Schritt S611 die Zahlen (i, j), die zu BERij gehören, gespeichert. Dann geht der Betriebsablauf zum Schritt S612 über. Ist EFV kleiner oder gleich EFVMIN, so kehrt der Betriebsablauf zum Schritt S604 zurück.

Obwohl das Produkt von EFV1 und EFV2 bei dem voranstehend geschilderten Vorgang als die Augenbereichsbewertungsfunktion EFV verwendet wird, kann auch eine Linearkombination mit geeigneten Gewichtungskonstanten C1, C2, also C1 × EFV1 + C2 × EFV2 als die Augenbereichsbewertungsfunktion EFV verwendet werden. In diesem Zusammenhang zeigen Versuche, daß ein relativ großer Wert der Gewichtungskonstante C1 zu einem guten Ergebnis beim Herausziehen eines Augenbereiches führt.

Wie auf der rechten Seite von Fig. 8 gezeigt ist, weist ein Augenbereich ein Histogramm auf, welches einen relativ scharfen Spitzenwert aufweist, entsprechend dem schwarzen Teil des Augenbereichs, und bei welchem eine große Differenz zwischen dem Maximalwert SUMXMAX und SUMX vorhanden ist. Andererseits weist, wie auf der linken Seite von Fig. 8 gezeigt ist, ein Augenbrauenbereich in einem Augensuchbereich 40 ein Histogramm auf, welches eine relativ flache Form und eine kleine Differenz zwischen dem Maximalwert SUMXMAX und SUMX aufweist. Daher hat die Bewertungsfunktion EFV1 eines Augenbereichs einen Wert, der einige Male größer ist als jener anderer Bereiche. Wenn ein Auge offen ist, weist darüber hinaus der schwarze Teil des Auges einen großen Wert in dem Maximalwert SUMXMAX des Histogramms und daher einen großen Wert in der Bewertungsfunktion EFV2 auf, verglichen mit den anderen Bereichen. Dies führt dazu, daß das Produkt der Bewertungsfunktionen oder von EFV in einem Augenbereich maximal wird. Der im voranstehend geschilderten Schritt S610 verwendete Minimalwert EFVMIN wird unter Berücksichtigung der Änderungen von EFV bei verschiedenen Personen eines Augenbereichs in einem Augensuchbereich 40 festgelegt. Bei der vorliegenden Erfindung wird, wie voranstehend geschildert, das Histogramm, welches charakteristische Merkmale eines Auges repräsentiert, zur Erfassung eines Augenbereiches verwendet, und daher ist es möglich, das Auge korrekt zu erfassen, im Gegensatz zu der konventionellen Vorgehensweise, die auf der Erfassung der Größe beruht, und häufig unfähig ist, ein Auge zu erfassen.

Im Schritt S612 wird das geometrische Zentrum (XEC, YEC) eines rechteckigen Augenerfassungsbereiches BERij berechnet, und als repräsentativer Punkt des Bereiches BERij verwendet. Im Schritt S613 wird die Entfernung DETFC zwischen dem repräsentativen Punkt (XEC, YEC) und dem Gesichtszentrum 7 (XFC, YFC) berechnet und gespeichert. Weiterhin wird im Schritt S614 die Y- Koordinate YEC des repräsentativen Punktes mit der Y-Koordinate YFC des Gesichtszentrums verglichen. Ist YEC größer YFC, dann geht der Betriebsablauf zum Schritt S615 über, und eine Marke FLAG des rechten Auges des Bereiches BERij wird gesetzt, um anzuzeigen, daß der Bereich BERij ein Erfassungsbereich für das rechte Auge ist. Anderenfalls geht der Betriebsablauf zum Schritt S616 über, und wird eine Marke FLAG für das linke Auge gesetzt, um anzuzeigen, daß der Bereich BERij ein Erfassungsbereich für das linke Auge ist. Die voranstehend geschilderten Schritte S601 bis S616 werden wiederholt durchgeführt, bis sämtliche Augenzielbereiche abgearbeitet wurden.

Wenn unter Verwendung der Bewertungsfunktion EFV jeder Augenzielbereich bewertet wurde, geht der Betriebsablauf zum Schritt S617 über, und wird festgestellt, ob ein Augenerfassungsbereich vorhanden ist. Gibt es keinen Augenerfassungsbereich, so wird geschlossen, daß überhaupt keine Augen herausgezogen wurden, und daher geht der Betriebsablauf zum Schritt S618 über, in welchem eine Marke FLAG für einen Ausfall der Augenerfassung gesetzt wird. Falls ein oder mehrere Augenerfassungsbereiche vorhanden sind, geht der Betriebsablauf zum Schritt S619 über, und die Marken FLAGs der Augenerfassungsbereiche werden überprüft. Ist die Marke FLAG für das rechte Auge gesetzt, dann wird der Augenerfassungsbereich als ein Erfassungsbereich für das rechte Auge angesehen. Dann wird im Schritt S620 beurteilt, ob die Entfernung DETFC des Bereiches BERij ein Minimum der Erfassungsbereiche für das rechte Auge ist. Trifft dies zu, dann wird der Bereich BERij schließlich als ein rechtes Auge angesehen. Wenn andererseits im Schritt S616 geschlossen wird, daß die Marke FLAG für das linke Auge gesetzt ist, dann wird der Bereich als ein Erfassungsbereich für das linke Auge angesehen. Daher geht der Betriebsablauf zum Schritt S622 über und wird beurteilt, ob die Entfernung DETFC des Bereiches BERmn ein Minimum der Erfassungsbereiche für das linke Auge ist. Trifft dies zu, dann wird der Bereich BERmn schließlich als ein linkes Auge angesehen. Wenn in den Schritten S620 und S622 die Entfernung DETFC nicht ein Minimum darstellt, dann geht der Betriebsablauf zum Schritt S624 über, um zu überprüfen, ob es einen anderen Augenerfassungsbereich gibt. Ist noch ein anderer Augenerfassungsbereich vorhanden, so geht der Betriebsablauf zum Schritt S625 über, und wird die Augenerfassungsbereichszahl inkrementiert. Der Betriebsablauf kehrt dann zum Schritt S619 zurück. Falls im Schritt S624 festgestellt wird, daß es keinen weiteren Augenerfassungsbereich gibt, so wird geschlossen, daß entweder ein rechtes oder ein linkes Auge nicht herausgezogen wurde, und daher wird ein Marke FLAG für einen Ausfall der Erfassung eines Auges im Schritt S626 gesetzt.

Wie in Fig. 6 gezeigt ist, wird bei der vorliegenden Ausführungsform der Haarbereich von dem binären Gesichtsbild entfernt, und daher hängt des Zentrum des binären Gesichtsbildes nicht von dem Haar ab, welches eine große Fläche aufweist, dessen Form sich von einer Person zur nächsten ändert. Dies führt dazu, daß sich der Augenbereich an einem Ort in dem Augensuchbereich am nächsten am Gesichtszentrum 7 befindet. Wie voranstehend geschildert werden diese Tatsachen bei der vorliegenden Erfindung eingesetzt, um die Augenbereiche korrekt zu erfassen, wobei eine Beurteilung nicht nur der Form der Augen erfolgt, sondern auch der Entfernung zwischen den Augen und dem Gesichtszentrum 7.

Die Fig. 10 bis 12 zeigen ein Bild eines Gesichts, welches eine Brille aufweist, und den Augenerfassungsvorgang für dieses Gesichtsbild unter Verwendung der bei der ersten Ausführungsform geschilderten Vorgehensweise. Fig. 10 zeigt ein eingegebenes Gesichtsbild. Fig. 11 zeigt ein binäres Bild, welches nach Bearbeitung des in Fig. 10 gezeigten, eingegebenen Gesichtsbildes mit der Graustufenumwandlungsvorrichtung 2 und der variablen Binärumwandlungsvorrichtung 3 erhalten wird. Hierbei wird deutlich, daß der Haarbereich von dem Bild durch die Graustufenumwandlungsvorrichtung 2 entfernt wird. Darüber hinaus werden die vertikalen Teile des Gestells der Brille ebenfalls entfernt, und daher bleiben nur die horizontalen Teile übrig, deren Breite, gemessen in der Vertikalrichtung des Gesichts, kleiner ist als die Filterlänge der Graustufenumwandlungsvorrichtung 2. In einem solchen Fall ist, wie in Fig. 12 gezeigt ist, der obere horizontale Gestellabschnitt BER21 der Brille als einer der Augenzielbereiche 50 in einem Augensuchbereich 40 vorhanden, zusammen mit anderen Augensuchbereichen, beispielsweise einem Augenbrauenbereich BER11 und einem Augenbereich BER31. Bei dem in Fig. 12 gezeigten Beispiel ist der untere horizontale Gestellabschnitt teilweise in dem Augensuchbereich 40 enthalten. Wenn sich ein schwarzer Bereich über die Horizontalseite eines Augensuchbereiches 40 wie beim vorliegenden Beispiel erstreckt, wird dieser schwarze Bereich als ein Augensuchbereich 520 verwendet. Dies liegt daran, daß schwarze Blockbereiche gewöhnlich in der Horizontalrichtung des Gesichts lang sind, und daher die Form des X- Richtungshistogramms SUMX schwarzer Blockbereiche durch die Form des scheibenförmigen Abschnitts des Augensuchbereiches 40 beeinflußt wird. Obwohl dies nicht in den Figuren gezeigt ist, weist das X-Achsenhistogramm SUMX des oberen horizontalen Gestellabschnitts BER31 der Brille eine flache Form auf, ähnlich jener des Augenbrauenbereichs BER11, der in Fig. 8 gezeigt ist. Wie in dem Bereich BER11 wird daher der Bereich BER21 bei der Bewertung auf der Grundlage der Bewertungsfunktion EFV zurückgewiesen, die bei dem in Fig. 9 gezeigten Schritt S610 durchgeführt wird, und wird daher nicht als ein Augenerfassungsbereich verwendet. Daher wird nur BER31 als ein Augenbereich verwendet.

Wie voranstehend geschildert ermöglicht es die erste Ausführungsform, ein einfaches Herausziehen eines Augenbereiches durchzuführen, selbst wenn ein Fahrer eine Brille trägt.

Weiterhin wird bei dieser Ausführungsform die Berechnung von Histogrammen, beispielsweise des Y-Richtungshistogramms SUMY501 und des X-Richtungshistogramms SUMX502, mit hoher Geschwindigkeit unter Verwendung von Hardware durchgeführt, welche eine Zählerschaltung aufweist. Die Augensuchbereichseinstellvorrichtung 4 und die Kandidatenbereichseinstellvorrichtung 5 werden ebenfalls vorzugsweise als Hardware ausgeführt, und daher ist es möglich, in kurzer Zeit Augen herauszuziehen.

Ausführungsform 2

Fig. 13 ist ein Schaltbild einer weiteren Ausführungsform eines MAX/MIN-Bildelement-Signalextraktionsfilters gemäß der vorliegenden Erfindung. Wie aus Fig. 13 hervorgeht, weist das Filter eine Filterlänge auf, welche 15 Bildelementen entspricht, wie bei der ersten Ausführungsform. Anders als bei der ersten Ausführungsform führt jedoch der Komparator 26 einen Vergleich von Bildelementsignalpegeln alle zwei Bildelemente durch, und gibt schließlich einen Maximal- oder Minimalwert von 8 Bildelementen der voranstehend erwähnten 15 Bildelemente über die Filterausgangsklemme FLT OUT aus. Die Signalpegel von Bildelementen werden über mehrere Bildelemente gemittelt, und räumliches Hochfrequenzrauschen wird durch ein Mittlungsfilter abgetrennt, und daher wird die Graustufenverteilung eines Bildes geglättet. Bei dem Vergleichsvorgang kann daher das MAX/MIN-Bildelement-Signalextraktionsfilter um so viele Bildelemente springen, wie der Anzahl an Bildelementen des Mittlungsfilters entspricht, ohne daß beim Herausziehen charakteristischer Merkmale eines Gesichts Probleme auftreten. Bei dem hier beschriebenen Beispiel wird der Vergleich alle zwei Bildelemente durchgeführt, und daher benötigt das Filter nur die halbe Anzahl an Komparatoren. Dies gestattet eine Verringerung der Kosten.

Ausführungsform 3

Fig. 14 ist eine schematische Darstellung einer weiteren Augenbereichserfassungsvorrichtung, wobei die Bezugsziffer 503 eine Frequenzverteilungskurve eines X-Richtungshistogramms SUMX502 jedes Augenzielbereiches 50 bezeichnet, MC die Zentrumsposition der Frequenzverteilung, PH den Spitzenwert der Frequenzverteilung, und HW die Halbwertsbreite der Frequenzverteilung. Wie aus Fig. 14 hervorgeht, führt im Falle eines Augenbrauenbereichs BER11 die Form von SUMX zu einem scharfen, einzelnen Spitzenwert in der Frequenzverteilungskurve 503. Im Gegensatz hierzu weist in einem Augenbereich BER21 die Frequenzverteilungskurve doppelte Spitzenwerte auf, die durch die Iris und die Pupille hervorgerufen werden. Bei Augenzielbereichen in dem Augensuchbereich 40 wird daher ein Augenzielbereich, der ein maximales HM/PH und zwei Spitzenwerte auf der rechten bzw. linken Seite von MC aufweist, als ein Augenbereich von der Augenbereichserfassungsvorrichtung 6 angesehen.

Die Augenbereichserfassungsvorrichtung 6 kann daher erfolgreich einen Augenbereich herausziehen. Bei dieser Vorgehensweise läßt sich eine hohe Verläßlichkeit beim Herausziehen eines Augenbereichs erzielen, da die Frequenzverteilungskurve des X- Richtungshistogramms einen großen Unterschied bezüglich der Form zwischen einem Augenbereich und den anderen Bereichen charakteristischer Merkmale aufweist.

Ausführungsform 4

Fig. 15 ist eine schematische Darstellung einer weiteren Augenbereichserfassungsvorrichtung. Bei dieser Augenbereichserfassungsvorrichtung wird ein Augenbereich dadurch erfaßt, daß eine Änderung der Form des Auges im Verlauf der Zeit erfaßt wird. Im Verlauf der Zeit ändern sich das binäre Bild des Augensuchbereiches 40 und des X- Richtungshistogramms 502 jedes Augenzielbereiches, der in dem Augensuchbereich 40 vorhanden ist, wie bei (a) bis (c) in Fig. 15 gezeigt ist. Darüber hinaus zeigt Fig. 15 bei (d) und (e) Änderungen der Bewertungsfunktion EFV1 bzw. EFV2, die aus dem X-Richtungshistogramm 502 für jeden Augenzielbereich berechnet werden. Wie aus Fig. 15 hervorgeht, zeigt das X- Richtungshistogramm 502 des Augenbrauenbereichs BER11 eine geringe zeitliche Änderung, und weist eine im wesentlichen flache Form auf. Dies führt dazu, daß im Verlauf der Zeit sowohl EFV1 als auch EFV2 im wesentlichen konstant bleiben. Im Gegensatz hierzu ändert das X-Achsenhistogramm 502 des Augenbereichs BER21 im Verlauf der Zeit seine Form, da die Augen geöffnet und geschlossen werden, und sich der Gesichtsfeldwinkel im Verlauf der Zeit ändert. Daher zeigen die Augenbewertungsfunktionen EVF1 und EFV2 starke Änderungen, die hauptsächlich von der Öffnungs- und Schließbewegung der Augen herrühren. Daher werden die Augenbewertungsfunktionen EFV1 und Schließbewegung der Augen herrühren. Daher werden die Augenbewertungsfunktionen EFV1 und EFV2 jedesmal dann berechnet, wenn ein Bild eingegeben wird, und die Ergebnisse werden im Speicher gespeichert. Änderungen der Augenbewertungsfunktionen EFV1 und EFV2 unter einer vorbestimmten Anzahl an Bildern werden berechnet, und ein Augenzielbereich, der die größten Änderungen zeigt, wird als ein Auge angesehen.

Wie voranstehend geschildert wird bei der vorliegenden Ausführungsform ein Augenbereich auf der Grundlage der zeitlichen Änderung der Augenbewertungsfunktion erfaßt. Wenn ein Auge dadurch erfaßt wird, daß der Bewertungsfunktionswert nur eines Bildes beurteilt wird, kann es schwierig sein, das Auge korrekt zu erfassen. Beispielsweise tritt diese Schwierigkeit auf, wenn das Auge geschlossen ist. Das Verfahren gemäß der vorliegenden Ausführungsform ermöglicht es jedoch, korrekt ein Auge zu erfassen, ohne daß eine Verwechslung mit anderen Teilen wie beispielsweise eine Augenbraue oder eine Brille auftritt. Wenn die Bewertungsfunktion zusätzlich zu den voranstehend aufgeführten Termen auch die Y-Koordinate oder die Zentrums-Y-Koordinate von SUMX in Bezug auf die Bereichsbreite EAW enthält, so daß die Position des Spitzenwerts der Bewertungsfunktion diese Parameter wiederspiegelt, dann gibt darüber hinaus der Bewertungsfunktionswert die Änderung des Betrachtungswinkels eines Auges wieder, und daher wird es möglich, einen Augenbereich korrekter herauszuziehen.

Ausführungsform 5

Fig. 16 ist ein Flußdiagramm des Vorgangs zur Erfassung eines Augenbereichs unter Verwendung einer anderen Augenbereichserfassungsvorrichtung. Im Schritt S630 nach Beendigung des Schrittes S612 wird die Differenz DETFCX Gesichtszentrums berechnet und im Speicher gespeichert. Im Schritt S631 wird die Y-Koordinate YEC des repräsentativen Punktes mit der Y-Koordinate YFC des Gesichtszentrums verglichen. Ist YEC größer als YFC, dann wird geschlossen, daß der Bereich BERij an der rechten Seite des Gesichtszentrums 7 liegt, und daher wird die Marke FLAG für das rechte Auge im Schritt S632 gesetzt: Im Schritt S633 wird die Differenz (DETFCY YEC - YFC) berechnet und im Speicher gespeichert. Ist YFC größer als YEC, so geht der Betriebsablauf zum Schritt S634 über, und wird die Marke FLAG für das linke Auge gesetzt. Dann wird im Schritt S635 die Differenz (DETFCY = YFC - YEC) berechnet und im Speicher gespeichert. Der voranstehende Vorgang wird für sämtliche Zielbereiche durchgeführt. Falls im Schritt S601 geschlossen wird, daß die Einstellung für sämtliche Augenerfassungsbereiche beendet wurde, geht der Betriebsablauf zum Schritt S636 über, und wird überprüft, ob ein Erfassungsbereich für das linke Auge vorhanden ist, auf der Grundlage der Überprüfung der Marke FLAG für das linke Auge. Ist ein Erfassungsbereich für das linke Auge vorhanden, so geht der Betriebsablauf zum Schritt S637 über, um den Erfassungsbereich BERij für das linke Auge aufzurufen. Im Schritt S638 wird überprüft, ob ein Erfassungsbereich für das rechte Auge vorhanden ist, durch Beurteilung der Marke FLAG für das rechte Auge, und der Erfassungsbereich BERmn für das rechte Auge wird Schritt S639 aufgerufen. Im Schritt S640 werden die Absolutwerte DX und DY der Differenzen DETFCX und DETFCX, die zu dem Bereich BERij bzw. BERmn gehören, berechnet und im Speicher zusammen mit den Identifizierungsnummern (i, j) und (m, n) der Bereiche gespeichert. Im Schritt S641 wird überprüft, ob sowohl DX als auch DY kleiner als der Maximalwert DXMAX bzw. DYMAX sind. Ist entweder DX oder DY größer oder gleich dem entsprechenden Maximalwert, so wird hieraus geschlossen, daß die Kombination der Bereiche BERij und BERmn nicht einen Augenbereich betrifft. In diesem Falle wird ein anderer Erfassungsbereich für das rechte Auge im Schritt S642 ausgewählt, und auf entsprechende Weise bewertet. Wenn im Schritt S638 geschlossen wird, daß sämtliche Kombinationen für einen Erfassungsbereich für ein linkes Auge bewertet wurden, geht der Betriebsablauf zum Schritt S643 über, um einen anderen Erfassungsbereich für das linke Auge auszuwählen, und wird der voranstehend geschilderte Vorgang für diesen Erfassungsbereich für das linke Auge wiederholt. Sind sowohl DX als auch DY kleiner als der jeweilige Maximalwert DXMAX bzw. DYMAX, so geht der Betriebsablauf zum Schritt S644 über, um weiter zu überprüfen, ob sowohl DX als auch DY gleich dem jeweiligen Minimalwert sind. Trifft dies zu, dann wird schließlich im Schritt S644 geschlossen, daß die Kombination der Bereiche BERij und BERmn ein Augenbereich ist. Ist entweder DX oder DY nicht gleich dem entsprechenden Minimalwert, so geht der Betriebsablauf zum Schritt S642 über, um einen anderen Erfassungsbereich für das rechte Auge auszuwählen. Wenn bei diesem Vorgang im Schritt S636 geschlossen wird, daß sämtliche Kombinationen für sämtliche Augenerfassungsbereiche bewertet wurden, dann wird hieraus geschlossen, daß es keinen Augenbereich gibt, und daher geht der Betriebsablauf zum Schritt S646 über, in welchem die Marke FLAG für einen Ausfall der Augenerfassung gesetzt wird.

Wie voranstehend geschildert befindet sich in dem binären Gesichtsbild gemäß der vorliegenden Erfindung ein Augenbereich an einem Ort in jedem Augensuchbereich am nächsten am Gesichtszentrum 7, wobei ein Augenbereich auf der rechten Seite des Bildes und der andere auf der linken Seite liegt, an Positionen, die im wesentlichen symmetrisch zu einer Linie sind, die in der X-Richtung verläuft und durch das Gesichtszentrum 7 hindurchgeht. Unter Berücksichtigung dieser Tatsache wird ein Augenbereich auf der Grundlage der weiteren, ins Einzelne gehenden Positionsbeziehung zwischen einem Auge und dem Gesichtszentrum 7 erfaßt, so daß das Auge mit höherer Verläßlichkeit erfaßt werden kann.

Ausführungsform 6

Die Fig. 17 und 18 zeigen eine weitere Ausführungsform einer Gesichtszentrumserfassungsvorrichtung zur Erfassung des Gesichtszentrums 7, welches zum Herausziehen eines Augenbereichs verwendet werden soll, wobei Fig. 17 ein Flußdiagramm der von der Gesichtszentrumserfassungsvorrichtung durchgeführten Vorgänge ist, und Fig. 18 eine schematische Darstellung der Vorgänge zur Erfassung der Zentrumsposition des Gesichts.

Im Schritt S411 wird ein X-Richtungsprofil der Summe der Bildelementwerte entlang der Y-Richtung eines binären Bildes 12 berechnet, wodurch ein Y-Richtungshistogramm SUMY501 erhalten wird. Im Schritt S412 werden Bereiche, bei denen der Wert für SUMY größer als ein vorbestimmter Sperrschwellenwert SHL ist, als bandförmige Bereiche 55 festgelegt. Im Schritt S413 wird die Spitzenwertposition XPi von SUMY in jedem bandförmigen Bereich Bi bestimmt und als die Koordinate XC des repräsentativen Punktes des bandförmigen Bereiches verwendet. Dann wird im Schritt S414 der Mittelwert XFC von SC berechnet. Falls ein bandförmiger Bereich Bi zwei oder mehr Spitzenwerte aufweist, so wird vorzugsweise die Koordinate des Mittelpunkts zwischen den Grenzkoordinaten Xis und Xie des bandförmigen Bereiches Bi als die Koordinate XC des repräsentativen Punktes verwendet. Dann wird im Schritt S415 ein Y-Richtungsprofil der Summe der Bildelementwerte in der X-Richtung berechnet, wodurch ein X-Richtungshistogramm für jeden bandförmigen Bereich Bi berechnet wird. Weiterhin werden im Schritt S416 die Summen sämtlich für sämtliche bandförmigen Bereiche addiert, um so ein X-Richtungshistogramm SUMX504 zu erhalten. Im Schritt S417 wird die Y-Koordinate YFC des Zentrums des sich ergebenden X- Richtungshistogramms SUMX berechnet. Im Schritt S418 werden XFC und YFC, welche die Koordinaten (XFC, YFC) der Zentrumsposition des Gesichts FC repräsentieren, im Speicher gespeichert.

Bei der vorliegenden Ausführungsform wird das Gesichtszentrum 7 durch Berechnung des Histogramms bestimmt, wie bei den vorherigen Ausführungsformen. Darüber hinaus wird die Berechnung vorzugsweise durch Hardware durchgeführt, und daher ist es möglich, die Speicherplatzanforderungen zu verringern, die für die Berechnung erforderlich sind, ebenso wie das Ausmaß der Berechnungen. Hierdurch wird die zur Berechnung der Koordinaten des Gesichtszentrums erforderliche Zeit verringert.

Ausführungsform 7

Die Fig. 19 und 20 zeigen eine weitere Ausführungsform einer Augensuchbereichseinstellvorrichtung, wobei Fig. 19 eine schematische Darstellung des Vorgangs zur Einstellung von Augensuchbereichen in einem binären Bild auf der Grundlage der Gesichtszentrumslinie und des Gesichtszentrums ist, und Fig. 20 eine schematische Darstellung des Vorgangs zur Einstellung von Zielbereichen unter Verwendung von X-Richtungshistogrammen SUMX bandförmiger Bereiche.

Wie aus Fig. 19 hervorgeht, werden Bereiche mit charakteristischen Merkmalen in dem binären Bild 12 herausgezogen, und Augenbereiche liegen an der rechten und linken Seite der vertikalen Zentrumslinie des Gesichts an Positionen nahe dem Gesichtszentrum FC. Wie bei der Ausführungsform 6 werden bandförmige Bereiche Bi55 in dem binären Bild 12 festgelegt. Dann wird die X-Koordinate XBCi des Zentrums des Y-Richtungshistogramms SUMY501 für die bandförmigen Bereiche Bi55 in dem binären Bild 12 berechnet. Die Y-Koordinate YBCi der Zentrumsposition des X- Richtungshistogramms SUMX502, welche das Y-Richtungsprofil der Summe der Bildelementsignalpunkte entlang der X-Richtung repräsentiert, wird für jeden bandförmigen Bereich B1 berechnet. Eine Linie Y = mX + Yc, welche die beste Anpassung an die Zentrumskoordinaten Bgi (XBCi, YBCi) der jeweiligen bandförmigen Bereiche Bi ergibt, wird bestimmt, und diese Linie wird als die Gesichtszentrumslinie 8 verwendet. Eine derartige Linie kann unter Verwendung des Anpassungsverfahrens mit Hilfe der kleinsten Fehlerquadrate erhalten werden. Wie bei der voranstehend geschilderten Ausführungsform 6 werden dann die Koordinaten (XFC, YFC) der Zentrumsposition des Gesichts FC aus dem Y-Richtungshistogramm SUMY501 und dem X-Richtungshistogramm SUMX502 berechnet. Weiterhin werden zwei Punkte PER und PEL bestimmt, die eine X-Koordinate aufweisen, die um XECA von der Zentrumsposition des Gesichts FC entlang der Gesichtszentrumslinie 8 beabstandet ist, und Y-Koordinaten aufweist, die einen Abstand von YECA bzw. YECA - EACW von der Gesichtszentrumslinie 8 in der Richtung vertikal zur Gesichtszentrumslinie 8 aufweisen. Unter Verwendung dieser beiden Punkte PER und PEL als Basispunkte wird dann ein Paar rechteckiger Augensuchbereiche 40 so festgelegt, daß eine Seite parallel zur Gesichtszentrumslinie 8 verläuft, und jeder rechteckige Augensuchbereich eine Y-Richtungslänge EACW und eine X-Richtungslänge aufweist, die gleich ECAH ist, wodurch die Augensuchbereiche auf engere Bereiche begrenzt werden, wobei die X-Richtung entlang der Horizontalrichtung des Gesichts verläuft, und die Y-Richtung entlang der Vertikalrichtung des Gesichts. Bei dieser Definition werden, wie bei der Ausführungsform 1, EACW und ECAH auf ordnungsgemäße Werte eingestellt, unter Berücksichtigung der Entfernung zwischen der Kamera und einem zu überwachenden Gesicht, und des Beobachtungswinkels der Kamera, so daß diese Werte sicherstellen, daß Augenbereiche in den rechteckigen Augensuchbereichen enthalten sind.

Bei der vorliegenden Ausführungsform werden die Berechnungen auf der Grundlage der Berechnung der Histogramme durchgeführt, wie bei der Ausführungsform 6, und daher ist es möglich, Augensuchbereiche schnell zu definieren. Darüber hinaus sind die Augensuchbereiche auf engere Bereiche eingeschränkt, die unter Bezugnahme auf die Gesichtszentrumslinie 8 und das Gesichtszentrum 7 festgelegt werden. Dies erlaubt eine weitere Verringerung des Speicherplatzbedarfs, der zur Erfassung von Augen erforderlich ist. Darüber hinaus können Augensuchbereiche selbst dann festgelegt werden, wenn sich ein Gesicht in einer schrägen Anordnung befindet, so daß Augen in den Augensuchbereichen erfaßt werden können.

Ausführungsform 8

Die Fig. 21 und 22 zeigen eine weitere Ausführungsform einer Augensuchbereichseinstellvorrichtung, wobei Fig. 21 ein Flußdiagramm des Vorgangs zur Einstellung von Augensuchbereichen ist, und Fig. 22 die Änderungen des binären Bild 12 zeigt, die in Abhängigkeit von der Orientierung des Gesichts auftreten. Die vorliegende Ausführungsform wird nachstehend im einzelnen unter Bezugnahme auf diese Figuren beschrieben, aber auch auf die Fig. 18 und 20, soweit erforderlich.

Wie zunächst aus Fig. 18 hervorgeht, wird das zu dem binären Bild 12 gehörende Y-Richtungshistogramm SUMY501 berechnet, und werden Bereiche, die einen Wert von SUMY aufweisen, der größer als ein vorbestimmter Sperrschwellenwert SHL ist, als bandförmige Bereiche 55 genommen. Wie aus Fig. 20 hervorgeht, wird dann ein X-Richtungshistogramm SUMX502 entlang der Y- Richtung für jeden bandförmigen Bereich Bi berechnet. Segmente, in welchen SUMX einen Wert größer als ein vorbestimmter Sperrschwellenwert SHL aufweist, werden scheibenförmig unterteilt, und rechteckige Bereiche mit einer X- Richtungsbreite gleich der Breite des bandförmigen Bereichs Bi und mit einer Y-Richtungsbreite gleich der Breite der voranstehend erwähnten, scheibenförmigen Segmente werden als Zielbereiche Bij verwendet. Die Startpunktkoordinaten (Xijs, Yijs) und die Endpunktkoordinaten (Xije, Yije), die sich an den entgegengesetzten Winkeln des Zielbereiches Bij befinden, werden in dem Speicher zusammen mit der Identifizierungsnummer ij des Zielbereiches Bij gespeichert. Bei einem bandförmigen Bereich B1 werden die Koordinaten (X11s, Y11s) und (X11e, X11e) eines Zielbereiches B11, der die linke Augenbraue enthält, und die Koordinaten (X12s, Y12s) und (X12e, X12e) eines Zielbereiches B12, welcher eine rechte Augenbraue enthält, im Speicher gespeichert.

Dann werden bei dem in Fig. 21 gezeigten Schritt S421 die Koordinaten der Startpunkte und Endpunkte sämtlicher Zielbereiche Bij in dem momentanen binären Bild 12 gelesen. Im Schritt S422 werden die Minimalwerte der Startpunktkoordinaten sämtlicher Zielbereiche Bij und die Maximalwerte der Endpunktkoordinaten in X- und Y-Richtung des Bildes berechnet, und dann wird ein rechteckiger Bereich definiert, in welchem ein schwarzer Block existiert, unter Verwendung dieser Minimal- und Maximalwerte, so daß sich sämtliche Zielbereiche Bij in diesem rechteckigen Bereich befinden, in welchem ein schwarzer Block vorhanden ist, so daß der rechteckige Bereich, in welchem ein schwarzer Block existiert, eine Höhe BAH entlang der Vertikalrichtung des Gesichts und eine Breite BAW entlang der Horizontalrichtung des Gesichts aufweist, wobei BAH und BAW gleich der Differenz zwischen dem Maximalwert der Endpunktkoordinaten und dem Minimalwert der Startpunktkoordinaten in der jeweiligen Richtung sind. Dann wird die Information dieses rechteckigen Bereichs, in welchem ein schwarzer Block vorhanden ist, im Speicher gespeichert. Darauf wird im Schritt S423 überprüft, ob BAH ein Maximum einer vorbestimmten Anzahl an Bildern darstellt, und zwar durch dessen Vergleich mit einem Bezugswert BAHO der vorherigen Bilder. Ist BAH ein Maximum, also ist BAH größer als BAHO, dann geht der Betriebsablauf zum Schritt S424 über, um den Bezugswert BAHO unter Verwendung von BAH als neuen Bezugswert zu aktualisieren. Entsprechend wird im Schritt S425 überprüft, ob BAW ein Maximum ist. Ist dies der Fall, dann geht der Betriebsablauf zum Schritt S426 über, und wird BAW als neuer Bezugswert BAWO verwendet. Im Schritt S427 werden die Bezugswerte BAHO und BAWO gelesen, und dann werden im Schritt S428 die Verhältnisse von BAH und BAW zu den Bezugswerten BAHO und BAWO als KAX bzw. KAY berechnet. Im Schritt S429 werden unter Verwendung dieser Verhältnisse KAX und KAY die Startkoordinaten (XECA, YECA) eines Augensuchbereiches und die Abmessungen ECAH, ECAW des Augensuchbereiches folgendermaßen berechnet:

XECA = XFV - (XECAO - CX1 × (1 - KAX))
YECA = YFC - (YECAO - CY1 × (1 - KAY)) (6)

ECAH = ECAHO - CX2 × (1 - KAM)
ECAW = ECAWO - CY2 × (1 - KAY) (7)

wobei CX1, CY1, CX2, CY2 Gewichtungsfaktoren sind, XECAO und YECAO Bezugsentfernungen unter den Bedingungen von KAX = 1, KAY = 1 sind, ECAHO eine Bezugshöhe des Augensuchbereiches unter der Bedingung von KAX = 1 ist, und ECAWO eine Bezugsbreite des Augensuchbereiches unter der Bedingung von KAY = 1 ist. Bei der voranstehenden Schilderung sind die Startkoordinaten des Augensuchbereiches jene des linken Auges, und die des rechten Auges werden hier nicht beschrieben.

Wie aus Fig. 22 hervorgeht, ändert sich die Entfernung zwischen dem rechten und dem linken Auge in Abhängigkeit von der Horizontalabweichung bei der Gesichtsorientierung, und ändern sich die Entfernung zwischen den Augen und der Augenbraue und die Entfernung zwischen den Augen und den Nasenlöchern in Abhängigkeit von der Vertikalabweichung der Gesichtsorientierung. Der Bereich, in welchem ein schwarzer Block vorhanden ist, nimmt die größte Breite BAW und Höhe BAH an, wenn sich das Gesicht in der Vorderposition befindet. Bei der vorliegenden Ausführungsform werden die Breite und die Höhe des Bereichs, in welchem ein schwarzer Block vorhanden ist, und die erhalten werden, wenn sich das Gesicht des Fahrers in der vorderen Position befindet, als die Bezugswerte zur Bestimmung der Position und der Größe des Augensuchbereiches 40 verwendet. Dies stellt sicher, daß der Augensuchbereich 40 auf optimale Weise eingestellt werden kann, in Abhängigkeit von der Orientierung des Gesichts des Fahrers, der Änderungen der Form des Gesichts bei verschiedenen Personen, und der Entfernung zwischen der Kamera und dem Gesicht.

Wie voranstehend geschildert werden bei der vorliegenden Ausführungsform die Höhe und die Breite des Bereichs, in welchem ein schwarzer Block existiert, einer vorbestimmten Anzahl an Bildern im Speicher gespeichert, und werden die Bezugshöhe BAHO und die Bezugsbreite BAWO des Bereichs, in welchem ein schwarzer Block vorhanden ist, dadurch bestimmt, daß die maximale Höhe und Breite unter einer vorbestimmten Anzahl an Bildern bestimmt werden. Wird jedoch die Tatsache berücksichtigt, daß sich das Gesicht des Fahrers am häufigsten in der vorderen Position befindet, so ist es ebenfalls möglich, die Bezugswerte wie nachstehend angegeben festzulegen. Es werden nämlich die Häufigkeiten des Auftretens der Breite BAW und der Höhe BAH mit ordnungsgemäßen Segmenten gezählt, und werden die Medianwerte von BAW und BAH von Segmenten, welche die größten Zählwerte zeigen, als Bezugswerte verwendet.

Darüber hinaus werden bei der vorliegenden Ausführungsform der Ort und die Abmessungen des Bereichs, in welchem ein schwarzer Block existiert, unter Verwendung der Verhältnisse KAX und KAY der Breite BAW und der Höhe BAH zu den Bezugswerten BAWO und BAHO definiert. Allerdings ist es ebenfalls möglich, den Ort und die Abmessungen des Augensuchbereichs unter Verwendung einer Gleichung zu definieren, bei welcher 1 - KAX und 1 - KAY durch die Höhe BAH und die Breite BAW ersetzt werden.

Ausführungsform 9

Bei den Ausführungsformen 6 und 7 werden die Koordinaten (XFC, YFC) des Gesichtszentrums FC aus dem Y-Richtungshistogramm SUXY501 des binären Bildes 12 und dem X-Richtungshistogramm SUMX504 bandförmiger Bereiche bestimmt, die auf der Grundlage des Y-Richtungshistogramms SUMY501 definiert sind. Allerdings können die Koordinaten (XFC, YFC) des Gesichtszentrums FC auch folgendermaßen festgelegt werden. Die Koordinaten (XBij, YBij) des repräsentativen Punktes jedes Zielbereiches Bij werden durch die Mittelpunkte zwischen den Startpunktkoordinaten (Xije, Yije) und den Endpunktkoordinaten (Xije, Yije) wie nachstehend angegeben repräsentiert.

XBij = (Xijs + Xije)/2
YBij = (Yijs + Yije)/2 (8)

Unter Verwendung der Anzahl Nij von Schwarzpegelbildelementen innerhalb des Zielbereiches Bij werden dann die Koordinaten (XFC, YFC) des Gesichtszentrums FC entsprechend der folgenden Gleichung bestimmt:

XFC = ΣiΣjNijXBij/ΣiΣjNij
YFC = ΣiΣjNijYBij/ΣiΣjNij (9)

Bei der vorliegenden Ausführungsform wird die Anzahl an Schwarzpegelbildelementen in jedem Zielbereich Bij schnell durch einen Zähler gezählt, und kann das Gesichtszentrum FC (7) durch eine kleine Anzahl an Multiplikations- und Divisionsoperationen bestimmt werden. Daher sind die erforderlichen Berechnungen vereinfacht, und ist es möglich, schnell die Koordinaten des Gesichtszentrums zu bestimmen.

Ausführungsform 10

Die Fig. 23 und 24 zeigen eine weitere Ausführungsform einer Augensuchbereichseinstellvorrichtung, die auf der Position von Nasenlöchern beruht, wobei Fig. 23 eine schematische Darstellung des Vorgangs der Einstellung von Augensuchbereichen in einem binären Bild ist, und Fig. 24 eine schematische Darstellung des Vorgangs zur Erfassung eines Nasenlochbereiches. Die vorliegende Erfindung wird nachstehend im einzelnen unter Bezugnahme auf diese Figuren geschildert, wobei auch, soweit erforderlich, auf Fig. 20 Bezug genommen wird.

Wie in Fig. 23 gezeigt, werden ein linker Nasenlochbereich LNA und ein rechter Nasenlochbereich RNA aus den Zielbereichen Bij herausgezogen, die in dem binären Bild 12 auf die voranstehend geschilderte Weise festgelegt werden. Dann wird der Mittelpunkt (XNC, YNC) zwischen den Koordinaten (XLN, YLN) und (XRN, YRN) des repräsentativen Punktes jedes Bereiches berechnet. Unter Berücksichtigung der Tatsache, daß Augenbereiche an bestimmten Positionen in Bezug auf die Orte von Nasenlochbereichen angeordnet sind, kann ein Paar von rechteckigen Augensuchbereichen 40 unter Verwendung von zwei Kantenpunkten PER und PEL definiert werden, die sich an bestimmten Positionen befinden, die durch die Gleichung (3) gegeben sind, relativ zu den Mittelpunkten (XNC, YNC) zwischen Nasenlöchern, so daß der Augensuchbereich 40 eine Y-Richtungsbreite von EACH und eine X- Richtungshöhe von ECAH aufweist, wodurch der Augensuchbereich auf den voranstehend geschilderten, besonderen Bereich beschränkt wird.

Die Nasenlochbereiche LNA und RNA erhält man folgendermaßen. Wie aus Fig. 20 hervorgeht, wird das X-Richtungshistogramm 502 über die Breite eines bandförmigen Bereichs für jeden bandförmigen Bereich Bi berechnet, der in einem binären Bild 12 eingestellt ist, auf der Grundlage des Y-Richtungshistogramms 501. Die X-Richtungshistogramme 502 werden in Bezug auf den Sperrschwellenwert in Scheiben unterteilt, wodurch Zielbereiche Bij eingestellt werden. Bei der vorliegenden Ausführungsform werden die Zielbereiche Bij in binärer Form im Speicher BLV an einem Ort gespeichert, der eine Zonennummer i für jeden bandförmigen Bereich Bi aufweist, wie auf der rechten Seite von Fig. 20 gezeigt ist. Beispielsweise im Falle von B1 wird "1" in einer Zone von Y115 bis Y11E des Speichers BLV gespeichert, um einen Zielbereich B11 zu repräsentieren, und ebenfalls in einer Zone von Y125 bis Y12E, um einen Bereich B12 zu repräsentieren, wobei die anderen Speicherabschnitte mit "0" aufgefüllt werden.

Wie in Fig. 24 gezeigt wird dann der Speicher BVL abgetastet oder auf ihn zugegriffen, entlang der Y-Richtung, während die Werte überwacht werden, die in dem Speicher BLV an drei Punkten PL, PO und PR gespeichert sind, in der Zone i, wobei diese drei Punkte einen Abstand von FDNN/2 voneinander aufweisen. Wird "1" an beiden Endpositionen PL und PT, die einen Abstand von FDNN aufweisen, festgestellt, und wird "0" an dem Mittelpunkt PO festgestellt, so wird "1" in dem Speicher NBL an einem Ort entsprechend dem Mittelpunkt PO gespeichert. Anderenfalls wird "0" in dem Speicher NBL gespeichert. Bei dem voranstehend geschilderten Vorgang betrifft die Entfernung FDNN eine mittlere Entfernung zwischen Nasenlöchern, und wird vorher im Speicher gespeichert. Bei der vorliegenden Ausführungsform wird die Entfernung FDNN auf einen Wert entsprechend 45 Bildelementen eingestellt. Nach Abtastung sämtlicher bandförmiger Bereiche Bi werden zwei breiteste Zonen Bij und Bij + 1, die "1" in dem Speicher NBL aufweisen, als Nasenlochbereiche genommen. Im Falle des in Fig. 24 gezeigten, bandförmigen Bereiches B3 weist BLV einen Wert von "1" auf, wenn PO in dem Bereich zwischen YN31S, wobei dieser Wert etwas größer als der Wert Y31E des Zielbereiches B31 ist, bis zu YN31E liegt, wobei dieser Wert geringfügig kleiner ist als der Wert Y32S des Zielbereiches B32. Im Gegensatz hierzu sind in den anderen bandförmigen Bereichen B1, B2 und B4, die in Fig. 20 gezeigt sind, benachbarte Zielbereiche um eine größere Entfernung als FDNN entfernt, und daher gibt es keinen Bereich, der "1" in dem Speicher NBL aufweist. Daher wird geschlossen, daß die Zielbereiche B31 und B32 Nasenlochbereiche LNA und RNA sind.

Die Koordinaten (XLN, YLN) (oder (XRN, YRN)) des repräsentativen Punktes des Nasenlochbereiches LNA (oder RNA) können so bestimmt werden, daß XLN an der Position des Spitzenwertes liegt, oder so, daß die X-Koordinate des Zentrums des Y-Richtungshistogramms 501 eines bandförmigen Bereiches, welcher einen Nasenlochbereich LNA und XLN enthält, gleich der Y-Koordinate des Zentrums des X-Richtungshistogramms 502 des Nasenlochbereiches LNA ist. Wenn bei dieser Berechnung die Tatsache berücksichtigt wird, daß das Nasenloch eine im wesentlichen elliptische und daher symmetrische Form aufweist, so ist es ebenfalls möglich, XLN und YLN dadurch zu bestimmen, daß einfach ein Mittelpunkt zwischen der Startpunktkoordinate und der Endpunktkoordinate eines Zielbereiches jedes Nasenlochs berechnet wird, wie durch die Gleichung (8) angegeben wird.

Wie voranstehend geschildert werden bei der vorliegenden Ausführungsform Nasenlöcher dadurch erfaßt, daß einfach die Entfernung zwischen benachbarten Zielbereichen mit einer voreingestellten Bezugsentfernung von Nasenloch zu Nasenloch verglichen wird. Unter Berücksichtigung der Tatsache, daß Augen oberhalb der festgestellten Nasenlöcher liegen müssen, werden dann zwei rechteckige Bereiche als Augensuchbereiche an der rechten bzw. linken Seite eines Punkts oberhalb des Mittelpunktes zwischen den Nasenlochbereichen angeordnet, wodurch die Erfassungsbereiche für Augen auf engere Bereiche beschränkt werden. Bei dieser Vorgehensweise ist es möglich, korrekt Augen unter Bezugnahme auf die Nasenlochpositionen selbst in dem Fall zu erfassen, in welchem infolge des Vorhandenseins eines Schwarzblockbereiches, der kein Bereich mit charakteristischen Merkmalen ist, das Gesichtszentrum 7 gegenüber der korrekten Position verschoben ist, und es daher schwierig wird, Augen auf der Grundlage des Gesichtszentrums 7 zu erfassen.

Ausführungsform 11

Die Fig. 25 bis 30 zeigen eine weitere Ausführungsform einer Augensuchbereichseinstellvorrichtung auf der Grundlage der Position von Nasenlöchern, wobei Fig. 25 ein binäres Bild eines Gesichts zeigt, welches eine Brille trägt, wobei Zielbereiche und die Gesichtszentrumslinie gezeigt sind, Fig. 26 Nasenlochsuchbereiche zeigt, die in dem binären Bild festgelegt sind, Fig. 27 eine schematische Darstellung des Vorgangs der Einstellung von Nasenlochsuchbereichen gemäß der vorliegenden Erfindung ist, Fig. 28 ein Flußdiagramm des Vorgangs der Beurteilung ist, ob ein Bereich ein Nasenloch ist, gemäß der vorliegenden Ausführungsform, Fig. 29 in einem binären Bild definierte Augensuchbereiche zeigt, und Fig. 30 ein Flußdiagramm des Vorgangs der Einstellung eines Augensuchbereiches gemäß der vorliegenden Ausführungsform ist. Die vorliegende Ausführungsform wird nachstehend im einzelnen unter Bezugnahme auf diese Figuren geschildert, wobei auch, soweit erforderlich, auf Fig. 22 Bezug genommen wird.

In Fig. 25 werden, wie bei der vorherigen Ausführungsform, bandförmige Bereiche Bi aus dem Y-Richtungshistogramm 501 eines binären Bildes 12 bestimmt, und dann werden Zielbereiche Bij aus dem X-Richtungshistogramm 502 jedes bandförmigen Bereiches bestimmt. Bei der voranstehend geschilderten Berechnung werden die Koordinaten (XBi, YBij) des repräsentativen Punktes jedes Zielbereiches Bij so bestimmt, daß die X-Koordinate XBij des repräsentativen Punktes jedes Zielbereiches Bij, der in demselben bandförmigen Bereich Bi liegt, an der Position des Spitzenwertes der X-Koordinate des Zentrums des Y- Richtungshistogramms 501 des bandförmigen Bereiches Bi liegt, und die Y-Koordinate YBij des repräsentativen Punktes jedes Zielbereiches Bij gleich der Y-Koordinate des Zentrums des X- Richtungsdiagramms 502 jedes Zielbereiches Bij ist. Dann wird eine Linie Y = mX + Yc, welche die beste Anpassung an die Koordinaten (XBij, YBij) des repräsentativen Punktes ergibt, auf der Grundlage des Verfahrens der kleinsten Fehlerquadrate bestimmt, und diese Linie wird als die Gesichtszentrumslinie 8 verwendet.

Bei diesem Verfahren kann die Gesichtszentrumslinie 8 mit einem kleineren Ausmaß an Berechnungen als im Falle der Ausführungsform 7 bestimmt werden. Daher kann man die Gesichtszentrumslinie 8 schneller erhalten. Darüber hinaus werden die Koordinaten XBij, YBij des repräsentativen Punktes durch die Mittelpunkte zwischen den Start- und Endpunkten des bandförmigen Bereichs Bi und des Zielbereichs Bij definiert. Diese vereinfachte Berechnung gestattet eine weitere Verringerung der Zeit, die dazu erforderlich ist, die Gesichtszentrumslinie 8 zu erhalten.

Unter den Bereichen mit charakteristischen Merkmalen sind einige von ihnen paarweise vorhanden. Unter diesen paarweise auftretenden Bereichen mit charakteristischen Merkmalen liegen die Nasenlochbereiche am nächsten an der Gesichtszentrumslinie 8. Wenn diese Tatsache berücksichtigt wird, können Nasenlochbereiche wie nachstehend angegeben erfaßt werden. Wie in Fig. 26 gezeigt ist, sind parallele Linien NCAL und NCAR an der linken bzw. rechten Seite der vorgegebenen Gesichtszentrumslinie 8 angeordnet, so daß jede Linie von der Gesichtszentrumslinie 8 um eine Entfernung NCAW/2 beabstandet ist, und dieser bandförmige Bereich zwischen diesen parallelen Linien wird als Nasenlochsuchbereich 80 eingestellt. Dann werden Nasenlochbereiche aus Zielbereichen Bij herausgezogen, die innerhalb des Nasenlochsuchbereiches 80 liegen. Bei der Einstellung des Nasenlochsuchbereiches 80 kann die Breite NCAW von dessen Band auf einen Wert eingestellt werden, der etwa das Doppelte der mittleren Entfernung FDNN zwischen Nasenlöchern beträgt. Bei der vorliegenden Ausführungsform wird die Bandbreite NCAW auf einen Wert entsprechend 80 Bildelementen eingestellt. Bei dem in Fig. 27 gezeigten Beispiel können nur zwei Zielbereiche innerhalb eines bandförmigen Bereiches B4 Nasenlochbereiche sein.

Bei diesem Verfahren werden Nasenlochzielbereiche in dem Nasenlochsuchbereich 80 eingeschränkt, und werden aus diesen Nasenlochzielbereichen Nasenlöcher herausgezogen. Dies führt dazu, daß Nasenlöcher einfach mit geringem Berechnungsaufwand herausgezogen werden können, ohne durch das Vorhandensein einer Brille oder dergleichen gestört zu werden.

Dann werden auf die voranstehend geschilderte Weise Koordinaten (XBij, YBij) eines repräsentativen Punkts von Zielbereichen Bij innerhalb des Nasenlochsuchbereiches 80 berechnet, und werden Nasenlochbereiche aus den Koordinaten des repräsentativen Punktes und den Start- und Endkoordinaten der Bereiche erfaßt. In Fig. 28 wird im Schritt S801 überprüft, ob ein Nasenlochzielbereich vorhanden ist. Gibt es einen Zielbereich Bij, dann geht das Programm zum Schritt S802 über, und es werden die Koordinaten (XBij, YBij) des repräsentativen Punktes des Bereichs gelesen. Dann wird im Schritt S803 überprüft, ob es einen weiteren Zielbereich Bkl gibt. Ist dies nicht der Fall, so geht der Betriebsablauf zum Schritt S804 über, die Identifizierungsnummer des Zielbereiches wird inkrementiert, und die Schritte S801 bis S803 werden wiederholt. Falls im Schritt S803 festgestellt wird, daß es einen weiteren Zielbereich Bkl gibt, geht der Betriebsablauf zum Schritt S805 über, und wird die Entfernung zwischen zwei Zielbereichen Bij und Bkl durch Berechnung der Differenz DBY zwischen den Y-Koordinaten des repräsentativen Punktes bestimmt. Im Schritt S806 wird überprüft, ob DBY innerhalb des vorbestimmten Zulässigkeitsbereiches liegt, der von NDMIN bis NDMAX reicht. Die zulässigen Unter- und Obergrenzen NDMIN bzw. NDMAX werden vorzugsweise auf etwa das 0,6- und 1,8-fache der mittleren Entfernung FDNN zwischen Nasenlöchern gesetzt. Liegen die beiden Zielbereiche Bij und Bkl innerhalb des voranstehend geschilderten Bereichs, dann geht der Betriebsablauf zum Schritt S807 über, und es werden die Höhe NH, die Breite NW und das Streckungsverhältnis NR jedes Bereichs aus den Startpunktkoordinaten und den Endpunktkoordinaten jedes Zielbereiches bestimmt. Falls festgestellt wird, daß NRij und NRkl beide innerhalb eines vorbestimmten Bereiches liegen, so geht im Schritt S808 der Betriebsablauf zum Schritt S809 über, und wird geschlossen, daß zwei Zielbereiche Bij und Bkl Nasenlochbereiche LNA und RNA sind. Werden die Bedingungen im Schritt S806 oder Schritt S808 nicht erfüllt, so kehrt der Betriebsablauf zum Schritt S804 zurück, um eine andere Kombination an Zielbereichen auszuwählen. Dann werden die voranstehend geschilderten Schritte wiederholt. Wenn im Schritt S801 geschlossen wird, daß keine weitere Kombination an Zielbereichen übrigbleibt, geht der Betriebsablauf zum Schritt S810 über, und wird die Marke FLAG für einen Ausfall der Nasenlocherfassung gesetzt, um so anzuzeigen, daß keine Nasenlöcher erfaßt werden.

Bei der vorliegenden Ausführungsform können daher Nasenlöcher korrekt auf der Grundlage der Bewertungsfunktion erfaßt werden, welche nicht nur die Entfernung zwischen Nasenlöchern wiedergibt, sondern auch die Form des Nasenlochs, die sich wesentlich von der Form anderer Bereiche mit charakteristischen Merkmalen unterscheidet.

Dann werden Augensuchbereiche auf der Grundlage der Positionen und der Formen erfaßter Nasenlöcher definiert. In Fig. 30 werden im Schritt S431 die Höhen LNH und RNH und die Breiten LNW und RNW der erfaßten Nasenlochbereiche LNA und RNA, und ebenso die Entfernung DNN zwischen den Y-Koordinaten der repräsentativen Punkte gelesen, welche die Entfernung zwischen den beiden Nasenlochbereichen repräsentieren. Im Schritt S432 werden die Mittelwerte der Höhen und Breiten NH und NW berechnet, und dann wird im Schritt S433 das Nasenlochstreckungsverhältnis NR aus NH und NW berechnet. Das Ergebnis wird im Speicher gespeichert. In dem Fall, in welchem das Nasenlochstreckungsverhältnis NR im Speicher gespeichert wird, kann das gespeicherte Nasenlochstreckungsverhältnis NR gelesen werden, um ein Nasenloch zu erfassen. Dann werden im Schritt S434 die Entfernung DNN von Nasenloch zu Nasenloch sowie das Nasenlochstreckungsverhältnis NR einer Frequenzverteilungstabelle hinzugefügt, welche Segmente mit geeigneter Breite aufweist, und wird der diesem Segment zugeordnete Zählwert inkrementiert. Gleichzeitig wird der Zählwert des Segments, welches in dem Vorgang für ein vorheriges Bild mit einer vorbestimmten Anzahl plus Eins gezählt wurde, dekrementiert (schrittweise verringert), so daß die Frequenverteilungstabelle immer die vorgegebene, konstante Anzahl an Bildern wiedergibt. Dann wird im Schritt S435 überprüft, ob die Zählwerte NDNN und NNR, welche DNN bzw. NR entsprechen, Maximalwerte für die vorbestimmte Anzahl an Bbildern zeigen. Falls beide Zählwerte NDNN und NNR Maximalwerte zeigen, dann geht der Betriebsablauf zum Schritt S436 über, und die Bezugsentfernung DNNO zwischen Nasenlöchern und das Bezugsnasenlochstreckungsverhältnis NRO werden auf den Wert DNN bzw. NR aktualisiert. Im Schritt S437 werden die voranstehend erwähnten Bezugswerte DNNO und NRO gelesen. Im Schritt S438 werden die Verhältnisse KND und KNR von DNN und NR zum Bezugswert DNNO bzw. NRO berechnet. Im Schritt S438 werden, wie in Fig. 29 gezeigt ist, zwei Augensuchbereiche 40 so definiert, daß jeder Augensuchbereich eine Höhe ECAH und eine Breite ECAW aufweist, und sich an den Startkoordinaten befindet, die um eine Entfernung XECA und YECA von dem Mittelpunkt (XNC, YNC) zwischen Nasenlöchern entfernt sind, wie in den nachstehenden Gleichungen angegeben ist:

XECA = XNC - (XECAO - CX11 . ABS(1 - KNR) + CS12 . (1 - KND))
YECA = YNC - (YECAO - CY1 . (1 - KND)) (10)

ECAH = ECAHO - CX21 . ABS(1 - KNR) + CS22 . (1 - KND)
ECAW = ECAWO - CY2 . (1 - KND) (11)

wobei Gleichung (10) die Startkoordinaten eines linken Auges angibt, und CX11, CX12, CY1, CX21, CX22 und CY2 vorbestimmte Gewichtungsfaktoren sind, und XECAO, YECAO, ECAHO und ECAWO Variablen entsprechend den bei der Ausführungsform 8 aufgeführten Variablen sind.

Bei der vorliegenden Ausführungsform wird der Augensuchbereich 40 unter Verwendung der Bezugswerte der Entfernung DN zwischen Nasenlöchern und des Nasenlochstreckungsverhältnisses NR und des Verhältnisses dieser Bezugswerte definiert. Alternativ hierzu kann auch die Entfernung DNN zwischen Nasenlöchern und das Nasenlochstreckungsverhältnis NR direkt verwendet werden. Anderenfalls kann statt des Nasenlochstreckungsverhältnisses NR auch die Nasenlochfläche SN verwendet werden, die durch SN = NH . NW definiert ist, oder aber der Bezugswert SNO der Nasenlochfläche SN.

Wie in Fig. 22 gezeigt ist, ändert sich der Ort der Augen in Bezug auf den Ort der Nasenlöcher entsprechend der Entfernung DNN zwischen den Nasenlöchern, mit dem Nasenlochstreckungsverhältnis NR; oder der Nasenlochfläche SN. Unter Berücksichtigung der Tatsache, daß sich das Gesicht des Fahrers am häufigsten in der vorderen Position befindet (nach vorn zeigt), werden Maximalwerte von DNN und NR oder SN unter einer vorbestimmten Anzahl an Bildern dazu verwendet, die Position und die Abmessungen des Augensuchbereiches 40 zu bestimmen. Daher werden die Parameter in dem Zustand, in welchem das Gesicht eines Fahrers nach vorn zeigt, als die Bezugswerte verwendet, so daß der Augensuchbereich 40 auf optimale Weise eingestellt werden kann, abhängig von der Orientierung des Gesichts, Variationen des Gesichts, und der Entfernung zwischen der Kamera und dem Gesicht.

Ausführungsform 12

Bei der voranstehend geschilderten Ausführungsform 11 wird die Bandbreite NCAW des Nasenlochsuchbereiches 80 auf einen festen Wert eingestellt. Alternativ hierzu kann die Bandbreite NCAW auch so wie nachstehend geschildert eingestellt werden. In Fig. 27 werden der Mittlwert DBFYi der Entfernung DBFYij zwischen den Y-Koordinaten YBij der repräsentativen Punkte der Zielbereiche Bij, die innerhalb des bandförmigen Bereiches Bi liegen, und den Y-Koordinaten der Gesichtszentrumslinie 7 an der X-Koordinate XBij der repräsentativen Punkte des bandförmigen Bereichs Bi für jeden bandförmigen Bereich i berechnet. Weiterhin wird der Mittelwert DBFY der Maximal- und Minimalwerte der Mittelwerte DBFYi für sämtliche bandförmigen Bereiche Bi berechnet, und die Bandbreite NCAW wird entsprechend nachstehender Gleichung bestimmt:

NCAW = NCAWO + 2 . CD . DBFY (12)

wobei NCAWO die Bezugsbandbreite entsprechend etwa 20 Bildelementen ist, und CD der Gewichtsfaktor ist, der etwa 0,6 beträgt. Falls es nur einen Zielbereich Bij in einem bandförmigen Bereich Bi gibt, wie bei B2 oder B5 gemäß Fig. 27, wird die voranstehend geschilderte Berechnung nicht durchgeführt.

Bei dieser Vorgehensweise kann der Nasenlochsuchbereich auf die bestmögliche Weise eingestellt werden, unabhängig von Änderungen der Form eines Gesichts bei verschiedenen Personen.

Ausführungsform 13

Die Fig. 31 und 32 betreffen ein weiteres Verfahren zum Herausziehen von Nasenlöchern, wobei Fig. 31 eine schematische Darstellung der Einstellung eines Nasenlochsuchbereiches in einem binären Bild ist, und Fig. 32 eine schematische Darstellung der Festlegung eines weiter eingeschränkten Bereiches in dem Nasenlochsuchbereich in einem binären Bild, so daß Nasenlöcher in diesem Bereich erfaßt werden sollen.

Wie aus Fig. 31 hervorgeht, liegt in dem binären Bild 12 gemäß der vorliegenden Erfindung die Position (XFC, YFC) des Gesichtszentrums 7 zwischen den Augenbereichen und den Nasenlochbereichen, unabhängig vom Vorhandensein einer Brille. Daher ergibt sich ein Nasenlochsuchbereich 81 als ein Bereich unterhalb einer Linie, die in der Horizontalrichtung des Gesichts verläuft und durch einen Punkt geht, der unterhalb des Gesichtszentrums 7 liegt, wobei dieser Punkt um eine vorbestimmte Entfernung XNCA nach unten von dem Gesichtszentrum in der X-Richtung oder der Vertikalrichtung des Gesichts beabstandet angeordnet ist. Dann werden Nasenlöcher aus den Zielbereichen Bij in diesem Nasenlochsuchbereich 81 erfaßt. Bei dem voranstehend geschilderten Verfahren wird zwar die Entfernung XNCA auf einen festen Wert entsprechend etwa 20 Bildelementen eingestellt, jedoch kann die Entfernung XNCA auch folgendermaßen festgelegt werden. Der Spitzenwertpunkt des Y- Richtungshistogramms wird als die X-Koordinate XBi des repräsentativen Punktes des bandförmigen Bereiches Bi verwendet, und die Entfernung DBFXi zwischen XBi und XFC wird für jeden bandförmigen Bereich bestimmt. Dann wird die Entfernung XNCA aus der folgenden Gleichung bestimmt:

XNCA = XNCAO + CD . ΣiXBi/n (13)

Bei dieser Vorgehensweise kann der Nasenlochsuchbereich 81 auf ordnungsgemäße Weise eingestellt werden, unabhängig von Änderungen der Form eines Gesichts von einer Person zur nächsten. In der voranstehenden Gleichung bezeichnet XNCAO den Bezugswert entsprechend etwa 20 Bildelementen, CD den Gewichtungsfaktor, der etwa 0,2 beträgt, und n die Spitzenwertnummer des Y-Richtungshistogramms. Wird CD stufenförmig mit der Spitzenwertnummer n so variiert, daß bei einer Zunahme von n auch CD zunimmt, dann kann der Nasenlochbereich auf verläßlichere Weise unabhängig von dem Vorhandensein einer Brille eingestellt werden.

Bei der vorliegenden Ausführungsform wird daher der Vorgang des Herausziehens eines Nasenlochbereiches in dem eingeschränkten Nasenlochsuchbereich 81 durchgeführt, wodurch sichergestellt wird, daß Nasenlöcher einfach mit einem geringen Berechnungsaufwand herausgezogen werden können, unabhängig vom Vorhandensein einer Brille.

Bei dem in Fig. 32 gezeigten Beispiel wird ein Nasenlochherausziehbereich 83 in dem voranstehend geschilderten Nasenlochsuchbereich 81 so definiert, daß der Vorgang des Herausziehens von Nasenlöchern in dem weiter eingeschränkten Bereich durchgeführt werden kann. Der Nasenlochherausziehbereich 83 weist eine Oberseite auf, die mit der Oberseite des Nasenlochsuchbereiches 81 zusammenfällt. Die Höhe NCAX des Nasenlochherausziehbereiches 83 wird unter Verwendung des Y-Richtungsdiagramms 501 bestimmt, so daß der Nasenlochherausziehbereich 83 einen bandförmigen Bereich Bi enthält, der in dem Nasenlochsuchbereich 81 an dem Ort liegt, der am nächsten an der voranstehend geschilderten Oberseite liegt. Andererseits wird die Breite NCAY so festgelegt, daß die Breite NCAY einen vorbestimmten Wert aufweist, beispielsweise 100 Bildelemente in der Y-Richtung und mit Durchgang durch den zentralen Punkt, dessen Y-Koordinate gleich der Y-Koordinate YFC des Gesichtszentrums 7 ist. Schließlich werden das Zentrum XG des Y-Richtungshistogramms 501 und das Zentrum YG des X- Richtungshistogramms 502 des Nasenlochherausziehbereiches 83 berechnet, und die sich ergebenden Koordinaten (XG, YG) werden als der Mittelpunkt zwischen Nasenlochbereichen verwendet.

Wie voranstehend geschildert wird bei der vorliegenden Ausführungsform der Vorgang des Herausziehens von Nasenlöchern in einem noch weiter eingeschränkten Bereich durchgeführt, und der Mittelpunkt zwischen Nasenlochbereichen wird einfach dadurch festgelegt, daß das Zentrum von Bildelementen in dem genannten, begrenzten Nasenlochherausziehbereich berechnet wird. Daher können Nasenlöcher sehr schnell herausgezogen werden.

Ausführungsform 14

Bei der voranstehend geschilderten Ausführungsform 13 ist der Nasenlochsuchbereich 81 als ein Bereich definiert, der niedriger angeordnet ist als das Gesichtszentrum, und dann wird der Nasenlochherausziehbereich 83 in diesen Nasenlochsuchbereich 81 so definiert, daß der Herausziehvorgang auf diesen engen Bereich 83 begrenzt ist. Alternativ hierzu wird bei der vorliegenden Ausführungsform ein Nasenlochherausziehbereich 83 (nicht gezeigt) in einem Nasenlochsuchbereich 80 in bandartiger Form definiert, der sich parallel zur bei der Ausführungsform 11 dargestellten Gesichtszentrumslinie 8 erstreckt, wodurch der Mittelpunkt zwischen Nasenlochbereichen bestimmt wird. In diesem Fall wird der Nasenlochherausziehbereich 83 so definiert, daß die Oberseite des Nasenlochherausziehbereiches 83 um eine vorbestimmte Entfernung XNCA von der X-Koordinate XFC des Gesichtszentrums entfernt angeordnet ist, und die Höhe NCAX des Nasenlochherausziehbereiches 83 wird auf dieselbe Weise eingestellt wie bei der vorherigen Ausführungsform. Die Breite NCAY wird auf einen Wert gleich der Bandbreite NCAW des Nasenlochsuchbereiches 80 eingestellt. Diese Vorgehensweise ist ebenso wirksam wie die Ausführungsform 13.

Ausführungsform 15

Fig. 33 zeigt ein weiteres Verfahren zur Erfassung von Nasenlochbereichen. Bei dem in Fig. 33 gezeigten Beispiel für ein binäres Bild 12 werden zwei Nasenlochbereiche zu einem vereinigt, infolge eines Oberlippenbartes oder einer Brücke. Die vorliegende Ausführungsform stellt ein wirksames Verfahren zum Herausziehen von Nasenlochbereichen unter derartigen Bedingungen zur Verfügung. Wenn ein Nasenlochsuchbereich auf einen bestimmten Bereich begrenzt wird, wie bei einer der voranstehend geschilderten Ausführungsformen, besteht die Möglichkeit, daß Nasenlöcher nicht in einem der Zielbereiche Bij erfaßt werden können, und daher der Ausfall der Nasenlocherfassung eingestellt wird. In diesem Fall wird ein Zielbereich Bij so erzeugt, daß die Entfernung zwischen der Koordinate des repräsentativen Punktes des Zielbereiches Bij und der Gesichtszentrumslinie 8 kleiner ist als ein vorbestimmter Wert, beispielsweise 50 Bildelemente. Dann wird, wie in Fig. 33 gezeigt ist, die X-Richtungsendkoordinate YijE des Zielbereichs Bij dadurch verringert, daß die Unterseite des Zielbereiches Bij gegenüber ihrer Ausgangslage nach oben verschoben wird, während das X-Richtungshistogramm SUMX502 berechnet wird. Bei diesem Vorgang wird überprüft, ob der Wert von SUMX irgendeines Bereiches größer als eine vorbestimmte Schwelle wird, wodurch überwacht wird, ob der ursprüngliche Bereich in mehrere Teile unterteilt wird. Ergeben sich unterteilte Bereiche, so werden diese Bereiche als Zielbereiche Bij und Bij + 1 zugeordnet, und werden Nasenlochbereiche erfaßt, beispielsweise mit der im Zusammenhang mit der Ausführungsform 10 geschilderten Vorgehensweise.

Daher können bei der vorliegenden Ausführungsform selbst dann Nasenlöcher herausgezogen werden, wenn Nasenlöcher miteinander über einen Oberlippenbart oder eine Brücke verbunden sind.

Bei der voranstehend geschilderten Ausführungsform wurde angenommen, daß bandförmige Bereiche oder Zielbereiche entsprechend dem vorbestimmten, festen Schwellenwert SHF der Histogramme festgelegt werden. Alternativ hierzu kann der Schwellenwert SHL entsprechend dem Spitzenwert des Histogramms geändert werden, so daß bandförmige Bereiche oder Zielbereiche selbst dann ordnungsgemäß getrennt sind, wenn das Histogramm eine komplizierte Form mit mehreren Spitzenwerten aufweist.

Ausführungsform 16

Die Fig. 34 und 35 zeigen schematisch den Vorgang der Einstellung von Zielbereichen bei einer weiteren Ausführungsform, wobei Fig. 34 ein Verfahren zur Einstellung von Zielbereichen mit Hilfe einer Markierung zeigt, und Fig. 35 ein binäres Bild zeigt, in welchem Zielbereiche eingestellt wurden.

Wie bei (a) in Fig. 34 gezeigt ist, wird in dem binären Bild 12 das Bild in der Primärrichtung entlang der X-Achse und in der sekundären Abtastrichtung entlang der Y-Achse abgetastet, während untersucht wird, ob schwarze Bildelemente vorhanden sind. Ein schwarzes Bildelement, welches zuerst in der X- Richtung aufgefunden wird, wird durch "1" markiert. Findet sich ein weiteres schwarzes Bildelement an einem isolierten Ort in der X-Richtung, so wird diesem schwarzen Bildelement die inkrementierte Markierungsnummer i zugeordnet, wogegen aufeinanderfolgenden schwarzen Bildelementen dieselbe Markierungsnummer zugeordnet wird. Bei dem in Fig. 34 gezeigten Beispiel wird schwarzen Bildelementblöcken eines Augenbrauenbereichs 57a und eines Nasenlochbereiches 57c die Markierung 1 zugeordnet. Andererseits gibt es in einem Augenbereich 57b eine teilweise Trennung zwischen einem oberen schwarzen Bildelementteil und einem schwarzen Bildelementteil, welches zur Iris und zur Pupille gehört, und daher werden zwei unterschiedliche Markierungen "2" und "3" diesen Teilen zugeordnet. Dann wird, wie bei (b) in Fig. 34 gezeigt ist, das Bild erneut in der Primärrichtung entlang der Y-Achse und in der Sekundärrichtungentlang der X-Richtung abgetastet, um die in der Y-Richtung benachbarten Bildelemente zu vergleichen. Falls sich herausstellt, daß schwarze Bildelemente an aufeinanderfolgenden Orten in der Y-Richtung unterschiedliche Markierungsnummern aufweisen, dann wird die kleinste Markierungsnummer dieser aufeinanderfolgenden schwarzen Bildelemente all diesen aufeinanderfolgenden schwarzen Bildelementen zugeordnet. Wird dieselbe Markierungsnummer isolierten schwarzen Blöcken zugeordnet, dann wird eine Ummarkierung so vorgenommen, daß die Markierungsnummer des schwarzen Bildelementenblocks mit der Y-Koordinate des Endpunktes des Blocks zunimmt. Die Anzahl schwarzer Bildelemente, die in einem schwarzen Bildelementenblock enthalten sind, ist kleiner als ein vorbestimmter Wert, und dann wird die diesem Block zugeordnete Markierungsnummer gelöscht, und werden andere Markierungsnummern aktualisiert, soweit erforderlich. Bei dem in Fig. 35 gezeigten Beispiel werden Markierungsnummern einer linken Augenbraue, einem linken Auge, einer Linie zwischen Lippen, einem linken Nasenloch, einem rechten Nasenloch, einer rechten Augenbraue und einem rechten Auge zugeordnet, so daß die Markierungsnummer in dieser Reihenfolge zunimmt. Dann wird ein Zielbereich Bi für jeden schwarzen Bildelementblock entsprechend Endpunktkoordinaten des zugehörigen schwarzen Bildelementenblocks in der X- und Y- Richtung zugeordnet, so daß ein rechteckiger Bereich Bi vollständig einen schwarzen Bildelementenblock mit der Markierungsnummer i enthält. Aus diesen Zielbereichen Bi werden dann Nasenlochbereiche und Augenbereiche mit irgendeinem Verfahren gemäß den voranstehend geschilderten Ausführungsformen erfaßt.

Bei dem voranstehend geschilderten Beispiel wird die Markierung mit dem gesamten Bereich des binären Bildes 12 vorgenommen, um die Zielbereiche Bi einzustellen. Alternativ hierzu kann die Markierung nur innerhalb der Nasenlochsuchbereiche 80, 81 vorgenommen werden, oder innerhalb der Augensuchbereiche 40, wodurch Nasenlochbereiche oder Augenbereiche erfaßt werden.

Bei der vorliegenden Ausführungsform ist es daher möglich, einfach Zielbereiche Bi einzustellen, selbst wenn ein Bild ein kompliziertes schwarzes Bildelementenmuster enthält, beispielsweise eine Brille oder einen Oberlippenbart.

Ausführungsform 17

Fig. 36 erläutert ein Verfahren zur Bestimmung einer Gesichtszentrumslinie 8 bei einer weiteren Ausführungsform. Zuerst werden Zielbereiche Bi56 auf eine solche Weise eingestellt, wie dies bei einer der voranstehend geschilderten Ausführungsformen beschrieben wurde. Dann werden die . Koordinaten (XBCij, YBCij) des Mittelpunktes zwischen dem repräsentativen Punkt (XBi, YBi) jedes Kandidatenbereiches Bi56 und dem repräsentativen Punkt (XBj, YBj) eines anderen Zielbereiches Bj bestimmt, der innerhalb eines Bereichs zwischen zwei Linien in einem Winkel im Bereich von ±θ in Bezug auf die Y-Achse der Bildebene liegt. Es wird eine Linie bestimmt, welche eine beste Anpassung an die Mittelpunktkoordinaten (XBCij, YBCij) ergibt, und diese Linie wird als die Gesichtszentrumslinie 8 verwendet.

Bei diesem Verfahren kann die vertikale Zentrumslinie des Gesichts schnell mit geringem Rechenaufwand bestimmt werden, selbst wenn das Gesicht in dem Bild schräg oder gekippt angeordnet ist.

Ausführungsform 18

Die Fig. 37 und 38 erläutern eine weitere Ausführungsform einer Bereichseinstellvorrichtung für einen Bereich, in dem ein Ziel vorhanden ist, zur Einstellung eines Bereichs, in welchem ein Ziel vorhanden ist, so daß die Verarbeitung in diesem begrenzten Bereich erfolgt, wobei Fig. 37 einen Bereich, in welchem ein Ziel vorhanden ist, zeigt, der in einem binären Bild enthalten ist, und Fig. 38 Augensuchbereiche in dem Bereich in dem binären Bild zeigt, in welchem ein Zielbereich vorhanden ist.

In Fig. 37 werden die Koordinaten (XGC, YGC) der Zentrumsposition CMC schwarzer Bildelemente, die in einem binären Bild 12 enthalten sind, für das gesamte binäre Bild auf der Grundlage der Gleichung (2) berechnet, die bezüglich der Ausführungsform 1 beschrieben wurde. Wenn das Bild Rauschen enthält, wie im Falle von Fig. 37, infolge einer unzureichenden Intensität des Beleuchtungslichts, was beispielsweise abends auftreten kann, oder wenn das Gesicht eines Fahrers sich nicht im Zentrum des Bildes befindet und daher ein feines Muster wie beispielsweise die Rückenlehne teilweise in dem Bild auftaucht, kann sich die Zentrumsposition CMC des gesamten Bildes gegenüber dem Gesichtszentrum 7 verschieben, obwohl das Ausmaß der Verschiebung in den meisten Fällen nur geringfügig ist. Um die voranstehend geschilderte Schwierigkeit zu vermeiden, wird bei der vorliegenden Ausführungsform ein rechteckiger Bereich 43, in welchem ein Ziel vorhanden ist, so angeordnet, daß seine beiden Seiten parallel zur Y-Achse von GMC um eine Entfernung +XLCA bzw. -XUCA beabstandet sind, und die beiden anderen Seiten parallel zur X-Achse von GMC um eine Entfernung +YLCA bzw. -YRCA beabstandet sind. Wie in Fig. 37 gezeigt ist, werden die Längen der Seiten des Bereichs 43, in welchem ein Ziel vorhanden ist, auf vorbestimmte Werte eingestellt, welche die Bedingungen XLCA < XUCA und YLCA = YRCA erfüllen, so daß der Bereich 43, in welchem ein Ziel vorhanden ist, Bereiche mit charakteristischen Merkmalen enthalten kann. Bei der vorliegenden Ausführungsform werden XLCA, XUCA bzw. YLCA vorzugsweise auf eine Länge von 200 Bildelementen, 120 Bildelementen bzw. 150 Bildelementen eingestellt. Innerhalb dieses Bereichs 43, in welchem ein Ziel vorhanden ist, wird gemäß Fig. 38 das Gesichtszentrum FC (XFC, YFC) berechnet, und Augensuchbereiche 40 werden an Orten eingestellt, die unter Bezugnahme auf das Gesichtszentrum FC festgelegt werden, auf entsprechende Weise wie bei den vorherigen Ausführungsformen.

Bei der vorliegenden Ausführungsform wird die zum Herausziehen von Augen erforderliche Verarbeitung in einem begrenzten Bereich durchgeführt, der sich auf die voranstehend geschilderte Weise ergibt, und daher können Augen korrekt herausgezogen werden, ohne durch Hintergrundmuster oder schwarze Blöcke außer den Bereichen mit charakteristischen Merkmalen oder durch Rauschen beeinflußt zu werden.

Ausführungsform 19

Die Fig. 39 bis 41 zeigen eine weitere Ausführungsform einer Vorrichtung zur Bearbeitung eines Bildes eines Gesichts gemäß der vorliegenden Erfindung, wobei Fig. 39 den Gesamtaufbau der Vorrichtung zeigt, Fig. 40 ein binäres Bild zeigt, welches von einem Y-Richtungsfilter ausgegeben wird, und Fig. 41 ein binäres Bild zeigt, mit welchem eine logische Additionsoperation (UND) von Bildern durchgeführt wurde. Die vorliegende Ausführungsform wird nachstehend im einzelnen unter Bezugnahme auf diese Figuren geschildert, wobei auch, soweit erforderlich, auf die Fig. 10 und 11 Bezug genommen wird.

In Fig. 39 wird ein eingegebenes Gesichtsbild, beispielsweise das in Fig. 10 gezeigte, in Form eines digitalen Halbtonbildes von der Bildsignaleingabevorrichtung 1 ausgegeben, und in zwei Signale unterteilt. Ein Signal wird in ein entlang der X-Achse mittelndes Mittlungsfilter 21a einer ersten Graustufenumwandlungsvorrichtung 2a eingegeben, durch welche Signalpegel von drei benachbarten Bildelementen gemittelt werden, und daher räumliches Hochfrequenzrauschen entfernt wird. Das Ausgangssignal des entlang der X-Achse mittelnden Mittlungsfilters 21a wird in zwei Signale unterteilt, und ein Signal wird an einen Subtrahierer 24a angelegt, der als Differenzschaltung dient, über ein Maximalbildelementen- Signalextraktionsfilter 22a und ein Minimalbildelementen- Signalextraktionsfilter 23a, wogegen das andere Signal direkt an den Subtrahierer 24a angelegt wird. Der Subtrahierer 24a gibt zwei Differenzsignale aus. Diese Ausgangssignale werden an die Binärumwandlungsvorrichtung 32a bzw. eine Schwellenwertberechnungsvorrichtung 31a einer ersten variablen Binärumwandlungsvorrichtung 3a angelegt. Die Schwellenwertberechnungsvorrichtung 31a bestimmt einen Schwellenwert, und die Binärumwandlungsvorrichtung 32a wandelt das empfangene Signal in ein binäres Signal um, unter Bezugnahme auf den Schwellenwert, der von der Schwellenwertberechnungsvorrichtung 31a stammt. Dies führt dazu, daß wie in Fig. 11 05126 00070 552 001000280000000200012000285910501500040 0002019613614 00004 05007gezeigt ein binäres Bild erhalten wird, welches nur Schwarzpegelbereiche enthält, die eine kleinere Abmessung in X-Richtung aufweisen als die voranstehend geschilderte Filterlänge beträgt. Das erhaltene binäre Bild wird dann in einem Binärbildeinzelbildspeicher 11 gespeichert.

Das andere Ausgangssignal der Bildsignaleingabevorrichtung 1 wird zeitweilig in einem Einzelbildspeicher 15 gespeichert, und dann aus dem Einzelbildspeicher 15 in der Y-Abtastrichtung ausgelesen. Das aus dem Einzelbildspeicher 15 ausgelesene Signal wird an ein Y-Achsen-Mittlungsfilter 21b der zweiten Graustufenumwandlungsvorrichtung 2b angelegt, in welchem die Signalpegel von drei benachbarten Bildelementen gemittelt werden. Das Ausgangssignal des Y-Achsen-Mittlungsfilters 21b wird in zwei Signale unterteilt, und eines von diesen wird an einen Subtrahierer 24b angelegt, der als Differenzschaltung dient, über ein Maximum-Bildelement-Signalextraktionsfilter 22b und ein Minimum-Bildelement-Signalextraktionsfilter 23ba, während das andere Signal direkt an den Subtrahierer 24b angelegt wird. Das Ausgangssignal des Subtrahierers 24b wird an die Binärumwandlungsvorrichtung 32b und die Schwellenwertberechnungsvorrichtung 31b einer zweiten variablen Binärumwandlungsvorrichtung 3b angelegt. Die Schwellenwertberechnungsvorrichtung 31b bestimmt einen Schwellenwert, und die Binärumwandlungsvorrichtung 32b wandelt das empfangene Signal in ein binäres Signal um, unter Bezugnahme auf den Schwellenwert, der von der Schwellenwertberechnungsvorrichtung 31b stammt. Dies führt dazu, daß wie in Fig. 40 gezeigt ein binäres Bild erhalten wird, welches nur Schwarzpegelbereiche enthält, die in der Y- Richtung kleinere Abmessungen aufweisen, als die voranstehend geschilderte Filterlänge beträgt. Bei dem voranstehend geschilderten Vorgang wird die Filterlänge vorzugsweise auf einen Wert eingestellt, der 28 Bildelementen entspricht, wie bei der Ausführungsform 1.

Dann wird mit dem in Fig. 11 gezeigten binären Bild, welches in dem Binärbildeinzelbildspeicher 11 gespeichert ist, und mit dem in Fig. 40 gezeigten binären Bild, welches von der Binärumwandlungsvorrichtung 32b ausgegeben wird, eine logische UND-Operation mit der Logikbildadditions-Berechnungsvorrichtung 25 durchgeführt. Dies führt dazu, daß nur jene schwarzen Bereiche, die eine Überlappung zwischen diesen beiden binären Bildern ergeben, herausgezogen werden, und daher ein solches Bild erhalten wird, wie es in Fig. 42 gezeigt ist. Bei diesem Bild werden nur schwarze Bereiche herausgezogen, die in beiden Abmessungen, entlang der X- und der Y-Richtung, eine geringere Länge als 28 Bildelemente aufweisen, und daher werden Iris/Pupille und Nasenlöcher einfach herausgezogen, ohne durch eine Brille oder einen Oberlippenbart beeinflußt zu werden. Das sich ergebende binäre Bild wird erneut in dem Binärbildeinzelbildspeicher 11 gespeichert. Das binäre Bild wird dann aus dem Binärbildeinzelbildspeicher 11 ausgelesen und an eine Ausschaltungsvorrichtung 16 für kleine schwarze Blöcke angelegt, welche kleine schwarze Blöcke mit Abmessungen von weniger als 10 Bildelementen entfernt, beispielsweise die Eckenabschnitte einer Brille. Dann werden Augenbereiche auf ähnliche Weise wie bei der Ausführungsform 1 herausgezogen.

Wie bei der Ausführungsform 1 kann bei der vorliegenden Ausführungsform eine Binärumwandlung korrekt durchgeführt werden, ohne Störungen beispielsweise infolge der Abschattierung des Sonnenlichts, und werden im wesentlichen nur Bereiche mit charakteristischen Merkmalen herausgezogen. Daher bleiben nur Iris/Pupillenbereiche und Nasenlochbereiche in dem Bild übrig, und daher wird die Wahrscheinlichkeit des korrekten Herausziehens der Augen erhöht.

Fachleuten auf diesem Gebiet werden verschiedene Abänderungen auffallen, die vorgenommen werden können, ohne vom wahren Wesen und Umfang der Erfindung abzuweichen, die sich aus der Gesamtheit der Anmeldeunterlagen ergeben. Dieses Wesen und dieser Umfang der Erfindung sollen von den Patentansprüchen umfaßt sein. Beispielsweise wird bei den voranstehend geschilderten Ausführungsformen eine Kamera beschrieben, die eine CCD- Festkörperabbildungsvorrichtung verwendet, jedoch können auch Festkörperabbildungsvorrichtungen anderer Art verwendet werden, oder Bildaufnahmeröhren. Darüber hinaus läßt sich die vorliegende Erfindung nicht nur bei einer Vorrichtung zur Bearbeitung eines Bildes des Gesichts des Fahrers eines Kraftfahrzeuges einsetzen, sondern auch bei einer Gesichtsbildbearbeitungsvorrichtung für andere und allgemeinere Zwecke.

Claims

1. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts, welche folgendes aufweist:
eine Kamera (a) zur Aufnahme eines Bildes eines Gesichts;
eine Bildsignaleingabevorrichtung (1) zur Eingabe eines Bildsignals von der Kamera;
eine Graustufenumwandlungsvorrichtung (2) zum derartigen Umwandeln des Graupegels eines über die Bildsignaleingabevorrichtung eingegebenen Gesichtsbildes, daß ein Schwarzpegelbereich herausgezogen wird, der zumindest bezüglich der Abmessungen entlang einer Bildachse (X-Achse) parallel oder nahezu parallel zur Vertikalrichtung des Gesichts kleiner als eine vorbestimmte Länge entsprechend der Breite eines Auges von oben nach unten ist, wobei die Graustufenumwandlungsvorrichtung folgendes aufweist:
ein Maximalwert-Extraktionsfilter (22) zum Bestimmen eines maximalen Signalpegels in einem Bereich von Bildelementen, von denen das von der Bildsignaleingebevorrichtung eingegebene Bildsignal im Zentrum liegt,
ein Minimalwert-Extraktionsfilter (23) zum Bestimmen eines minimalen Signalpegels in einem Bereich von Bildelementen, von denen das vom Maximalwert- Extraktionsfilter eingegebene Bildsignal im Zentrum liegt, und
einen Subtrahierer (24) zum Bilden einer Differenz zwischen dem von der Bildsignaleingebevorrichtung eingegebene Bildsignal und dem vom Minimalwert- Extraktionsfilter ausgegebenen Bildsignal;
eine variable Binärumwandlungsvorrichtung (3) zur Umwandlung eines Ausgangsbildes der Graustufenumwandlungsvorrichtung in ein binäres Bild auf der Grundlage einer variablen Schwelle;
eine Augensuchbereichseinstellvorrichtung (4) zur Einstellung eines Augensuchbereichs in einem binären Bild, welches von der variablen Binärumwandlungsvorrichtung geliefert wird;
eine Zielbereichseinstellvorrichtung (5) zur Einstellung eines oder mehrerer Zielbereiche im Augensuchbereich; und
eine Augenbereichserfassungsvorrichtung (6) zur Erfassung eines Augenbereichs aus den Zielbereichen.

2. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach Anspruch 1, wobei
die Graustufenumwandlungsvorrichtung (2) aus einer ersten und einer zweiten Graustufenumwandlungsvorrichtung (2a, 2b) gebildet ist;
die variable Binärumwandlungsvorrichtung (3) aus einer ersten und einer zweiten variablen Binärumwandlungsvorrichtung (3a, 3b) gebildet ist; und
wobei die Vorrichtung weiterhin folgendes aufweist:
eine Bild-Logikadditions-Berechnungvorrichtung (25) zur Berechnung des Produktes binärer Bilder, die von der ersten und der zweiten variablen Binärumwandlungsvorrichtung (3a, 3b) geliefert werden, wobei das erhaltene Produkt binärer Bilder zur Augensuchbereichseinstellvorrichtung (4) eingegeben wird.

3. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die Graustufenumwandlungsvorrichtung (2) einen Schwarzpegel in der Richtung parallel zur Bildelementenabtastrichtung der Kamera (a) herauszieht.

4. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, daß die variable Binärumwandlungsvorrichtung (3) eine Binärumwandlung von Bildelementen, die auf einer Abtastlinie liegen, auf der Grundlage einer Binärumwandlungsschwelle durchführt, die als Funktion der Summe zumindest des gewichteten Spitzenwertpegels und des gewichteten Mittelwerts der Bildelemente auf der vorherigen Abtastlinie bestimmt wird.

5. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, daß die Augensuchbereichseinstellvorrichtung (4) eine Gesichtszentrumserfassungsvorrichtung (41) zur Berechnung einer Zentrumsposition des Gesichts innerhalb des binären Bildes aufweist, und daß die Augensuchbereichseinstellvorrichtung (4) zwei rechteckige Augensuchbereiche an zwei Basispositionen auf der rechten und linken Seite des Gesichts anordnet, wobei jede Basisposition um eine vorbestimmte Entfernung von der Zentrumsposition des Gesichts beabstandet angeordnet ist, eine Seite jedes rechteckigen Augensuchbereiches sich um eine vorbestimmte Entfernung von der zugehörigen Basisposition aus in einer Richtung entlang der Vertikalrichtung des Gesichts erstreckt, und eine andere Seite jedes rechteckigen Augensuchbereiches sich um eine vorbestimmte Entfernung von der zugehörigen Basisposition aus entlang der Horizontalrichtung des Gesichts erstreckt.

6. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach Anspruch 5, dadurch gekennzeichnet, daß die Augensuchbereichseinstellvorrichtung (4) weiterhin eine Gesichtszentrumslinienerfassungsvorrichtung zur Berechnung einer Vertikalzentrumslinie des Gesichts aufweist, und daß die Augensuchbereichseinstellvorrichtung (4) zwei rechteckige Augensuchbereiche an zwei Basispositionen auf der rechten bzw. linken Seite des Gesichts anordnet, wobei jede Basisposition von der Zentrumsposition des Gesichts um eine vorbestimmte Entfernung beabstandet angeordnet ist, eine Seite jedes der rechteckigen Augensuchbereiche sich parallel zu der Gesichtszentrumslinie erstreckt und um eine vorbestimmte Entfernung von der zugehörigen Basisposition in der Richtung entlang der Vertikalrichtung des Gesichts beabstandet angeordnet ist, und die andere Seite jedes rechteckigen Augensuchbereiches sich um eine vorbestimmte Entfernung von der zugehörigen Basisposition beabstandet entlang der Horizontalrichtung des Gesichts erstreckt.

7. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, daß die Augensuchbereichseinstellvorrichtung (4) eine Nasenlochbereichserfassungsvorrichtung zur Erfassung eines Nasenlochbereiches in dem binären Bild aufweist, und daß die Augensuchbereichseinstellvorrichtung (4) zwei rechteckige Augensuchbereiche an zwei Basispositionen auf der rechten bzw. linken Seite des Gesichts anordnet, wobei jede Basisposition von dem Mittelpunkt zwischen dem rechten und dem linken Nasenlochbereich um eine vorbestimmte Entfernung beabstandet angeordnet ist, eine Seite jedes der rechteckigen Augensuchbereiche sich um eine vorbestimmte Entfernung von der zugehörigen Basisposition beabstandet in einer Richtung entlang der Vertikalrichtung des Gesichts erstreckt, und die andere Seite jedes der rechteckigen Augensuchbereiche sich um eine vorbestimmte Entfernung von der zugehörigen Basisposition beabstandet entlang der Horizontalrichtung des Gesichts erstreckt.

8. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, daß die Augenbereichserfassungsvorrichtung (6) eine Vertikalhistogramm-Berechnungsvorrichtung zur Berechnung des Horizontalprofils der Summe der Binärpegel aufweist, die entlang der Vertikalrichtung des Gesichts innerhalb eines Zielbereichs auftreten, und daß die Augenbereichserfassungsvorrichtung (6) dann, wenn die Horizontalbreite des Zielbereichs innerhalb eines vorbestimmten Bereiches liegt, beurteilt, ob der Zielbereich ein Augenbereich ist oder nicht, auf der Grundlage einer Bewertungsfunktion, welche sowohl den repräsentativen Wert der Größe des Vertikalhistogramms als auch den repräsentativen Wert der Form des Vertikalhistogramms umfaßt.

9. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach Anspruch 8, dadurch gekennzeichnet, daß die Augenbereichserfassungsvorrichtung (6) eine Speichervorrichtung zum Speichern des Bewertungsfunktionswertes jedes Zielbereiches in den beiden rechteckigen Augensuchbereichen auf der rechten bzw. linken Seite aufweist, wobei der Bewertungsfunktionswert für jedes Bild gespeichert wird, und daß die Augenbereichserfassungsvorrichtung (6) die Bewertungsfunktionswerte untersucht, die in der Speichervorrichtung gespeichert sind, und einen Zielbereich als ein Auge ansieht, welcher eine maximale Variation des Bewertungsfunktionswertes unter einer vorbestimmten Anzahl an Bildern aufweist.

10. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, daß die Augenbereichserfassungsvorrichtung (6) eine Berechnungsvorrichtung für den repräsentativen Punkt zur Berechnung eines repräsentativen Punktes jedes Zielbereiches aufweist, der in dem rechteckigen Augensuchbereich als ein Auge angesehen wurde, und daß die Augenbereichserfassungsvorrichtung (6) schließlich einen Zielbereich als ein Auge aus den Kandidatenbereichen auswählt, die als ein Auge angesehen wurden, wenn der Zielbereich die geringste Entfernung zum Gesichtszentrum aufweist, wobei die Entfernung durch die Entfernung zwischen dem repräsentativen Punkt des Zielbereiches und dem Gesichtszentrum gemessen wird.

11. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, daß die Augenbereichserfassungsvorrichtung (6) eine Berechnungsvorrichtung für den repräsentativen Punkt zum Berechnen eines repräsentativen Punktes jedes Zielbereiches aufweist, der als ein Auge in jedem der beiden rechteckigen Augensuchbereiche auf der rechten bzw. linken Seite angesehen wurde, und daß die Augenbereichserfassungsvorrichtung schließlich einen rechten Zielbereich und einen linken Zielbereich als rechtes bzw. linkes Auge identifiziert, unter den Zielbereichen, die als rechtes und linkes Auge angesehen wurden, wenn die Zielbereiche eine geringste Entfernung zu dem Gesichtszentrum aufweisen, wobei die geringste Entfernung kleiner als ein vorbestimmter Wert ist, und die Entfernung durch die Entfernung zwischen dem repräsentativen Punkt des Zielbereiches und dem Gesichtszentrum gemessen wird.

12. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach Anspruch 7, dadurch gekennzeichnet, daß die Nasenlochbereichserfassungsvorrichtung aufweist:
eine Zielbereichseinstellvorrichtung (5) zur Einstellung eines oder mehrerer Zielbereiche in dem binären Bild;
eine Gesichtszentrumslinienerfassungsvorrichtung (41) zur Bestimmung einer vertikalen Zentrumslinie des Gesichts in dem binären Bild; und
eine Nasenlochsuchbereichseinstellvorrichtung zur Anordnung eines Nasenlochsuchbereiches zwischen zwei parallelen Linien, wobei eine dieser parallelen Linien an der rechten der Gesichtszentrumslinie liegt, und die andere an der linken Seite der Gesichtszentrumslinie liegt, und jede der Linien um eine vorbestimmte, konstante Entfernung von der Gesichtszentrumslinie beabstandet angeordnet ist;
wobei ein Nasenloch aus den Zielbereichen erfaßt wird, die sich in dem Nasenlochsuchbereich befinden.

13. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach Anspruch 12, dadurch gekennzeichnet, daß die Nasenlochsuchbereichseinstellvorrichtung eine Berechnungsvorrichtung für den repräsentativen Punkt eines Zielbereichs zum Berechnen der Koordinaten des repräsentativen Punktes jedes Zielbereiches aufweist, der in dem binären Bild enthalten ist, wobei die mittlere Entfernung zwischen den Y-Koordinaten des repräsentativen Punktes von Zielbereichen, welche dieselben vertikalen Koordinaten des repräsentativen Punktes aufweisen, und den Y-Koordinaten der Gesichtszentrumslinie berechnet wird, und die Entfernung zwischen den parallelen Linien als Funktion der mittleren Entfernung bestimmt wird.

14. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach Anspruch 7, dadurch gekennzeichnet, daß die Nasenlochbereichserfassungsvorrichtung aufweist:
eine Zielbereichseinstellvorrichtung (5) zur Einstellung eines oder mehrerer Zielbereiche in dem binären Bild;
eine Gesichtszentrumserfassungsvorrichtung (41) zur Berechnung einer Zentrumsposition des Gesichts in dem binären Bild; und
eine Nasenlochsuchbereichseinstellvorrichtung, durch welche ein Nasenlochsuchbereich in einem Bereich eingestellt wird, der unterhalb einer horizontalen Linie liegt, die um eine vorbestimmte Entfernung unterhalb des Gesichtszentrums liegt;
wobei ein Nasenloch aus den Zielbereichen erfaßt wird, die sich in dem Nasenlochsuchbereich befinden.

15. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach Anspruch 14, dadurch gekennzeichnet, daß die Nasenlochsuchbereichseinstellvorrichtung aufweist:
eine Berechnungsvorrichtung für den repräsentativen Punkt eines Zielbereiches zur Berechnung der Koordinaten des repräsentativen Punktes jedes Zielbereiches, der in dem binären Bild liegt;
eine Berechnungsvorrichtung für den repräsentativen Punkt eines bandförmigen Bereichs zur Erzeugung eines bandförmigen Bereichs einschließlich Zielbereichen, deren X-Koordinate des repräsentativen Punktes gleich ist, wobei dann die X-Koordinate als die X-Koordinate des repräsentativen Punktes des bandförmigen Bereiches verwendet wird;
wobei die vorbestimmte Entfernung als Funktion der Anzahl an Bereichen gegeben ist, die in dem bandförmigen Bereich liegen, und als Funktion der Differenz bezüglich der X- Koordinate zwischen dem Gesichtszentrum und dem repräsentativen Punkt jedes bandförmigen Bereichs.

16. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach Anspruch 12, dadurch gekennzeichnet, daß eine Nasenlochextraktionsbereichsbegrenzungsvorrichtung zur Festlegung eines begrenzten Erfassungsbereiches in dem Nasenlochsuchbereich vorgesehen ist, so daß ein Nasenlocherfassungsvorgang in dem begrenzten Erfassungsbereich durchgeführt wird, wodurch das Zentrum der Bildelemente in dem begrenzten Nasenlochherausziehbereich als der Mittelpunkt zwischen Nasenlochbereichen angesehen wird.

17. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach Anspruch 7, dadurch gekennzeichnet, daß die Nasenlochbereichserfassungsvorrichtung aufweist: eine Zielbereichseinstellvorrichtung (5) zur Einstellung eines oder mehrerer Zielbereiche in dem binären Bild; und eine Berechnungsvorrichtung für den repräsentativen Punkt eines Zielbereiches zur Berechnung der Koordinaten des repräsentativen Punktes jedes Zielbereiches; wobei die Y- Richtungsentfernung zwischen Zielbereichen berechnet wird, deren X-Koordinaten des repräsentativen Punktes gleich sind, und dann die Y-Richtungsentfernung mit einer vorbestimmten Bezugsentfernung von Nasenloch zu Nasenloch verglichen wird, und daher ein Paar an Zielbereichen, deren Entfernung zwischen ihren repräsentativen Punkten am nächsten an der Bezugsentfernung von Nasenloch zu Nasenloch liegt, als Nasenlöcher angesehen werden.

18. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach Anspruch 7, dadurch gekennzeichnet, daß die Nasenlochbereichserfassungsvorrichtung aufweist: eine Zielbereichseinstellvorrichtung (5) zur Einstellung eines oder mehrerer Zielbereiche in dem binären Bild; und eine Berechnungsvorrichtung für den repräsentativen Punkt eines Zielbereichs zur Berechnung der Koordinaten des repräsentativen Punktes jedes Zielbereiches; wobei die Y- Richtungsentfernung zwischen Kandidatenbereichen berechnet wird, deren X-Koordinaten des repräsentativen Punktes gleich sind, und Nasenlochbereiche auf der Grundlage einer Bewertungsfunktion erfaßt werden, welche das Streckungsverhältnis von Zielbereichen und die Differenz der Y-Koordinaten zwischen den repräsentativen Punkten umfaßt.

19. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach Anspruch 7, dadurch gekennzeichnet, daß Nasenlochbereichserfassungsvorrichtung aufweist:
eine Zielbereichseinstellvorrichtung (5) zur Einstellung eines oder mehrerer Zielbereiche in dem binären Bild;
eine Zielbereichsbegrenzungsvorrichtung zur Verringerung der Länge der Vertikalseiten jedes Zielbereichs, der von der Zielbereichseinstellvorrichtung eingestellt wurde, wobei die Verringerung der Länge durch Aufwärtsverschiebung der Unterseite jedes Zielbereiches durchgeführt wird; und
eine Vertikalhistogramm-Berechnungsvorrichtung zur Berechnung des Horizontalprofils der Summe der binären Pegel innerhalb jedes Zielbereichs entlang der Vertikalrichtung des Gesichts;
wobei Nasenlochbereiche durch Beurteilung der Änderung der Form des Vertikalhistogramms erfaßt werden, welche auftritt, wenn die Länge der Vertikalseiten des Zielbereiches verringert wird.

20. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach einem der Ansprüche 5 bis 19, dadurch gekennzeichnet, daß die Koordinaten der Zentrumsposition des Gesichts durch die Zentrumskoordinaten der Bildelemente in dem binären Bild festgelegt werden.

21. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach einem der Ansprüche 5 bis 20, dadurch gekennzeichnet, daß weiterhin vorgesehen sind:
eine Horizontalhistogramm-Berechnungsvorrichtung zur Berechnung des Vertikalprofils der Summe der binären Pegel innerhalb des binären Bildes entlang der Horizontalrichtung des Gesichts;
eine Bandformbereichseinstellvorrichtung zur Einstellung eines bandförmigen Bereichs, der parallel zur Vertikalrichtung des Gesichts verläuft, wobei der bandförmige Bereich auf der Grundlage der Horizontalhistogramm-Berechnungsvorrichtung festgelegt wird;
eine Berechnungsvorrichtung für den repräsentativen Punkt des bandförmigen Bereiches zur Berechnung der X- Koordinaten des repräsentativen Punktes des bandförmigen Bereiches; und
eine Vertikalhistogramm-Berechnungsvorrichtung zur Berechnung des Horizontalprofils der Summe der binären Pegel über den Bereich der X-Richtungsbreite des bandförmigen Bereichs, wobei über sämtliche bandförmigen Bereiche summiert wird;
wobei die X-Koordinate der Zentrumsposition des Gesichts durch die gemittelte Koordinate der repräsentativen Punkte bandförmiger Bereiche festgelegt wird, und die Y- Koordinate der Zentrumsposition des Gesichts durch die Zentrumskoordinate des vertikalen Histogramms definiert ist.

22. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, daß die Zielbereichseinstellvorrichtung (5) einen oder mehrere Kandidatenbereiche in dem binären Bild einstellt, wobei die Koordinaten (Xg, Yg) der Zentrumsposition des Gesichts unter Verwendung der Anzahl Ni von Bildelementen mit schwarzem Pegel definiert wird, die in jedem Kandidatenbereich i liegen, durch die Koordinaten (Xi, Yi) des repräsentativen Punktes jedes Zielbereiches i, und die Anzahl m der Kandidatenbereiche i gemäß folgender Gleichung:
Xg = ΣmNiXi/ΣNi,
Yg = ΣmNiYi/ΣNi.

23. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach einem der Ansprüche 6 bis 22, dadurch gekennzeichnet, daß die Gesichtszentrumslinienerfassungsvorrichtung aufweist:
eine Horizontalhistogramm-Berechnungsvorrichtung zur Berechnung des Vertikalprofils der Summe der binären Pegel entlang der Horizontalrichtung;
eine Bandformbereichseinstellvorrichtung zur Einstellung eines oder mehrerer bandförmiger Bereiche, die in Horizontalrichtung eines Gesichts verlaufen, wobei die bandförmigen Bereiche auf der Grundlage der Horizontalhistogramm-Berechnungsvorrichtung eingestellt werden; und
eine Bandformbereichszentrumserfassungsvorrichtung zur Berechnung der Zentrumsposition von Bildelementen, die in jedem bandförmigen Bereich liegen;
wobei eine vertikale Zentrumslinie des Gesichts aus der Zentrumsposition der bandförmigen Bereiche bestimmt wird.

24. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach einem der Ansprüche 6 bis 22, dadurch gekennzeichnet, daß die Gesichtszentrumslinienerfassungsvorrichtung aufweist:
eine Zielbereichseinstellvorrichtung (5) zur Einstellung eines oder mehrerer Zielbereiche in dem binären Bild;
eine Berechnungsvorrichtung für den repräsentativen Punkt eines Zielbereiches zur Berechnung der Koordinaten des repräsentativen Punktes jedes Zielbereiches in dem binären Bild;
eine Berechnungsvorrichtung für den repräsentativen Punkt eines bandförmigen Bereiches zur Berechnung des Mittelwertes der Y-Koordinaten der repräsentativen Punkte von Zielbereichen, die in einem bandförmigen Bereich liegen, der so erzeugt wird, daß Zielbereiche, deren X- Koordinaten des repräsentativen Punktes gleich sind, in dem bandförmigen Bereich liegen, und der sich ergebende Mittelwert als die Y-Koordinate des repräsentativen Punktes des bandförmigen Bereiches verwendet wird;
wodurch die vertikale Zentrumslinie des Gesichts auf der Grundlage der repräsentativen Punkte bandförmiger Bereiche bestimmt wird.

25. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach einem der Ansprüche 6 bis 22, dadurch gekennzeichnet, daß die Gesichtszentrumslinienerfassungsvorrichtung aufweist:
eine Zielbereichseinstellvorrichtung zur Einstellung eines oder mehrerer Zielbereiche in dem binären Bild;
eine Berechnungsvorrichtung für den repräsentativen Punkt eines Zielbereiches zur Berechnung der Koordinaten des repräsentativen Punktes jedes Zielbereiches in dem binären Bild; und
eine Berechnungsvorrichtung für ein Ziel auf einem Punkt auf der Gesichtszentrumslinie zur Berechnung der Koordinaten des Mittelpunktes zwischen dem repräsentativen Punkt jedes Zielbereiches und dem repräsentativen Punkt eines anderen Zielbereiches, der innerhalb eines Bereiches zwischen zwei Linien in einem Winkel im Bereich von ±θ in Bezug auf die Y-Achse der Bildebene liegt;
wobei die vertikale Zentrumslinie des Gesichts auf der Grundlage der Orte des Ziels auf dem Punkt auf der Gesichtszentrumslinie bestimmt wird.

26. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach einem der Ansprüche 5 bis 25, dadurch gekennzeichnet, daß weiterhin vorgesehen sind:
eine erste Zentrumserfassungsvorrichtung zur Berechnung der Zentrumsposition sämtlicher Bildelemente in dem binären Bild; und
eine Einstellvorrichtung für einen Bereich, in welchem ein Ziel existiert, zur Einstellung eines rechteckigen Bereiches mit vorbestimmten Abmessungen um die erste Zentrumsposition herum;
wobei der Augensuchbereich in dem Bereich eingestellt wird, in welchem ein Ziel vorhanden ist, oder anderenfalls die Zentrumsposition des Gesichts, die Gesichtszentrumslinie, oder die Nasenlochbereiche, die zur Einstellung des Augensuchbereiches verwendet werden, mittels Durchführung einer Berechnung innerhalb des Bereichs bestimmt werden, in welchem ein Ziel existiert.

27. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach einem der Ansprüche 5 bis 25, dadurch gekennzeichnet, daß die Augensuchbereichseinstellvorrichtung (4) einen Augensuchbereich auf solche Weise einstellt, daß ein Bereich, in welchem ein schwarzer Block vorhanden ist, in rechteckiger Form festgelegt wird, daß die X- und Y- Koordinaten seiner Endpunkte in Richtung X und Y gleich den minimalen und maximalen X-Koordinaten und den minimalen und maximalen Y-Koordinaten sämtlicher Endpunkte schwarzer Blockbereiche sind, die in dem binären Bild vorhanden sind, wobei jeder der Bereiche mit einem schwarzen Block eine vorbestimmte Anzahl aufeinanderfolgender schwarzer Bildelemente aufweist, und die Startkoordinaten und die Längen der Seiten des Augensuchbereichs als Funktion der Startkoordinaten und der Längen der Seiten der Bereiche, in welchen ein schwarzer Block vorhanden ist, oder als Funktion der Startkoordinaten des Bereiches, in welchem ein schwarzer Block vorhanden ist, und der Verhältnisse der Längen der Seiten des Bereiches, in welchem ein schwarzer Block vorhanden ist, zu den jeweiligen Bezugslängen gegeben ist.

28. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach Anspruch 27, dadurch gekennzeichnet, daß weiterhin eine Speichervorrichtung zum Speichern der Länge der Seiten des Bereichs, in welchem ein schwarzer Block vorhanden ist, für jedes Bild vorhanden ist, und daß die Bezugslängen der Seiten auf die Maximallängen der Seiten unter einer vorbestimmten Anzahl an Bildern eingestellt werden, die in der Speichervorrichtung gespeichert sind, oder auf die Längen der Seiten eingestellt werden, die am häufigsten auftreten.

29. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach einem der Ansprüche 7 bis 26, dadurch gekennzeichnet, daß die Augensuchbereichseinstellvorrichtung (4) einen Augensuchbereich so einstellt, daß die Startkoordinate des Augensuchbereiches und dessen Länge entlang der Horizontalrichtung des Gesichts als Funktion der Entfernung zwischen Nasenlochbereichen festgelegt werden, die von der Nasenlochbereichserfassungsvorrichtung erfaßt werden, oder als Funktion des Verhältnisses der Entfernung zwischen Nasenlochbereichen zu einem Bezugswert.

30. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach einem der Ansprüche 7 bis 29, dadurch gekennzeichnet, daß die Augensuchbereichseinstellvorrichtung (4) einen Augensuchbereich so einstellt, daß die Startkoordinate des Augensuchbereiches und dessen Länge entlang der Vertikalrichtung des Gesichts als Funktion der Entfernung zwischen Nasenlochbereichen, die von der Nasenlochbereichserfassungsvorrichtung erfaßt wird, und der Fläche der Nasenlochbereiche bestimmt wird, oder als Funktion des Streckungsverhältnisses der Nasenlochbereiche, oder als Funktion des Verhältnisses der Entfernung zwischen Nasenlochbereichen, die von der Nasenlochbereichserfassungsvorrichtung erfaßt wird, zu deren Bezugswert, und als Verhältnis der Fläche der Nasenlochbereiche zum entsprechenden Bezugswert, oder als Verhältnis des Streckungsverhältnisses der Nasenlochbereiche zum entsprechenden Bezugswert.

31. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach Anspruch 30, dadurch gekennzeichnet, daß eine Speichervorrichtung zum Speichern der Entfernung zwischen den Nasenlochbereichen und den Längen der Seiten der Nasenlochbereiche für jedes Bild vorhanden ist, wobei die jeweiligen Bezugswerte für die Entfernung zwischen den Nasenlochbereichen, die Fläche der Nasenlochbereiche, und das Streckungsverhältnis der Nasenlochbereiche auf die Maximalwerte der Entfernung zwischen den Nasenlochbereichen unter einer vorbestimmten Anzahl an Bildern, die in der Speichervorrichtung gespeichert sind, eingestellt werden, oder auf die am häufigsten auftretenden Werte der Entfernung zwischen den Nasenlochbereichen, der Fläche der Nasenlochbereiche, und das Streckungsverhältnis der Nasenlochbereiche eingestellt werden.

32. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, daß die Zielbereichseinstellvorrichtung (5) aufweist:
eine Horizontalhistogramm-Berechnungsvorrichtung (53) zur Berechnung des Vertikalprofils der Summe der binären Pegel entlang der Horizontalrichtung des Gesichts;
eine Bandformbereichseinstellvorrichtung zur Einstellung eines bandförmigen Bereiches, der parallel zur Vertikalrichtung des Gesichts verläuft, wobei der bandförmige Bereich auf der Grundlage der Horizontalhistogramm-Berechnungsvorrichtung festgelegt wird; und
eine Vertikalhistogramm-Berechnungsvorrichtung (51) zur Berechnung des Horizontalprofils der Summe der binären Pegel über dem Bereich in X-Richtungsbreite des bandförmigen Bereichs;
wobei der Zielbereich als ein rechteckiger Bereich eingestellt wird, der eine Höhe gleich der Breite des bandförmigen Bereichs aufweist, und eine Breite gleich der Länge in Horizontalrichtung des Gesichts aufweist, die auf der Grundlage des Vertikalhistogramms bestimmt wird.

33. Vorrichtung zur Bearbeitung eines Bildes eines Gesichts nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, daß die Zielbereichseinstellvorrichtung (5) eine Schwarzblockbereichsextraktionsvorrichtung zum Herausziehen mittels Markierung eines isolierten Schwarzblockbereichs aufweist, der eine vorbestimmte Anzahl oder mehr von aufeinanderfolgenden Schwarzpegelbildelementen des binären Bildes aufweist, und daß die Zielbereichseinstellvorrichtung einen Zielbereich in rechteckiger Form so einstellt, daß der rechteckige Zielbereich die Endpunkte in X- und Y-Richtung des markierten Schwarzblockbereiches umgibt.