DE112008002645B4

DE112008002645B4 - Gesichtsbildaufnahmevorrichtung, Gesichtsbildaufnahmeverfahren und Programm für dieses

Info

Publication number: DE112008002645B4
Application number: DE112008002645.9T
Authority: DE
Inventors: Yukihiro MATSUURA; Akira Fujimoto; Tadashi Asano; Yukihiko Yoshinaga
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 2007-11-09
Filing date: 2008-11-07
Publication date: 2014-02-27
Anticipated expiration: 2028-11-08
Also published as: JP4780088B2; US8295559B2; DE112008002645T5; DE112008002645T8; WO2009060951A1; US20100254571A1; JP2009116797A

Abstract

Gesichtsbildaufnahmevorrichtung, mit: einer Gesichtsbildaufnahmeeinrichtung, die ein Bild eines Gesichts einer Zielperson aufnimmt; einer Beleuchtungseinrichtung, die das Gesicht der Zielperson mit Nah-Infrarot-Licht mit einer beliebigen Lichtmenge beleuchtet; gekennzeichnet durch eine Augenbereichextraktionseinrichtung, die einen Bereich mit einem Auge von dem Gesichtsbild der Zielperson, das durch die Gesichtsbildaufnahmeeinrichtung aufgenommen wird, extrahiert; eine Helligkeitsverteilungsmesseinrichtung, die eine Helligkeitsverteilung in dem Bereich, der durch die Augenbereichextraktionseinrichtung extrahiert wird, in dem Gesichtsbild der Zielperson, das durch die Gesichtsbildaufnahmeeinrichtung aufgenommen wird, misst; und eine Steuerungseinrichtung, die die Beleuchtungseinrichtung steuert, um eine Menge des Nah-Infrarot-Lichts basierend auf der durch die Helligkeitsverteilungsmesseinrichtung gemessenen Helligkeitsverteilung zu ändern.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine Gesichtsbildaufnahmevorrichtung und ein Gesichtsbildaufnahmeverfahren, welche ein Bild des Gesichts eines Fahrers eines Fahrzeugs oder Ähnliches aufnimmt, und ein Programm für dieses.
Stand der Technik
Es sind Gesichtsbildaufnahmevorrichtungen bekannt, die in einem Fahrzeug oder Ähnlichem installiert sind, ein Bild des Gesichts eines Fahrers aufnehmen, um einen Fahrstatus von diesem zu erkennen, wie etwa eine unaufmerksame Fahrweise oder eine schlaftrunkene Fahrweise, und zu überprüfen, worauf der Fahrer seine Augen richtet. Manche solche Gesichtsbildaufnahmevorrichtungen beleuchten das Gesicht eines Fahrers mit Hilfe einer Nah-Infrarot-LED (”Light Emitting Diode”, Leuchtdiode) um eine Beschaffung eines Gesichtsbilds des Fahrers zu ermöglichen, ohne den Kameramodus bei Tageslicht und zur Nachtszeit zu ändern, und nehmen ein Gesichtsbild des Fahrers durch eine Kamera mit einer Empfindlichkeit in einem Nah-Infrarot-Band auf.
Wenn der Fahrer jedoch eine Brille trägt, wenn ein Bild des Gesichts des Fahrers durch die Gesichtsbildaufnahmevorrichtung unter Verwendung von Nah-Infrarot-Licht aufgenommen wird, kann eine Umgebung um den Fahrer in den Brillengläsern gespiegelt werden oder eine Beleuchtung kann auf der Vorderseite der Gläser und der Rückseite von diesen reflektiert werden, so dass das Bild einen erhellten Teil aufweist.
Um solch ein Problem zu bewältigen, offenbart Patentdokument 1 eine Technik, die verursacht, dass eine Beleuchtung von einer Reflexionsplatte reflektiert wird, um das Gesicht des Fahrers indirekt mit Licht zu bestrahlen. Gemäß solch einer Technik kann eine Spiegelung einer Umgebung und ein erhellter Teil unterdrückt werden, wodurch ein Bild mit guter Qualität beschafft werden kann.
Patentdokument 1: Japanische Patentanmeldung KOKAI Veröffentlichungsnummer 2005-242428
Weitere Techniken sind in den folgenden Dokumenten beschrieben:

– „Efficient measurement of eye blinking under various illumination conditions for drowsiness detection systems” von Park, Illkwon; Ahn, Jung-Ho; Byun, Hyeran; International Conference of Pattern Recognition, 2006, S. 383–386;
– „Real-Time eye, gaze and face pose tracking for monitoring driver vigilance” von Ji, Qiang; Yang, Xiaojie; Real-Time Imaging 2002, Vol. 8, S. 357–377.

Offenbarung der Erfindung
Aufgabe der Erfindung
Wenn man jedoch versucht, die in Patentdokument 1 offenbarte Technik auf ein aktuelles Fahrzeug anzuwenden, ist es schwierig, einen Raum zum Befestigen der Reflexionsplatte bereitzustellen. Außerdem ist eine starke Lichtquelle nötig, um die Verluste der Beleuchtung aufgrund der Reflexionsplatte zu kompensieren. Somit liegt die vorstehende Technik fern.
Die vorliegende Erfindung wurde angesichts der vorstehenden Umstände vorgenommen und es ist eine Aufgabe der vorliegenden Erfindung, eine Gesichtsbildaufnahmevorrichtung und ein Gesichtsbildaufnahmeverfahren, die die Menge an Beleuchtung optimieren, um stabil ein Gesichtsbild mit guter Qualität zu beschaffen, sowie ein Programm für dieses bereitzustellen.
Zusammenfassung der Erfindung
Um die Aufgabe zu erreichen, umfasst eine Gesichtsbildaufnahmevorrichtung gemäß einem ersten Aspekt der vorliegenden Erfindung:
eine Gesichtsbildaufnahmeeinrichtung, die ein Bild eines Gesichts einer Zielperson aufnimmt;
eine Beleuchtungseinrichtung, die das Gesicht der Zielperson mit Nah-Infrarot-Licht mit einer beliebigen Lichtmenge beleuchtet;
eine Augenbereichextraktionseinrichtung, die einen Bereich mit einem Auge von dem Gesichtsbild der Zielperson, das durch die Gesichtsbildaufnahmeeinrichtung aufgenommen wird, extrahiert;
eine Helligkeitsverteilungsmesseinrichtung, die eine Helligkeitsverteilung in dem Bereich, der durch die Augenbereichextraktionseinrichtung extrahiert wird, in dem Gesichtsbild der Zielperson, das durch die Gesichtsbildaufnahmeeinrichtung aufgenommen wird, misst; und
eine Steuerungseinrichtung, die die Beleuchtungseinrichtung steuert, um eine Menge des Nah-Infrarot-Lichts basierend auf der durch die Helligkeitsverteilungsmesseinrichtung gemessenen Helligkeitsverteilung zu ändern.
Zum Beispiel kann die Steuerungseinrichtung eine mittlere Helligkeit in dem Bereich basierend auf der Helligkeitsverteilung berechnen, und kann die Beleuchtungseinrichtung steuern, um eine Menge des Nah-Infrarot-Lichts basierend auf der berechneten mittleren Helligkeit zu ändern.
Zum Beispiel kann die Steuerungseinrichtung bestimmen, ob die mittlere Helligkeit außerhalb eines vorbestimmten Bereichs liegt und kann die Beleuchtungseinrichtung steuern, um eine Menge eines Nah-Infrarot-Lichts nach einer Bestimmung, dass die mittlere Helligkeit außerhalb des bestimmten Bereichs liegt, zu ändern.
Zum Beispiel kann die Steuerungseinrichtung die Beleuchtungseinrichtung steuern, um eine Menge des Nah-Infrarot-Lichts nach einer Bestimmung, dass die mittlere Helligkeit außerhalb des vorbestimmten Bereichs liegt, zu erhöhen.
Zum Beispiel kann die Gesichtsbildaufnahmeeinrichtung einen optischen Filter umfassen, der auf einer optischen Achse zum Aufnehmen eines Bildes der Zielperson angeordnet ist, und der beliebig lange Wellenlängen, die Nah-Infrarot-Licht enthalten, durchlässt.
Zum Beispiel kann die Beleuchtungseinrichtung eine LED (”Light Emitting Diode”, Leuchtdiode) umfassen, die Nah-Infrarot-Licht aussendet, das den optischen Filter durchlaufen kann, und die LED kann das Gesicht der Zielperson mit Nah-Infrarot-Licht beleuchten.
Zum Beispiel kann eine Menge des Nah-Infrarot-Lichts, das durch die Beleuchtungseinrichtung ausgesendet wird, durch einen in die LED eingegebenen Stromwert oder eine relative Einschaltdauer durch Pulslichtaussendung angepasst werden.
Zum Beispiel kann die Gesichtsbildaufnahmeeinrichtung auf einer Oberseite einer Lenksäule eines Fahrzeugs angeordnet sein.
Zum Beispiel kann die Gesichtsbildaufnahmeeinrichtung auf einer Oberseite eines Armaturenbretts eines Fahrzeugs angeordnet sein.
Zum Beispiel kann die Gesichtsbildaufnahmeeinrichtung auf einer Oberseite einer Mittelkonsole eines Fahrzeugs angeordnet sein.
Zum Beispiel kann die Gesichtsbildaufnahmeeinrichtung in einem Rückspiegel eines Fahrzeugs angeordnet sein.
Ein Gesichtsbildaufnahmeverfahren gemäß einem zweiten Aspekt der vorliegenden Erfindung wird durch eine Vorrichtung ausgeführt, mit einer Gesichtsbildaufnahmeeinrichtung, die ein Bild eines Gesichts einer Zielperson aufnimmt, und einer Beleuchtungseinrichtung, die das Gesicht der Zielperson mit Nah-Infrarot-Licht mit einer beliebigen Lichtmenge beleuchtet, wobei das Verfahren aufweist:
einen Augenbereicherkennungsschritt zum Erkennen eines Bereichs mit einem Auge von dem Gesichtsbild der Zielperson, das durch die Gesichtsbildaufnahmereinrichtung aufgenommen wird;
einen Helligkeitsverteilungsmessschritt zum Messen einer Helligkeitsverteilung in dem Bereich, der durch den Augenbereicherkennungsschritt erkannt wird, in dem Gesichtsbild der Person, das durch die Gesichtsbildaufnahmeeinrichtung aufgenommen wird; und
einen Steuerungsschritt zum Steuern der Beleuchtungseinrichtung, um eine Menge des Nah-Infrarot-Lichts basierend auf der in dem Helligkeitsverteilungsmessschritt gemessenen Helligkeitsverteilung zu ändern.
Zum Beispiel kann in dem Steuerungsschritt eine mittlere Helligkeit in dem Bereich basierend auf der Helligkeitsverteilung berechnet werden und die Beleuchtungseinrichtung kann gesteuert werden, um eine Menge des Nah-Infrarot-Lichts basierend auf der berechneten mittleren Helligkeit zu ändern.
Ein Programm gemäß einem dritten Aspekt der vorliegenden Erfindung ermöglicht es einem Computer, der eine Gesichtsbildaufnahmeeinrichtung, die ein Bild eines Gesichts einer Zielperson aufnimmt, und eine Beleuchtungseinrichtung, die das Gesicht der Zielperson mit Nah-Infrarot-Licht mit einer beliebigen Lichtmenge beleuchtet, umfasst, zu arbeiten als:
eine Augenbereichserkennungseinrichtung, die einen Bereich mit einem Auge von dem Gesichtsbild der Zielperson, das durch die Gesichtsbildaufnahmeeinrichtung aufgenommen wird, erkennt;
eine Helligkeitsverteilungsmesseinrichtung, die eine Helligkeitsverteilung in dem Bereich, der durch die Augenbereichserkennungseinrichtung erkannt wird, in dem Gesichtsbild der Zielperson, das durch die Gesichtsbildaufnahmeeinrichtung aufgenommen wird, misst; und
eine Steuerungseinrichtung, die die Beleuchtungseinrichtung steuert, um eine Menge des Nah-Infrarot-Lichts basierend auf der durch die Helligkeitsverteilungsmesseinrichtung gemessene Helligkeitsverteilung zu ändern.
Zum Beispiel kann die Steuerungseinrichtung eine mittlere Helligkeit des Bereichs basierend auf der Helligkeitsverteilung berechnen und kann die Beleuchtungseinrichtung steuern, um eine Menge des Nah-Infrarot-Lichts basierend auf der berechneten mittleren Helligkeit zu ändern.
Effekt der Erfindung
Gemäß der vorliegenden Erfindung wird es möglich, die Menge einer Beleuchtung zu optimieren, um ein Gesichtsbild mit guter Qualität stabil zu erhalten.
Kurze Beschreibung der Zeichnungen
1 ist ein Blockdiagramm, das eine Konfiguration einer Gesichtsbildaufnahmeeinrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigt;
2 ist ein Blockdiagramm, das eine Konfiguration eines in 1 gezeigten Computers zeigt;
3A ist ein Diagramm zum Erklären verschiedener Daten, die in einem ROM gespeichert sind;
3B ist ein Diagramm zum Erklären verschiedener Daten, die in dem ROM gespeichert sind;
3C ist ein Diagramm zum Erklären verschiedener Daten, die in dem ROM gespeichert sind;
3D ist ein Diagramm zum Erklären verschiedener Daten, die in dem ROM gespeichert sind;
4 ist ein Diagramm zum Erklären verschiedener Daten, die in einem Einstellspeicher gespeichert sind;
4A ist ein Diagramm zum Erklären eines allgemeinen Konzepts einer Verarbeitung zum Erkennen eines Augenbereichs gemäß dem Ausführungsbeispiel der vorliegenden Erfindung;
5B ist ein Diagram zum Erklären des allgemeinen Konzepts der Verarbeitung zum Erkennen eines Augenbereichs gemäß dem Ausführungsbeispiel der vorliegenden Erfindung;
6A ist ein Diagram zum Erklären eines allgemeinen Konzepts einer Verarbeitung zum Steuern einer Beleuchtungslichtquelle gemäß dem Ausführungsbeispiel der vorliegenden Erfindung;
6B ist ein Diagramm zum Erklären des allgemeinen Konzepts der Verarbeitung zum Steuern einer Beleuchtungslichtquelle gemäß dem Ausführungsbeispiel der vorliegenden Erfindung;
6C ist ein Diagramm zum Erklären des allgemeinen Konzepts der Verarbeitung zum Steuern einer Beleuchtungslichtquelle gemäß dem Ausführungsbeispiel der vorliegenden Erfindung;
6D ist ein Diagramm zum Erklären des allgemeinen Konzepts der Verarbeitung zum Steuern einer Beleuchtungslichtquelle gemäß dem Ausführungsbeispiel der vorliegenden Erfindung;
7 ist ein Diagramm zum Erklären des allgemeinen Konzepts der Verarbeitung zum Steuern einer Beleuchtungslichtquelle gemäß dem Ausführungsbeispiel der vorliegenden Erfindung;
8 ist ein Ablaufdiagramm zum Erklären einer Gesichtsbildaufnahmeverarbeitung gemäß dem Ausführungsbeispiel der vorliegenden Erfindung;
9 ist ein Ablaufdiagramm zum Erklären einer Gesichtsbildbeschaffungsverarbeitung in der Gesichtsbildaufnahmeverarbeitung;
10 ist ein Ablaufdiagramm zum Erklären einer Gesichtspositionserkennungsverarbeitung in der Gesichtsbildaufnahmeverarbeitung;
11 ist ein Ablaufdiagramm zum Erklären einer Verarbeitung zum Erkennen eines rechten und linken Endes des Gesichts in der Gesichtspositionserkennungsverarbeitung;
12 ist ein Ablaufdiagramm zum Erklären einer Verarbeitung zum Erkennen eines oberen und unteren Endes des Gesichts in der Gesichtspositionserkennungsverarbeitung;
13 ist ein Ablaufdiagramm zum Erklären einer Augenbereichextraktionsverarbeitung in der Gesichtsbildaufnahmeverarbeitung; und
14 ist ein Ablaufdiagramm zum Erklären einer Beleuchtungslichtmengenanpassungsverarbeitung in der Gesichtsbildaufnahmeverarbeitung.
Bezugszeichenliste

10: Kamera
12: Beleuchtungslichtquelle
14: Computer
16: Anzeigevorrichtung
17: Bandpassfilter
21: A/D-Wandler
22: Bildspeicher (Gesichtsbildspeichereinrichtung)
23: ROM
24: CPU (Augenerkennungseinrichtung, Augenöffnungs-/schließbestimmungseinrichtung)
25: RAM
26: Anzeigesteuerungsvorrichtung
28: Einstellspeicher
29: Operationsvorrichtung
50: Gesichtsbildaufnahmevorrichtung

Ausführungsbeispiel der Erfindung
Eine Beschreibung einer Gesichtsbildaufnahmevorrichtung 50 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung wird vorgenommen.
Wie in 1 gezeigt, umfasst die Gesichtsbildaufnahmevorrichtung 50 eine Kamera 10 eine Beleuchtungslichtquelle 12, einem Computer 14, eine Anzeigevorrichtung 16 und einen Bandpassfilter 17.
Die Kamera 10 ist eine Vorrichtung, die das Gesicht eines Fahrers aufnimmt und ein Gesichtsbild erzeugt. Die Beleuchtungslichtquelle 12 ist eine Vorrichtung, die das Gesicht des Fahrers beleuchtet. Der Computer 14 ist eine Vorrichtung, der einen Bereich mit den Augen des Fahrers erkennt. Der Computer 14 ist ebenso eine Vorrichtung, der die Beleuchtungslichtquelle 12 basierend auf einer Helligkeitsverteilung eines erkannten Bereichs steuert. Die Anzeigevorrichtung 16 ist mit dem Computer 14 verbunden.
Einzelne Einheiten der Gesichtsbildaufnahmevorrichtung 15 werden nun detaillierter erklärt.
Die Kamera 10 umfasst zum Beispiel eine CCD-Kamera. Die Kamera 10 beschafft ein Halbtonbild des Gesichts des Fahrers bei einer konstanten Periode (z. B. 1/30 Sekunden), und gibt das beschaffte Bild aus. Gesichtsbilder, die nacheinander durch die Kamera 10 ausgegeben werden, enthalten nicht nur das Gesicht bzw. ein Bild des Gesichts des Fahrers sonder ebenso einen Hintergrund bzw. ein Bild eines Hintergrunds von diesem.
Die Anzeigevorrichtung 16 umfasst ein LCD (”Liquid Crystal Display”, Flüssigkristallanzeige), ein CRT (”Cathode Ray Tube”, Kathodenstrahlröhre) oder Ähnliches. Die Anzeigevorrichtung 16 zeigt ein Gesichtbild usw. an, das durch die Kamera 10 ausgegeben wird.
Der Bandpassfilter 17 ist auf der optischen Achse der Kamera 10 angeordnet. Der Bandpassfilter 17 filtert externes Licht und veranlasst die Kamera 10, Licht in einem Nah-Infrarot-Bereich zu empfangen.
Der Computer 14 ist eine Vorrichtung, die ein durch die Kamera 10 aufgenommenes Gesichtsbild verarbeitet und die Beleuchtungslichtquelle 12 steuert.
Wie in 2 gezeigt umfasst der Computer 14 einen A/D-Wandler 21, einen Bildspeicher 22, einen ROM (”Read Only Memory”, Festwertspeicher) 23, eine CPU (”Central Processing Unit”, zentrale Verarbeitungseinheit) 24, einen RAM (”Random Access Memory”, Schreib-Lese-Speicher) 25, eine Anzeigesteuerungsvorrichtung 26, eine Lichtquellensteuerungsvorrichtung 27, einen Einstellspeicher 28 und eine Operationsvorrichtung 29.
Der A/D-(Analog/Digital)Wandler 21 wandelt ein analoges Bildsignal, das durch die Kamera 10 aufgenommen wird, in ein digitales Signal um.
Der Bildspeicher 22 speichert Bilddaten, die durch die Kamera 10 erzeugt und durch den A/D-Wandler 21 digitalisiert werden.
Der ROM 23 speichert ein Programm zum Steuern der Operation der CPU. Der ROM 23 speichert ebenso verschiedene festgelegte Daten zum Ausführen einer Bildverarbeitung, die später beschrieben wird.
Die CPU 24 steuert den gesamten Computer 14. Die CPU 24 führt das in dem ROM 23 gespeicherte Programm aus. Dementsprechend verarbeitet die CPU 24 nacheinander Gesichtsbilder, die durch die Kamera 10 beschafft werden, um einen Augenbereich zu erkennen. Die CPU 24 steuert die Beleuchtungslichtquelle 12 basierend auf einer Helligkeitsverteilung des Augenbereichs.
Der RAM 25 dient als ein Arbeitsbereich für die CPU 24.
Die Anzeigesteuerungsvorrichtung 26 wandelt Videodaten oder Ähnliches gemäß der Steuerung der CPU 24 in ein Datenformat um, das die Anzeigevorrichtung 16 ausgeben kann. Die Anzeigesteuerungsvorrichtung 26 gibt diese an die Anzeigevorrichtung 16 aus.
Die Lichtquellensteuerungsvorrichtung 27 steuert ein Einschalten, Ausschalten und eine Lichtmenge der Beleuchtungslichtquelle 12. Die Lichtquellensteuerungsvorrichtung 27 steuert die Lichtmenge durch Ändern eines Stromwerts oder einer relativen Einschaltdauer durch eine Pulslichtaussendung.
Der Einstellspeicher 28 speichert im Voraus verschiedene Parameter, wie in 4 gezeigt ist. Verschiedene Parameter werden verwendet, wenn die CPU 24 ein Auge aus einem Gesichtsbild, das in dem RAM 25 gespeichert ist, erkennt. Diese Operation wird später detailliert erklärt.
Die Operationsvorrichtung 29 empfängt operative Informationen von einem Benutzer. Die Operationsvorrichtung 29 gibt ein operatives Signal gemäß einer Operation an die CPU 24 aus.
Als Nächstes werden Beispiele von festgelegten Daten, die in dem ROM 23 gespeichert sind, mit Bezug auf 3A bis 3D erklärt. Als Erstes speichert der RAM 23 einen Operator eines Sobel-Filters zur Erkennung vertikaler Kanten, wie in 3A gezeigt. Der Sobel-Filter zur Erkennung vertikaler Kanten ist ein Operator zum Verstärken eines Unterschieds einer Kontrastdichte in eine vertikale Richtung, wie in 3C gezeigt ist. Außerdem speichert der ROM 23 einen Operator eines Sobel-Filters zur Erkennung horizontaler Kanten. Der Sobel-Filter zur Erkennung horizontaler Kanten ist ein Operator zum Verstärken eines Unterschieds einer Kontrastdichte in eine horizontale Richtung, wie in 3D gezeigt ist.
Es wird angenommen, dass jedes Pixel bzw. Bildelement, das ein Gesichtsbild konfiguriert, auf eine solche Weise eingestellt ist, dass jede von R-, G- und B-Farben eine 8-Bit-Abstufung aufweist. Außerdem weist jede Farbe R, G und B irgendeine Abstufung innerhalb von 256 Abstufungen von einer 0-ten Abstufung zu einer 255-ten Abstufung auf. Die 0-te Abstufung ist schwarz und die 255-te Abstufung ist weiß.
Beispiele von verschiedenen Parametern, die in dem Einstellspeicher 28 gespeichert sind werden mit Bezug auf 4 erklärt.
Augenbereicheinstellungsparameter a, b sind Parameter zum Berechnen eines Augenbereichs, wenn basierend auf einer erkannten Gesichtsposition und einer Nasenausschnittsposition geschätzt wird, dass ein Auge vorhanden ist.
Ein oberster Schwellenwert und ein unterster Schwellenwert sind Schwellenwerte zum Bestimmen, ob eine mittlere Helligkeit im Augenbereich geeignet ist oder nicht.
Ein Anfangswert einer Beleuchtungslichtmenge ist ein Parameter zum Einstellen einer Lichtmenge, wenn die Gesichtsbildaufnahmevorrichtung 50 eine Beleuchtung durch die Beleuchtungslichtquelle 12 beginnt, und wird von der minimalen Lichtmenge berechnet, bei der ein Auge zur Nachtzeit in einer gewöhnlichen Fahrposition stabil erkannt werden kann.
Ein eingestellter Wert für eine Beleuchtungslichtmenge ist ein Parameter zum Einstellen einer Lichtmenge der Beleuchtungslichtquelle 12. Die Gesichtsbildaufnahmevorrichtung 50 steuert die Lichtquellensteuerungsvorrichtung 27 basierend auf dem eingestellten Wert der Beleuchtungslichtmenge, um eine Beleuchtung durch die Beleuchtungslichtquelle 12 zu verursachen.
Es sei angemerkt, dass verschiedene Parameter, die in dem Einstellspeicher 28 gespeichert sind, durch den Benutzer veränderbar sind.
Als Nächstes folgt eine Beschreibung einer Operation der Gesichtsbildaufnahmevorrichtung 50 mit der vorstehenden Konfiguration gemäß einem ersten Ausführungsbeispiel.
Als Erstes wird mit Bezug auf 3 bis 7 eine kurze Übersicht einer Operation der Gesichtsbildaufnahmevorrichtung 15 zum Steuern der Beleuchtungslichtquelle 12 beschrieben.
Als Erstes wird die Gesichtsbildaufnahmevorrichtung 50 in Betrieb genommen. Dies veranlasst die CPU 24 den Anfangswert für die Beleuchtungslichtmenge aus dem Einstellspeicher 28 auszulesen. Die CPU 24 setzt den Anfangswert der Beleuchtungslichtmenge als den eingestellten Wert für die Beleuchtungslichtmenge. Als Nächstes veranlasst die CPU 24 die Beleuchtungslichtquelle 12 mit der Lichtmenge des eingestellten Werts des Beleuchtungslichts zu leuchten.
Die Kamera 10 nimmt Gesichtsbilder einer Zielperson, wie in 5A gezeigt ist, mit einer vorbestimmten Periode (z. B. 1/30 Sekunden) auf und gibt Gesichtsbilder aus. Die ausgegebenen Gesichtsbilder werden nacheinander in dem Bildspeicher 22 gespeichert.
Als Nächstes liest die CPU 24 nacheinander Gesichtsbilder, die in dem Bildspeicher 22 gespeichert sind, aus. Die CPU 24 führt nachfolgende Verarbeitung aus.
Als Erstes verarbeitet die CPU 24 unter Verwendung des Sobel-Filters zur Erkennung von vertikalen Kanten (siehe 3A) ein ausgelesenes Gesichtsbild. Als Nächstes erkennt die CPU 24 ein rechtes und linkes Ende des Gesichts basierend auf einer Helligkeit eines jeden Bildelements in dem Gesichtsbild. Außerdem verarbeitet die CPU 24 unter Verwendung des Sobel-Filters zur Erkennung von horizontalen Kanten (siehe 3B) das ausgelesene Gesichtsbild. Als Nächstes erkennt die CPU 24 ein oberes und unteres Ende des Gesichts basierend auf einer Helligkeit eines jeden Bildelements in dem Gesichtsbild.
In dem Fall eines in 5A gezeigten Gesichtsbildes z. B. sind das rechte und linke Ende des Gesichts x = i, j und das obere und untere Ende von diesem sind y = m, n. Eine Position des Gesichts kann basierend auf dem rechten und linken Ende des Gesichts und dem oberen und unteren Ende von diesem erkannt werden. Es wird angenommen, dass das obere Ende des Gesichts zwischen Augenbrauen und der Oberseite des Kopfes gelegen ist. Außerdem wird ebenso angenommen, dass das untere Ende des Gesichts zwischen dem Mund und dem Kiefer gelegen ist.
Die CPU 24 erkennt die Position eines Nasenausschnitts aus einem Bereich, i ≤ x ≤ j, und (m + n)/2 ≤ y ≤ n. Genauer erkennt die CPU 24, als einen Nasenausschnitt, einen Teil mit einer Helligkeit, die kleiner oder gleich einer vorbestimmten Helligkeit ist, und die nachfolgenden drei bis fünf Bildelemente in dem vorstehenden Bereich des Gesichtsbilds.
Die CPU 24 extrahiert einen Augenbereich, wobei geschätzt wird, dass dieser Augen enthält, wie in 5B gezeigt, basierend auf den in dem Einstellspeicher 28 gespeicherten Parametern und der erfassten Gesichtsposition und Nasenausschnittsposition. Eine genauere Erklärung wird mit Bezug auf 5A beschrieben. Wenn das rechte und linke Ende des Gesichts x = i, j ist, das obere und untere Ende y = n, m ist, und die y-Koordinate des Nasenausschnitts u ist, werden die Augenbereichseinstellparameter a, b, die in dem Einstellspeicher 28 gespeichert sind, wie in 4 gezeigt ist, verwendet. Dann kann ein Augenbereich ausgedrückt werden als i ≤ x ≤ j und v ≤ y ≤ w (wobei v = m + b, und w = u – a).
Wie in 6A bis 6D gezeigt ist, misst die CPU 24 eine Helligkeitsverteilung im Augenbereich. Als Nächstes berechnet die CPU 24 eine mittlere Helligkeit aus der gemessenen Helligkeitsverteilung. Danach, wie in 7 gezeigt ist, wenn die mittlere Helligkeit außerhalb eines vorbestimmten Bereichs ist, d. h. kleiner oder gleich dem untersten Schwellenwert ist, der in dem Einstellspeicher 28 gespeichert ist, oder größer oder gleich dem obersten darin gespeicherten Schwellenwert ist, erhöht die CPU 24 die Lichtmenge einer Beleuchtung. Wenn die mittlere Helligkeit innerhalb des vorbestimmten Bereichs ist, behält die CPU 24 die Lichtmenge bei.
Eine Erklärung von vier Mustern einer Helligkeitsverteilung wird nun vorgenommen.
Ein erster in 6A gezeigter Fall ist ein Zustand, in dem eine Beleuchtung durch die Beleuchtungslichtquelle 12 nicht ausreichend ist. Das heißt, wie in 7 gezeigt ist, es ist ein Zustand, in dem die mittlere Helligkeit des Augenbereichs kleiner als der unterste Schwellenwert ist. In diesem Fall steuert die Gesichtsbildaufnahmevorrichtung 50 die Lichtquellensteuerungsvorrichtung 27, um die Lichtmenge zu erhöhen.
Ein zweiter in 6B gezeigter Fall ist ein Zustand, in dem die Beleuchtung durch die Beleuchtungslichtquelle 12 angemessen ist. Das heißt, wie in 7 gezeigt ist, die mittlere Helligkeit des Augenbereichs ist größer als der unterste Schwellenwert und ist kleiner als der oberste Schwellenwert. In diesem Fall behält die Gesichtsbildaufnahmevorrichtung 50 diese Lichtmenge bei.
Ein dritter in 6C gezeigter Fall ist ebenfalls ein Zustand, in dem eine Beleuchtung durch die Lichtquelle 12 angemessen ist. Das heißt, wie in 7 gezeigt, die mittlere Helligkeit des Augenbereichs ist größer als der unterste Schwellenwert und ist kleiner als der oberste Schwellenwert. In diesem Fall behält die Gesichtsbildaufnahmevorrichtung 50 diese Lichtmenge bei.
Ein vierter in 6D gezeigter Fall ist ein Zustand, in dem eine Umgebung um die Zielperson auf Brillengläsern gespiegelt wird. Das heißt, wie in 7 gezeigt, die mittlere Helligkeit des Augenbereichs ist größer als der obere Schwellenwert. In diesem Fall erhöht die Gesichtsbildaufnahmevorrichtung 50 die Lichtmenge auf solche Weise, dass eine Menge des Lichts, das von der Haut und einem Auge durch die Brillengläser reflektiert wird größer wird, als eine Menge des Lichts, das durch die Brillengläser reflektiert wird. Wenn die Lichtmenge auf diese Weise erhöht wird, wird die Lichtmenge der Beleuchtungslichtquelle 12 angemessen, wie in 6C gezeigt ist. Außerdem erhöht die Gesichtsbildaufnahmevorrichtung 50 die Leuchtdichte innerhalb eines Kamerabelichtungsbereichs durch helles Beleuchten des gesamten Gesichts. Die Gesichtsbildaufnahmevorrichtung 50 reduziert einen Unterschied zwischen der Leuchtdichte eines Teils, der durch die Brillengläser reflektiert wird, und der Leuchtdichte eines gesamten Gesichts. Als Ergebnis kann eine angemessene Belichtung bezüglich des Augenbereichs und des ganzen Gesichts erhalten werden. Deshalb kann ein Bild eines Augenteils ohne Reflexion und Spiegelung erhalten werden.
Es sei angemerkt, dass der Anfangswert der Beleuchtungslichtquelle niedrig eingestellt wird, so dass die mittlere Helligkeit des Augenbereichs nicht größer oder gleich dem obersten Schwellenwert wird, wenn eine Zielperson keine Brille trägt.
Als Nächstes wird eine Erklärung einer Gesichtsbildaufnahmeverarbeitung des Ausführungsbeispiels der vorliegenden Erfindung, die durch die Gesichtsbildaufnahmevorrichtung 15 ausgeführt wird, mit Bezug auf das Ablaufdiagramm von 8 vorgenommen.
Die CPU 24 in dem Computer 14 wiederholt periodisch (z. B. alle 1/30 Sekunden) Schritte S400 bis S700.
Wenn die Gesichtsbildaufnahmevorrichtung 15 in Betrieb genommen wird, ließt die CPU 24 den Anfangswert der Beleuchtungslichtmenge aus dem Einstellspeicher 28 (Schritt S100).
Als Nächstes setzt die CPU 24 den Anfangswert der Beleuchtungslichtmenge als den eingestellten Wert der Beleuchtungslichtmenge (Schritt S200).
Die CPU 24 veranlasst die Beleuchtungslichtquelle 12 mit der Lichtmenge des eingestellten Werts der Beleuchtungslichtmenge zu leuchten (Schritt S300).
Die CPU 24 führt eine Gesichtsbildbeschaffungsverarbeitung (Schritt S400) grob gesagt durch die folgenden Prozeduren aus. Als Erstes erfasst die CPU 24 ein Gesichtsbild des Fahrers. Als Nächstes erzeugt die CPU 24 ein Bild mit einer verstärkten vertikalen Kante. Außerdem erzeugt die CPU 24 ein Bild mit einer verstärkten horizontalen Kante. Die Prozeduren der Gesichtsbildbeschaffungsverarbeitung (Schritt S400) werden später detailliert beschrieben.
Die CPU 24 führt eine Gesichtspositionserkennungsverarbeitung (Schritt S500) grob gesagt durch die folgenden Prozeduren aus. Als Erstes erkennt die CPU 24 ein rechtes und linkes Ende des Gesichts unter Verwendung des Bildes mit der verstärkten vertikalen Kante, das in der Gesichtsbildbeschaffungsverarbeitung erzeugt wird. Als Nächstes erkennt die CPU 24 ein oberes und unteres Ende des Gesichts unter Verwendung des Bildes mit verstärkter horizontaler Kante, das in der Gesichtsbildbeschaffungsverarbeitung erzeugt wird. Als Ergebnis erkennt die CPU 24 die Position des Gesichts in dem Bild. Die Prozeduren der Gesichtspositionserkennungsverarbeitung (Schritt S500) werden später detailliert erklärt.
Die CPU 24 führt eine Augenbereichsextraktionsverarbeitung (Schritt S600) zum Extrahieren eines Augenbereichs von dem Gesichtsbild unter Verwendung der Position des Gesichts, die in der Gesichtspositionserkennungsverarbeitung erkannt wird, aus. Die Prozeduren der Augenbereichserkennungsverarbeitung (Schritt S600) werden später detailliert erklärt.
Die CPU 24 führt eine Beleuchtungslichtmengenanpassungsverarbeitung (Schritt S700) aus und der Verarbeitungsablauf kehrt zurück zu Schritt S400. Die Beleuchtungslichtmengenanpassungsverarbeitung besteht aus Messen einer Helligkeitsverteilung des Augenbereichs, der in der Augenbereichserkennungsverarbeitung extrahiert wird, Berechnen einer mittleren Helligkeit aus der gemessenen Helligkeitsverteilung und Erhöhen der Lichtmenge der Beleuchtungslichtquelle 12, wenn die berechnete mittlere Helligkeit außerhalb des vorbestimmten Bereichs ist, und Details dieser Verarbeitung werden später erklärt.
Wie vorstehend beschrieben, wird gemäß der Gesichtsbildverarbeitung ein Gesichtsbild beschafft und ein Augenbereich wird von solch einem Bild extrahiert. Die Lichtmenge der Beleuchtungslichtquelle 12 wird basierend auf der Helligkeitsverteilung in dem Augenbereich angepasst.
Wie vorstehend beschrieben, nimmt in der Gesichtsbildbeschaffungsverarbeitung (Schritt S400) die Gesichtsbildaufnahmevorrichtung 50 ein Gesichtsbild des Fahrers auf und führt eine Kantenerkennung unter Verwendung des Sobel-Filters durch und Details der Gesichtsbildbeschaffungsverarbeitung (Schritt S400) werden nun mit Bezug auf 9 erklärt.
Als Erstes führt die CPU 24 eine Erfassungsverarbeitung zum Erfassen eines Gesichtsbilds der Zielperson, das durch die Kamera 10 aufgenommen wird, durch den A/D-Wandler 21, und zum Speichern eines solchen Bildes in dem Bildspeicher 22 (Schritt S410) aus.
Als Nächstes führt die CPU 24 eine Koordinatenumwandlungsverarbeitung aus. Danach führt die CPU 24 eine Verarbeitung zum Reduzieren der Anzahl von Bildelementen in jedem Gesichtsbild, das in dem Bildspeicher 22 gespeichert ist, aus, um eine Verarbeitung durch einen Sobel-Filter zu ermöglichen (Schritt S420).
Die CPU 24 verarbeitet das Gesichtsbild, das der Koordinatenumwandlung unterzogen wurde, unter Verwendung des Sobel-Filters zur Erkennung einer vertikalen Kante (siehe 3A), der in dem ROM 23 gespeichert ist. Als Nächstes erzeugt die CPU 24 ein Bild mit der verstärkten vertikalen Kante in dem Gesichtsbild. Außerdem verarbeitet die CPU 24 das Gesichtsbild, dass der Koordinatenumwandlung unterzogen wurde, unter Verwendung des Sobel-Filters zur Erkennung einer horizontalen Kante (siehe 3B), der in dem ROM 23 gespeichert ist. Als Nächstes erzeugt die CPU 24 ein Bild mit der verstärkten horizontalen Kante in dem Gesichtsbild (Schritt S430).
Auf diese Weise werden gemäß der Gesichtsbildbeschaffungsverarbeitung ein Bild zum Verstärken der vertikalen Kante des aufgenommenen Gesichtsbild und ein Bild zum Verstärken der horizontalen Kante von diesem erzeugt.
Wie vorstehend beschrieben erkennt die Gesichtsbildaufnahmevorrichtung 50 in der Gesichtspositionserkennungsverarbeitung (Schritt S500) die Position des Gesichts in dem Gesichtsbild unter Verwendung des Bildes mit der verstärkten vertikalen Kante und des Bildes mit der verstärkten horizontalen Kante, die beide in der Gesichtsbildbeschaffungsverarbeitung erzeugt werden. Die Gesichtspositionserkennungsverarbeitung (Schritt S500) wird nun detaillierter mit Bezug auf 10 beschrieben.
Als Erstes erkennt die CPU 24 Positionen eines rechten und linken Endes des Gesichts in dem Gesichtsbild unter Verwendung des Bildes mit der verstärkten vertikalen Kante, das durch die Gesichtsbildbeschaffungsverarbeitung (Schritt S400) erzeugt wird (Schritt S510). Die Prozeduren zum Erkennen der Positionen des rechten und linken Endes des Gesichts (Verarbeitung zum Erkennen des rechten und linken Endes des Gesichts) werden später detailliert diskutiert.
Als Nächstes erkennt die CPU 24 Positionen eines oberen und unteren Endes des Gesichts in dem Gesichtsbild unter Verwendung des Bildes mit der verstärkten horizontalen Kante, das durch die Gesichtsbildbeschaffungsverarbeitung (Schritt S400) erzeugt wird (Schritt S520). Danach beendet die CPU 24 die Gesichtspositionserkennungsverarbeitung. Die Prozeduren zum Erkennen der Positionen des oberen und unteren Endes des Gesichts (Verarbeitung zum Erkennen des oberen und unteren Endes des Gesichts) werden später detaillierter diskutiert.
Auf diese Weise werden gemäß der Gesichtspositionserkennungsverarbeitung (Schritt S500) das rechte und linke Ende des Gesichts und das obere und untere Ende von diesem erkannt und somit wird die Position des Gesichts in dem Gesichtsbild erkannt.
Die Verarbeitung zum Erkennen des rechten und linken Ende des Gesichts, die in Schritt S510 der Gesichtserkennungsverarbeitung (Schritt S500) ausgeführt wird, wird nun detaillierter mit Bezug auf 11 beschrieben.
Als Erstes führt die CPU 24 eine Verarbeitung zum Erzeugen eines Histogramms zum Erkennen des rechten und linken Endes des Gesichts aus (Schritt S511). Die Verarbeitung zum Erzeugen eines Histogramms zum Erkennen eines rechten und linken Endes des Gesichts ist eine Verarbeitung zum Erzeugen eines Histogramms durch Projizieren des Wertes eines jeden Bildelements in vertikaler Richtung nach der Sobel-Filter-Verarbeitung unter Verwendung des Sobel-Filters zur Erkennung einer vertikalen Kante. Genauer wird der Bildelementwert einer jeden Koordinate in mehrere Stufen aufgeteilt. Als Nächstes wird eine Stufe mit der größten Anzahl von Bildelementwerten von jeder Koordinate für jeden x-Wert gesetzt. Der Graph des mittleren Werts der vorhergehenden Stufe für jeden x-Wert wird dann als Histogramm genommen.
Die CPU 24 extrahiert einen Punkt mit einer Spitze (nachstehend als Spitzenpunkt bezeichnet) in dem in Schritt S511 erzeugten Histogramm (Schritt S512).
Die CPU 24 extrahiert, als Kandidat eines rechten oder linken Endes des Gesichts, einen aus den Spitzenpunkten, die in Schritt S512 extrahiert werden, mit einem Histogrammwert der größer oder gleich einem Schwellenwert ist (Schritt S513).
Die CPU 24 bestimmt, ob zwei Spitzenpunkte mit dem Histogrammwert, der größer oder gleich dem Schwellenwert ist, als die Kandidaten des rechten und linken Endes des Gesichts extrahiert werden, als Ergebnis der Verarbeitung in Schritt S513 (Schritt S514).
Wenn bestimmt ist, dass zwei Spitzenpunkte mit dem Histogrammwert, der größer oder gleich dem Schwellenwert ist, extrahiert sind (Schritt S514: JA), setzt die CPU 24 die Verarbeitung bei Schritt S516 fort. Die CPU 24 setzt Positionen von zwei extrahierten Spitzenpunkten als das rechte und linke Ende des Gesichts (Schritt 516).
Wenn bestimmt ist, dass keine zwei Spitzenpunkte mit dem Histogrammwert, der größer oder gleich dem Schwellenwert ist, extrahiert sind (Schritt S514: NEIN), extrahiert die CPU 24 eine Kombination zweier Spitzenpunkte mit einem Abstand zwischen diesen, der als eine Breite des Gesichts geeignet ist, aus dem Spitzenpunkten (Schritt S515).
Die CPU 24 stellt die Positionen der extrahierten zwei Spitzenpunkte als das rechte und linke Ende des Gesichts ein (Schritt S516).
Auf diese Weise werden gemäß der Verarbeitung zum Erkennen des rechten und linken Endes des Gesichts (Schritt S510) das rechte und linke Ende des Gesichts in dem Gesichtsbild erkannt.
Die Verarbeitung zum Erkennen des oberen und unteren Endes des Gesichts, die in Schritt S520 der Gesichtspositionserkennungsverarbeitung (Schritt S500) ausgeführt wird, wird nun detaillierter mit Bezug auf 12 erklärt.
Als Erstes führt die CPU 24 eine Verarbeitung zum Erzeugen eines Histogramms zum Erkennen eines oberen und unteren Endes des Gesichts aus (Schritt S521). Die Verarbeitung zum Erzeugen eines Histogramms zum Erkennen eines oberen und unteren Endes des Gesichts ist eine Verarbeitung zum Erzeugen eines Histogramms durch Projizieren des Werts eines jeden Bildelements in horizontaler Richtung nach der Sobel-Filter-Verarbeitung unter Verwendung des Sobel-Filters zur Erkennung einer horizontalen Kante. Genauer wird der Bildelementwert einer jeden Koordinate in mehrere Stufen aufgeteilt. Als Nächstes wird eine Stufe mit der größten Anzahl von Bildelementwerten von jeder Koordinate für jeden y-Wert gesetzt. Der Graph des Mittelwerts der Stufe für jeden y-Wert wird als Histogramm genommen.
Die CPU 24 extrahiert einen Punkt mit einer Spitze (nachstehend als Spitzenpunkt bezeichnet) in dem in Schritt S521 erzeugten Histogramm (Schritt S522).
Die CPU 24 assoziiert jeden Spitzenpunkt mit einem Auge, einer Augenbraue, einem Mund oder Ähnlichem basierend auf dem Histogrammwert des Spitzenpunkts, der in dem Schritt S522 extrahiert wird (Schritt S523).
Die CPU 24 berechnet Positionen eines oberen und unteren Endes des Gesichts in dem Gesichtsbild basierend auf jedem Spitzenpunkt, der mit einem Auge, einer Augenbraue, einem Mund oder Ähnlichem assoziiert wird (Schritt S524). Zum Beispiel wird eine Position, die drei Bildelemente über der erkannten Augenbraue liegt, als das obere Ende des Gesichts gesetzt. Entsprechend wird eine Position, die drei Bildelementen unter dem erfassten Mund liegt, als das untere Ende des Gesichts gesetzt (zwischen dem Gesicht und dem Kiefer).
Auf diese Weise werden gemäß der Verarbeitung zum Erkennen eines oberen und unteren Endes des Gesichts (Schritt S520) die Positionen des oberen und unteren Endes des Gesichts in dem Gesichtsbild erkannt.
Wie vorstehend beschrieben erkennt in der Augenbereichextraktionsverarbeitung (Schritt S600) die Gesichtsbildaufnahmevorrichtung 50 zuerst die Position eines Nasenausschnitts und schätzt einen Bereich, in dem Augen vorhanden sind, basierend auf der Position des Nasenausschnitts und die Position des Gesichts, die in der Gesichtspositionserkennungsverarbeitung erkannt wird. Die in Schritt S600 der Gesichtsbildaufnahmeverarbeitung ausgeführte Gesichtsbereichextraktionsverarbeitung wird nun detaillierter mit Bezug auf 13 beschrieben.
Als Erstes erkennt die CPU 24 einen Teil, in dem Bildelemente mit einer Helligkeit, die kleiner oder gleich einer vorbestimmten Helligkeit ist, kontinuierlich in der vertikalen Richtung entsprechend drei bis fünf Bildelementen verteilt sind, von einem Bereich in dem Gesichtsbild, der basierend auf der Position des Gesichts, die in der Gesichtspositionserkennungsverarbeitung erkannt wird, gesetzt ist (Schritt S500). Außerdem erkennt die CPU 24 einen Teil, in dem Bildelemente mit einer Helligkeit, die kleiner oder gleich dem vorbestimmten Schwellenwert ist, kontinuierlich in der horizontalen Richtung entsprechend drei bis fünf Bildelementen verteilt sind, von einem Bereich in dem Gesichtsbild, der basierend auf der Position des Gesichts, die in der Gesichtspositionserkennungsverarbeitung erkannt wird, gesetzt ist. Die CPU 24 erkennt einen überlappenden Abschnitt von diesen Teilen als die Position des Nasenausschnitts (Schritt S610).
Die CPU 24 extrahiert ein Bild eines Augenbereichs, in dem schätzungsweise Augen vorhanden sind, aus jedem Gesichtsbild, das in dem Bildspeicher 22 gespeichert ist, basierend auf der Position des Gesichts, die in der Gesichtspositionserkennungsverarbeitung erkannt wird (Schritt S500), der Position des Nasenausschnitts, und den Augenbereichseinstellparametern (Schritt S620).
Auf diese Weise wird gemäß der Augenbereichextraktionsverarbeitung (Schritt S600) ein Bereich extrahiert, in dem schätzungsweise Augen vorhanden sind.
Wie vorstehend beschrieben, misst die Gesichtsbildaufnahmevorrichtung 50 in der in Schritt S700 der Gesichtsbildaufnahmeverarbeitung ausgeführten Beleuchtungslichtmengenanpassungsverarbeitung eine Helligkeitsverteilung in dem Augenbereich, der in der Augenbereichextraktionsverarbeitung extrahiert wird (Schritt S600), und berechnet die mittlere Helligkeit des Augenbereichs. Wenn die mittlere Helligkeit außerhalb des vorbestimmten Bereichs liegt, wird die Beleuchtungslichtmenge erhöht. Die Beleuchtungslichtmengenanpassungsverarbeitung wird nun detaillierter mit Bezug auf 14 beschrieben.
Als Erstes misst die CPU 24 eine Helligkeitsverteilung in dem Augenbereich, der durch die Augenbereichextraktionsverarbeitung (Schritt S600) extrahiert wird (Schritt S710).
Die CPU 24 berechnet die mittlere Helligkeit des Augenbereichs basierend auf der in Schritt S710 gemessenen Helligkeitsverteilung (Schritt S720).
Die CPU 24 bestimmt, ob die mittlere Helligkeit, die im Schritt S720 berechnet wird, größer oder gleich dem untersten Schwellenwert ist, und kleiner oder gleich dem obersten Schwellenwert ist, die beide in dem Einstellspeicher 28 gespeichert sind. Das heißt, es wird bestimmt, ob die mittlere Helligkeit innerhalb des eingestellten Bereichs liegt oder nicht (Schritt S730).
Wenn bestimmt ist, dass die mittlere Helligkeit innerhalb des eingestellten Bereichs liegt (Schritt S730: JA), beendet die CPU 24 die Beleuchtungslichtmengenanpassungsverarbeitung. Die Verarbeitung geht zurück zur Gesichtsbildaufnahmeverarbeitung.
Wenn bestimmt ist, dass die mittlere Helligkeit außerhalb des eingestellten Bereichs liegt (Schritt S730: NEIN), steuert die CPU 24 die Lichtquellensteuerungsvorrichtung 27, um die Lichtmenge der Beleuchtungslichtquelle 12 zu erhöhen (Schritt S740). Die CPU 24 beendet dann die Beleuchtungslichtmengenanpassungsverarbeitung (Schritt S700). Danach geht die Verarbeitung zurück zur Gesichtsbildaufnahmeverarbeitung.
Auf diese Weise wird die Beleuchtungslichtmenge gemäß der Beleuchtungslichtmengenanpassungsverarbeitung (Schritt S700) basierend auf der Helligkeitsverteilung des Augenbereichs optimiert.
Wie vorstehend beschrieben erkennt die Gesichtsbildaufnahmevorrichtung 50 die Position eines Gesichts von einem aufgenommenen Gesichtsbild und schätzt einen Bereich, in dem Augen vorhanden sind, basierend auf der erkannten Gesichtsposition. Die Gesichtsbildaufnahmevorrichtung 50 misst die Helligkeitsverteilung dieses Bereichs und berechnet die mittlere Helligkeit des Augenbereichs basierend auf der Helligkeitsverteilung. Die Gesichtsbildaufnahmevorrichtung 50 bestimmt basierend auf der mittleren Helligkeit, die Lichtmenge der Beleuchtungslichtquelle 12 zu erhöhen oder nicht. Die Gesichtsbildaufnahmevorrichtung 50 optimiert die Beleuchtungslichtmenge auf diese Weise, wodurch ein Bild mit guter Qualität erhalten wird.
Die vorliegende Erfindung ist nicht auf das vorstehende Ausführungsbeispiel beschränkt und kann auf verschiedene Arten geändert und modifiziert werden.
Zum Beispiel wird in dem vorstehenden Ausführungsbeispiel eine Extraktion durch eine Kantenerkennung unter Verwendung eines Sobel-Filters durchgeführt wenn die Gesichtsbildaufnahmevorrichtung 50 die Position eines Gesichts erkennt. Solch eine Extraktion kann jedoch durch eine Konzentrationserkennung unter Verwendung eines Konzentrationsgradienten anstelle einer solchen Kantenerkennung durchgeführt werden.
In dem vorstehenden Ausführungsbeispiel wird eine Sobel-Filter-Verarbeitung an dem Gesichtsbild in der Gesichtspositionserkennungsverarbeitung (Schritt S500) durchgeführt. Die Position des Gesichts wird aus einem Histogramm erkannt, basierend auf den Bildelementwerten, die der Sobel-Filter-Verarbeitung unterzogen werden. Anstelle eines solchen Prozesses können Einrichtungen verwendet werden, die in der japanischen Patentanmeldung KOKAI Veröffentlichungsnummer 2004-210396 veröffentlicht sind. Das heißt eine Zeitdifferenzierung wird für jedes Bildelement durchgeführt, das ein aufgenommenes Bild konfiguriert, wobei das Bild, das der Zeitdifferenzierung unterzogen wird, in vertikale Richtung projiziert wird, um ein Histogramm zu erzeugen, wobei ein Histogramm eines Bildes mit extrahierten Kanten und ein Histogramm eines zeitdifferenzierten Bildes summiert werden, und Teile mit einem hohen Spitzenwert in dem summierten Histogramm als entsprechend beide Enden des Gesichts verwendet werden.
Eine Vorlagenübereinstimmungstechnik kann in der Gesichtspositionserkennungsverarbeitung (Schritt S500) angewandt werden. Das heißt, die Vorlage eines Gesichts, die im Voraus registriert ist, kann mit einem Gesichtsbild in Übereinstimmung gebracht werden, um die Position eines Gesichts zu erkennen.
Außerdem kann eine Vorlagenübereinstimmungstechnik ebenso auf die Gesichtsbereichsextraktionsverarbeitung (Schritt S600) und die Augenbestimmungsverarbeitung angewendet werden. Das heißt die Vorlage von Augen wird mit einem Gesichtsbild in Übereinstimmung gebracht, um die Position von Augen zu erkennen. Der Bereich der erkannten Augen wird berechnet und ein Öffnen/Schließen der Augen kann basierend auf dem berechneten Bereich bestimmt werden.
In dem vorstehenden Ausführungsbeispiel wird ein Bandpassfilter verwendet, um Licht zu filtern, das von der Kamera 10 empfangen wird, aber in Abhängigkeit der Empfindlichkeit der Kamera 10 kann ein Hochpassfilter verwendet werden.
In dem vorhergehenden Ausführungsbeispiel bestimmt die Gesichtsbildaufnahmevorrichtung 50, ob die Lichtmenge basierend auf der mittleren Helligkeit eines Augenbereichs zu erhöhen ist oder nicht, aber anstelle von diesem, kann die Gesichtsbildaufnahmevorrichtung 50 basierend auf der Wiederholung einer vorbestimmten Helligkeit des Augenbereichs bestimmen, ob die Lichtmenge zu erhöhen ist oder nicht. Außerdem kann die Gesichtsbildaufnahmevorrichtung 50 basierend auf einer Helligkeitsverbreitung des Augenbereichs bestimmen, ob die Lichtmenge zu erhöhen ist oder nicht.
Wenn sich die Helligkeitsverteilung nicht ändert, auch wenn die Lichtmenge erhöht wird, oder wenn es immer noch schwierig ist, die Augen zu erkennen, kann die Gesichtsbildaufnahmevorrichtung 50 bestimmen, dass die abzubildende Zielperson eine Augenbinde oder Sonnenbrille mit niedriger Lichtdurchlässigkeit trägt. Danach kann die Gesichtsbildaufnahmevorrichtung 50 eine Änderung der Lichtmenge beenden.
Eine Erkennung eines Augenbereichs, eine Messung einer Helligkeitsverteilung, eine Berechnung einer mittleren Helligkeit und eine Änderung eine Lichtmenge kann jeweils einzeln für das rechte oder linke Auge durchgeführt werden.
Die Gesichtsbildaufnahmevorrichtung gemäß der vorliegenden Erfindung kann weiterhin eine Funktion zum Erkennen eines Zustands des Fahrers, wie etwa eine unaufmerksame Fahrweise oder eine schlaftrunkene Fahrweise, aus dem aufgenommenen Gesichtsbild aufweisen. Außerdem kann die Gesichtsbildaufnahmevorrichtung weiterhin eine Funktion zum Warnen des Fahrers, wenn dies erforderlich ist, aufweisen. In diesem Fall analysiert die CPU das Bild des Gesichtsbereichs, das durch die Kamera aufgenommen wird. Die CPU bestimmt, ob der Fahrer eine gefährliche Fahrweise, wie etwa eine unaufmerksame Fahrweise oder eine schlaftrunkene Fahrweise ausführt. Wenn der Fahrer eine gefährliche Fahrweise ausführt, verursacht die Gesichtsbildaufnahmevorrichtung, dass eine Warneinrichtung den Fahrer warnt.
Zum Beispiel analysiert die CPU ein Bild eines Gesichtsbereichs und erkennt die Augen des Fahrers. Die CPU erkennt die Richtung einer Sichtlinie von dem Bild der Augen. Wenn ein Unterschied zwischen der Richtung einer Sichtlinie und der Frontrichtung eines Fahrzeugs größer oder gleich einem vorbestimmten Wert ist und solch ein Zustand für eine vorbestimmte Periode andauert, kann die CPU bestimmen, dass der Fahrer eine unaufmerksame Fahrweise durchführt.
Außerdem erfasst die CPU z. B. ein Öffnen/Schließen der Augen aus einem Bild der Augen des Fahrers und wenn ein Zustand, dass die Augen für eine vorbestimmte Periode oder länger geschlossen sind, erkannt wird, kann die CPU bestimmen, dass der Fahrer eine schlaftrunkene Fahrweise durchführt.
Es sei angemerkt, dass die Gesichtsbildaufnahmevorrichtung der vorliegenden Erfindung unter Verwendung eines gewöhnlichen Computersystems, und nicht eines exklusiven Systems, umgesetzt werden kann. Zum Beispiel kann ein Programm zum Ausführen der vorstehenden Operationen in einem von einem Computersystem lesbaren Aufzeichnungsmedium (einer Diskette, einer CD-ROM, einer DVD-ROM oder Ähnlichem) gespeichert werden und an einen Computer mit einer Bildaufzeichnungsvorrichtung und einer Beleuchtungsvorrichtung verteilt werden. Das Programm ist in dem Computersystem installiert. Die Gesichtsbildaufnahmevorrichtung, die die vorstehenden Verarbeitungen ausführt, kann auf diese Weise konfiguriert sein. Außerdem kann das Programm über ein Kommunikationsnetzwerk, wie etwa dem Internet, in einer Speichervorrichtung gespeichert sein, die zu einer Servervorrichtung gehört. Die Gesichtsbildaufnahmevorrichtung kann konfiguriert sein, wenn ein gewöhnliches Computersystem das Programm herunterlädt.
Wenn die vorstehenden Funktionen durch Aufgabenzuweisung durch ein OS (”Operating System”, Betriebssystem) und eine Anwendung oder durch gemeinsame Operation durch das OS und die Anwendung realisiert werden, kann nur der Anwendungsteil in einem Aufzeichnungsmedium oder einer Speichervorrichtung gespeichert sein.
Das Programm kann auf einer Trägerwelle überlagert sein und über ein Kommunikationsnetzwerk verteilt werden. Zum Beispiel kann das Programm in einem Server über das Kommunikationsnetzwerk gespeichert sein. Das Programm kann durch das Netzwerk verteilt werden. Das Programm wird aktiviert und wie andere Anwendungsprogramme gemäß der Steuerung des OS ausgeführt. Eine Konfiguration zum Ausführen der vorstehenden Verarbeitungen wird auf diese Weise realisiert.
Diese Anmeldung basiert auf der japanischen Patentanmeldung Nr. 2007-291965 , eingereicht am 9. November 2007. Die Beschreibung, Ansprüche und Zeichnungen dieser japanischen Patentanmeldung sind hierbei als Ganzes durch Bezugnahme mit eingeschlossen.
Es werden eine Gesichtsbildaufnahmevorrichtung und ein Gesichtsbildaufnahmeverfahren bereitgestellt, die ein Gesichtsbild bei angemessener Beleuchtung stabil beschaffen können, sowie ein Programm für dieses. Die Gesichtsbildaufnahmevorrichtung umfasst eine Kamera, die ein Bild eines Gesichts einer Zielperson aufnimmt, eine Beleuchtungslichtquelle, die das Gesicht der Zielperson mit Nah-Infrarot-Licht mit einer beliebigen Lichtmenge beleuchtet, und einen Computer. Der Computer erkennt einen Bereich mit einem Auge aus dem Gesichtsbild der Zielperson, das durch die Kamera aufgenommen wird. Der Computer misst eine Helligkeitsverteilung in dem erkannten Bereich. Danach steuert der Computer die Beleuchtungslichtquelle, um die Menge des Nah-Infrarot-Lichts basierend auf der gemessenen Helligkeitsverteilung zu ändern.
Gewerbliche Anwendbarkeit
Die vorliegende Erfindung ist hilfreich für eine Gesichtsbildaufnahmevorrichtung, insbesondere eine Gesichtsbildaufnahmevorrichtung, die in einem Fahrzeug angebracht ist, den Fahrer des Fahrzeugs überwacht und zu einer Verbesserung der Sicherheit des Fahrzeugs beiträgt. Außerdem ist die vorliegende Erfindung hilfreich für ein Gesichtsbildaufnahmeverfahren, das durch die Gesichtsbildaufnahmevorrichtung ausgeführt wird, oder ein Programm, das durch einen Computer ausgeführt wird, und dem Computer ermöglicht, als die Gesichtsbildaufnahmevorrichtung zu arbeiten.

Claims

Gesichtsbildaufnahmevorrichtung, mit: einer Gesichtsbildaufnahmeeinrichtung, die ein Bild eines Gesichts einer Zielperson aufnimmt; einer Beleuchtungseinrichtung, die das Gesicht der Zielperson mit Nah-Infrarot-Licht mit einer beliebigen Lichtmenge beleuchtet; gekennzeichnet durch eine Augenbereichextraktionseinrichtung, die einen Bereich mit einem Auge von dem Gesichtsbild der Zielperson, das durch die Gesichtsbildaufnahmeeinrichtung aufgenommen wird, extrahiert; eine Helligkeitsverteilungsmesseinrichtung, die eine Helligkeitsverteilung in dem Bereich, der durch die Augenbereichextraktionseinrichtung extrahiert wird, in dem Gesichtsbild der Zielperson, das durch die Gesichtsbildaufnahmeeinrichtung aufgenommen wird, misst; und eine Steuerungseinrichtung, die die Beleuchtungseinrichtung steuert, um eine Menge des Nah-Infrarot-Lichts basierend auf der durch die Helligkeitsverteilungsmesseinrichtung gemessenen Helligkeitsverteilung zu ändern.
Gesichtsbildaufnahmevorrichtung gemäß Anspruch 1, wobei die Steuerungseinrichtung eine mittlere Helligkeit in dem Bereich basierend auf der Helligkeitsverteilung berechnet, und die Beleuchtungseinrichtung steuert, um eine Menge des Nah-Infrarot-Lichts basierend auf der berechneten mittleren Helligkeit zu ändern.
Gesichtsbildaufnahmevorrichtung gemäß Anspruch 2, wobei die Steuerungseinrichtung bestimmt, ob die mittlere Helligkeit außerhalb eines vorbestimmten Bereichs liegt, und die Beleuchtungseinrichtung steuert, um eine Menge eines Nah-Infrarot-Lichts nach einer Bestimmung, dass die mittlere Helligkeit außerhalb des bestimmten Bereichs liegt, zu ändern.
Gesichtsbildaufnahmevorrichtung gemäß Anspruch 3, wobei die Steuerungseinrichtung die Beleuchtungseinrichtung steuert, um eine Menge des Nah-Infrarot-Lichts nach einer Bestimmung, dass die mittlere Helligkeit außerhalb des vorbestimmten Bereichs liegt, zu erhöhen.
Gesichtsbildaufnahmevorrichtung gemäß einem der Ansprüche 1 bis 4, wobei die Gesichtsbildaufnahmeeinrichtung einen optischen Filter umfasst, der auf einer optischen Achse zum Aufnehmen eines Bildes der Zielperson angeordnet ist, und der beliebig lange Wellenlängen, die Nah-Infrarot-Licht enthalten, durchlässt.
Gesichtsbildaufnahmevorrichtung gemäß Anspruch 5, wobei die Beleuchtungseinrichtung eine LED (Leuchtdiode) umfasst, die Nah-Infrarot-Licht aussendet, das den optischen Filter durchlaufen kann, und die LED das Gesicht der Zielperson mit Nah-Infrarot-Licht beleuchtet.
Gesichtsbildaufnahmevorrichtung gemäß Anspruch 6, wobei eine Menge des Nah-Infrarot-Lichts, das durch die Beleuchtungseinrichtung ausgesendet wird, durch einen in die LED eingegebenen Stromwert oder eine relative Einschaltdauer durch Pulslichtaussendung angepasst wird.
Gesichtsbildaufnahmevorrichtung gemäß einem der Ansprüche 1 bis 7, wobei die Gesichtsbildaufnahmeeinrichtung auf einer Oberseite einer Lenksäule eines Fahrzeugs angeordnet ist.
Gesichtsbildaufnahmevorrichtung gemäß einem der Ansprüche 1 bis 7, wobei die Gesichtsbildaufnahmeeinrichtung auf einer Oberseite eines Armaturenbretts eines Fahrzeugs angeordnet ist.
Gesichtsbildaufnahmevorrichtung gemäß einem der Ansprüche 1 bis 7, wobei die Gesichtsbildaufnahmeeinrichtung auf einer Oberseite einer Mittelkonsole eines Fahrzeugs angeordnet ist.
Gesichtsbildaufnahmevorrichtung gemäß einem der Ansprüche 1 bis 7, wobei die Gesichtsbildaufnahmeeinrichtung in einem Rückspiegel eines Fahrzeugs angeordnet ist.
Gesichtsbildaufnahmeverfahren, das durch eine Vorrichtung mit einer Gesichtsbildaufnahmeeinrichtung, die ein Bild eines Gesichts einer Zielperson aufnimmt, und einer Beleuchtungseinrichtung, die das Gesicht der Zielperson mit Nah-Infrarot-Licht mit einer beliebigen Lichtmenge beleuchtet, ausgeführt wird, dadurch gekennzeichnet, dass das Verfahren aufweist: einen Augenbereichextraktionsschritt zum Extrahieren eines Bereichs mit einem Auge von dem Gesichtsbild der Zielperson, das durch die Gesichtsbildaufnahmereinrichtung aufgenommen wird; einen Helligkeitsverteilungsmessschritt zum Messen einer Helligkeitsverteilung in dem Bereich, der durch den Augenbereichextraktionsschritt extrahiert wird, in dem Gesichtsbild der Person, das durch die Gesichtsbildaufnahmeeinrichtung aufgenommen wird; und einen Steuerungsschritt zum Steuern der Beleuchtungseinrichtung, um eine Menge des Nah-Infrarot-Lichts basierend auf der in dem Helligkeitsverteilungsmessschritt gemessenen Helligkeitsverteilung zu ändern.
Gesichtsbildaufnahmeverfahren gemäß Anspruch 12, wobei in dem Steuerungsschritt eine mittlere Helligkeit in dem Bereich basierend auf der Helligkeitsverteilung berechnet wird und die Beleuchtungseinrichtung gesteuert wird, um eine Menge des Nah-Infrarot-Lichts basierend auf der berechneten mittleren Helligkeit zu ändern.
Programm, dadurch gekennzeichnet, dass es einem Computer, der eine Gesichtsbildaufnahmeeinrichtung, die ein Bild eines Gesichts einer Zielperson aufnimmt, und eine Beleuchtungseinrichtung, die das Gesicht der Zielperson mit Nah-Infrarot-Licht mit einer beliebigen Lichtmenge beleuchtet, umfasst, ermöglicht, zu arbeiten als: eine Augenbereichextraktionseinrichtung, die einen Bereich mit einem Auge von dem Gesichtsbild der Zielperson, das durch die Gesichtsbildaufnahmeeinrichtung aufgenommen wird, extrahiert; eine Helligkeitsverteilungsmesseinrichtung, die eine Helligkeitsverteilung in dem Bereich, der durch die Augenbereichextraktionseinrichtung erkannt wird, in dem Gesichtsbild der Zielperson, das durch die Gesichtsbildaufnahmeeinrichtung aufgenommen wird, misst; und eine Steuerungseinrichtung, die die Beleuchtungseinrichtung steuert, um eine Menge des Nah-Infrarot-Lichts basierend auf der durch die Helligkeitsverteilungsmesseinrichtung gemessene Helligkeitsverteilung zu ändern.
Programm gemäß Anspruch 14, wobei die Steuerungseinrichtung eine mittlere Helligkeit des Bereichs basierend auf der Helligkeitsverteilung berechnet und die Beleuchtungseinrichtung steuert, um eine Menge des Nah-Infrarot-Lichts basierend auf der berechneten mittleren Helligkeit zu ändern.