DE102012106286B4

DE102012106286B4 - Gesichtsbilderfassungsvorrichtung

Info

Publication number: DE102012106286B4
Application number: DE102012106286.2A
Authority: DE
Inventors: Taito Watanabe; Takuhiro Omi
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2011-08-25
Filing date: 2012-07-12
Publication date: 2020-06-18
Anticipated expiration: 2032-07-13
Also published as: KR101355279B1; US20130050462A1; CN103077370B; JP5366028B2; DE102012106286A1; US8797394B2; CN103077370A; JP2013045317A; KR20130023139A

Abstract

Gesichtsbilderfassungsvorrichtung (1), aufweisend:einen Projektor (4), der Licht auf einen Projektionsbereich einschließlich eines Gesichts eines Insassen in einem Fahrzeug projiziert;einem Bildaufnahmecontroller (24), der eine Bildaufnahmevoraussetzung festlegt, um einen vorbestimmten Aufnahmebereich aufzunehmen, der das Gesicht des Insassen enthält;einen Bildaufnahmeabschnitt (5), der eine Bildaufnahme durchführt, um den vorbestimmten Aufnahmebereich einschließlich des Gesichts basierend auf der Bildaufnahmevoraussetzung, die durch den Bildaufnahmecontroller festgelegt wird, aufzunehmen;einen Umgebungslichterfassungsabschnitt (3), der Umgebungslicht erfasst, das auf das Fahrzeug oder den Insassen geworfen wird;einen Betriebsmodusbestimmungsabschnitt (21), der eine Modusbestimmung durchführt, um einen Betriebsmodus aus mindestens zwei Betriebsmodi zu bestimmen, wobei einer der zwei Betriebsmodi ein erster Modus ist, bei dem eine Lichtintensität des Umgebungslichts, das durch den Umgebungslichterfassungsabschnitt erfasst wird, größer als ein vorbestimmter Lichtintensitätsschwellenwert ist, und ein anderer der zwei Betriebsmodi ein zweiter Modus ist, bei dem die Lichtintensität des Umgebungslichts, das durch den Umgebungslichterfassungsabschnitt erfasst wird, nicht größer als der vorbestimmte Lichtintensitätsschwellenwert ist;einen Lichtemissionsmuster-Setup-Abschnitt (22), der ein Lichtemissionsmuster für eine Lichtquelle des Projektors basierend auf dem Betriebsmodus, der durch den Betriebsmodusbestimmungsabschnitt bestimmt wird, festlegt; undeinen Projektorcontroller (23), der den Projektor steuert, die Lichtquelle basierend auf dem Lichtemissionsmuster zu aktivieren, das durch den Lichtemssionsmuster-Setup-Abschnitt festgelegt wird.

Description

Technisches Gebiet
Die vorliegende Offenbarung betrifft eine Gesichtsbilderfassungsvorrichtung, die das Bild eines menschlichen Gesichts in einem aufgenommenem Bild erfasst.
Hintergrund der Erfindung

Patentdokument 1: JP H08-159733 A
Patentdokument 2: JP H09-021611 A ( US 5 801 763 A )
Patentdokument 3: JP 2005-301742 A ( US 2005/0 226 472 A1 )
Patentdokument 4: JP 2005-354155 A ( US 2005/0 270 413 A1 )
Patentdokument 5: JP 2010-176382 A

Gemäß einer offenbarten Fahrerzustandserfassungsvorrichtung nimmt eine Kamera, die in einer Fahrzeugkabine vorgesehen ist, das Gesicht eines Fahrers auf. Die Vorrichtung verarbeitet das aufgenommene Gesichtsbild bzw. Bild des Gesichts und extrahiert Gesichtseigenschaftspunkte wie zum Beispiel Auge, Nase und Mund. Basierend auf Merkmalspunktpositionen oder einem geöffnetem oder geschlossenen Zustand der Augen erfasst die Vorrichtung Fahrzustände, wie zum Beispiel die Gesichtsorientierung des Fahrers oder ein schläfriges Fahren. Die Fahrerzustandserfassungsvorrichtung verwendet dabei ein infrarotes Stroboskoplicht oder LED, um das Gesicht des Fahrers zu beleuchten und zu erfassen bzw. aufzunehmen. Das infrarote Stroboskoplicht oder die LED weisen eine nah-infrarote Wellenlänge auf und sind nahe der Kamera vorgesehen.
Die Positionen eines Netzhautreflektionsbildes und eines Hornhautreflektionsbildes in einem Augapfel können als Bildinformationen erfasst werden, um Reflektionsbilder vom Augapfel des Fahrers des Fahrzeugs zu messen. Die Pupille zieht sich unter intensivem Außenlicht, wie zum Beispiel Sonnenlicht, zusammen und vermindert die Lichtintensität, die die Netzhaut durch die Pupille erreicht. Dies erschwert es, ein Reflektionsbild von der Netzhaut zu erfassen und verringert die Messgenauigkeit in Augenrichtung. Die Fahrzeugaugenrichtungsmessvorrichtung, die in Patentdokument 1 offenbart ist, verringert ein Rauschen aufgrund des Außenlichts bzw. Umgebungslichts durch Beschleunigen eine Verschlussgeschwindigkeit und Erhöhung der Spitzenleistung eines Luminationslichts bzw. Beleuchtungslichts. Die Vorrichtung kann ein Reflektionsbild genau erfassen bzw. entnehmen, ohne dabei die Messzeit zu verlängern.
Gemäß der in Patentdokument 2 offenbarten Gesichtsbildaufnahmevorrichtung erfasst das Augenerfassungsmittel ein Testgegenstandsauge basieren auf dem Testgegenstandsgesichtsbild, das durch das Mittel zur zweidimensionalen Aufnahme aufgenommen wird. Falls das Augenerfassungsmittel das Testgegenstandsauge nicht erfasst, wird das Infrarot-Luminationsmittel aktiviert, um das Gesichtsbild des Fahrers aufzunehmen. Selbst wenn der Fahrer eine Brille trägt, kann das Infrarot-Luminationsmittel einen Effekt minimieren, bei dem das Licht auf der Linsenoberfläche der Brille reflektiert wird. Das Infrarot-Luminationsmittel beleuchtet zumindest das Testgegenstandsgesicht mit Infrarotlicht, das durch einen optischen Filter passiert. Das Infrarot-Luminationsmittel ist derart vorgesehen, dass die optische Achse des Mittels zur zweidimensionalen Aufnahme und die optische Achse des Infrarotlichts einen Winkel größer oder gleich einem vorbestimmten Winkel bilden.
Das Fahrererscheinungserkennungssystem, das in Patentdokument 3 offenbart ist, kann eine Betriebslaufzeit des Infrarot-Luminätiönsmittels verlängern. Aus diesem Grund verändern verschiedene Erscheinurigserkennungsprozessabläufe die Lumination bzw. Beleuchtung eines Gesichtsbildes, dass durch die Kamera aufgenommen wird, in eine erforderliche Beleuchtung.
Die in Patentdokument 4 offenbarte Bewegungsbildaufnahmevorrichtung kann den Betrag einer Lumineszenz einer Beleuchtungsvorrichtung in einer Niedrigbeleuchtungsumgebung gemäß Helligkeitsveränderungen eines Objekts adaptiv einstellen.
Die in Patentdokument 5 offenbarte Beleuchtungsvorrichtung befreit einen Fahrer von einem Gefühl der Unsicherheit. Das Fahrzeug kann den Beleuchtungsabschnitt betreiben und die Maschine stoppen. In diesem Fall stellt die Beleuchtungsvorrichtung die ausstrahlende Lichtintensität hauptsächlich basierend auf der Umgebungslichtbeleuchtung ein, die durch den Umgebungslichterfassungsabschnitt erfasst wird. Das Fahrzeug kann den Beleuchtungsabschnitt und die Maschine betreiben bzw. steuern. In diesem Fall stellt die Beleuchtungsvorrichtung die Ausstrahlungslichtintensität hauptsächlich basierend auf einem Erkennungsergebnis ein, das vom Erkennungsabschnitt erkannt wird.
Wie in Patentdokument 1 beschrieben, können Merkmalspunkte auf dem Gesicht des Fahrers unter einem derart intensiven Umgebungslicht, dass die umliegende Landschaft in der Brille des Fahrers reflektiert wird, erfasst werden. In solch einem Fall ist die Beleuchtung bevorzugt intensiver als das Sonnenlicht. Zum Beispiel kann die Lichtquelle, wie beispielsweise eine LED, in Impulsen synchron zum Bildaufnahmetiming aktiviert werden. Dies kann das Licht intensiver als gleichmäßiges Licht ausstrahlen. Hinsichtlich der LED-Lichtquellenwellenlänge wird das unsichtbare Infrarotlicht im Allgemeinen verwendet, um den Fahrer vor einem unguten Gefühl zu bewaren oder erschwerte Fahrsituationen in der Nacht zu verhindern. In der Praxis wird dabei eine LED mit niedriger Wellenlänge als nah-infrarotes Licht ausgewählt, um die Sensibilität eines Bildaufnahmesystems zu gewährleisten. Generell enthält eine solche LED sichtbare Komponenten, die rot wahrgenommen werden können, abhängig von der Seheigenschaft des Fahrers. Der Fahrer kann dabei, abhängig von dem Bildaufnahmetiming, insbesondere in der Nacht oder bei Dunkelheit ein Flimmern spürbar wahrnehmen.
Ein gleichmäßiges bzw. ständiges Aktivieren der Lumination bzw. Beleuchtung kann ein Flimmern verhindern. Allerdings erzeugt die Nennstromgröße der LED eine schwache Emissionsintensität und ist zu gering, um zu verhindern, dass eine Landschaft in einer Brille reflektiert wird. Zum Beispiel können mehrere LEDs in einem Muster bzw. einer bestimmten Anordnung vorgesehen werden, um die erforderliche Emissionsintensität bzw. Ausstrahlungsintensität zu gewährleisten. Dies erhöht jedoch auch die Kosten.
Die in den Patentdokumenten 2 bis 5 offenbarten Technologien bzw. Verfahren stellen die Emissionsintensität (Lichtintensität) des abstrahlenden Lichts (LED) gemäß dem erfassten Augenzustand, dem Insassenerscheinungserkennungsprozess, der Gegenstandshelligkeit, oder Betriebs- bzw. Betätigungssituationen des Beleuchtungsabschnitts und der Maschine ein. Die Dokumente 2 bis 5 offenbaren jedoch keine Erwägungen bzgl. des Sehsinns, wie zum Beispiel hinsichtlich einer Flimmerveränderung oder einer Emissionsintensitätseinstellung, noch legen sie diese nahe.
Kurzfassung der Erfindung
Die vorliegende Offenbarung wurde in Anbetracht des Vorstehenden geschaffen. Daher ist es eine Aufgabe der vorliegenden Offenbarung, eine Gesichtsbilderfassungsvorrichtung zu schaffen, die in der Lage ist, ein Flimmern eines Lichts, das zu einem Gesicht eines Insassen strahlt, zu unterdrücken bzw. zu verringern und eine Reflektion einer Umgebungslandschaft in einer Brille des Fahrers zu reduzieren.
Um diese Aufgabe zu lösen, ist gemäß eines ersten Aspekts der vorliegenden Offenbarung eine Gesichtsbilderfassungsvorrichtung wie folgt vorgesehen. Es ist ein Projektor enthalten, um Licht auf einen Projektionsbereich einschließlich eines Gesichts eines Insassen in einem Fahrzeug zu projizieren. Eine Bildaufnahmesteuerung ist enthalten, um einen Bildaufnahmezustand bzw. eine Bildaufnahmevoraussetzung festzulegen, um einen vorbestimmten Aufnahmebereich aufzunehmen, der das Gesicht des Insassen enthält. Ein Bildaufnahmeabschnitt ist enthalten, um eine Bildaufnahme durchzuführen, um den vorbestimmten Aufnahmebereich einschließlich des Gesichts basierend auf der Bildaufnahmevoraussetzung aufzunehmen, die durch die Bildaufnahmesteuerung festgelegt wird. Ein Umgebungslichterfassungsabschnitt ist enthalten, um ein Umgebungslicht zu erfassen, das auf das Fahrzeug oder den Insassen geworfen wird. Ein Betriebsmodusbestimmungsabschnitt ist enthalten, um eine Modusbestimmung durchzuführen, und einen Betriebsmodus von mindestens zwei Betriebsmodi zu bestimmen, wobei einer der zwei Betriebsmodi ein erster Modus ist, bei dem eine Lichtintensität des Umgebungslichts, das durch den Umgebungslichterfassungsabschnitt erfasst wird, größer als ein vorbestimmter Lichtintensitätsschwellenwert ist, und der andere der zwei Betriebsmodi ein zweiter Modus ist, bei dem die Lichtintensität des Umgebungslichts, das durch den Umgebungslichterfassungsabschnitt erfasst wird, nicht größer als der vorbestimmte Lichtintensitätsschwellenwert ist. Ein Lichtemissionsmuster-Setup-Abschnitt ist enthalten, um ein Lichtemissionsmuster für eine Lichtquelle des Projektors basierend auf dem Betriebsmodus festzulegen, der durch den Betriebsmodusbestimmungsabschnitt bestimmt wird. Ein Projektorcontroller ist enthalten, um den Projektor zu steuern, die Lichtquelle basierend auf dem Lichtemissionsmuster, das durch den Lichtemissionsmuster-Setup-Abschnitt festgelegt wird, zu aktivieren.
Gemäß der vorstehenden Konfiguration wird ein Betriebsmodus gemäß einer Umgebungslichtsituation bestimmt. Ein Lichtemissionsmuster für einen Projektor wird basierend auf dem Betriebsmodus festgelegt. Diese Steuerung kann es einem Fahrer ermöglichen, dass er das Flimmern des Projektors als Lichtquelle kaum wahrnimmt. Die vorstehend erwähnte Konfiguration kann ein Beleuchtungsflimmem unter dem hochintensiven Umgebungslicht durch Einstellen eines Lichtemissionsmusters derart reduzieren, dass die Projektorintensität entsprechend erhöht wird. Dies kann außerdem die Reflektion der Umgebung in der Brille reduzieren, ohne dass ein Fahrer am Tag dabei ein Flimmern wahrnimmt, wenn sich die Landschaft oft in der Brille reflektiert. Ferner wirkt sich das Umgebungslicht einer niedrigen Intensität nur gering auf die Reflektion der Landschaft in der Brille aus. Die Projektorlichtintensität kann derart reduziert werden, dass die Lichtemissionszeit verlängert wird. Das Lichtemissionsmuster kann derart konfiguriert sein, dass der Lichtemissionszyklus derart vermindert wird, dass kein Flimmern wahrnehmbar ist. Somit kann ein Beleuchtungsflimmem reduziert werden. Die notwendige Lichtintensität (Emissionsintensität) kann gewährleistet werden, ohne dass der Projektor mit einer hohen Anzahl an LEDs in einem Muster angeordnet bereit gestellt werden muss.
Figurenliste
Die vorstehenden und weitere Aufgaben, Eigenschaften und Vorteile der vorliegenden Offenbarung werden anhand der nachfolgenden detaillierten Beschreibung, welche mit Bezug auf die beigefügten Zeichnungen gemacht wird, deutlicher ersichtlich. In den Zeichnungen zeigen:

1 ein Blockdiagramm, das eine Konfiguration der Gesichtsbilderfassungsvorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung darstellt;
2 ein Flussdiagramm, das einen Projektorsteuerprozess gemäß der Ausführungsform darstellt;
3 ein Diagramm, das ein Beispiel einer Beleuchtungsschwellenwerteinstellung darstellt;
4 ein Diagramm, das eine Beziehung zwischen einem Projektionsmuster eines Projektors und einem Bildaufnahmetimings eines Bildaufnahmeabschnitts darstellt;
5 ein Diagramm, das Beispiele von Projektionsmustern in Betriebsmodi darstellt;
6 ein Diagramm, das Beispiele von Kamerasteuerungen darstellt;
7 ein Flussdiagramm, das einen Projektorsteuerprozess gemäß des Standes der Technik darstellt;
8 ein Diagramm, das eine Beziehung zwischen einer Pulsweite und einem maximalen Speisestrom zum Ansteuern einer LED in Pulsen bzw. Impulsen, die basierend auf den Daten, die im Stand der Technik verfügbar sind, verarbeitet werden, darstellt; und
9 ein Flussdiagramm, das einen weiteren Projektorsteuerprozess gemäß der Ausführungsform darstellt.

Detaillierte Beschreibung
Bezüglich der beigefügten Zeichnungen wird eine Gesichtsbilderfassungseinrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung beschrieben. 1 stellt eine Konfiguration einer Gesichtsbilderfassungsvorrichtung 1 im Fahrzeug gemäß der Ausführungsform dar. Die Gesichtsbilderfassungsvorrichtung 1 enthält eine Hauptsteuerschaltung 2, die mit einem Umgebungslichterfassungsabschnitt 3 verbunden ist, einen Projektor 4, einen Bildaufnahmeabschnitt 5 und einen Bearbeitungsabschnitt 6. Die Gesichtsbilderfassungsvorrichtung 1 kann zusammen mit einer Navigationsvorrichtung 11 mittels eines Local-Area-Networks (LAN) 15 verbunden sein.
Die Hauptsteuerschaltung 2 ist als Computerhardware einschließlich CPU, ROM, RAM und peripherer Schaltungen wie beispielsweise eine AD-Konverterschaltung und einer Eingabe-Ausgabe-Schaltung gemäß dem Stand der Technik konfiguriert. Die CPU führt ein Steuerprogramm und im ROM gespeicherte Daten aus, um verschiedene Funktionen der Gesichtsbilderfassungsvorrichtung 1 vorzusehen. Die Hauptsteuerschaltung 2 enthält einen Betriebsmodusbestimmungsabschnitt 21, einen Nicht-Emissionsmuster-Setup-Abschnitt 22, eine Projektorsteuerung bzw. einen Projektorcontroller 23, einen Bildaufnahmecontroller 24, einen Erkennungsabschnitt 25, einen Setup-Abschnitt 27 und einen Speicherabschnitt 28. Diese Abschnitte werden als Funktionsblöcke dargestellt, die äquivalent zur vorstehenden Computerhardware sind.
Der Betriebsmodusbestimmungsabschnitt 21 bestimmt einen Betriebsmodus basierend auf einer Information bzw. Informationen, die von einer äußeren Quelle erfasst werden, und gibt ein Ergebnis aus. Der Lichtemissionsmuster-Setup-Abschnitt 22 legt ein Lichtemissionsmuster für den Projektor 4 entsprechend dem Betriebsmodus fest. Der Projektorcontroller 23 empfängt eine Ausgabe vom Lichtemissionsmuster-Setup-Abschnitt 22 und aktiviert oder deaktiviert, basierend auf dem festgelegten Lichtemissionsmuster, eine Lichtquelle 4a des Projektors 4, Der Bildaufnahmecontroller 24 empfängt eine Ausgabe vom Projektorcontroller 23 oder dem Lichtemissionsmuster-Setup-Abschnitt 22 und steuert einen Betrieb des Bildaufnahmeabschnitts 5, wie zum Beispiel das Öffnen oder Schließen eines Verschlusses 5a. Zum Beispiel legt der Bildaufnahmecontroller 24 auch die Bildaufnahmevoraussetzung, wie zum Beispiel eine Belichtungszeit, eine Verstärkung und eine γ-Kurve eines Bildaufnahmeelements fest. Der Erkennungsabschnitt 25 enthält eine bekannte Bildverarbeitungsschaltung. Der Erkennungsabschnitt 25 verstärkt Bilddaten, die durch den Bildaufnahmeabschnitt 5 aufgenommen werden, in einen zur Bildverarbeitung geeigneten Zustand. Der Erkennungsabschnitt 25 extrahiert ein Bild eines Gesichts eines Insassen unter Verwendung eines gewöhnlichen Digitalisierungsprozesses oder eines Merkmalspunktsextraktionsprozesses der Erkennungsabschnitt 25 bestimmt, basierend auf einem Extraktionsergebnis, ob das Gesicht des Insassen erkannt wird.
Der Setup-Abschnitt 27 konfiguriert Einstellungen bezüglich eines Betriebs der Gesichtsbilderfassungsvorrichtung 1 basierend auf einer Bearbeitung des Bearbeitungsabschnitts 6 (noch zu beschreiben). Der Speicherabschnitt 28 enthält ein bekanntes nicht-flüchtiges Speichermedium, wie beispielsweise einen Flashspeicher. Der Speicherabschnitt 28 speichert Daten, wie beispielsweise die Inhalte des Setup-Abschnitts 27, oder Kamerasteuerungen (auch als Kamerasteuertabelle bezeichnet) (siehe 6), die zum Betrieb der Gesichtsbilderfassungsvorrichtung 1 erforderlich sind.
Die Hauptsteuerschaltung 2 kann ferner eine Uhr-IC (englisch: Integrated Circuit, d.h. integrierte Schaltung) 29, um Zeit und Datumsinformationen auszugeben, und eine LAN-Schnittstelle 26, die äquivalent zu einer Kommunikationsschnittstellenschaltung ist, die mit LAN 15 verbunden ist, enthalten.
Der Umgebungslichterfassungsabschnitt 3 erfasst Licht (Umgebungslicht), das auf ein Fahrzeug oder einen Insassen eines Fahrzeugs strahlt. Das Umgebungslicht enthält Sonnenlicht oder Straßenlicht, das auf das Fahrzeug oder den Insassen strahlt, und das Licht in der Fahrzeugkabine, das von einer anderen Vorrichtung als der Gesichtsbilderfassungseinrichtung emittiert wird. Der Umgebungslichterfassungsabschnitt 3 verwendet einen optischen Sensor oder ein Luminometer, das eine bekannte CdS-Zelle enthält. Das Fahrzeug kann mit einer Klimaanlage (nicht dargestellt) vorgesehen sein, die das Klima in der Fahrzeugzelle bzw. in der Kabine regelt. Die Klimaanlage kann einen bekannten Sonneneinstrahlungssensor enthalten, der den Betrag der auf das Fahrzeug eingehenden Sonnenstrahlung erfasst. Der Umgebungslichterfassungsabschnitt 3 kann den Sonnenstrahlsensor verwenden.
Der Projektor 4 enthält eine Lichtquelle 4a, wie beispielsweise eine Infrarot-LED, die Lichtimpulse ausstrahlt, die in einem nah-infraroten Wellenlängenbereich liegen. Der Projektorcontroller 23 aktiviert die Lichtquelle 4a. Die aktivierte Lichtquelle 4a strahlt nah-infrarotes Licht in Richtung des Gesichts des Insassen und dessen Umgebung. Der Projektor 4 ist derart positioniert, dass eine optische Achse des nah-infraroten Lichts von der Lichtquelle 4a in etwa mit einer optischen Achse des Bildaufnahmeabschnitts 5 übereinstimmt.
Der Bildaufnahmeabschnitt 5 enthält zum Beispiel eine bekannte CCD- oder CMOS-Kamera. Der Bildaufnahmeabschnitt 5 nimmt einen vorbestimmten Bereicht einschließlich des Gesichts des Insassen auf. Der Bildaufnahmeabschnitt 5 ist mit dem Verschluss 5a vorgesehen, der basierend auf einem vorbestimmten Zeitraum bzw. Timing oder Belichtungszeit arbeitet bzw. betrieben wird.
Der Bearbeitungsabschnitt 6 enthält einen Schlüssel oder Schalter. Zum Beispiel legt der Bearbeitungsabschnitt 6 einen Luminanzschwellenwert bzw. Beleuchtungsschwellenwert (später im Detail beschrieben) gemäß einer Nutzerbetätigung fest.
Wie hinreichend bekannt, erfasst die Navigationsvorrichtung 11 die gegenwärtige Position mittels GPS (Globales Positionierungssystem) gemäß einem Fahrzeugstandort. Die Navigationsvorrichtung 11 zeigt die gegenwärtige Position auf einer Straßenkarte auf einer Displayvorrichtung an. Die Navigationsvorrichtung 11 legt eine ungefähre Route vom Startpunkt zum Ziel fest. Die Navigationsvorrichtung 11 leitet den Nutzer mittels Displayvorrichtung oder Audioausgabevorrichtung. Die Navigationsvorrichtung 11 enthält eine Positionserfassungseinrichtung 11a und Kartendaten 11b.
Mit Bezug auf 7 wird nachfolgend ein Projektorsteuerprozess gemäß des Standes der Technik im Vergleich zur vorhergehenden Offenbarung beschrieben.
Dabei ist zu erwähnen, dass ein Flussdiagramm oder der Prozessablauf des Flussdiagramms gemäß der vorliegenden Anmeldung Sektionen bzw. Bereiche (auch als Schritte bezeichnet) enthält, welche jeweils als zum Beispiel S11 dargestellt sind. Ferner kann jeder Bereich in mehrere Unterbereiche unterteilt werden, wobei mehrere Bereiche zu einem einzelnen Bereich kombiniert werden können. Ferner kann jeder dieser so konfigurierten Bereiche auch als Abschnitt, Vorrichtung, Modul oder Mittel bezeichnet werden. Ferner kann jede oder eine beliebige Kombination der Bereiche, die vorstehend erläutert sind, mittels (i) eines Softwarebereichs in Kombination mit einer Hardwareeinheit (zum Beispiel Computer) oder (ii) einem Hardwarebereich einschließlich, aber nicht darauf beschränkt, einer Funktion einer darauf bezogenen Vorrichtung erreicht werden. Ferner kann der Hardwarebereich im Inneren eines Mikrocomputers ausgebildet sein.
Basierend auf einer Steueranweisung vom Projektorcontroller 23 strahlt der Projektor 4 pulsierendes Nah-Infrarotlicht einer konstanten Frequenz in Richtung des Gesichts eines Insassen einschließlich dessen Umgebung. Der Bildaufnahmeabschnitt 5 nimmt, basierend auf einer Steueranweisung vom Bildaufnahmecontroller 24, einen vorbestimmten Bereich einschließlich des Gesichts des Insassen auf (S31). Der Erkennungsabschnitt 25 erkennt das Gesicht des Insassen anhand der aufgenommenen Bilddaten (S32). Basierend auf einem Erkennungsergebnis kann es erforderlich sein, dass der Erkennungsabschnitt 25 einen Steuerwert ändert (JA bei Schritt S33). In diesem Fall verändert der Erkennungsabschnitt 25 den Steuerwert (S34). Der Steuerwert stellt zum Beispiel die Lichtintensität des Projektors 4 oder die Verschlussgeschwindigkeit des Bildaufnahmeabschnitts 5 ein (später im Detail beschrieben). Der Prozess schreitet zu S31 zurück, strahlt Licht aus und nimmt ein Bild auf.
Um die Genauigkeit der Erkennung des Gesichts des Insassen zu verbessern, ist es gemäß der Konfiguration, die in 7 dargestellt ist, lediglich erforderlich, eine Verlängerung der Zeit zur Ausstrahlung des nah-infraroten Lichts, eine Erhöhung der Emissionsintensität (Lichtintensität) des nah-infraroten Lichts, und/oder eine Verlängerung der Belichtungszeit durchzuführen bzw. zu bewerkstelligen. Zum Beispiel verlängert eine gleichmäßige Lichtemission die Zeit (d.h. die Pulsweite), um das nah-infrarote Licht auszustrahlen. Dieses Verfahren kann das Auftreten von Flimmern verhindern. In diesem Zusammenhang kann die Nennstromgröße der LED jedoch nicht sicher eine ausreichende Emissionsintensität bereitstellen, wie anhand von 8 sichtbar ist, in der dies basierend auf herkömmlichen Daten erstellt wird. Zum Beispiel kann bei Umgebungstemperatur (Ta) ≤ 60°C, einer Betriebszeit (Tw/T) ≤ 0,1, und einer Pulsweite (Tw) ≤ 0,001 Sekunden, ein maximaler Speisestrom I_FRM MAX 0,4 A erreichen.
Mit Bezug auf 2 wird nachfolgend ein Projektorsteuerprozess gemäß der vorliegenden Ausführungsform beschrieben. Dieser Prozess ist im vorstehend erwähnten Steuerprogramm enthalten. Die CPU des Hauptsteuerkreises bzw. der Hauptsteuerschaltung 2 führt den Projektorsteuerprozess sowie weitere Prozesse weiterhin aus.
Der Projektorsteuerprozess erfasst Umgebungslichtinformationen (Luminanz bzw. Beleuchtungsstärke) unter Verwendung von zumindest einem der nachfolgenden Verfahren (S11).

- Der Prozess erfasst einen Wert von einem optischen Sensor oder einem Luminometer einschließlich dem Umgebungslichterfassungsabschnitt 3 und verwendet den erfassten Wert als Umgebungslichtinformation.
- Der Prozess konvertiert den Betrag der Sonneneinstrahlung, die durch den vorstehend erwähnten Sonnenstrahlsensor erfasst wird, in die Luminanz.
- Der Prozess legt Zeitdauer wie beispielsweise einen Morgen, Mittag, Nachmittag und eine Nacht aus den Zeit- und Datumsinformationen fest, die von der Uhr-IC 29 erfasst werden, und schätzt die Luminanz basierend auf der Zeitdauer ab.
- Der Prozess schätzt bzw. ermittelt die Luminanz bzw. Beleuchtungsstärke von einem Zustand eines aufgenommenen Fahrzeugfensters, wie beispielsweise die Fensterhelligkeit, falls das Fahrzeugfenster in einem Bild enthalten ist, das durch den Bildaufnahmeabschnitt aufgenommen wird.
- Der Prozess erfasst den Pupillendurchmesser des Insassen von einem Bild, das durch den Bildaufnahmeabschnitt aufgenommen wird, und ermittelt die Luminanz von dem Pupillendurchmesser (je größer der Pupillendurchmesser ist, desto niedriger ist die Luminanz).
- Der Prozess erfasst die gegenwärtige Positionsinformation anhand der Navigationsvorrichtung und ermittelt die Luminanz von der gegenwärtigen Position. Zum Beispiel nimmt die Luminanz ab, während das Fahrzeug durch einen Tunnel fährt.

Der Betriebsmodusbestimmungsabschnitt 21 bestimmt, ob die erfasste Luminanz einen vorbestimmten Luminanzschwellenwert überschreitet. 3 stellt eine Luminanzschwellenwerteinstellung beispielhaft dar. Zuerst werden drei Bereiche in einer Reihenfolge von einer hohen bis zu einer niedrigen Umgebungslichtluminanz bestimmt (siehe linke Seite von 3). Die höchste ist ein Bereich, in dem die meisten Leute kein Flimmern wahrnehmen. Der zweithöchste ist ein Bereich, in dem manche Leute ein Flimmern wahrnehmen. Der niedrigste ist ein Bereich, in dem die meisten Leute ein Flimmern wahrnehmen. Der Luminanzschwellenwert wird höher als eine Luminanzgrenze zwischen dem höchsten Bereich und dem zweithöchsten Bereich eingestellt. Anschließend werden ein Helligkeitsmodus und ein Dunkelheitsmodus derart bestimmt, dass die Grenze den Helligkeitsmodus und den Dunkelheitsmodus voneinander trennt (siehe rechte Seite von 3). Somit stellt der Betriebsmodusbestimmungsabschnitt 21 den Betriebsmodus auf den Helligkeitsmodus (S13) ein, falls die erfasste Luminanz den Luminanzschwellenwert überschreitet (JA bei S12). Der Betriebsmodusbestimmungsabschnitt 21 stellt den Betriebsmodus auf den Dunkelheitsmodus ein (S24), falls die erfasste Luminanz kleiner als der Luminanzschwellenwert ist (NEIN bei S12).
Der Luminanzschwellenwert kann variabel sein, da die menschliche Sensibilität bezüglich Licht zwischen Individuen variiert. Aus diesem Grund stellt ein Insasse den Einstellungsabschnitt 6 gemäß eines vorbestimmten Prozessablaufs ein. Der Setup-Abschnitt 26 erfasst die Veränderung und speichert deren Inhalt (d.h. den Luminanzschwellenwert) im Speicherabschnitt 28. Der Setup-Inhalt wird zum Betriebsmodusbestimmungsabschnitt 28 ausgegeben.
Der Betriebsmodus 21 bestimmt, ob sich der Betriebsmodus verändert, d.h. ob der bestimmte Betriebsmodus der gleiche als der bestimmte im vorherigen Prozess ist. Falls sich der Betriebsmodus verändert (JA bei S14), stellt der Betriebsmodusbestimmungsabschnitt 21 einen Verzögerungsschwellenwert n auf n2 ein (S15). Falls der Betriebsmodus unverändert bleibt (NEIN bei S14), stellt der Betriebsmodusbestimmungsabschnitt 21 den Verzögerungsschwellenwert n auf n1 ein (S25). Dabei wird davon ausgegangen, dass n1 und n2 Null oder positive Ganzzahlen sind und n1 größer als n2 ist (n1 > n2).
Der Lichtemissionsmuster-Setup-Abschnitt 22 legt ein Lichtemissionsmuster entsprechend dem Betriebsmodus fest (S16).
Mit Bezug auf 4 werden nachfolgend Lichtemissionsmuster für Projektor 4 und Öffnungs-/Schließ-Steuertimings für den Verschluss 5a des Bildaufnahmeabschnitts 5 beschrieben. Gemäß dem in 4 dargestellten Beispiel öffnet und schließt der Verschluss 5a zur Belichtung wiederholend in Zyklen von Tl. Der Projektor 4 emittiert Lichtimpulse synchron zum Öffnungs-/Schließtiming (T1) des Verschlusses 5a. Der Projektor 4 beginnt, das Licht zu emittieren (EIN). Der Verschluss 5a öffnet, nachdem eine vorbestimmte Zeit vom Start der Lichtemission vergangen ist. Der Verschluss 5a schließt, nachdem die Belichtungszeit abgelaufen ist. Der Projektor 4 stoppt das Emittieren des Lichts (AUS). Die Belichtungszeit (Zeit bei geöffnetem Verschluss 5a) verändert sich mit der Aufnahme von Objekten (später im Detail beschrieben). Der Projektor 4 kann das Emittieren von Licht stoppen, wenn nach dem Ende der Belichtung eine vorbestimmte Zeit vergangen ist.
Die Bildaufnahme des Bildaufnahmeabschnitts 5 kann bezüglich des Lichtemissionstimings des Projektors 4 gesteuert werden.
Mit Bezug auf 5 werden nachfolgend Beispiele von Lichtemissionsmustern für den Projektor 4 (oder die Lichtquelle 4a) in den entsprechenden Betriebsmodi beschrieben. Der Verschluss 5a des Bildaufnahmeabschnitts 5 wiederholt die Belichtung zum Beispiel in Zyklen von 30 Hz. Im Helligkeitsmodus wird dem Projektor 4 Strom I synchron mit der Belichtung des Verschlusses 5a zugeführt und er emittiert das Licht (Synchronbelichtungsemission (auch als Belichtungssynchronemission bezeichnet)). Das Lichtemissionsmuster verursacht eine Pulsemission.
Der Pulsemissionskurvenverlauf kann eine Sägezahnform, Dreiecksform oder eine Sinusform, sowie eine rechteckige oder quadratische Form aufweisen. Konfigurationen des Projektorcontrollers 23 und des Projektors 4 bestimmen die Verwendung der Wellenformen bzw. Kurvenverläufe.
Ein Beispiel in 5 stellt Lichtemissionsmuster entsprechend Dunkelheitsmodi 1 bis 7 dar. Eines dieser Muster wird verwendet. Dabei kann es klar bevorzugt sein, eine Mehrzahl an Luminanzschwellenwerten festzulegen, um den Dunkelheitsmodusbereich, der in 3 dargestellt ist, weiter zu unterteilen, und in jedem unterteilten Bereich eines von sieben Lichtemissionsmustern anzuwenden. Nachfolgend werden die Lichtemissionsmuster entsprechend den Dunkelheitsmodi beschrieben.
Im Dunkelheitsmodus 1 wiederholt der Projektor 4 die Lichtemission in Zyklen von 60 Hz. Das heißt, der Projektor 4 emittiert Licht in Pulsen bei dem Timing (auch als Zeitintervall bezeichnet) synchron mit der Belichtung des Verschlusses 5a (Synchronbelichtungsemission) und zum Timing asynchron mit dessen Belichtung (asynchron Belichtungsemission (auch als Belichtungsasynchronemission bezeichnet)). Dies kann das Auftreten von Flimmern vermindern bzw. unterdrücken.
Gemäß der vorstehenden Beschreibung wird als repräsentatives Beispiel ein Lichtemissionszyklus bei 60 Hz verwendet. Allerdings kann es auch durch den 60 Hz Zyklus zu einem Flimmern kommen, das abhängig von Fahrzeugvibrationen wahrgenommen werden kann. Im Dunkelheitsmodus 1 kann ein bekannter Vibrationssensor (nicht dargestellt) verwendet werden, um die Vibrationen an Positionen im Fahrzeug zu erfassen. Der Lichtemissionszyklus für die Asynchronbelichtungsemission kann gemäß Vibrationsfrequenzen verändert werden. Diese Konfiguration sieht einen Vibrationserfassungsabschnitt vor, der Vibrationen im Fahrzeug erfasst. Der Lichtemissionsmuster-Setup-Abschnitt legt ein Lichtemissionsmuster für eine Asynchronbelichtungsemission gemäß der erfassten Vibrationsfrequenz fest. Ein Flimmern wird bei hohen Vibrationsfrequenzen einfach wahrgenommen. Daher wird die Lichtemissionsfrequenz derart erhöht, dass das Flimmern kaum wahrgenommen wird. Die entsprechende Vibration stellt einen relativen Wert zwischen der Vibration des Projektors selbst und der Bewegung bzw. Vibration des Fahrers dar. Die Vibration des Fahrers ist schwierig zu messen. Eine Vibrationsfrequenz an seinem Kopf kann verwendet werden. Diese Vibrationsfrequenz wird anhand einer Sitzvibration unter Verwendung eines menschlichen Körpermodells ermittelt.
Im Dunkelheitsmodus 2 wiederholt der Projektor 4 die pulsierende Lichtemission in Zyklen von 60 Hz ähnlich zum Dunkelheitsmodus 1. Wenn das Licht emittiert wird, wird im Dunkelheitsmodus 2 erlaubt, dass Strom (d.h., eine Lichtemissionsintensität) 12 zu dem Timing, das asynchron zur Belichtung des Verschlusses 5a ist, kleiner als der Strom I zu dem Timing ist, das synchron zu dessen Belichtung ist. Dies kann ein Auftreten eines Flimmers vermindern bzw. unterdrücken. Zudem wird im Dunkelheitsmodus 2 in Projektor 4 weniger Strom verbraucht als im Dunkelheitsmodus 1.
Wenn Licht emittiert wird, wird im Dunkelheitsmodus 3 ermöglicht, dass der Lichtemissionsstrom 2 zu dem Timing, das asynchron zu der Belichtung des Verschlusses 5a ist, kleiner als der Strom 12 im Dunkelheitsmodus 2 ist. Im Dunkelheitsmodus 2 wird eine längere Lichtemissionszeit als im Dunkelheitsmodus 1 verwendet. Dies kann ein Auftreten von Flimmern vermindern bzw. unterdrücken. Außerdem wird durch den Projektor 4 im Dunkelheitsmodus 2 weniger Strom verbraucht als im Dunkelheitsmodus 1.
Im Dunkelheitsmodus 4 wiederholt der Projektor 4 die Lichtemission in Zyklen von 30 Hz ähnlich zum Helligkeitsmodus. Ferner wird im Dunkelheitsmodus 4 eine längere Emissionszeit als im Helligkeitsmodus verwendet, während der Stromwert unverändert bleibt. Dies kann ein Auftreten von Flimmern unterdrücken.
Im Dunkelheitsmodus 5 wiederholt der Projektor 4 die Lichtemission in Zyklen von 30 Hz ähnlich zum Helligkeitsmodus. Nach der Belichtungszeit des Verschlusses 5a, wird im Dunkelheitsmodus 5 die Lichtemission unter Verwendung des Stroms 15 , der eine andere Größe (z.B. kleiner als) als der Strom I hat, für die Belichtungszeit gehalten. Die Lichtemission schreitet für ein vorbestimmtes Intervall (z.B. kürzer als der Lichtemissionszyklus) voran. Dies kann ein Flimmern vermindern. Zudem wird im Dunkelheitsmodus 5 ermöglicht, dass der Projektor 4 weniger Strom als im Dunkelheitsmodus 4 verbraucht.
Im Dunkelheitsmodus 6 emittiert der Projektor 4 Licht gleichmäßig, unabhängig vom Belichtungstiming des Verschlusses 5a. Ein Lichtemissionsstrom 16 ist kleiner als ein Stromwert I im Helligkeitsmodus. Dies kann ein Flimmern vermindern. Zudem wird im Dunkelheitsmodus 6 ermöglicht, dass der Projektor 4 weniger Strom als im Dunkelheitsmodus 4 verbraucht.
Der Dunkelheitsmodus 7 kombiniert den Helligkeitsmodus mit dem Dunkelheitsmodus 6. Nachdem der Verschluss 5a die Belichtung stoppt, emittiert der Projektor 4 Licht unter Verwendung eines Lichtemissionstroms 17 der kleiner als der Strom I für die Belichtung ist, gleichmäßig. Dies kann ein Flimmern vermindern. Zudem wird im Dunkelheitsmodus 7 ermöglicht, dass der Projektor 4 weniger Strom als im Dunkelheitsmodus 4 verbraucht.
Die Dunkelheitsmodi 1, 2 und 6 sind, hinsichtlich der entsprechenden Emissionsmuster, effektiver als die anderen.
Mit Bezug zurück auf 2 steuert der Projektorcontroller 23 eine Lichtemission des Projektors 4 basierend auf dem festgelegten Lichtemissionsmuster und dem Bildaufnahmetimings. Der Bildaufnahmecontroller 24 steuert den Betrieb des Bildaufnahmeabschnitts 5 um ein Bild aufzunehmen (S17). Der Erkennungsabschnitt 25 erkennt das Gesicht des Insassen anhand von Bilddaten, die durch den Bildaufnahmeabschnitt 5 aufgenommen werden (S18). Basierend auf einem Erkennungsergebnis bestimmt der Erkennungsabschnitt 25, ob der Steuerwert zu ändern ist.
Zum Beispiel erfasst der Erkennungsabschnitt 25 als einen vorbestimmten Gesichtsteilbereich einen Bereich, der äquivalent zur Haut, beispielsweise der Stirn oder den Wangen, ist, anhand des aufgenommenen Gesichtsbildes des Insassen. Der Erkennungsabschnitt 25 vergleicht eine Farbe (gefilterter Pixelwert) der Haut des Insassen mit einer vorbestimmten Referenzfarbe, die bereits im Speicherabschnitt 25 gespeichert ist. Der Erkennungsabschnitt 20 bestimmt, basierend auf einem Vergleichsergebnis (z.B. einer digitalisierten Differenz zwischen beiden Farben), ob der Steuerwert zu ändern ist.
Falls der Steuerwert nicht geändert werden muss (NEIN bei S19), erhöht der Prozess den Wert eines Verzögerungszählers M (S23). Der Prozess schreitet zu Schritt S17 zurück und wiederholt die Lichtemission und die Bildaufnahme unter Verwendung des gegenwärtigen Steuerwerts. Falls der Steuerwert zu ändern ist (JA bei S19), vergleicht der Prozess den Wert des Verzögerungszählers M mit einem Verzögerungsschwellenwert n. Falls M > n zutrifft (JA bei S20), stellt der Prozess den Verzögerungszähler M auf 0 (S21). Der Prozess schreitet zu S11 zurück und bestimmt den Betriebsmodus erneut.
Falls M > n nicht zutrifft (NEIN bei S20), verändert der Prozess den Steuerwert (S22) und erhöht den Wert des Verzögerungszählers M (S23). Der Prozess schreitet zu S17 zurück und führt die Lichtemission und die Bildaufnahme durch.
Kurz nachdem sich der Betriebsmodus ändert, enthält der Verzögerungsschwellenwert n für den Normalbetrieb, der den Betriebsmodus unverändert hält, den Schwellenwert n2, der kleiner als der Verzögerungsschwellenwert n1 ist. Der Betriebsmodusbestimmungsabschnitt 21 verifiziert eine Veränderung des Betriebsmodus basierend auf einem festgelegten Zeitintervall. Das festgelegte Zeitintervall wird für den Betriebsmodus, falls dieser geändert wird, kürzer eingestellt, als für den Betriebsmodus, falls dieser nicht geändert wird. Der Betriebsmodusbestimmungsabschnitt 21 kann bestimmen, ob sich der Betriebsmodus vorübergehend ändert. Der Betriebsmodus kann sich aufgrund einer Veränderung der Luminanz in einer relativ kurzen Zeitdauer verändern, falls das Fahrzeug unter einer Brücke oder einem Gebäude fährt. In solch einem Fall kann der Betriebsmodus vor der Veränderung schnell fortgeführt werden. Es ist möglich, die Zeit, während welcher das Gesicht des Insassen nicht genau erkannt werden kann, zu verkürzen.
Mit Bezug auf 6 wird nachfolgend der Steuerwert im Detail beschrieben. Kamerasteuerungen oder Kamerasteuertabellen, die im Voraus im Speicherabschnitt 28 gespeichert werden, werden verwendet, um Steuerwerte zu bestimmen. Die Kamerasteuertabelle enthält zumindest eine Steuertabelle (Tabelle 1). Zum Beispiel kennzeichnet das Bezugszeichen „dB“ eine Indexzahl oder eine digitalisierte Differenz, die aus einem Vergleich zwischen der Farbe eines aufgenommenen Gesichtsbildes des Insassen und der Referenzfarbe resultiert. Der Initialwert ist „0“. In diesem Fall ist die „Verschlusszeit“ auf 300 µ-Sek. eingestellt. Die „Verschlusszeit“ ist gleich der Zeit (Belichtungszeit), während welcher sich der Verschluss 5a öffnet. In diesem Fall wird die „Verstärkung“ verdoppelt. Die „Verstärkung“ kennzeichnet einen Verstärkungsfaktor, bei welchem der Bildaufnahmeabschnitt 5 aufgenommene Bilddaten verstärkt (analoges Signal). Das heißt, der Steuerwert enthält die „Verschlusszeit“ und die „Verstärkung“.
Die Steuerwerte enthalten den gleichen „Verstärkungs-“Parameter und verschiedene „Verschlusszeit-“Parameter. Daher sind die Steuerwerte einstellbar. Die Steuerwerte können natürlich auch den gleichen „Verschlusszeit-“Parameter und unterschiedliche „Verstärkung“ Parameter enthalten.
Die Emissionsintensität ist klein, falls die Farbe des aufgenommenen Gesichtsbildes dunkler als die Referenzfarbe ist. In diesem Fall wird der Steuerwert, beispielsweise basierend auf einer Differenz zwischen den beiden Farben, auf eine „Verschlusszeit“ und eine „Verstärkung“ entsprechend einem „dB“ Wert größer als der gegenwärtige „dB“ Wert verändert. Andererseits ist die Emissionsintensität ausreichend groß, falls die Farbe des aufgenommenen Gesichtsbildes heller als die Referenzfarbe ist. In diesem Fall wird der Steuerwert, basierend auf einer Differenz zwischen den beiden Farben, auf eine „Verschlusszeit“ und eine „Verstärkung“ entsprechend einem „dB“ Wert kleiner als der gegenwärtige „dB“ Wert verändert.
Wenn sich der Betriebsmodus verändert, kann die Bildaufnahme einen Steuerwert entsprechend dem gegenwärtigen „dB“ Wert oder einem Steuerwert eines entsprechenden „dB“ Werts, der auf „0“ eingestellt ist, verwenden.
Es können mehrere Kamerasteuertabellen 1 bis 3 vorgesehen sein. Eine der Tabellen 1 bis 3 kann ausgewählt werden und gemäß einem Ergebnis eines Vergleichs (Farbdifferenz) zwischen der Farbe des aufgenommenen Gesichtsbilds und der Referenzfarbe ausgewählt werden. Der Steuerwert kann anhand der ausgewählten Tabelle bestimmt werden. Die Kamerasteuertabelle kann für jedes der Lichtemissionsmuster vorgesehen sein.
Mit Bezug auf 9 wird nachfolgend ein weiteres Beispiel des Projektorsteuerprozesses gemäß der vorliegenden Ausführungsform der vorliegenden Offenbarung beschrieben. Dieser Prozess ist eine Modifikation des Prozesses in 2, der vorstehend beschrieben ist. Die entsprechenden gemeinsamen Prozessschritte in den 9 und 2 sind durch die gleichen Bezugszeichen gekennzeichnet, wobei zur Vereinfachung auf eine wiederholte Beschreibung verzichtet wird. S11 bis S18 sind gleich denen in 2.
Bei S18 erkennt der Erkennungsabschnitt 25 das Gesicht eines Insassen anhand von Bilddaten, die durch den Bildaufnahmeabschnitt 5 aufgenommen werden. Der Erkennungsabschnitt 25 vergleicht den Wert des Verzögerungszählers mit dem Verzögerungsschwellenwert n. Falls M > n zutrifft (JA bei S19a), stellt der Prozess den Verzögerungsprozesszähler M auf 0 (S21). Der Prozess schreitet zu S11 zurück und bestimmt erneut den Betriebsmodus.
Falls M > n nicht zutrifft (NEIN bei S19a), bestimmt der Erkennungsabschnitt 25, ob der Steuerwert verändert werden muss. Falls der Steuerwert nicht verändert werden muss (NEIN bei S20a), erhöht der Prozess den Wert des Verzögerungszählers M (S23a). Der Prozess schreitet zu S17 voran und wiederholt die Lichtemission und die Bildaufnahme unter Verwendung des gegenwärtigen Steuerwerts, falls der Steuerwert verändert werden muss (JA bei S20a), verändert der Prozess den Steuerwert (S22a). Der Prozess erhöht den Wert des Verzögerungszählers M (S23a) und schreitet dann zu S17 zurück, um die Lichtemission und die Bildaufnahme durchzuführen.
Während der erste Aspekt der vorliegenden Offenbarung bereits in der vorstehenden Kurzfassung der Erfindung diskutiert wurde, können weitere optionale Aspekte wie folgt umgesetzt werden.
Zum Beispiel kann gemäß eines zweiten Aspekts die Gesichtsbilderfassungsvorrichtung einen Erkennungsabschnitt enthalten, der das Gesicht des Insassen anhand von Bilddaten erkennt, die durch den Bildaufnahmeabschnitt aufgenommen werden, und einen Pixelwert für einen vorbestimmten Gesichtsteilbereich im Gesicht des Insassen erfasst. Hierbei kann der Bildaufnahmecontroller eine Belichtungszeit und/oder eine Verstärkung des Bildaufnahmeabschnitts derart einstellen, dass sich, wenn der Projektor nicht unter Verwendung des Lichtemissionsmusters emittiert, der Pixelwert für den vorbestimmten Gesichtsteilbereich, der durch den Erkennungsabschnitt erfasst wird, einem vorbestimmten Referenzwert annähert, und den eingestellten Parameter mit der Bildaufnahmevoraussetzung vergleicht, um eine neu festgelegte Bildaufnahmevoraussetzung neu festzulegen, um den vorbestimmten Aufnahmebereich für die nächste Bildaufnahme durch den Bildaufnahmeabschnitt aufzunehmen. Der Bildaufnahmeabschnitt kann die nächste Bildaufnahme zum Aufnehmen des vorbestimmten Aufnahmebereichs einschließlich des Gesichts basierend auf der neu festgelegten Bildaufnahmevoraussetzung durchführen.
Gemäß einem dritten Aspekt muss, falls ein Erkennungsergebnis vom Erkennungsabschnitt anzeigt, dass der Pixelwert für den vorbestimmten Gesichtsteilbereich im Gesicht des Insassen nicht in einem vorbestimmten Bereich des vorbestimmten Referenzwerts liegt, der Bildaufnahmecontroller die neu festgelegte Bildaufnahmevoraussetzung zum Aufnehmen des vorbestimmten Aufnahmebereichs, solange nicht neu festlegt, bis ein vorbestimmtes Festlegungszeitintervall vergeht bzw. vergangen ist, seitdem die Bildaufnahmevoraussetzung zuvor festgelegt wurde. Das heißt, der Bildaufnahmecontroller kann die neu festgelegte Bildaufnahmevoraussetzung zum Aufnehmen des vorbestimmten Aufnahmebereichs neu festlegen, wenn eine neu festgelegte Voraussetzung erfüllt ist bzw. wird. Die neu festgelegte Voraussetzung kann eine Voraussetzung sein, dass (i) ein Erkennungsergebnis vom Erkennungsabschnitt anzeigt, dass der Pixelwert für den vorbestimmten Gesichtsteilbereich im Gesicht des Insassen, nicht in einem vorbestimmten Bereich des vorbestimmten Referenzwerts liegt und simultan bzw. gleichzeitig (ii) ein vorbestimmtes Festlegungszeitintervall vergeht bzw. vergangen ist, seitdem die Bildaufnahmevoraussetzung im Voraus festgelegt worden ist.
Zum Beispiel kann, solange das Erkennungsergebnis anzeigt, dass der Pixelwert für den vorbestimmten Gesichtsteilbereich im Gesicht des Insassen nicht im vorbestimmten Bereich von dem vorbestimmten Referenzwert liegt, der Bildaufnahmecontroller insbesondere die neu festgelegte Bildaufnahmevoraussetzung wiederholt neu festlegen. In diesem Fall kann die Bildaufnahmevoraussetzung zu häufig variieren, da das Erkennungsergebnis rückkoppelt bzw. ein Feedback abgibt. Dadurch kann das Gesicht des Insassen nicht korrekt erkannt werden. Daher kann, wenn ein vorbestimmtes Festlegungszeitintervall vergeht, der Bildaufnahmecontroller das Erkennungsergebnis im Erkennungsabschnitt verwenden, wodurch die Bildaufnahmevoraussetzung (d.h., die neu festgelegte Bildaufnahmevoraussetzung) neu festgelegt wird.
Gemäß einem vierten Aspekt kann der Betriebsmodusbestimmungsabschnitt solange keine Neubestimmung des Modus, um einen neu zu bestimmenden Betriebsmodus basierend auf einem Zustand eines durch den Umgebungslichterfassungsabschnitt erfassten Umgebungslichts neu zu bestimmen, durchführen, bis ein vorbestimmtes Bestimmungszeitintervall vergangen ist, seitdem der Betriebsmodus im Voraus bestimmt wurde. Das heißt, der Betriebsmodusbestimmungsabschnitt kann eine Neubestimmung eines neu bestimmten Betriebsmodus basierend auf einem Zustand eines Umgebungslichts, das durch den Umgebungslichterfassungsabschnitt erfasst wird, neu bestimmen, wenn eine neu bestimmte Voraussetzung erfüllt ist. Die Bestimmungsvoraussetzung kann eine Voraussetzung sein, dass ein vorbestimmtes Bestimmungszeitintervall vergangen ist, seitdem der Betriebsmodus im Voraus bestimmt wurde.
Gemäß dieser Konfiguration werden die Zeit und der Aufwand, gemäß welcher dieser Betriebsmodus neu bestimmt wird, reduziert, und das Gesicht des Insassen kann schnell und korrekt erkannt werden. Ferner kann gemäß dieser Konfiguration der nachfolgenden Problematik Rechnung getragen werden, d.h., der Zustand des Umgebungslichts kann periodisch gemessen werden, um den Betriebsmodus zu bestimmen. Der Betriebsmodus kann als Ergebnis des Feedbacks des Einflusses des Umgebungslichts, welches sich bei der sich verändernden Umgebung des Fahrzeugs in den entsprechenden Momenten verändert, zu häufig verändert werden. Außerdem kann sich, falls sich der Betriebsmodus verändert, wenn der Erkennungszustand des Gesichts des Insassen nahe dem Referenzzustand ist, der anschließende Erkennungszustand stärker vom Referenzzustand unterscheiden und nicht mit der optimalen Steuerung zur Erkennung des Gesichts des Insassen übereinstimmen. Dadurch kann das Gesicht des Insassen nicht korrekt erkannt werden.
Gemäß einem fünften Aspekt kann der Betriebsmodusbestimmungsabschnitt eine Neubestimmung des Modus durchführen, um den neu bestimmten Betriebsmodus neu zu bestimmten, sobald das vorbestimmte Bestimmungszeitintervall vergangen ist, nachdem bzw. seitdem der Betriebsmodus vorher bzw. zuvor bestimmte wurde, oder wenn eine Anfrage zum erneuten Festlegen einer neu festgelegten Bildaufnahmevoraussetzung auftritt, nachdem das vorbestimmte Zeitintervall vergangen ist, seitdem der Betriebsmodus zuvor bestimmt wurde. Das heißt, der Betriebsmodusbestimmungsabschnitt kann die Neubestimmung des Modus zum Neubestimmen des neu bestimmten Betriebsmodus durchführen, wenn eine von einer ersten Voraussetzung und einer zweiten Voraussetzung erfüllt ist. Die erste Voraussetzung kann eine Voraussetzung sein, dass das vorbestimmte Bestimmungszeitintervall gerade vergangen ist, seitdem der Betriebsmodus zuvor bestimmt wurde. Die zweite Voraussetzung kann eine Voraussetzung sein, dass eine Anfrage zur neuen Festlegung einer neu festgelegten Bildaufnahmevoraussetzung auftritt, nachdem das vorbestimmte Zeitintervall vergangen ist, seitdem der Betriebsmodus zuvor bestimmt wurde.
Die vorstehende Konfiguration kann verhindern, dass die Neubestimmung des Betriebsmodus zu häufig stattfindet, wodurch eine schnelle und korrekte Erkennung des Gesichts des Insassen ermöglicht wird.
Gemäß eines sechsten Aspekts kann der Lichtemissionsmuster-Setup-Abschnitt das Lichtemissionsmuster für die Lichtquelle basierend auf einem Zustand des Umgebungslichts, welches durch den Umgebungslichterfassungsabschnitt in einem vorbestimmten Erfassungszeitintervall erfasst wird, verändern, wodurch ein vom Insassen wahrgenommenes Flimmern reduziert werden kann.
Diese Konfiguration zieht die Reduzierung des Flimmerns der Erkennung des Gesichts des Insassen vor. Somit kann verhindert werden, dass die Lichtemission der Lichtquelle (d.h., Flimmern) das Fahren des Fahrzeugs erschwert oder die Fahrzeugkabinenumgebung negativ beeinflusst.
Gemäß einem siebten Aspekt, wenn der Betriebsmodus als Helligkeitsmodus festgelegt wird, der gleich dem ersten Modus ist, bei dem die Lichtintensität des Umgebungslichts, das durch den Umgebungslichterfassungsabschnitt erfasst wird, größer als der vorbestimmte Lichtintensitätsschwellenwert ist, kann der Lichtemissionsmuster-Setup-Abschnitt das Lichtemissionsmuster derart festlegen, dass eine Belichtungssynchronemission vorliegt, die äquivalent zu einer Pulslichtemission ist, die synchron zu einem Belichtungszeitintervall des Bildaufnahmeabschnitts ist.
In dem Zustand, in dem die Landschaft oder Umgebung in der Brille reflektiert wird, ist das Umgebungslicht stark. Somit nimmt, selbst wenn die Pulslichtemission des Projektors (d.h., die Lichtquelle) ausgeführt wird und der Betrag der Lichtemission erhöht wird, der Fahrer das Flimmern kaum wahr. Somit kann gemäß der vorstehenden Konfiguration der Betrag der Lichtemission gegen den Betrag des Umgebungslichts im Helligkeitsmodus erhöht werden (d.h. Erhöhung des S/R-Verhältnisses), während das Flimmern unterdrückt bzw. vermindert wird. Dadurch wird die korrekte Erkennung des Gesichts des Insassen ermöglicht.
Gemäß einem achten Beispiel kann, wenn der Betriebsmodus als Dunkelheitsmodus festgelegt wird, der gleich dem zweiten Modus ist, bei dem die Lichtintensität des Umgebungslichts, das durch den Umgebungslichterfassungsabschnitt erfasst wird, nicht größer als der vorbestimmte Lichtintensitätsschwellenwert ist, der Lichtemissionsmuster-Setup-Abschnitt das Lichtemissionsmuster derart festlegen, dass es eine Belichtungssynchronemission und eine Belichtungsasynchronemission aufweist. Die Belichtungssynchronemission ist eine Pulslichtemission, die synchron zu einem Belichtungszeitintervall des Bildaufnahmeintervallabschnitts ist. Die Belichtungsasynchronemission ist ein Lichtemissionsmuster, das asynchron zu dem Belichtungszeitintervall des Bildaufnahmeabschnitts ist.
Diese Konfiguration kann die Wiederholung (d.h. die Frequenz) der Pulsemission im Dunkelheitsmodus erhöhen, wodurch das vom Insassen wahrgenommene Flimmern reduziert werden kann.
Gemäß einem neunten Aspekt kann der Lichtemissionsmuster-Setup-Abschnitt das Lichtemissionsmuster während bzw. in der Belichtungsasynchronemission als Pulslichtemission festlegen.
Das Lichtemissionsmuster in der Belichtungsasynchronemission wird als Pulslichtemission festgelegt; somit wird die Frequenz des Pulses bzw. Impulses scheinbar höher. Während das Flimmern der Lichtquelle unterdrückt wird, kann der ausreichende Lichtbetrag bei der Bildaufnahme unter der Belichtungssynchronemission erhalten werden. Dadurch wird das korrekte Erkennen des Gesichts des Insassen ermöglicht. Dabei ist zu erwähnen, dass, wenn das Umgebungslicht schwach ist, die Umgebung oder die Landschaft kaum in der Brille reflektiert wird. Ferner wird eine Belichtungsasynchronemission durchgeführt; dadurch muss der Projektor eine nicht erforderliche Lichtemission durchführen. Falls die Lichtquelle mit dem Nennstrom verwendet werden soll, muss der Lichtbetrag bei der Belichtungssynchronemission auf einen im Vergleich zu einem Helligkeitsmodus relativ niedrigen Wert eingestellt werden. Im Dunkelheitsmodus ist hingegen eher weniger Umgebungslicht vorhanden; somit wird das S/N-Verhältnis hoch genug gehalten.
Gemäß einem zehnten Aspekt kann der Lichtemissionsmuster-Setup-Abschnitt das Lichtemissionsmuster während bzw. in der Belichtungsasynchronemission als gleichmäßige Lichtemission festlegen.
Diese Konfiguration kann das Flimmern der Lichtquelle durch Durchführen einer gleichmäßigen Lichtemission des Projektors vermindern bzw. unterdrücken. Ferner kann die Belichtungszeit verlängert werden; Somit kann während der Bildaufnahme ein ausreichender Lichtbetrag gewährleistet werden. Dadurch wird die korrekte Erkennung des Gesichts des Insassen ermöglicht. Ferner erfordert die gleichmäßige Lichtemission, dass der Projektor eine unnötige Lichtemission während der Zeit außerhalb der Belichtungszeit durchführt. Falls entschieden wird, dass die Lichtquelle mit dem Netzstrom betrieben werden soll, muss der Betrag der Lichtemission relativ niedrig eingestellt werden. Im Dunkelheitsmodus gibt es jedoch eher weniger Umgebungslicht; somit kann das S/R-Verhältnis hoch genug gehalten werden. Das Verlängern der Belichtungszeit hat keinen Nachteil zur Folge.
Gemäß einem elften Aspekt kann der Lichtemissionsmuster-Setup-Abschnitt einen unabhängigen Wert für einen Strom an der Lichtquelle verwenden, der gemäß der Belichtungssynchronemission sowie der Belichtungsasynchronemission angelegt wird.
Diese Konfiguration erhöht wahrnehmbar die Frequenz der Lichtemission. Während das Flimmern der Lichtquelle unterdrückt wird, kann während der Bildaufnahme ein ausreichender Lichtbetrag gewährleistet werden. Dadurch wird die korrekte Erkennung des Gesichts des Insassen ermöglicht. Ferner vermindert die vorstehende Konfiguration einen Strom, der bei der Belichtungsasynchronemission angelegt wird, wodurch der verbrauchte elektrische Strom der Lichtquelle reduziert wird.
Gemäß einem zwölften Aspekt kann Licht, das von der Lichtquelle emittiert wird, eine nah-infrarote Wellenlänge enthalten.
Diese Konfiguration kann durch Verwenden einer herkömmlichen Gesichtsbilderfassungsvorrichtung erreicht werden, die ein Bild eines Gesichts eines Fahrers unter Verwendung eines Infrarotstroboskops oder einer LED mit einem nah-infrarotem Wellenbereich aufnimmt, ohne dabei die herkömmliche Vorrichtung in großem Umfang zu verändern.
Während die vorliegende Offenbarung bezüglich der bevorzugten Ausführungsformen beschrieben worden ist, ist zu verstehen, dass die Offenbarung nicht auf die bevorzugten Ausführungsformen und Konstruktionen beschränkt ist. Die vorliegende Offenbarung soll vielmehr verschiedene Modifikationen und äquivalente Anordnungen abdecken. Außerdem sind neben den bevorzugten verschiedenen Kombinationen und Konfigurationen auch andere Kombination und Konfigurationen einschließlich mehr, weniger oder einem einzelnen Element im Geiste und Umfang der vorliegenden Offenbarung.

Claims

Gesichtsbilderfassungsvorrichtung (1), aufweisend: einen Projektor (4), der Licht auf einen Projektionsbereich einschließlich eines Gesichts eines Insassen in einem Fahrzeug projiziert; einem Bildaufnahmecontroller (24), der eine Bildaufnahmevoraussetzung festlegt, um einen vorbestimmten Aufnahmebereich aufzunehmen, der das Gesicht des Insassen enthält; einen Bildaufnahmeabschnitt (5), der eine Bildaufnahme durchführt, um den vorbestimmten Aufnahmebereich einschließlich des Gesichts basierend auf der Bildaufnahmevoraussetzung, die durch den Bildaufnahmecontroller festgelegt wird, aufzunehmen; einen Umgebungslichterfassungsabschnitt (3), der Umgebungslicht erfasst, das auf das Fahrzeug oder den Insassen geworfen wird; einen Betriebsmodusbestimmungsabschnitt (21), der eine Modusbestimmung durchführt, um einen Betriebsmodus aus mindestens zwei Betriebsmodi zu bestimmen, wobei einer der zwei Betriebsmodi ein erster Modus ist, bei dem eine Lichtintensität des Umgebungslichts, das durch den Umgebungslichterfassungsabschnitt erfasst wird, größer als ein vorbestimmter Lichtintensitätsschwellenwert ist, und ein anderer der zwei Betriebsmodi ein zweiter Modus ist, bei dem die Lichtintensität des Umgebungslichts, das durch den Umgebungslichterfassungsabschnitt erfasst wird, nicht größer als der vorbestimmte Lichtintensitätsschwellenwert ist; einen Lichtemissionsmuster-Setup-Abschnitt (22), der ein Lichtemissionsmuster für eine Lichtquelle des Projektors basierend auf dem Betriebsmodus, der durch den Betriebsmodusbestimmungsabschnitt bestimmt wird, festlegt; und einen Projektorcontroller (23), der den Projektor steuert, die Lichtquelle basierend auf dem Lichtemissionsmuster zu aktivieren, das durch den Lichtemssionsmuster-Setup-Abschnitt festgelegt wird.
Gesichtsbilderfassungsvorrichtung nach Anspruch 1, aufweisend: einen Erkennungsabschnitt (25), der das Gesicht des Insassen anhand von Bilddaten erkennt, die durch den Bildaufnahmeabschnitt aufgenommen werden, und einen Pixelwert für einen vorbestimmten Gesichtsteilbereich im Gesicht des Insassen erfasst, wobei: der Bildaufnahmecontroller eine Belichtungszeit und/oder eine Verstärkung des Bildaufnahmeabschnitts derart einstellt, dass sich, wenn der Projektor Licht unter Verwendung des Lichtemissionsmusters emittiert, der Pixelwert für den vorbestimmten Gesichtsteilbereich, der durch den Erkennungsabschnitt erfasst wird, einem vorbestimmten Referenzwert annähert, und den eingestellten Parameter mit der Bildaufnahmevoraussetzung vergleicht, um eine neu festgelegte Aufnahmevoraussetzung neu festzulegen, um den vorbestimmten Aufnahmebereich für die nächste Bildaufnahme durch den Bildaufnahmeabschnitt aufzunehmen; und der Bildaufnahmeabschnitt die nächste Bildaufnahme durchführt, um den vorbestimmten Aufnahmebereich einschließlich des Gesichts basierend auf der neu festgelegten Bildaufnahmevoraussetzung aufzunehmen.
Gesichtsbilderfassungsvorrichtung nach Anspruch 2, wobei: falls ein Erkennungsergebnis vom Erkennungsabschnitt anzeigt, dass der Pixelwert für den vorbestimmten Gesichtsteilbereich im Gesicht des Insassen nicht in einem vorbestimmten Bereich des vorbestimmten Referenzwerts liegt, der Bildaufnahmecontroller die neu festgelegte Bildaufnahmevoraussetzung zur Aufnahme des vorbestimmten Aufnahmeabschnitts solange nicht neu festlegt, bis ein vorbestimmtes Festlegungszeitintervall vergangen ist, seitdem die Bildaufnahmevoraussetzung zuvor festgelegt wurde.
Gesichtsbildaufnahmevorrichtung nach einem der Ansprüche 1 bis 3, wobei der Betriebsmodusbestimmungsabschnitt solange keine Neubestimmung des Modus zum neuen Bestimmen eines neu bestimmten Betriebsmodus basierend auf einem Zustand des Umgebungslichts, das durch den Umgebungslichterfassungsabschnitt erfasst wird, durchführt, bis ein vorbestimmtes Bestimmungszeitintervall vergangen ist, seitdem der Betriebsmodus zuvor festgelegt wurde.
Gesichtsbilderfassungsvorrichtung nach Anspruch 4, wobei der Betriebsmodusbestimmungsabschnitt die Neubestimmung des Modus zum neuen Bestimmen des neu bestimmten Betriebsmodus durchführt, sobald das vorbestimmte Bestimmungszeitintervall vergangen ist, seitdem der Betriebsmodus zuvor bestimmt wurde, oder wenn eine Anfrage zum neuen Festlegen einer neu festgelegten Bildaufnahmevoraussetzung auftritt, nachdem das vorbestimmte Zeitintervall vergangen ist, seitdem der Betriebsmodus zuvor bestimmt wurde.
Gesichtsbilderfassungsvorrichtung nach einem der Ansprüche 1 bis 5, wobei der Lichtemissionsmuster-Setup-Abschnitt das Lichtemissionsmuster für die Lichtquelle basierend auf einem Zustand des Umgebungslichts verändert, welches durch den Umgebungslichterfassungsabschnitt in einem vorbestimmten Erfassungszeitintervall erfasst wird, wodurch ein vom Insassen wahrgenommenes Flimmern reduziert wird.
Gesichtsbilderfassungsvorrichtung nach einem der Ansprüche 1 bis 6, wobei: wenn der Betriebsmodus als ein Helligkeitsmodus festgelegt ist, der gleich dem ersten Modus ist, bei dem die Lichtintensität des Umgebungslichts, das durch den Umgebungslichterfassungsabschnitt erfasst wird, größer als der vorbestimmte Lichtintensitätsschwellenwert ist, der Lichtemissionsmuster-Setup-Abschnitt das Lichtemissionsmuster festlegt, eine Belichtungssynchronemission aufzuweisen, die äquivalent zu einer Pulslichtemission ist, die synchron zu einem Belichtungszeitintervall des Bildaufnahmeabschnitts ist.
Gesichtsbilderfassungsvorrichtung nach einem der Ansprüche 1 bis 7, wobei: wenn der Betriebsmodus als ein Dunkelheitsmodus festgelegt ist, der gleich dem zweiten Modus ist, bei dem die Lichtintensität des Umgebungslichts, das durch den Umgebungslichterfassungsabschnitt erfasst wird, nicht größer als der vorbestimmte Lichtintensitätsschwellenwert ist, der Lichtemissionsmuster-Setup-Abschnitt das Lichtemissionsmuster festlegt, eine Belichtungssynchronemission und eine Belichtungsasynchronemission aufzuweisen, wobei die Belichtungssynchronemission eine Pulslichtemission ist, die synchron zu einem Belichtungszeitintervall des Bildaufnahmeabschnitts ist, und die Belichtungsasynchronemission ein Lichtemissionsmuster ist, das asynchron zum Belichtungszeitintervall des Bildaufnahmeabschnitts ist.
Gesichtsbilderfassungsvorrichtung nach Anspruch 8, wobei der Lichtemissionsmuster-Setup-Abschnitt das Lichtemissionsmuster in der Belichtungsasynchronemission als Pulslichtemission festlegt.
Gesichtsbilderfassungsvorrichtung nach Anspruch 8, wobei der Lichtemissionsmuster-Setup-Abschnitt das Lichtemissionsmuster in der Belichtungsasynchronemission als gleichmäßige Lichtemission festlegt.
Gesichtsbilderfassungsvorrichtung nach einem der Ansprüche 8 bis 10, wobei der Lichtemissionsmuster-Setup-Abschnitt einen unabhängigen Wert für einen Strom verwendet, der an der Lichtquelle gemäß der Belichtungssynchronemission sowie der Belichtungsasynchronemission angelegt wird.
Gesichtsbilderfassungsvorrichtung nach einem der Ansprüche 1 bis 11, wobei das Licht, das von der Lichtquelle emittiert wird, eine nah-infrarote Wellenlänge enthält.