DE102012201071A1

DE102012201071A1 - Gesichtsabbildungssystem und verfahren zum steuern des gesichtsabbildungssystems

Info

Publication number: DE102012201071A1
Application number: DE102012201071A
Authority: DE
Inventors: Takuhiro Omi; Taito Watanabe
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2011-01-25
Filing date: 2012-01-25
Publication date: 2012-07-26
Anticipated expiration: 2032-01-26
Also published as: DE102012201071B4; US20120188355A1; JP5212927B2; US8767062B2; JP2012156661A; CN102625047B; CN102625047A

Abstract

Eine Projektionseinheit (21) projiziert Licht in eine vorbestimmte Projektionsregion, in der die Position eines Gesichts eines Benutzers vermutet wird. Eine Abbildungseinheit (22) nimmt eine Region einschließlich der Projektionsregion auf, die mit Licht von der Projektionseinheit (21) bestrahlt wird. Eine Annäherungs-Erfassungseinheit (23, 24, 25, 27, S11 bis S29) erfasst, dass sich das Gesicht des Benutzers der Projektionseinheit (21) annähert. Eine erste Projektionssteuereinheit (24, S21) veranlasst die Projektionseinheit (21) zum Beenden oder Abschwächen der Aussendung von Licht, wenn die Annäherungs-Erfassungseinheit (23, 24, 25, 27, S11 bis S29) die Annäherung des Gesichts des Benutzers detektiert.

Description

Die vorliegende Erfindung bezieht sich auf ein Gesichtsabbildungssystem, das dazu ausgelegt ist, Licht auf ein Gesicht eines Benutzers zu projizieren und das Gesicht des Benutzers abzubilden, d. h. aufzunehmen. Die vorliegende Erfindung bezieht sich weiterhin auf ein Verfahren zum Steuern des Gesichtsabbildungssystems.
Ein bekanntes Fahrerüberwachungssystem bzw. Fahrerbeobachtungssystem ist dazu ausgelegt, einen Fahrer eines Fahrzeugs zu überwachen bzw. beobachten, um hierdurch die Richtung des Gesichts des Fahrers, den Öffnungszustand der Augen des Fahrers und dergleichen zu erfassen. 13 zeigt einen Überblick über ein Fahrerüberwachungssystem 100 gemäß einem Stand der Technik. Das Fahrerüberwachungssystem 100 umfasst einen Projektor 102, der dazu ausgelegt ist, Licht wie etwa im nahen Infrarotbereich liegendes Licht auf eine Projektionsregion 101 zu projizieren, um ein in der Projektionsregion 101 befindliches Gesicht des Fahrers klar abzubilden, unabhängig davon, ob es Tag oder Nacht ist. Das Fahrerüberwachungssystem 100 weist weiterhin eine Kamera 103 auf, die dazu ausgelegt ist, ein Bild der Projektionsregion 101, auf die Licht von dem Projektor 102 projiziert ist, zu fotografieren. Eine Abbildungssteuereinheit 104 steuert eine Verstärkung bzw. einen Gewinn, eine Belichtungszeit (Belichtungszeitgabe) und ähnliches für die Kamera 103. Zudem steuert eine Projektionssteuereinheit 105 eine Lichtstärke, eine Projektionszeitgabe und ähnliches des Projektors 102. Das fotografische Bild, das durch die Kamera 103 aufgenommen ist, wird zu einer Bildverarbeitungseinheit 106 gesendet bzw. geleitet. Die Bildverarbeitungseinheit 106 führt eine vorbestimmte Bildverarbeitung bezüglich des fotografischen Bilds aus, um hierdurch eine Gesichtsregion zu detektieren, die dem Gesicht des Fahrers entspricht. Informationen bezüglich der detektierten Region des Gesichts des Fahrers werden dann durch verschiedene bzw. verschiedenartige Systeme 107, wie etwa von einem System zum Vermeiden eines schläfrigen Fahrens, einem System zum Vermeiden eines unaufmerksamen Fahrens und ähnlichem verwendet. Genauer gesagt, detektieren die verschiedenartigen Systeme 107 die Richtung des Gesichts des Fahrers, den Öffnungszustand der Augen des Fahrers und ähnliches gemäß der als Beispiel dienenden Gesichtsregion. Die verschiedenartigen Systeme 107 führen weiterhin eine Verarbeitung wie etwa eine Warnverarbeitung in Abhängigkeit von dem Erfassungsergebnis aus.
Wie vorstehend beschrieben, weist ein herkömmliches Gesichtsabbildungssystem einen Projektor (Projektionseinheit), der zum Projizieren von Licht in eine vorbestimmte Projektionsregion, in der ein Gesicht eines Fahrers angeordnet ist, konfiguriert ist, und eine Kamera (Abbildungseinheit) auf, die dazu ausgelegt ist, ein Bild in der Projektionsregion zu fotografieren (siehe hierzu die als Beispiel dienende Veröffentlichung gemäß dem japanischen Patent Nr. 4419609 ).
Es ist festzustellen, dass der Projektor bei dem herkömmlichen Gesichtsabbildungssystem weiterhin mit der Projektion von Licht selbst dann fortfährt, wenn das Gesicht eines Benutzers wie etwa eines Fahrers nicht in der Projektionsregion vorhanden ist, oder auch dann, wenn das Gesicht zwar in der Projektionsregion vorhanden ist, jedoch nicht detektiert werden kann. Bei einem solchen herkömmlichen System kann das von dem Projektor ausgesandte Licht daher eine Augenbeanspruchung bzw. Belastung in den Augen eines Benutzers hervorrufen, wenn der Benutzer plötzlich in einen bzw. den Projektor schaut, oder wenn sich der Benutzer dem Projektor zu nahe annähert. Insbesondere dehnen sich die Pupillen der Augen des Benutzers kaum aus und ziehen sich kaum zusammen, wenn sie mit im nahen Infrarotbereich liegenden Licht von dem Projektor bestrahlt werden, verglichen mit einem Fall, bei dem sie mit sichtbarem Licht bestrahlt werden. In den Augen des Benutzers kann daher eine schwerwiegende Augenbeanspruchung auftreten, wenn sie mit im nahen Infrarotbereich liegenden Licht bestrahlt werden.
Im Hinblick auf die vorstehend erläuterten und weitere Probleme ist es eine Aufgabe der vorliegenden Erfindung, ein Gesichtsabbildungssystem zu schaffen, das dazu ausgelegt ist, das Auftreten von Augenbeanspruchungen in den Augen eines Benutzers zu vermeiden bzw. beschränken, wenn der Benutzer plötzlich in einen Projektor schaut, und wenn der Benutzer sich zu nahe an den Projektor annähert. Es ist eine weitere Aufgabe der vorliegenden Erfindung, ein Verfahren zum Steuern des Gesichtsabbildungssystems zu schaffen.
In Übereinstimmung mit einem Aspekt der vorliegenden Erfindung weist ein Gesichtsabbildungssystem eine Projektionseinheit auf, die dazu ausgelegt ist, Licht auf eine vorbestimmte Projektionsregion bzw. einen vorbestimmten Projektionsbereich, von der bzw. dem angenommen wird, dass das Gesicht eines Benutzers dort angeordnet ist, zu projizieren. Das Gesichtsabbildungssystem umfasst weiterhin eine Abbildungseinheit, die dazu ausgelegt ist, eine Region abzubilden, die die Projektionsregion umfasst, die von der Projektionseinheit mit Licht bestrahlt wird. Das Gesichtsabbildungssystem enthält darüber hinaus eine Nähe- bzw. Annäherungs-Erfassungseinheit, die dazu ausgelegt ist, die Annäherung des Gesichts des Benutzers relativ zu der Projektionseinheit zu detektieren. Das Gesichtsabbildungssystem umfasst ferner eine erste Projektionssteuereinheit, die dazu ausgelegt ist, die Projektionseinheit dazu zu veranlassen, die Projektion von Licht zu beenden oder abzuschwächen (dimmen), wenn die Annäherungs-Erfassungseinheit eine Annäherung des Gesichts des Benutzers detektiert.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird ein Verfahren zum Steuern eines Gesichtsabbildungssystems mit einer Projektionseinheit und einer Abbildungseinheit geschaffen, wobei das Verfahren die Maßnahme umfasst, eine Projektionseinheit dazu zu veranlassen, Licht zu einer Projektionsregion zu projizieren bzw. auszusenden, von der unterstellt wird, dass ein Gesicht eines Benutzers dort angeordnet ist. Das Verfahren umfasst weiterhin die Maßnahme, die Abbildungseinheit dazu zu veranlassen, die Projektionsregion abzubilden, wobei die Abbildungseinheit dazu ausgelegt ist, eine Unschärfe bzw. Verschwommenheit oder Verschmierung („blur”) in einer Region hervorzurufen, die einem Objekt entspricht, das sich an die Projektionseinheit annähert. Das Verfahren weist weiterhin die Maßnahme auf, zu bestimmen bzw. ermitteln, ob die abgebildete Projektionsregion eine Unschärfe bzw. Verschwommenheit („blur”) enthält, die durch die Abbildungseinheit verursacht ist. Das Verfahren beinhaltet weiterhin das Erfassen einer Annäherung des Gesichts des Benutzers relativ zu der Projektionseinheit auf die Bestimmung bzw. Ermittlung hin, dass die abgebildete Projektionsregion eine Unschärfe bzw. Verschmierung aufweist.
Das Verfahren weist weiterhin die Maßnahme auf, die Projektionseinheit dazu zu veranlassen, die Projektion von Licht auf die Erfassung einer Annäherung des Gesichts eines Benutzers hin zu beenden oder zu dimmen bzw. abzuschwächen.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die vorstehend genannte und weitere Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung erschließen sich aus der nachfolgenden detaillierten Beschreibung unter Bezugnahme auf die beigefügten Zeichnungen noch deutlicher.
1 zeigt ein Blockschaltbild, das ein Fahrerüberwachungssystem veranschaulicht;
2 zeigt eine schematische Darstellung, die eine Linsenkonfiguration einer Kamera des Fahrerüberwachungssystems veranschaulicht;
3 zeigt ein Zeitdiagramm, das eine Antriebszeitgabe bzw. eine Betriebszeitsteuerung der Kamera sowie eine Antriebszeitgabe bzw. Betriebszeitsteuerung eines Projektors des Fahrerüberwachungssystems veranschaulicht;
4 zeigt ein Ablaufdiagramm, das eine in Übereinstimmung mit einem ersten Ausführungsbeispiel stehende Verarbeitung zur Erfassung einer Nachbarschaft bzw. räumlichen Nähe oder Annäherung veranschaulicht;
5A bis 5D zeigen Ansichten, die fotografische Bilder veranschaulichen, die mit der Kamera aufgenommen worden sind;
6A bis 6D sind Darstellungen, die laterale Sobelbilder zeigen, nachdem sie einer Kantenverarbeitung unterzogen worden sind;
7A bis 7C zeigen grafische Darstellungen, die jeweils eine Helligkeitsänderung veranschaulichen, die eine Kanten- bzw. Randinformation bildet;
8 ist ein Ablaufdiagramm, das eine in Übereinstimmung mit einem zweiten Ausführungsbeispiel stehende Verarbeitung zur Erfassung einer Nähe bzw. Nachbarschaft oder Annäherung veranschaulicht;
9A und 9B sind Ansichten, die jeweils ein kantenbinärisiertes Bild zeigen, das mittels einer Rand- bzw. Kantenverarbeitung implementiert bzw. erzielt ist;
10 zeigt ein Ablaufdiagramm, das eine in Übereinstimmung mit einer dritten Modifikation stehende Verarbeitung zur Erfassung einer Nähe bzw. Nachbarschaft oder Annäherung veranschaulicht;
11 zeigt ein Ablaufdiagramm, das eine in Übereinstimmung mit einem dritten Ausführungsbeispiel stehende Verarbeitung zur Erfassung einer Lenkungsverschleierung bzw. -abdeckung veranschaulicht;
12 zeigt eine Übersicht, in der ein Fahrerüberwachungssystem in Übereinstimmung mit einem vierten Ausführungsbeispiel dargestellt ist;
13 zeigt einen Überblick, der ein Fahrerüberwachungssystem in Übereinstimmung mit einem Stand der Technik veranschaulicht; und
14 zeigt eine erläuternde Ansicht, die eine Beziehung zwischen einem Bild-Objekt-Abstand und einer Modulationsübertragungsfunktion (MTF = „Modulation Transfer Funktion”) veranschaulicht.
DETAILLIERTE BESCHREIBUNG
(Erstes Ausführungsbeispiel)
Im Folgenden wird ein Gesichtsabbildungssystem, das in Übereinstimmung mit einem ersten Ausführungsbeispiel steht, unter Bezugnahme auf die Zeichnungen erläutert. Bei dem nachstehenden Ausführungsbeispiel wird das Gesichtsabbildungssystem bei einem Fahrerüberwachungssystem 1 verwendet, das zum Beobachten bzw. Überwachen eines Fahrers eines Fahrzeugs ausgelegt ist. 1 zeigt eine Übersicht über das Fahrerüberwachungssystem 1 gemäß dem vorliegenden Ausführungsbeispiel. Das Fahrerüberwachungssystem 1 weist einen Projektor bzw. eine Projektionseinheit bzw. eine Projektionseinrichtung 21, eine Kamera 22, eine Abbildungssteuereinheit 23, eine Projektionssteuereinheit 24, eine Bildverarbeitungseinheit 25, verschiedene Systeme 26, eine Projektionsbestimmungseinheit 27 und einen Lenkwinkelsensor 28 auf.
Der Projektor 21 ist dazu ausgelegt, Licht auf eine Beleuchtungsregion, die als eine Region vorab bestimmt ist, in der das Gesicht eines Fahrers angeordnet ist, zu projizieren. Genauer gesagt, ist die Beleuchtungsregion beispielsweise eine periphere Region 10 (eine periphere Region bezüglich des Fahrersitzes) um einen nicht gezeigten Sitz eines Fahrers herum. In der peripheren Region bzw. Umgebungsregion 10 des Fahrersitzes befindet sich das Gesicht eines Fahrers an einer Position P1, wenn es sich nicht an den Projektor annähert, während sich das Gesicht des Fahrers an einer Position P2 befindet, wenn es sich an den Projektor 21 annähert. 1 zeigt die periphere Region 10 des Fahrersitzes, und zwar bei Betrachtung von der lateralen Seite zum Zwecke der Veranschaulichung der Positionen P1 und P2. Es ist anzumerken, dass die periphere Region 10 des Fahrersitzes tatsächlich bzw. aktuell die Region ist, die durch die Bilder gemäß den 5A bis 5D veranschaulicht sind. Der Projektor 21 ist an der bzw. einer Position angeordnet und mit dem Projektionswinkel ausgerichtet, um eine Projektion des Lichts in Richtung zu der peripheren Region 10 des Fahrersitzes zu ermöglichen. Genauer gesagt, kann der Projektor 21 beispielsweise an einer oberen Oberfläche bzw. Oberseite einer Lenksäule eines Lenkrads 35 angebracht sein, das vor dem Fahrersitz zum Lenken des Fahrzeugs vorgesehen ist, wie dies in 1 dargestellt ist. Der Projektor 21 kann in der Kamera 22 eingebaut sein. Der Projektor 21 ist dazu konfiguriert, Licht mit einer Wellenlänge zu projizieren bzw. auszusenden, die nahes Infrarotlicht bzw. im nahen Infrarotbereich liegendes Licht einschließt, um zu ermöglichen, dass die Kamera 22 eine klare Abbildung unabhängig von der Tageszeit oder Nachtzeit ausführen kann, und nicht dass bei dem Fahrer kein Gefühl einer Blendung hervorgerufen wird.
Der Projektor 21 wird durch die Projektionssteuereinheit 24 gesteuert. Genauer gesagt, ist die Projektionssteuereinheit 24 dazu ausgelegt, die Stärke, die Projektionszeitgabe bzw. -zeitsteuerung und dergleichen bezüglich des von dem Projektor 21 projizierten Lichts in Abhängigkeit von einer Abbildungsbedingung, bzw. dem Abbildungszustand der Kamera 22, der Haltung des Fahrers, einem Umgebungslicht und dergleichen zu steuern, um es der Kamera 22 zu ermöglichen, ein klares Bild aufzunehmen. Noch genauer gesagt, ist die Projektionssteuereinheit 24 dazu ausgelegt, die Stärke und die Projektionszeit bzw. Projektionszeitgabe des von dem Projektor 21 projizierten bzw. ausgesandten Lichts so zu steuern, dass beispielsweise der berechtigte bzw. erlaubte Pegel (exempt level) gemäß dem IEC Standard (IEC62471) erfüllt ist. Der IEC Standard ist ein internationaler Standard, der von der „International Electrotechnical Commission” (IEC), Internationale Elektrotechnische Kommission, erstellt ist. Die Projektionssteuereinheit 24 steuert die Aktivierung und Deaktivierung (EIN/AUS: Projektionszeitsteuerung bzw. Projektionszeitgabe) des Projektors 21 entsprechend der Belichtungszeitgabe bzw. Belichtungszeit der Kamera 22. 3 enthält ein oberes Zeitdiagramm, das die Belichtungszeitgabe bzw. Belichtungszeitsteuerung der Kamera 22 repräsentiert, und ein unteres Zeitdiagramm, das die Projektionszeitsteuerung bzw. Projektionszeitgabe des Projektors 21 repräsentiert. Wie in 3 gezeigt ist, schaltet die Projektionssteuereinheit 24 die Aktivierung und Deaktivierung (EIN/AUS) des Projektors 21 in der Form eines Pulses bzw. Impulses um, um den Betrieb des Projektors 21 mit der Impulsantriebsenergie des Verschlusses der Kamera 22 zu synchronisieren. Dies bedeutet, dass Licht von dem Projektor 21 projiziert bzw. ausgesendet wird, während eine Abbildung bzw. Bildgabe von der Kamera 22 ausgeführt wird.
Es ist anzumerken, dass der Ausdruck „Synchronisieren” nicht notwendigerweise ein exaktes Zusammenfallen bzw. eine exakte Koinzidenz zwischen dem Startzeitpunkt und dem Endzeitpunkt der Projektion mittels des Projektors 21, sowie dem Endzeitpunkt und dem Startzeitpunkt der Belichtung bzw. Aufnahme durch die Kamera 22 bedeutet. Genauer gesagt, weist die Projektion allgemein dann, wenn der Projektor 21 die Projektion von Licht implementiert bzw. ausführt, eine Zeitverzögerung zwischen dem Zeitpunkt eines Projektionsbefehls und dem Zeitpunkt auf, zu dem das projizierte bzw. ausgesandte Licht auf seinen Ziel- bzw. Sollwert angestiegen ist. Unter Berücksichtigung dieses Sachverhalts kann der Projektionsbefehl geringfügig früher als die Belichtungszeitsteuerung bzw. Belichtungszeitgabe verursacht bzw. ausgegeben werden. Zusätzlich weist die Projektion eine Zeitverzögerung auf, bevor das ausgesandte Licht auf seinen Sollwert abgesunken bzw. abgefallen ist. Die Projektion (Beleuchtung) kann daher nach dem Ende der Belichtung bzw. Aufnahme seitens der Kamera 22 noch andauern. Diese Fälle sind ebenfalls in dem Ausdruck „Synchronisieren” umfasst. Bei dem vorliegenden Ausführungsbeispiel wird die Projektion bzw. Lichtaussendung durch den Projektor 21 bereits vor der Belichtung bzw. Aufnahme durch die Kamera 22 begonnen, wie dies in 3 gezeigt ist. Die Endzeitgabe der Projektion bzw. Lichtaussendung seitens des Projektors 21 ist im Wesentlichen auf den gleichen Zeitpunkt wie die Endzeitsteuerung der Belichtung bzw. Aufnahme durch die Kamera 22 festgelegt. Daher ist der Projektionszyklus bzw. Lichtaussendezyklus T1 (Zeitperiode zwischen den Endzeitpunkten) des Projektors 21 im Wesentlichen auf die gleiche Zeitperiode wie der Projektionszyklus T1 der Kamera 22 festgelegt. Die Endzeitsteuerung bzw. der Endzeitpunkt der Projektion bzw. Lichtaussendung durch den Projektor 21 kann relativ zu der Endzeitsteuerung bzw. dem Endzeitpunkt der Belichtung bzw. Aufnahme seitens der Kamera 22 geringfügig verzögert sein. In einem speziellen Zustand kann die Projektionssteuereinheit 24 den Projektor 21 dazu veranlassen, Licht zu projizieren bzw. auszusenden, das nicht mit der Belichtungszeitsteuerung der Kamera 22 synchronisiert ist.
Die Kamera 22 weist einen Bildsensor wie beispielsweise einen CCD Bildsensor und/oder einen CMOS Bildsensor zum Abbilden der peripheren Region 10 des Fahrersitzes auf, zu der Licht von dem Projektor 21 projiziert bzw. ausgesandt wird. Die Kamera 22 ist an einer Position angebracht, die es der Kamera 22 ermöglicht, die periphere Region 10 des Fahrersitzes abzubilden. Genauer gesagt, kann die Kamera 22 an der oberen Oberfläche, d. h. an der Oberseite der Lenksäule des Lenkrads 35 angeordnet sein (siehe hierzu auch 1). Die Kamera 22 weist eine Linsenstruktur bzw. einen Objektivaufbau auf, die bzw. der dazu ausgelegt ist, eine Verschmierung bzw. Unschärfe („blur”) (verschwimmendes bzw. sich auflösendes bzw. unscharfes, nicht im Fokus befindliches Bild) in einer Abbildungsregion eines Objekts wie etwa des Gesichts eines Fahrers zu erzeugen, wenn sich das Objekt an die Kamera 22 (Projektor 21) so annähert, dass es näher ist als ein vorbestimmter Abstand. Im Folgenden wird ein Konzept eines Entwurfs der Linsenstruktur in Einzelheiten beschrieben.
2 zeigt eine Querschnittsansicht, in der schematisch die Linsenstruktur der Kamera 22 dargestellt ist. Wie in 2 gezeigt ist, weist die Linsenstruktur der Kamera 22 eine Linse bzw. ein Objektiv 221, eine Apertur bzw. Blendenöffnung 222, ein sichtbares Licht abschneidendes bzw. sperrendes Filter 223, einen Linsenfalter bzw. Linsenhalter 224, einen Bildsensor (Abbildungselement) 225, eine gedruckte Leiterplatte bzw. Druckschaltungsplatine 226 und/oder ähnliches auf. Die Linse 221 enthält eine Mehrzahl von Linsen. In dem vorliegenden Beispiel weist die Linse 221 zwei Linsen 221a und 221b auf. Die Apertur 222 ist zwischen den Linsen 221a und 221b angeordnet, um hierdurch das Lichtvolumen zu steuern, das in die Kamera 22 eintritt. Das sichtbare Licht sperrende Filter (Lichtfilter) 223 unterdrückt bzw. sperrt sichtbares Licht. Der Linsenhalter 224 hält die Linse 221 und ähnliches. Die gedruckte Leiterplatte 226 ist mit dem Bildsensor 225 verbaut bzw. mit diesem montiert. Die Linsenstruktur gemäß 2 stellt ein Beispiel dar, und es ist die Konfiguration im Einzelnen, wie etwa die Reihenfolge der Komponenten, nicht auf die Konfiguration gemäß 2 beschränkt.
Im Folgenden werden Überlegungen hinsichtlich der Tiefenschärfe bzw. Schärfentiefe angestellt, um hierdurch die Gestaltung der Linsenstruktur derart, dass eine Verschmierung bzw. Unschärfe in der Abbildungsregion des Objekts innerhalb des spezifischen Abstands bzw. innerhalb des speziellen Abstandsbereichs erzeugt wird, zu erläutern. Ein hyperfokaler Abstand ist als ein Abstand definiert, bei dem der unendliche Abstand bzw. die Unendlichkeitsentfernung kaum in dem rückseitigen Rand der Schärfentiefe enthalten ist, wenn ein Bildobjekt fokussiert ist. Als erstes wird der hyperfokale Abstand kalkuliert. Der hyperfokale Abstand H wird gemäß der nachfolgend angegebenen Gleichung 1 berechnet, wobei die fokale Länge bzw. Brennweite der Linse mit f bezeichnet ist, der Blendenwert der Linse mit N, und der Durchmesser des zulässigen Konfusionskreises bzw. Verschmierungs- oder Unschärfekreises mit c bezeichnet ist.
Nachfolgend werden das vordere Ende einer der Schärfentiefe bzw. das vordere Ende des Schärfentiefebereichs sowie das hintere Ende bzw. der hintere Rand der Schärfentiefe bzw. des Schärfentiefebereichs berechnet, wenn das sich in einer beliebigen Entfernung befindende Bildobjekt fokussiert ist. Das vordere Ende DN an der Schärfentiefe bzw. dem Schärfentiefebereich und das hintere Ende DF an der Schärfentiefe bzw. des Schärfentiefebereichs werden jeweils gemäß den nachfolgend angegebenen Gleichungen 2 und 3 berechnet, wobei die Entfernung des Bildobjekts mit s bezeichnet ist. D_F = s(H – f) / H + s – 2f (Gleichung 2) D_F = s(h – f) / H – s (Gleichung 3)
Die Gleichungen 1 bis 3 geben an: (i) je kürzer die Brennweite der Linse wird, desto tiefer bzw. größer wird die Schärfentiefe bzw. der Schärfentiefebereich; und (ii) je enger bzw. kleiner die Apertur bzw. Blende zur Erhöhung des F-Werts bzw. der Blendenzahl gemacht wird, desto tiefer bzw. breiter wird die Schärfentiefe bzw. der Schärfentiefebereich. Im Gegensatz zu dem vorstehend beschriebenen Fall kann daher die Linsenstruktur so gestaltet werden, dass die Schärfentiefe bzw. der Schärfentiefebereich kleiner wird, um hierdurch eine Verschmierung bzw. Unschärfe bei einem bestimmten Abstand zu erzeugen. Genauer gesagt, kann (1) der Blendenwert bzw. die Blendenzahl (F-Wert) der Linse klein ausgelegt werden, um die Blende zu öffnen. Zusätzlich oder alternativ hierzu kann (2) die Brennweite der Linsen verlängert werden. Genauer gesagt, kann hinsichtlich des Falls bzw. der Alternative (1) der F-Wert bzw. die Blendenzahl auf einen Wert festgelegt werden, der kleiner als oder gleich groß wie 2 ist. Wenn der Wert F bzw. die Blendenzahl kleiner wird, ergibt sich im Allgemeinen ein erwünschter Gesichtspunkt, nämlich die Möglichkeit zur Abbildung einer ausblühenden fotografischen Aufnahme. In diesem Fall ist jedoch die Gestaltung der Linse kompliziert, und er werden demzufolge die Herstellungskosten für die Linse hoch. Daher kann die Gestaltung derart, dass der Wert F kleiner wird, nicht praxisgerecht sein. In jedem Fall ist anzumerken, dass das Bild, das von der Kamera 22 aufgenommen wird, zum Zweck der Bildverarbeitung dient. Unter Berücksichtigung dieses Sachverhalts ist es nicht notwendig, eine große Anzahl von Linsen vorzubereiten, um hierdurch eine Aberration soweit wie möglich zu verringern. Damit kann der F-Wert bzw. die Blendenzahl mit relativ niedrigen Herstellungskosten verringert werden.
Die Linse (Brennweite) und die Apertur bzw. Blende werden somit in der vorstehend beschriebenen Weise kontrolliert, um hierdurch eine Fokuskurve bzw. Fokalkurve zu steuern. Genauer gesagt, ist es durch die Steuerung der Fokuskurve möglich, die Form der Vergrößerung hinsichtlich der Verschmierung in Abhängigkeit von einer Vergrößerung des Abstands zwischen dem Bildobjekt und einem Fokusbereich, in dem das Bildobjekt fokussiert ist, um den Fokusbereich herum zu steuern. Genauer gesagt, erlaubt es die Steuerung der Fokuskurve, die Form der Zunahme hinsichtlich der Verschmierung bzw. Unschärfe drastisch zu steuern, wenn es sich außerhalb des Fokusbereichs befindet, und/oder die Form derart zu steuern, dass sich die Verschmierung bzw. Unschärfe nicht stark erhöht, selbst wenn es sich außerhalb des Fokusbereichs befindet. Bei dem vorliegenden Ausführungsbeispiel ist mit „Nachbarschaft bzw. Nahbereich zu dem Projektor 21” ein Fall bezeichnet, bei dem sich das Gesicht eines Benutzers der Kamera 22 (dem Projektor 21) mit einem Abstand annähert, der kleiner als oder gleich groß wie ungefähr 20 cm ist. Die Linse 221 und die Apertur 222 (2) sind daher derart ausgelegt, dass eine Verschmierung auftreten kann, wenn sich das Objekt bis zu einer Entfernung annähert, die kleiner als oder gleich groß wie ungefähr 20 cm ist.
14 zeigt eine erläuternde Darstellung, in der eine Beziehung zwischen dem Bild-Objekt-Abstand und einer Modulationsübertragungsfunktion (MTF = Modulation Transfer Function) dargestellt ist. Die Modulationsübertragungsfunktion MTF ist ein Index, der das Ausmaß der Verschmierung bzw. Unschärfe eines Bilds repräsentiert und der die Performance bzw. das Leistungsvermögen des Systems (Fotoakzeptanzeinheit) repräsentiert, das zum Übertragen des Bildsignals ausgelegt ist. Wenn ein Bild eine Verschmierung bzw. Unschärfe verursacht, gehen Informationen bezüglich der Region mit hoher Raumfrequenz in dem Bild verloren. Demzufolge ruft der Umriss der Region mit hoher Raumfrequenz bzw. der Bereich außerhalb dieser Region mit hoher Raumfrequenz eine Verschmierung bzw. Unschärfe hervor und wird unklar bzw. undeutlich.
Wenn das Ausmaß der Verschmierung bzw. Unschärfe groß ist, verringert sich die Modulationsübertragungsfunktion in der entsprechenden Frequenzregion, und es nimmt demzufolge die Übertragungseigenschaft bzw. Übertragungsfähigkeit ab. Unter Berücksichtigung dieses Sachverhalts kann, unähnlich zu der vorstehend beschriebenen Methode, die optische Gestaltung derart implementiert sein, dass sich die Modulationsübertragungsfunktion MTF in einer speziellen Region verringert, um hierdurch die Linsenkonfiguration derart auszulegen, dass eine Verschmierung (Verschwimmen) in der speziellen Region hervorgerufen wird. Wie in 14 dargestellt wird, ändert sich die Modulationsübertragungsfunktion MTF (Ausmaß der Verschmierung bzw. Unschärfe) bei einer Änderung der Temperatur. Daher kann die Temperatur der Linse bzw. des Objektivs abgetastet oder abgefragt werden, um hierdurch Temperaturinformationen bezüglich der Linse zu gewinnen, und es kann sich die Bestimmungs- bzw. Ermittlungsbedingung, ob sich der Fahrer annähert, in Abhängigkeit von der gewonnenen Temperaturinformation geändert werden. Auf diese Weise kann der Abstand des Objekts bzw. zu dem Objekt mit ausreichender Genauigkeit detektiert werden.
Unter Bezugnahme auf 1 wird die Kamera 22 durch die Abbildungssteuereinheit 23 gesteuert. Die Abbildungssteuereinheit 23 ist dazu ausgelegt, eine Belichtungssteuerung der Kamera 22 zu realisieren, um hierdurch die Verstärkung, die Verschlussgeschwindigkeit und/oder ähnliches zu steuern, um hierdurch das Gesicht des Fahrers in Abhängigkeit von den Abbildungsbedingungen optimal abzubilden bzw. darzustellen. Wie vorstehend unter Bezugnahme auf 3 erläutert ist, ist die Abbildungssteuereinheit 23 dazu ausgelegt, eine Impulsansteuerung des Verschlusses der Kamera 22 zu bewirken, so dass sie die Belichtungszeitgabe bzw. Belichtungszeitsteuerung der Kamera 22 in einer Impulsform bzw. Pulsform vorlegt. Der Zyklus T1 des Pulses bzw. Impulses schließt das Ansteuerungs- bzw. Antriebsintervall des Verschlusses und das Belichtungsintervall des Verschlusses ein. Der Zyklus T1 ist so festgelegt, dass es möglich ist, beispielsweise 30 Rahmen bzw. Aufnahmen eines fotografischen Bilds in einer Sekunde zu erhalten. Die Abbildungssteuereinheit 23 erhöht und verringert die Belichtungszeit, in der sich der Verschluss öffnet, in Abhängigkeit von dem abzubildenden Objekt beliebig.
Das fotografische Bild, das von der Kamera 22 aufgenommen wird, wird zu der Bildverarbeitungseinheit 25 gesendet bzw. geleitet. Die Bildverarbeitungseinheit 25 realisiert eine vorbestimmte Bildverarbeitung bezüglich des empfangenen fotografischen Bilds, um hierdurch aus dem fotografischen Bild eine Gesichtsregion zu detektieren, die dem Gesicht des Fahrers entspricht. Genauer gesagt, speichert die Bildverarbeitungseinheit 25 eine charakteristische Quantität bzw. eine charakteristische Eigenschaft vorab. Die charakteristische Quantität bzw. Menge ist beispielsweise ein Wert, der ein Charakteristikum jeder Komponente eines menschlichen Gesichts wie etwa von Augen, einer Nase und/oder ähnlichem widerspiegelt.
Noch genauer gesagt, ist die charakteristische Quantität bzw. Größe eine Forminformation, eine Helligkeitsinformation und/oder ähnliches bezüglich jeder Komponente eines menschlichen Gesichts. Die Bildverarbeitungseinheit 25 führt weiterhin beispielsweise eine Anpassungs- bzw. Übereinstimmungsverarbeitung zwischen der charakteristischen Quantität bzw. Größe, die vorab gespeichert ist, und der charakteristischen Quantität bzw. Größe einer entsprechenden Region in dem fotografischen Bild durch. Hierdurch erfasst die Bildverarbeitungseinheit 25 die Gesichtsregion. Es ist anzumerken, dass die Bildverarbeitungseinheit 25 eventuell nicht im Stande sein kann, die Gesichtsregion zu detektieren, und zwar in Abhängigkeit von dem Zustand des fotografischen Bilds, selbst wenn sich das Gesicht des Fahrers in dem fotografischen Bild befindet. Ferner ist die Bildverarbeitungseinheit 25 natürlich nicht im Stande, die Gesichtsregion zu erfassen, wenn sich das Gesicht des Fahrers nicht in dem fotografischen Bild befindet.
Die Bildverarbeitungseinheit 25 ist weiterhin dazu ausgelegt, eine Hintergrundregion zusätzlich zu der Gesichtsregion zu erfassen. Die Hintergrundregion entspricht Strukturen (Fahrzeugkomponenten) des Fahrzeugs, die in dem fotografischen Bild enthalten sind, wie etwa eine Säule, ein Fensterrahmen, eine Kopfstütze, ein Blatt bzw. Bezug (sheet), eine Decke bzw. Himmel und/oder ähnliches. Genauer gesagt, speichert die Bildverarbeitungseinheit 25 beispielsweise eine charakteristische Quantität bzw. Größe einer Fahrzeugstruktur vorab, ähnlich wie bei der Gesichtsregion. Die charakteristische Größe einer Fahrzeugstruktur spiegelt das Merkmal der Fahrzeugstruktur wie etwa die Forminformation, die Helligkeitsinformation und/oder ähnliches bezüglich der Fahrzeugstruktur wider. Die Bildverarbeitungseinheit führt weiterhin beispielsweise eine Anpassungs- bzw. Übereinstimmungsverarbeitung zwischen der charakteristischen Größe in der Hintergrundregion, die vorab gespeichert ist, und der charakteristischen Größe einer entsprechenden Region in dem fotografischen Bild durch. Hierdurch erfasst die Bildverarbeitungseinheit 25 die Hintergrundregion. Es ist anzumerken, dass die Bildverarbeitungseinheit 25 im Stande ist, die Hintergrundregion in Abhängigkeit von der Differenz zwischen dem bzw. einem Merkmal der Hintergrundregion und dem Merkmal von anderen Regionen wie etwa von der Gesichtsregion oder einer Szenerie-Region bzw. Panorama-Region zu detektieren. In diesem Fall muss die Bildverarbeitungseinheit 25 die charakteristische Größe der Hintergrundregion nicht vorab speichern. Es ist weiterhin anzumerken, dass Fahrzeugstrukturen, wie etwa ein Blatt bzw. eine Bahn bzw. ein Bezug und eine Kopfstütze in Abhängigkeit von einer Betätigung seitens des Benutzers bewegbar sind. Zudem ist auch die Lenksäule, die mit der Kamera 22 bei dem vorliegenden System verbunden ist, in Abhängigkeit von einer Betätigung seitens des Benutzers beweglich. Unter Berücksichtigung dieses Sachverhalts sind die relativen Positionen zwischen der Kamera 22 und den Fahrzeugstrukturen in dem Fahrzeug variabel, wobei das vorliegende System dazu ausgelegt sein kann, die relativen Positionen bzw. Relativpositionen zu kompensieren (korrigieren).
Die Information bezüglich der Gesichtsregion, die durch die Bildverarbeitungseinheit 25 erfasst ist, wird zu den verschiedenen Systemen 107 übertragen. Die verschiedenen Systeme 107 können ein System zum Vermeiden eines schläfrigen Fahrens und eines unaufmerksamen Fahrens (Gesichtsstarre bzw. starrer Blick), ein System zum Detektieren einer Augenstarre bzw. eines starren Blicks des Fahrers und/oder ähnliches umfassen. Die verschiedenen Systeme 107 erfassen je nach Bedarf die Richtung bzw. Orientierung des Gesichts des Fahrers, die Öffnung der Augen und/oder erfassen eine Augenstarre bzw. einen starren Blick in Abhängigkeit von den empfangenen Informationen bezüglich der Gesichtsregion. Folglich realisiert das vorliegende System eine Verarbeitung für eine Warnung und/oder ähnlichem je nach Bedarf.
Die Projektionsbestimmungseinheit 27 ist dazu ausgelegt, zu ermitteln, ob sich das Gesicht des Fahrers dem Projektor 21 annähert. Wenn die Projektionsbestimmungseinheit 27 bestimmt bzw. ermittelt, dass sich das Gesicht des Fahrers dem Projektor 21 annähert, beendet der Projektor 21 die Aussendung von Licht oder dimmt das Licht. Die Verarbeitung wird im weiteren Text beschrieben. Die Projektionsbestimmungseinheit 27 ist dazu ausgelegt, dass fotografische Bild, das von der Kamera 22 aufgenommen ist, und das Erkennungsergebnis der Bildverarbeitungseinheit 25 zu empfangen bzw. aufzunehmen. Jede der vorstehend beschriebenen Verarbeitungseinheiten 23 bis 27 ist als eine Funktion eines Mikrocomputers ausgelegt bzw. ausgebildet, der eine Zentraleinheit CPU, einen Festwertspeicher ROM, einen Direktzugriffsspeicher RAM und/oder ähnliches aufweist. Die Zentraleinheit CPU führt ein Steuerprogramm, das vorab in dem Festwertspeicher ROM gespeichert ist, um eine Verarbeitung zu implementieren bzw. realisieren, durch die die Funktion von jeder der Verarbeitungseinheiten 23 bis 27 erzeugt werden kann.
Der Lenkwinkelsensor 28 dient dazu, die Betätigungsmenge bzw. Betätigungsgröße (Drehwinkel) des Lenkrads 35 zu erfassen. Der Lenkwinkelsensor 28 weist einen Drehwinkelerfassungssensor, wie etwa einen Drehmelder bzw. Drehwinkelauflöser („resolver”) auf. Die Projektionsbestimmungseinheit 27 ist dazu ausgelegt, das Signal zu empfangen bzw. aufzunehmen, das die Betätigungsgröße des Lenkrads 35 repräsentiert, die von dem Drehwinkelsensor 28 detektiert worden ist.
Im Folgenden wir eine Nähe- bzw. Nahbereichs-Erfassungsverarbeitung im Einzelnen beschrieben, die Nahbereichs-Erfassungsverarbeitung dient dazu, zu ermitteln, ob sich das Gesicht des Fahrers dem Projektor 21 annähert, und den Projektor 21 zur Beendigung der Aussendung von Licht oder zum Dimmen bzw. Abschwächen des Lichts auf die Ermittlung hin zu veranlassen, dass sich das Gesicht des Fahrers dem Projektor 21 annähert. 4 zeigt ein Ablaufdiagramm, das die Nahbereichs-Erfassungsverarbeitung veranschaulicht. Die Nahbereichs-Erfassungsverarbeitung gemäß 4 wird durch das Fahrerüberwachungssystem 1 insgesamt implementiert bzw. ausgeführt. Die Nahbereichs-Erfassungsverarbeitung gemäß 4 wird als Reaktion auf eine Aktivierung des Fahrerüberwachungssystems 1 gestartet, und, genauer gesagt, als Reaktion auf das Anlassen des Motors bzw. der Maschine des Fahrzeugs. Im Anschluss hieran wird die Nahbereichs-Erfassungsverarbeitung wiederholt mit einer Abbildungszeitgabe (Belichtungszeitgabe) der Kamera 22 ausgeführt.
Als erstes legt die Projektionssteuereinheit 24 eine Lichtprojektionsbedingung bzw. Lichtaussendebedingung für die Projektion bzw. Aussendung von Licht von dem Projektor 21 fest (Schritt S11). Die Lichtprojektionsbedingung kann beispielsweise die Stärke des Lichts, die Projektionszeitgabe bzw. Projektionszeitsteuerung des Lichts und/oder ähnliches enthalten. Genauer gesagt, wird zum ersten Zeitpunkt unmittelbar nach der Aktivierung des Systems 1 eine als Vorgabe bereitgestellte vorgegebene Lichtprojektionsbedingung festgelegt, und es wird im Anschluss die Lichtprojektionsbedingung unter Berücksichtigung beispielsweise des vorhergehenden fotografischen Bilds der Kamera 22 festgelegt (Schritt S11). Die Projektionssteuereinheit 24 veranlasst den Projektor 21 zur Aussendung von Licht in Abhängigkeit von Lichtprojektionsbedingung, die festgelegt worden ist (Schritt S11). Nachfolgend legt die Abbildungssteuereinheit 23 die Belichtungsbedingung bzw. Belichtungskondition der Kamera 22 wie etwa die Verstärkung, die Belichtungszeit und die Belichtungszeitsteuerung bzw. Belichtungszeitgabe fest (Schritt S12). Genauer gesagt, wird bei dem ersten Mal unmittelbar nach der Aktivierung des Systems 1 eine als Vorgabe vorgesehene vorgegebene Belichtungsbedingung festgelegt, und es wird nachfolgend die Belichtungsbedingung unter Berücksichtigung beispielsweise der vorhergehenden fotografischen Aufnahme der Kamera 22 festgelegt (Schritt S12).
Nachfolgend veranlasst die Abbildungssteuereinheit 23 die Kamera 22 zur Abbildung der peripheren Region 10 des Fahrersitzes (Schritt S13). In den 5A bis 5D ist ein Beispiel des fotografischen Bilds gezeigt, das bei dem Schritt S13 aufgenommen worden ist. Genauer gesagt, ist in 5A ein Beispiel eines fotografischen Bilds 300 dargestellt, bei dem sich das Gesicht des Fahrers dem Projektor 21 nicht angenähert hat. In der Situation gemäß 5A befindet sich also das Gesicht des Fahrers an der Position P1, die von dem Projektor 21 beabstandet ist (siehe 1). 5B zeigt ein Beispiel eines fotografischen Bilds 400, bei dem sich das Gesicht des Fahrers dem Projektor 21 angenähert hat. Dies bedeutet, dass das Gesicht des Fahrers bei der Bedingung bzw. Situation gemäß 5B an der Position P2 angeordnet ist, die sich nahe bei dem Projektor 21 befindet (siehe 1). In 5C ist eine Liniendarstellung gezeigt, die der 5A entspricht. 5D zeigt eine Linienzeichnung, die der 5B entspricht. In den 5B bis 5D sind Äquivalente bzw. einander entsprechende Teile wie diejenigen gemäß 5A mit den entsprechenden, gleichen Bezugszahlen bezeichnet.
Wie in 5A (5C) dargestellt ist, befindet sich das fotografische Bild 300 visuell im Fokus, wenn sich das Gesicht des Fahrers dem Projektor 21 nicht angenähert hat. Das fotografische Bild 300 schließt eine Gesichtsregion 301 ein, die dem Gesicht des Fahrers entspricht. Die Gesichtsregion 301 weist Regionen auf, die jeweils den Komponenten des Gesichts entsprechen. Genauer gesagt, umfasst die Gesichtsregion 301 eine Außenlinie bzw. einen Umriss 301a, die bzw. der dem Umriss des Gesichts des Fahrers entspricht, eine Augenregion 301b, die den Augen entspricht, eine Nasenregion 301c, die einer Nase entspricht, eine Mundregion 301d, die einem Mund entspricht, und/oder ähnliches. Das fotografische Bild 300 umfasst weiterhin Hintergrundregionen, die den Fahrzeugstrukturen entsprechen. Genauer gesagt, weist das fotografische Bild eine B-Säule-Region 302, die einer B-Säule des Fahrzeugs entspricht, eine Himmelregion 303, die dem Himmel des Fahrzeugs entspricht, eine Fensterrahmenregion 304, die einem Fensterrahmen des Fahrzeugs entspricht, und/oder ähnliches auf.
Im Gegensatz hierzu ist in 5B (5D) das Gesicht des Fahrers dargestellt, das sich dem Projektor 21 annähert bzw. angenähert hat. In diesem Fall weist das fotografische Bild 400 eine Gesichtsregion 401 auf, die dem Gesicht des Fahrers entspricht. Es ist anzumerken, dass in der Gesichtsregion 401 gemäß 5B (5D) eine Verschmierung bzw. Unschärfe auftritt. Die Gesichtsregion 401 umfasst Regionen, die jeweils Komponenten des Gesichts entsprechen. In dem Zustand gemäß 5B (5B) tritt eine Verschmierung bzw. Unschärfe jeweils bei einem Umriss bzw. einer Außenlinie 401a, die der Außenlinie bzw. dem Umriss des Gesichts des Fahrers entspricht, einer Augenregion 401b, die den Augen entspricht, einer Nasenregion 401c, die einer Nase entspricht, einer Mundregion 401d, die einem Mund entspricht, und/oder ähnlichem auf. Dies bedeutet, dass die Verschmierung bzw. Unschärfe die Schärfe der Kanten bzw. Ränder jeder Region abschwächt. Das fotografische Bild 400 schließt weiterhin Hintergrundregionen wie etwa die Region 202 der B-Säule, die der B-Säule des Fahrzeugs entspricht, die Himmelregion 303, die dem Himmel des Fahrzeugs entspricht, die Fensterrahmenregion 304, die dem Fensterrahmen des Fahrzeugs entspricht, und/oder ähnliches ein. Die Fahrzeugstrukturen sind relativ zu dem Projektor 21 (Kamera 22) unbeweglich. Daher sind die Hintergrundregionen in 5B (5D) die gleichen wie die Hintergrundregionen in 5A (5C). Es ist anzumerken, dass die optimalen Belichtungsbedingungen für das Gesicht sich zwischen 5A (5C) und 5B (5D) unterscheiden. Selbst wenn sich die Positionen der Hintergrundregionen nicht ändern, unterscheiden sich deshalb dennoch die Pixelwerte bzw. Bildelementwerte jeweils zwischen diesen Bildern. Die Kamera 22 ist mit einem sichtbares Licht abschneidenden bzw. sperrenden Filter 223 (2) ausgestattet, und es sind daher die fotografischen Bilder 300 und 400 jeweils Bilder mit schwarz und weiß bzw. Schwarzweißbilder. In den nachfolgenden Erläuterungen stellen die fotografischen Bilder 300 und 400 ein Objekt bzw. den Gegenstand der Verarbeitung gemäß 4 zur Erfassung der Nachbarschaft bzw. Nähe bzw. Annäherung.
Das fotografische Bild, das bei dem Schritt S13 aufgenommen ist, wird zu der Bildverarbeitungseinheit 25 gesendet bzw. geleitet. Nachfolgend implementiert die Bildverarbeitungseinheit 25 eine Erkennungsverarbeitung um zu versuchen, die Gesichtsregion, die dem Gesicht des Fahrers entspricht, in dem fotografischen Bild zu detektieren, oder die Hintergrundregion, die der Fahrzeugstruktur entspricht, in dem fotografischen Bild zu erfassen (Schritt S14). Genauer gesagt, implementiert die Bildverarbeitungseinheit 25, wie vorstehend beschrieben, beispielsweise eine Anpassungsverarbeitung bzw. Übereinstimmungsverarbeitung zwischen der charakteristischen Größe jeder Komponente, die vorab zugeordnet ist, und der charakteristischen Größe von jeder Region in dem fotografischen Bild, um hierdurch zu versuchen, jede Region zu erfassen. Bei dem Beispiel gemäß den fotografischen Bildern 300 und 400 der 5A (5C) und der 5B (5D) führt die Bildverarbeitungseinheit 25 eine Erkennungsverarbeitung aus, um die Gesichtsregionen 301 und 401, die Region 302 der B-Säule, die Himmelregion 303 und die Fensterrahmenregion 304 als die Hintergrundregionen zu erfassen (Schritt S14). Das bei der Erkennungsverarbeitung erhaltene Erkennungsergebnis wird zu der Projektionsbestimmungseinheit 27 gesendet bzw. geleitet. Das Erkennungsergebnis kann Informationen dahingehend, ob die Erkennung erfolgreich ist bzw. war, und Informationen bezüglich jeder erfassten Region enthalten, wenn die Erkennung erfolgreich war bzw. ist. Das fotografische Bild wird auch zu der Projektionsbestimmungseinheit 27 unabhängig davon gesendet bzw. geleitet, ob die Erkennung erfolgreich war oder nicht.
Bei dem Schritt S14 enthält das fotografische Bild 300 gemäß 5A (5C) die Gesichtsregion 301 ohne eine Verschmierung bzw. Unschärfe. Es ist anzumerken, dass die Bildverarbeitungseinheit 25 in Abhängigkeit von einer jeweiligen Bedingung oder den jeweiligen Umständen eventuell nicht im Stande sein kann, die Gesichtsregion 301 zu erfassen. Genauer gesagt, kann die Bildverarbeitungseinheit 25 eventuell nicht im Stande sein, die Gesichtsregion 301 zu erfassen, und zwar beispielsweise in einem Fall, bei dem die Gesichtsregion 301 in dem vorherigen fotografischen Bild 300 nicht enthalten ist, und die Gesichtsregion 301 plötzlich in dem fotografischen Bild 300 auftritt. Da die Gesichtsregion 401 gemäß 5B (5D) verschwommen bzw. unscharf ist, kann zudem davon ausgegangen werden, dass die Gesichtsregion 401 im Allgemeinen nicht detektiert werden kann. Dennoch kann beispielsweise in einem Fall, bei dem sich das Gesicht des Fahrers an den Projektor 21 mit einem Abstand von ungefähr 20 cm zu dem Projektor 21 annähert, das Ausmaß der Unschärfe bzw. Verschwommenheit der Gesichtsregion 401 weiterhin klein sein. In einem solchen Fall kann die Bildverarbeitungseinheit 25 eventuell im Stande sein, die Gesichtsregion 401 zu detektieren. In der nachfolgenden Beschreibung wird davon ausgegangen, dass die Bildverarbeitungseinheit 25 im Stande ist, die Gesichtsregionen 301 und 401 anhand der fotografischen Bilder 300 und 400 gemäß 5 zu erfassen.
Nachfolgend bestimmt bzw. ermittelt die Projektionsbestimmungseinheit 27, ob die Gesichtsregion in dem fotografischen Bild enthalten ist, und zwar in Abhängigkeit von dem Erkennungsergebnis, das von der Bildverarbeitungseinheit 25 zugeführt wird (Schritt S15). Wenn die Erkennung erfolgreich ist (Antwort „JA” in dem Schritt S15), schreitet die Verarbeitung zu dem Schritt S16 weiter. Bei dem Schritt S16 führt die Projektionsbestimmungseinheit 27 eine vorbestimmte Kanten- bzw. Randverarbeitung bezüglich des fotografischen Bilds aus, um die Kante bzw. den Rand zu extrahieren, die bzw. der in dem fotografischen Bild enthalten ist (Schritt S16). Genauer gesagt, wird die Kantenverarbeitung dadurch implementiert bzw. realisiert, dass das fotografische Bild unter Verwendung eines Sobel-Filters gefiltert wird (Schritt S16). In 6A ist ein Sobel-Bild 310 gezeigt, das dadurch erhalten worden ist, dass das fotografische Bild 300 gemäß 5A (5C) mittels des Sobel-Filters gefiltert ist. Noch genauer gesagt, stellt das Sobel-Bild 310 gemäß 6A ein seitliches bzw. laterales Sobel-Bild dar, das durch Filtern des fotografischen Bilds 300 gemäß 5A (5C) mittels des Sobel-Filters erhalten worden ist, um hierbei die Kante bzw. den Rand in der lateralen bzw. seitlichen Richtung zu erhalten. In ähnlicher Weise zeigt die 6B ein laterales bzw. seitliches Sobel-Bild 410, das durch Filtern des fotografischen Bilds 400 gemäß 5B (5D) erhalten worden ist. 6C zeigt eine Linienzeichnung bzw. Liniendarstellung, die der 6A entspricht. 6D zeigt eine Linienzeichnung bzw. Liniendarstellung, die der 6B entspricht. In den 6B bis 6D sind gleichartige Teile wie diejenigen gemäß 6A mit den gleichen Bezugszahlen versehen.
Wie in 6A (6C) und 6B (6D) gezeigt ist, sind die jeweiligen Kanten- bzw. Randlinien, die jeder Kante entsprechen, die in den fotografischen Bildern 300 und 400 enthalten sind, in den lateralen Sobel-Bildern 310 und 410 extrahiert und betont bzw. hervorgehoben. Genauer gesagt, enthält das laterale Sobel-Bild 310 gemäß 6A (6C) eine Region 311 (Gesichtsregion), die der Gesichtsregion 301 in 5A (5C) entspricht. Die Gesichtsregion 311 enthält Kanten bzw. Ränder, die den Regionen in 5A (5C) entsprechen. Genauer gesagt, enthält die Gesichtsregion 311 eine Kante bzw. einen Rand 311a, der der Außenlinie bzw. dem Umriss 301a der Gesichtsregion 301 entspricht, eine Kante bzw. einen Rand 311b, der der Augenregion 301b entspricht, eine Kante bzw. einen Rand 311c, der der Nasenregion 301c entspricht, und eine Kante bzw. einen Rand 311d, der der Mundregion 301d entspricht. Das laterale Sobel-Bild 310 weist ferner Regionen auf, die den Hintergrundregionen in 5A (5C) entsprechen. Genauer gesagt, enthält das laterale Sobel-Bild 310 eine Region 312, die der Region 302 der B-Säule entspricht, eine Region 313, die der Himmelregion 303 entspricht, und eine Region 314, die der Fensterrahmenregion 304 entspricht. Zusätzlich weist die Region 312 der B-Säule gemäß 6A (6C) eine Kante bzw. einen Rand 312a der B-Säule auf, und es enthält die Fensterrahmenregion 314 eine Kante bzw. einen Rand 314a des Fensterrahmens.
Im Gegensatz hierzu enthält das laterale Sobel-Bild 410 gemäß 6B (6D) eine Region 411, die der Gesichtsregion 401 in 5B (5D) entspricht. Dessen ungeachtet kann die Gesichtsregion 411 in 6B (6D) kaum detektiert werden. Dies bedeutet, dass die Schärfe der Ränder der Gesichtsregion 411 im Vergleich mit der Kanten- bzw. Randschärfe der Gesichtsregion 311 in 6A (6C) abgeschwächte bzw. verringert ist. Das laterale Sobel-Bild 410 enthält weiterhin Hintergrundregionen, wie etwa die Region 312 der B-Säule, die der B-Säule des Fahrzeugs entspricht, die Himmelregion 313, die dem Himmel bzw. Dachbereich des Fahrzeugs entspricht, die Fensterrahmenregion 314, die dem Fensterrahmen des Fahrzeugs entspricht, oder ähnliches. Die Hintergrundregionen gemäß 6B (6D) sind die gleichen wie die Hintergrundregionen in 6A (6C). es ist anzumerken, dass das fotografische Bild bei dem Schritt S16 mittels eines Sobel-Filters gefiltert werden kann, um die Kante bzw. den Rand des fotografischen Bilds in der vertikalen Richtung zu erfassen und/oder es kann das fotografische Bild mittels eines Sobel-Filters gefiltert werden, um die Ränder bzw. Kanten in einer schrägen Richtung zu detektieren, und zwar zusätzlich zu oder alternativ zu dem lateralen Sobel-Bild. In dieser Weise können Sobel-Bilder erhalten werden, bei denen Kanten bzw. Ränder in verschiedenen Richtungen extrahiert sind.
Als nächstes extrahiert die Projektionsbestimmungseinheit 27 Kanten- bzw. Randinformationen E1 aus dem Sobel-Bild (Schritt S17). Die Rand- bzw. Kanteninformationen E1 spiegelt das Merkmal einer Kante bzw. eines Rands der Gesichtsregion in der Region des Sobel-Bilds wider, das bei dem Schritt S16 erhalten wurde. Bei dem Schritt S17 kann an Stelle der Gesichtsregion, die durch die Bildverarbeitungseinheit 25 erfasst worden ist, eine Region (unfixierte bzw. nicht festgelegte Region), die eine andere Region als bekannte Hintergrundregionen ist, als eine Gesichtsregion festgelegt werden bzw. sein. In den Fällen der lateralen Sobel-Bilder 310 und 410 gemäß 6A (6C) und 6B (6D) werden die Kanten- bzw. Randinformationen E1 aus Regionen (Gesichtsregionen 311 und 411) extrahiert, die andere Regionen sind als die Hintergrundregionen einschließlich der Region 312 der B-Säule, der Himmelregion 313 und der Fensterrahmenregion 314.
Genauer gesagt, wird die Kanten- bzw. Randinformation E1, die die Helligkeitsänderung in der Gesichtsregion repräsentiert, extrahiert, d. h. herausgegriffen (Schritt S17). In den lateralen Sobel-Bildern 310 und 410 der 6A (6C) sowie der 6B (6D) ist der Rand bzw. die Kante in der lateralen, d. h. seitlichen Richtung betont d. h. hervorgehoben. In diesem Fall wird daher die Änderung der Helligkeit zwischen den Bildelementen (Pixeln) herausgegriffen, die in der vertikalen Richtung angeordnet sind. 7A zeigt eine Linie 60, die die Änderung in dem Pixelwert bzw. die Änderungen der Pixelwerte entlang eines Pfeils 51 in 6A (6C) veranschaulicht. Die Linie 60 ist gleichwertig wie die Rand- bzw. Kanteninformationen E1 in der Gesichtsregion. 7B zeigt eine Linie 80 (Kanten- bzw. Randinformation E1), die die Änderung des Pixelwerts bzw. der Pixelwerte entlang des Pfeils 51 in 6B (6D) repräsentiert. Der Pfeil 51 in 6B (6D) ist an der gleichen Position wie die Position des Pfeils 51 in 6A (6C) gezeichnet.
Wie in 7A dargestellt ist, variiert die Änderung der Helligkeit, die durch die Linie 60 repräsentiert ist, in einer Region 61 in 7A in starkem Ausmaß. Genauer gesagt, ist die Amplitude der Linie 60, die die Differenz zwischen dem maximalen Pixelwert und dem minimalen Pixelwert darstellt, in der Region 61 (Rand- bzw. Kantenperipherie) groß, und es ist auch die Neigung bzw. Steigung der Linie 60 in der Region 61 ebenfalls groß. Die Tendenz der Linie 60 tritt auf diese Weise auf, da der Pixelwert bzw. die Pixelwerte in der Region 61 dem Pixelwert bzw. den Pixelwerten in der Kante bzw. dem Rand 311b der Augenregion in 6A (6C) entsprechen. Die Amplitude und die Neigung der Linie 60 spiegeln das Merkmal (Kantenschärfe) der Kante bzw. des Rands in der Gesichtsregion 311 wider. Im Gegensatz hierzu ist die Amplitude und die Neigung der Linie 80, d. h. die Änderung in der Linie 80, kleiner als diejenige der Linie 60 in 7A, auch wenn sich die Linie 80 gemäß 7B in einer Region 81 ändert, die dem Rand bzw. der Kante der Augenregion entspricht. Die Tendenz der Linie 80 tritt in dieser Weise auf, da die Kantenschärfe in der Gesichtsregion 411 abgeschwächt bzw. verringert ist.
Bei der vorstehenden Beschreibung ist die Helligkeitsänderung E1 entlang des Pfeils 51 in 6A (6C) und 6B (6D) als Beispiel gegeben. Es ist anzumerken, dass die Helligkeitsänderung E1 in dem Pixelwert bzw. den Pixelwerten bei dem Schritt S17 in der gesamten Gesichtsregion extrahiert, bzw. herausgegriffen werden kann. In der vorstehenden Beschreibung ist die Helligkeitsänderung E1 in den Gesichtsregionen 311 und 411 bei den lateralen bzw. seitlichen Sobel-Bildern 310 und 410 als Beispiel dargestellt. Es ist anzumerken, dass die Helligkeitsänderung E1 in der Gesichtsregion bei dem Schritt S17 aus Sobel-Bildern in unterschiedlichen Richtungen wie etwa einem vertikalen Sobel-Bild und einem schrägen Sobel-Bild extrahiert werden kann. In diesem Fall kann die Helligkeitsänderung E1 in einer Richtung, die rechtwinklig zu der Filterungsrichtung des Sobel-Filters verläuft, extrahiert werden. Genauer gesagt, kann die Helligkeitsänderung E1 entlang der lateralen Richtung aus dem vertikalen Sobel-Bild extrahiert werden.
Nachfolgend greift die Projektionsbestimmungseinheit 27 eine Kanten bzw. Randinformation E2 aus dem Sobel-Bild heraus (Schritt S18). Die Kanteninformation E2 spiegelt das Merkmal der Kante bzw. des Rands der Hintergrundregion in der Region des Sobel-Bilds wider, das bei dem Schritt S16 erhalten worden ist. Genauer gesagt, wird die Änderung der Helligkeit in der Hintergrundregion als die Kanten- bzw. Randinformation E2 extrahiert, und zwar gleichartig bzw. ähnlich wie die Kanten- bzw. Randinformation E1 in der Gesichtsregion, die bei dem Schritt S17 extrahiert wird, wie dies vorstehend beschrieben ist. Das Verfahren zum Extrahieren, d. h. Herausgreifen der Kanten- oder Randinformation E2 ist das gleiche wie das Verfahren, das bei dem Schritt S17 beschrieben ist. 7C zeigt eine Linie 70, die die Änderung in dem Pixelwert bzw. den Pixelwerten entlang eines Pfeils 52 in 6A (6C) und 6B (6D) repräsentiert. Die Linie 70 ist gleichwertig (äquivalent) wie die Kanten- bzw. Randinformation E2 in der Hintergrundregion. Der Pfeil 52 erstreckt sich in den lateralen Sobel-Bildern 310 und 410 derart, dass er durch die Kante bzw. den Rand 314a in der Fensterrahmenregion 314 sowie durch die Kante bzw. den Rand 312a in der Region 312 der B-Säule verläuft. Die Linie 70 ändert sich daher in großem Ausmaß um die Kanten bzw. Ränder 314a und 312a herum. Genauer gesagt, ändert sich die Amplitude und die Neigung der Linie 70 in 7C in einer Region 71 in großem Ausmaß, die der Kante bzw. dem Rand 314a in der Fensterrahmenregion 314 entspricht, sowie in einer Region 72, die der Kante bzw. dem Rand 312a in der Region 312 der B-Säule entspricht. Die Amplitude und die Neigung der Linie 70 spiegeln das Merkmal (Rand- bzw. Kantenschärfe) der Kante bzw. des Rands in der Hintergrundregion einschließlich der Fensterrahmenregion 314 und der Region 312 der B-Säule wider.
Ähnlich wie bei dem Schritt S17 kann die Helligkeitsänderung E2 in allen bekannten Hintergrundregionen bei dem Schritt S18 extrahiert werden. Zusätzlich kann die Helligkeitsänderung E2 in der Hintergrundregion aus jedem der Sobel-Bilder in unterschiedliche Richtungen extrahiert werden.
Nachfolgend vergleicht die Projektionsbestimmungseinheit 27 die extrahierte Rand- bzw. Kanteninformation E1 mit der Rand- bzw. Kanteninformation E2 in der keine Verschwommenheit bzw. keine Unschärfe aufweisenden Hintergrundregion (Schritt S19), um zu bestimmen bzw. ermitteln, ob die Kanten- bzw. Randinformation E1 (Helligkeitsänderung) in der Gesichtsregion, die bei dem Schritt S17 extrahiert worden ist, eine Kanten- bzw. Randinformation mit einer Verschwommenheit bzw. Unschärfe ist. Genauer gesagt, normalisiert bzw. normiert oder standardisiert die Projektionsbestimmungseinheit 27 die Rand- bzw. Kanteninformation E1 in der Gesichtsregion mit der Rand- bzw. Kanteninformation E2 in der Hintergrundregion (Schritt S19). Dies bedeutet, dass die Projektionsbestimmungseinheit 27 eine Rand- bzw. Kanteninformation E0 in der Gesichtsregion auf der Basis der Rand- bzw. Kanteninformation E2 ohne Verschwommenheit bzw. Unschärfe als eine Referenz berechnet (Schritt S19). Als Beispiel ist der Wert der Rand- bzw. Kanteninformation EO nach der Normalisierung bzw. Normierung in einem Bereich von 0 bis 1 dargestellt. Zusätzlich ähneln sich die Rand- bzw. Kanteninformationen E1 und E2 jeweils gegenseitig stärker bzw. sind ähnlicher, wenn der Wert näher bei „1” liegt. Bei der gegenwärtigen Situation bzw. Annahme tritt bei der Gesichtsregion 311 in dem Beispiel, das in 6A (6C) gezeigt ist, keine Verschwommenheit bzw. Unschärfe auf, und es ist daher die Rand- bzw. Kanteninformation E0 in der Gesichtsregion 311 nach der Normierung durch einen Wert von ungefähr „1” repräsentiert. Im Unterschied hierzu tritt bei dem Beispiel, das in 6B (6D) gezeigt ist, eine Verschwommenheit bzw. Unschärfe in der Gesichtsregion 411 auf, und es ist daher die Rand- bzw. Kanteninformation E0 in der Gesichtsregion 411 nach der Normierung durch einen Wert repräsentiert, der sehr viel kleiner als „1” ist.
Nachfolgend bestimmt bzw. ermittelt die Projektionsbestimmungseinheit 27, ob die Rand- bzw. Kanteninformation E0 nach ihrer Normierung kleiner ist als eine vorbestimmte Schwelle bzw. ein vorbestimmter Schwellwert Eth. Hierdurch bestimmt bzw. ermittelt die Projektionsbestimmungseinheit 27, ob sich das Gesicht des Fahrers dem Projektor 21 annähert (Schritt S20). Die Schwelle Eth ist auf einen Grenzwert zwischen der Rand- bzw. Kanteninformation E0 mit Verschwommenheit bzw. Unschärfe (blur) und der Rand- bzw. Kanteninformation E0 ohne eine Unschärfe (blur) festgelegt. Wenn die Projektionsbestimmungseinheit 27 bestimmt bzw. ermittelt, dass die Rand- bzw. Kanteninformation E0 größer als oder gleich groß wie die Schwelle Eth ist (Ergebnis im Schritt S20 lautet: NEIN), bestimmt bzw. ermittelt die Projektionsbestimmungseinheit 27, dass die Rand- bzw. Kanteninformation EO eine Kanteninformation ohne Unschärfe ist. Dies bedeutet, dass die Projektionsbestimmungseinheit 27 in diesem Fall bestimmt, dass sich das Gesicht des Fahrers nicht an dem Projektor 21 annähert bzw. angenähert hat. Damit kehrt die Verarbeitung zu dem Schritt S11 zurück. In diesem Fall wird die Lichtstärke in dem normalen Zustand beibehalten, und es wird die nachfolgende Bedingung bzw. Kondition für die Lichtaussendung bei dem Schritt S11 festgelegt. Dies bedeutet, dass die Projektionsbestimmungseinheit 27 in dem Fall gemäß 6A (6C) bestimmt bzw. ermittelt, dass die Rand- bzw. Kanteninformation E0 größer als oder gleich groß wie die Schwelle Eth ist (Ergebnis im Schritt S20 lautet: NEIN). Die Lichtstärke wird folglich bei der normalen Bedingung bzw. dem normalen Zustand (Kondition) beibehalten.
Wenn die Rand- bzw. Kanteninformation E0 im Gegensatz hierzu kleiner ist als die Schwelle Eth (Ergebnis im Schritt S20 lautet: JA), schreitet die Verarbeitung zu dem Schritt S27 weiter. In diesem Fall bestimmt bzw. ermittelt die Projektionsbestimmungseinheit 24, dass die Rand- bzw. Kanteninformation E0 eine Rand- bzw. Kanteninformation mit einer Unschärfe ist. Folglich bestimmt bzw. ermittelt die Projektionssteuereinheit 24, dass sich das Gesicht des Fahrers dem Projektor 21 annähert, und veranlasst den Projektor 21 dazu, die Aussendung von Licht zu beenden oder abzuschwächen, d. h. zu dimmen (Schritt S21). Wenn der Projektor 21 dazu veranlasst wird, die Projektion von Licht zu dimmen, verringert die Projektionssteuereinheit 24 die Lichtstärke mit einer vorbestimmten Rate (beispielsweise 80% AUS) ausgehend von einer normalen Stärke, wenn sich das Gesicht dem Projektor 21 nicht annähert. In dem Fall der 6B (6D) bestimmt bzw. ermittelt die Projektionsbestimmungseinheit 27, dass die Rand- bzw. Kanteninformation E0 kleiner ist als die Schwelle Eth (Ergebnis in Schritt S20 lautet: JA). Der Projektor 21 wird folglich dazu veranlasst, die Projektion bzw. Aussendung von Licht zu beenden oder abzuschwächen (dimmen) (Schritt S21). Bei der vorliegenden Konfiguration kann eine Augenbeanspruchung des Fahrers verringert werden. Die Verarbeitung gemäß dem Ablaufdiagramm in 4 ist folglich abgeschlossen. In diesem Fall kann die Verarbeitung gemäß 4 beispielsweise wieder aufgenommen werden, nachdem eine vorbestimmte Zeitperiode verstrichen ist.
Es ist zu bedenken bzw. möglich, dass das fotografische Bild der Kamera 22 möglicherweise keine Unschärfe bzw. Verschwommenheit in sich hervorrufen kann, wenn sich ein Objekt wie etwa das Gesicht des Fahrers der Kamera 22 rasch annähert. In diesem Fall kann der Projektor 21 Licht auf das Objekt, das sich der Kamera 22 rasch annähert, stark projizieren, und es kann das Objekt das stark projizierte Licht reflektieren. Folglich erzeugt die Kamera 22 ein fotografisches Bild mit dem stark reflektierten Licht. Das Bild um das Zentrum des fotografischen Bilds, das der Abbildungsregion des Objekts entspricht, herum wird zu einem signifikant weißlichen, unklaren Bild in einem ausblühenden („blooming”) unklaren Fotozustand (überstrahlte Region, „blooming region”). Wenn sich das Objekt der Kamera 22 noch weiter annähert, ist die Kamera 22 fast vollständig von dem Objekt überdeckt. Das Bild um das Zentrum des fotografischen Bilds herum wird daher zu einem signifikant schwärzlichen, unklaren Bild in einem konturlos schwarzen („black crushing”) Fotozustand („black crushing” = voll geschwärzter Bereich ohne Gradationen bzw. Konturen). In diesen Fällen kann der Projektor 21 dazu veranlasst werden, die Aussendung bzw. Projektion von Licht zu beenden oder zu dimmen. Wenn die Bildverarbeitungseinheit 25 bei dem Schritt S15 die Gesichtsregion nicht in dem fotografischen Bild erfassen kann (Ergebnis im Schritt S15: NEIN), schreitet die Verarbeitung zu dem Schritt S22 weiter.
Bei dem Schritt S22 bestimmt bzw. ermittelt die Projektionsbestimmungseinheit 27, ob ein ausblühendes bzw. überbelichtetes („blooming”) Foto insgesamt um das Zentrum des fotografischen Bilds, das bei dem Schritt S13 erhalten worden ist, herum detektiert ist (Schritt S22). Die Projektionsbestimmungseinheit 27 bestimmt dann speziell bei dem Schritt S22, ob die Pixelwerte vollständig um eine vorbestimmte Fläche in dem Zentrum des fotografischen Bilds herum gesättigt sind. Genauer gesagt, bestimmt die Projektionsbestimmungseinheit 27 in einem Fall, bei dem jeder der Pixelwerte mit beispielsweise 256 Gradationspegeln bzw. Gradationsstufen repräsentiert ist, ob die Pixelwerte beispielsweise bei ungefähr 256 liegen und um den vorbestimmten Bereich herum vollständig gesättigt sind. Ein Erfassungsziel bzw. -objekt des ausblühenden bzw. überbelichteten Fotos kann auf eine beliebige Größe in dem vorbestimmten Bereich (Fläche) um die zentrale Region herum festgelegt werden bzw. sein. Wenn sich die Kamera 22 in einem Modus mit hohem dynamischen Bereich befindet (HDR-Modus = „High Dynamic Range” Mode), kann es schwierig sein bzw. wenig wahrscheinlich sein, dass ein ausblühendes bzw. überstrahltes Foto auftritt. Unter Berücksichtigung dieses Sachverhalts kann die Projektionsbestimmungseinheit 27 bei dem Schritt S22 ermitteln, ob im Wesentlichen alle Pixelwerte in dem vorbestimmten Bereich bzw. der vorbestimmten Fläche um das Zentrum des fotografischen Bilds herum größer als oder gleich groß wie ein vorbestimmter Schwellwert werden oder sind (Schritt S22). Die vorbestimmte Schwelle bzw. der vorbestimmte Schwellwert ist gleichwertig (äquivalent) mit der ersten Schwelle, die repräsentiert, dass der Pixelwert ausreichend ist, um das ausblühende bzw. überbelichtete Foto zu verursachen.
Wenn alle oder im Wesentlichen alle Pixelwerte in der vorbestimmten Fläche um das Zentrum des fotografischen Bilds herum gesättigt sind (Ergebnis „JA” bei dem Schritt S22), bestimmt die Projektionsbestimmungseinheit 27, dass das ausblühende bzw. überstrahlte Foto detektiert ist. Dies bedeutet, dass die Projektionsbestimmungseinheit 27 bestimmt, dass sich ein Objekt wie etwa das Gesicht des Fahrers dem Projektor 21 (Kamera 22) rasch annähert. Als Reaktion auf diese Bestimmung veranlasst die Projektionsbestimmungseinheit 27 den Projektor 21 dazu, die Projektion bzw. das Aussenden von Licht zu beenden oder zu dimmen (Schritt S21). Wenn die Projektionsbestimmungseinheit 27 im Gegensatz hierzu ermittelt, dass ein überstrahltes Foto nicht detektiert wird (Ergebnis „NEIN” im Schritt S22), schreitet die Verarbeitung zu dem Schritt S23 weiter.
Bei dem Schritt S23 bestimmt bzw. ermittelt die Projektionsbestimmungseinheit 27, ob ein konturlos schwarzes Foto vollständig um das Zentrum des fotografischen Bilds herum, das bei dem Schritt S13 erhalten worden ist, detektiert wird (Schritt S23). Genauer gesagt, ermittelt die Projektionsbestimmungseinheit 27 bei dem Schritt S23, ob die Pixelwerte vollständig um eine vorbestimmte Fläche um das Zentrum des fotografischen Bilds herum gleich ungefähr 0 sind. Es ist anzumerken, dass die vorbestimmte Fläche um das Zentrum des fotografischen Bilds herum bei dem Schritt S22 sowie die vorbestimmte Fläche um das Zentrum des fotografischen Bilds bei dem Schritt S23 miteinander übereinstimmen können, oder sich auch voneinander unterscheiden können. Tatsächlich müssen die Pixelwerte selbst in dem Fall eines völlig schwarzen bzw. schwarz konturlosen Fotos nicht notwendigerweise gleich 0 sein und können kleine Werte aufgrund von thermischem Rauschen bzw. thermischen Störungen oder aufgrund einer Schwarzpegelkorrektur sein, die durch den Bildsensor verursacht ist. Wenn die Kamera 22 eine hohe Empfindlichkeit aufweist, kann es ferner schwierig bzw. wenig wahrscheinlich sein, dass ein völlig bzw. konturlos schwarzes Foto auftritt. Unter Berücksichtigung dieses Sachverhalts kann die Projektionsbestimmungseinheit 27 bei dem Schritt S23 ggf. bestimmen bzw. ermitteln, dass im Wesentlichen alle Pixelwerte in der vorbestimmten Fläche um das Zentrum des fotografischen Bilds herum kleiner sind als eine vorbestimmte Schwelle (Schritt S23). Die vorbestimmte Schwelle ist äquivalent zu bzw. gleichwertig mit der zweiten Schwelle, die repräsentiert, dass der Pixelwert ausreichend ist, um ein völlig geschwärztes Foto zu verursachen.
Wenn alle oder im Wesentlichen alle Pixelwerte in der vorbestimmten Fläche um das Zentrum des fotografischen Bilds herum bei ungefähr 0 liegen (Ergebnis JA bei dem Schritt S23), bestimmt die Projektionsbestimmungseinheit 27, dass ein völlig schwarzes bzw. konturlos schwarzes Foto detektiert ist. Dies bedeutet, dass die Projektionsbestimmungseinheit 27 ermittelt bzw. bestimmt, dass sich ein Objekt wie etwa das Gesicht des Fahrers rasch an den Projektor 21 (Kamera 22) annähert. Als Reaktion auf diese Bestimmung veranlasst die Projektionsbestimmungseinheit 27 den Projektor 21 dazu, die Aussendung von Licht zu beenden oder abzuschwächen bzw. zu dimmen (Schritt S21). Wenn die Projektionsbestimmungseinheit 27 im Unterschied hierzu ermittelt bzw. bestimmt, dass ein völlig schwarzes bzw. konturlos schwarzes Foto nicht detektiert worden ist (Ergebnis „NEIN” bei dem Schritt S23), kehr die Verarbeitung zu dem Schritt S11 zurück. In diesem Fall wird die Lichtstärke in dem normalen Zustand bzw. unter der normalen Bedingung beibehalten, und es wird die Bedingung für die nachfolgende Lichtaussendung bei dem Schritt S11 festgelegt.
Wie vorstehend beschrieben, wird bei dem vorliegenden Ausführungsbeispiel bestimmt bzw. ermittelt, ob in dem fotografischen Bild eine Unschärfe bzw. Verschwommenheit auftritt, um hierdurch zu bestimmen bzw. ermitteln, ob sich das Gesicht des Fahrers annähert. Bei der vorliegenden Konfiguration kann die Nähe bzw. der geringe Abstand des Gesichts des Fahrers korrekt detektiert werden. Zusätzlich wird die Rand- bzw. Kanteninformation E0 in der Gesichtsregion unter Bezugnahme auf die Rand- bzw. Kanteninformation E2 als eine Referenz in der keine Unschärfe bzw. Verschwommenheit aufweisenden Hintergrundregion berechnet. Die Bestimmung bzw. Ermittlung, ob die Rand- bzw. Kanteninformation E0 eine Rand- bzw. Kanteninformation mit einer Unschärfe ist, kann daher korrekt getroffen werden. Zusätzlich wird bestimmt bzw. ermittelt, dass sich ein Objekt wie etwa das Gesicht des Fahrers annähert, wenn ein überstrahltes bzw. überbelichtetes Foto („blooming photo”) und/oder ein konturlos schwarzes Foto („black crushing photo”) in dem fotografischen Bild auftritt. Selbst in einem Fall, bei dem sich das Gesicht des Fahrers rasch an den Projektor 21 annähert und hierbei keine Verschwommenheit bzw. Unschärfe in dem fotografischen Bild hervorgerufen wird, ist die Projektion daher im Stande, das Aussenden von Licht zu beenden oder zu dimmen.
Die Ausrüstungen in dem Inneren des Fahrzeugs umfassen Komponenten, die außerhalb des Bereichs der Schärfentiefe (Tiefenschärfe) angeordnet sind, und es rufen solche Komponenten regelmäßig eine Verschwommenheit bzw. Unschärfe (blur) hervor. Es ist bedeutungslos, den Vergleich unter Bezugnahme auf solche Komponenten, die regelmäßig eine Verschwommenheit verursachen, zu implementieren, d. h. auszuführen. Solche Komponenten, die regelmäßig eine Unschärfe verursachen, werden daher ausgeschlossen. Bei der vorliegenden Konfiguration wird die Rand- bzw. Kanteninformation der bekannten Ausrüstungen bzw. Komponenten, die in dem Bereich der Schärfentiefe angeordnet sind, verwendet.
(Zweites Ausführungsbeispiel)
Im Folgenden wird das Gesichtsabbildungssystem in Übereinstimmung mit dem zweiten Ausführungsbeispiel erläutert. Im Folgenden wird hauptsächlich der Unterschied des Gesichtsabbildungssystems gegenüber dem ersten Ausführungsbeispiel beschrieben. Die Konfiguration des Fahrerüberwachungssystems gemäß dem vorliegenden Ausführungsbeispiel ist im Wesentlichen die gleiche wie diejenige bei dem Fahrerüberwachungssystem 1 gemäß 1. Bei dem vorliegenden Ausführungsbeispiel unterscheidet sich das Verfahren, das für die Ermittlung, ob eine Unschärfe in dem fotografischen Bild bei der Verarbeitung zur Erfassung der Annäherung bzw. des Nahzustands auftritt, dient, um zu ermitteln, ob sich das Gesicht des Fahrers dem Projektor 21 annähert, von demjenigen bei dem ersten Ausführungsbeispiel. Im Folgenden wird die Verarbeitung zur Erfassung der Nähe bzw. des Nahzustands oder Nahbereich in Übereinstimmung mit dem vorliegenden Ausführungsbeispiel beschrieben.
8 zeigt ein Ablaufdiagramm, das eine Nahbereichserfassungsverarbeitung in Übereinstimmung mit dem vorliegenden Ausführungsbeispiel veranschaulicht. In 8 sind Schritte, die äquivalent bzw. gleichartig sind wie diejenigen bei der Nahbereichserfassungsverarbeitung gemäß 4, mit den gleichen Bezugszahlen bezeichnet. Der Unterschied bei der Verarbeitung zur Erfassung des Nahbereichs gemäß 8 gegenüber der Verarbeitung zur Erfassung des Nahbereichs bei 4 besteht darin, dass eine Verarbeitung gemäß den Schritten S24 bis S27 ausgeführt wird, und zwar an Stelle der Verarbeitung gemäß den Schritten S16 bis S20 gemäß 4.
Wenn die Bildverarbeitungseinheit 25 bei dem Schritt S15 die Gesichtsregion aus bzw. in dem fotografischen Bild erfolgreich detektiert (Ergebnis „JA” bei dem Schritt S15), schreitet die Verarbeitung zu dem Schritt S24 weiter. Bei dem Schritt S24 führt die Projektionsbestimmungseinheit 27 eine vorbestimmte Rand- bzw. Kantenverarbeitung bezüglich des fotografischen Bilds, das bei dem Schritt S13 erhalten ist, aus, um hierbei den Rand bzw. die Kante, die in dem fotografischen Bild enthalten ist, zu extrahieren (Schritt S24). Die Rand- bzw. Kantenverarbeitung bei dem Schritt S24 unterscheidet sich von der Rand- bzw. Kantenverarbeitung bei dem Schritt S16 gemäß dem ersten Ausführungsbeispiel. Genauer gesagt, wird eine Rand- bzw. Kantenbinärisierungsverarbeitung als die Rand- bzw. Kantenverarbeitung ausgeführt (Schritt S24). Bei der Rand- bzw. Kantenbinärisierungsverarbeitung wird einer Kante bzw. einem Rand, die bzw. der größer als oder gleich groß ist wie eine vorbestimmte Stärke bzw. Kantigkeit, ein Pixelwert von „1” zugeordnet, und es wird eine Kante bzw. einem Rand, die bzw. der kleiner ist als die vorbestimmte Stärke bzw. Kantigkeit, mit einem Pixelwert von „0” versehen. 9A zeigt ein kantenbinärisiertes Bild 320, das dadurch erzeugt ist, dass die Rand- bzw. Kantenbinärisierungsverarbeitung bezüglich des fotografischen Bilds 300 gemäß 5A (5C) ausgeführt ist, dass das Gesicht des Fahrers, das sich dem Projektor 21 nicht angenähert hat, ohne Verschwommenheit bzw. Unschärfe zeigt. Wie in 9A dargestellt ist, weist das kantenbinärisierte Bild 320 eine Region 321 auf, die der Gesichtsregion 301 gemäß 5A (5C) entspricht. Die Gesichtsregion 321 enthält Kanten bzw. Ränder, die größer sind als die vorbestimmte Stärke bzw. Kantigkeit. Genauer gesagt, enthält die Gesichtsregion 321 eine Kante bzw. einen Rand 321a, der dem Umriss bzw. der Außenlinie 301a der Gesichtsregion 301 entspricht, eine Kante bzw. einen Rand 321b, die bzw. der der Augenregion 301b entspricht, eine Kante bzw. einen Rand 321c, die bzw. der der Nasenregion 301c entspricht, und eine Kante bzw. einen Rand 321d, die bzw. der der Mundregion 301d entspricht. Das kantenbinärisierte Bild 320 enthält weiterhin eine Kante bzw. einen Rand in der Hintergrundregion wie etwa eine Kante bzw. einen Rand 322 der B-Säule. In der nachfolgenden Beschreibung stellt das kantenbinärisierte Bild 320 gemäß 9A ein Objekt bzw. einen Gegenstand der Verarbeitung gemäß 8 dar.
Nachfolgend berechnet die Projektionsbestimmungseinheit 27 eine Gesamtheit der Kante bzw. des Rands E3 (Rand- bzw. Kanteninformation), die bzw. der in der Gesichtsregion des kantenbinärisierten Bilds enthalten ist (Schritt S25). Genauer gesagt, zählt die Projektionsbestimmungseinheit die Anzahl von Pixeln, denen der Pixelwert von 1 zugeordnet ist (Schritt S25). Bei der Verarbeitung gemäß dem Schritt S25 kann eine Region (nicht fixierte Region), die eine andere Region als die bekannte Hintergrundregion ist, als die Gesichtsregion festgelegt werden bzw. sein. In dem Fall der 9A wird die Gesamtheit der Kante bzw. des Rands E3 einschließlich der Kante bzw. des Rands 321a bis 321d in der Gesichtsregion 321 berechnet.
Nachfolgend wird eine Änderungsrate ΔE (= E3/E4) berechnet (Schritt S26). Die Größe ΔE der Änderung repräsentiert eine Rate (Quantität bzw. Größe), um die sich eine Gesamtheit der Kante bzw. des Rands E4, wenn sich das Gesicht des Fahrers dem Projektor 21 nicht annähert, zu der Gesamtheit der Kante bzw. des Rands E3 ändert, die bei dem Schritt S25 berechnet worden ist. Die Gesamtheit der Kante bzw. des Rands E4, die als eine Referenz für die Änderungsrate ΔE benutzt wird, ist beispielsweise die Gesamtheit der Kante bzw. des Rands E3, die bei dem Schritt S25 berechnet ist, wenn bei der vorhergehenden Verarbeitung gemäß 8 bestimmt bzw. ermittelt wird, dass sich das Gesicht des Fahrers nicht annähert bzw. nahe gekommen ist. In dem Fall gemäß 9A zeigt das kantenbinärisierte Bild 320 den Zustand an, wenn sich das Gesicht des Fahrers nicht annähert bzw. nicht angenähert hat. Die Gesamtheit der Kante bzw. des Rands E3 ändert sich daher nicht stark gegenüber der als Referenz dienenden Gesamtheit E4. Die Änderungsrate ΔE weist daher einen Wert von ungefähr 1 auf.
Nachfolgend bestimmt bzw. ermittelt die Projektionsbestimmungseinheit 27, ob die Änderungsrate ΔE, die bei dem Schritt S26 berechnet worden ist, kleiner ist als eine vorbestimmte Schwelle ΔEth (Schritt S27). Der Schwellwert bzw. die Schwelle ΔEth ist ein Grenzwert zwischen der Änderungsrate ΔE in dem Fall, wenn eine Verschwommenheit bzw. Unschärfe auftritt, und der Änderungsrate ΔE in dem Fall, wenn keine Verschwommenheit bzw. Unschärfe auftritt. Wenn die Projektionsbestimmungseinheit 27 bestimmt bzw. ermittelt, dass die Änderungsrate ΔE größer als oder gleich groß wie die Schwelle ΔEth ist (Ergebnis „NEIN” in dem Schritt S27), bestimmt bzw. ermittelt die Projektionsbestimmungseinheit 27, dass in der Gesichtsregion keine Verschwommenheit bzw. Unschärfe auftritt. Dies bedeutet, dass die Projektionsbestimmungseinheit 27 in diesem Fall bestimmt bzw. ermittelt, dass sich das Gesicht des Fahrers nicht an den Projektor 21 annähert bzw. angenähert hat. Die Verarbeitung kehrt damit zu dem Schritt S11 zurück. In diesem Fall wird die Lichtstärke bei der normalen Bedingung bzw. in dem normalen Zustand beibehalten, und es wird die nachfolgende Bedingung bzw. Kondition der Lichtprojektion bei dem Schritt S11 festgelegt. In dem Fall gemäß 9A bestimmt bzw. ermittelt die Projektionsbestimmungseinheit 27, dass die Änderungsrate ΔE größer als oder gleich groß ist wie die Schwelle ΔEth (Ergebnis „NEIN” bei dem Schritt S27). Die Lichtstärke wird damit bei der normalen Bedingung bzw. in dem normalen Zustand beibehalten.
Wenn jedoch im Gegensatz hierzu die Änderungsrate ΔE kleiner ist als die Schwelle ΔEth (Ergebnis „JA” bei dem Schritt S27), schreitet die Verarbeitung zu dem Schritt S21 weiter. In diesem Fall bestimmt bzw. ermittelt die Projektionssteuereinheit 27, dass in der Gesichtsregion eine Unschärfe bzw. Verschwommenheit vorhanden ist. Die Projektionssteuereinheit 24 bestimmt bzw. ermittelt folglich, dass sich das Gesicht des Fahrers an den Projektor 21 annähert, und veranlasst den Projektor 21 dazu, die Projektion bzw. Aussendung von Licht zu beenden oder abzuschwächen (dimmen) (Schritt S21). Damit ist die Verarbeitung gemäß dem Ablaufdiagramm in 8 beendet. In diesem Fall kann die Verarbeitung gemäß 8 beispielsweise wieder aufgenommen werden, nachdem eine vorbestimmte Zeitdauer verstrichen ist. Andere Verarbeitungen sind äquivalent bzw. gleichartig wie diejenigen gemäß 4, und es wird deren Beschreibung weg gelassen.
In der vorstehend angeführten Beschreibung ist die Verarbeitung gemäß 8 in dem Fall, wenn sich das Gesicht des Fahrers nicht an den Projektor 21 annähert, unter Bezugnahme auf 9a beschrieben worden. Im Folgenden wird die Verarbeitung gemäß 8 für den Fall des fotografischen Bilds 400, das in 5B (5D) gezeigt ist, beschrieben, dass sich das Gesicht des Fahrers an den Projektor 21 annähert. Wenn die Bildverarbeitungseinheit 24 die Gesichtsregion 401 in dem fotografischen Bild 400 erfolgreich detektiert (Ergebnis „JA” bei dem Schritt S15), wird die Kantenbinärisierungsverarbeitung nachfolgend bezüglich des fotografischen Bilds 400 implementiert, d. h. ausgeführt (Schritt S24). In 9B ist ein kantenbinärisiertes Bild 420 gezeigt, das durch die Kantenbinärisierungsverarbeitung erhalten worden ist. In 9B sind gleichartige Teile wie diejenigen gemäß 9A mit den gleichen Bezugszahlen bezeichnet. Wie in 9B gezeigt ist, enthält das kantenbinärisierte Bild 420 die Gesichtsregion 421. Dennoch tritt in der Gesichtsregion 421 eine Kante bzw. ein Rand von jeder Komponente des Gesichts nicht auf, mit Ausnahme der Kante bzw. Rands 421b, die bzw. der partiell in der Augenregion 401b liegt (siehe hierzu auch 5B (5D)). Die aktuelle Tendenz tritt auf, da eine Verschwommenheit bzw. Unschärfe in der Gesichtsregion 401 des originalen fotografischen Bilds 400 auftritt, und es ist daher die Rand- bzw. Kantenschärfe in der Gesichtsregion 401 abgeschwächt.
Als nächstes wird die Gesamtheit der Kante bzw. des Rands E3, die bzw. der in der Gesichtsregion 421 des kantenbinärisierten Bilds 420 enthalten ist, berechnet (Schritt S25). In diesem Fall ist die berechnete Gesamtheit der Kante bzw. des Rands E3 gegenüber der Gesamtheit der Kante bzw. des Rands E3 in der Gesichtsregion 321 gemäß 9A, wie zuvor beschrieben, stark verringert. Nachfolgend wird die Änderungsrate ΔE der aktuellen Gesamtheit der Kante bzw. des Rands E3 relativ zu der Gesamtheit der Kante bzw. des Rands E4, die bzw. der als die Referenz dient, berechnet (Schritt S26). Die Gesamtheit der Kante bzw. des Rands E4, die bzw. der die Referenz bildet, ist beispielsweise die Gesamtheit der Kante bzw. des Rands E3 in der Gesichtsregion 321 gemäß 9B. In diesem Fall besitzt die Änderungsrate ΔE einen Wert, der sehr viel kleiner als „1” ist. Bei dem nachfolgenden Schritt S27 wird daher bestimmt bzw. ermittelt, dass die Änderungsrate ΔE kleiner ist als die Schwelle ΔEth (Ergebnis „JA” bei dem Schritt S27). Folglich wird der Projektor 21 auf die Bestimmung bzw. Ermittlung hin, dass sich das Gesicht des Fahrers dem Projektor 21 annähert, dazu gebracht, die Aussendung von Licht zu beenden oder abzuschwächen (Schritt S21).
Wie vorstehend erläutert, wird die Gesamtheit der Kante oder Kanten bzw. des Rands oder der Ränder in dem gegenwärtigen fotografischen Bild unter Bezugnahme auf die Gesamtheit der Kante bzw. Kanten oder des Rands bzw. der Ränder in dem keine Verschwommenheit bzw. Unschärfe aufweisenden fotografischen Bild ermittelt, wenn sich das Gesicht des Fahrers nicht an den Projektor 21 annähert. Es kann somit korrekt bestimmt bzw. ermittelt werden, ob in dem gegenwärtigen fotografischen Bild eine Verschwommenheit bzw. Unschärfe auftritt.
(Erste Modifikation)
Bei dem Ausführungsbeispiel wird in Abhängigkeit davon, ob in dem fotografischen Bild eine Verschwommenheit bzw. Unschärfe auftritt, bestimmt bzw. ermittelt, ob sich das Gesicht des Fahrers dem Projektor 21 annähert. Es ist anzumerken, dass die Methode zur Ermittlung bzw. Bestimmung, ob in dem fotografischen Bild eine Verschwommenheit bzw. Unschärfe auftritt, nicht auf das bei dem Ausführungsbeispiel eingesetzte Verfahren beschränkt ist. Als das Bestimmungsverfahren können auch verschiedene, allgemein bekannte Methoden wie etwa diejenige Methode eingesetzt werden, die in der Veröffentlichung gemäß dem japanischen Patent Nr. 449316 offenbart ist. Bei dem zweiten Ausführungsbeispiel wird in Abhängigkeit von bzw. Entsprechung mit der Änderungsrate ΔE in der Gesamtheit der Kanten bzw. Ränder in der Gesichtsregion bestimmt bzw. ermittelt, ob in der Gesichtsregion eine Unschärfe bzw. Verschwommenheit vorhanden ist. Es ist anzumerken, dass die Bestimmung bzw. Ermittlung in Abhängigkeit von der Änderung bezüglich der Gesamtheit der Kanten bzw. Ränder in dem gesamten fotografischen Bild getroffen werden kann. In diesem Fall kann die Gesamtheit der Kanten bzw. Ränder und die Änderungsrate der Gesamtheit der Kanten bzw. Ränder in der Hintergrundregion berechnet werden, und zwar zusätzlich zu der Gesichtsregion. Wenn eine Unschärfe bzw. Verschwommenheit in dem fotografischen Bild auftritt, verringert sich die Gesamtheit der Kanten bzw. Ränder auf jeden Fall im Vergleich mit dem Fall, bei dem keine Verschwommenheit bzw. Unschärfe auftritt. Es kann daher auch in Abhängigkeit von der Gesamtheit von Kanten bzw. Rändern in dem gesamten fotografischen Bild bestimmt bzw. ermittelt werden, ob in dem fotografischen Bild eine Verschwommenheit bzw. Unschärfe auftritt. Bei der vorliegenden Konfiguration ist es nicht notwendig, die Gesichtsregion von der Hintergrundregion zu unterscheiden. Der Algorithmus der Berechnung kann daher vereinfacht werden.
Bei den vorstehend beschriebenen Ausführungsbeispielen wird in Abhängigkeit von dem Vergleich zwischen der Referenzkante bzw. dem Referenzrand in der keine Verschwommenheit bzw. Unschärfe aufweisenden Region bestimmt bzw. ermittelt, ob die Kante bzw. der Rand in der aktuellen Gesichtsregion durch eine Verschwommenheit bzw. Unschärfe verursacht ist. Genauer gesagt, ist die Referenz bei dem ersten Ausführungsbeispiel die Kante bzw. der Rand in der Hintergrundregion, und es ist die Referenz bei dem zweiten Ausführungsbeispiel die Kante bzw. der Rand in der vorherigen Gesichtsregion. Die Bestimmung bzw. Ermittlung der Kante bzw. des Rands ist nicht auf diejenigen bei den vorstehend erläuterten Ausführungsbeispielen beschränkt, und kann in Abhängigkeit lediglich von dem Merkmal der Kante bzw. des Rands (Kantenschärfe) in der aktuellen Gesichtsregion ausgeführt werden. In diesem Fall wird eine Schwelle für die Kantenschärfe für die Ermittlung, ob eine Verschwommenheit bzw. Unschärfe auftritt, vorab bestimmt. Weiterhin wird der Vergleich zwischen der Kantenschärfe und der Schwelle in der aktuellen Gesichtsregion ausgeführt, um hierdurch zu bestimmen bzw. ermitteln, ob in der aktuellen Gesichtsregion eine Verschwommenheit bzw. Unschärfe vorhanden ist. Auf diese Weise wird eine Verschwommenheit bzw. Unschärfe lediglich anhand der Kantenschärfe in der aktuellen Gesichtsregion bestimmt bzw. ermittelt, und es kann daher der Algorithmus der Berechnung vereinfacht werden.
(Zweite Modifikation)
Bei dem ersten und zweiten Ausführungsbeispiel wird dann, wenn die Bildverarbeitungseinheit 25 die Gesichtsregion erfolgreich detektiert (Ergebnis „JA” bei dem Schritt S15 in 4 und 8), eine Bestimmung, ob sich das Gesicht dem Projektor 21 annähert, in Abhängigkeit davon getroffen, ob in dem fotografischen Bild eine Verschwommenheit bzw. Unschärfe auftritt. Es ist anzumerken, dass selbst dann, wenn die Bildverarbeitungseinheit 25 die Gesichtsregion nicht detektieren bzw. erkennen kann, eine Nähe bzw. Nachbarschaft des Gesichts in Abhängigkeit von einer Verschwommenheit bzw. Unschärfe in dem fotografischen Bild bestimmt werden kann. In diesem Fall wird die nicht fixierte Region, die eine andere Region als die bekannte Hintergrundregion ist, als die Gesichtsregion festgelegt, und es wird eine Verschwommenheit bzw. Unschärfe in der Gesichtsregion ermittelt. Als Beispiel wird bei dem Schritt S15 in 4 und 8 dann, wenn die Gesichtsregion nicht erfolgreich erfasst worden ist (Ergebnis „NEIN” bei dem Schritt S15), die gleiche Verarbeitung wie diejenige gemäß dem Schritt S16 bis zum Schritt S20 in 4 oder den Schritten S24 bis S27 in 8 ausgeführt, und zwar vor der Verarbeitung gemäß den Schritten S22 und S23 oder nachfolgend zu der Verarbeitung gemäß den Schritten S22 und S23. Folglich wird eine Bestimmung bzw. Ermittlung durchgeführt, ob in dem fotografischen Bild eine Verschwommenheit bzw. Unschärfe auftritt. Die Methode zur Bestimmung bzw. Ermittlung einer Verschwommenheit bzw. Unschärfe in dem fotografischen Bild auf diese Weise bringt den Vorteil, eine Bestimmung bzw. Ermittlung einer Nähe bzw. Nachbarschaft zu einem Gesicht unabhängig von einer Erkennung der Gesichtsregion zu ermöglichen.
(Dritte Modifikation)
Der Projektor 21 und die Kamera 22 sind an der Oberseite der Lenksäule an nahe beieinander liegenden Positionen angeordnet. Wenn das Gesicht des Fahrers sich dem Projektor 21 annähert, nähert sich das Gesicht des Fahrers gleichzeitig auch an die Kamera 22 an. Mit der Annäherung des Gesichts des Fahrers an den Projektor 21 wird daher die Größe der Gesichtsregion relativ zu dem fotografischen Bild größer. Dies bedeutet, dass die Belegungsrate der Gesichtsregion relativ zu dem fotografischen Bild größer wird. Unter Berücksichtigung dieses Sachverhalts kann dann, wenn die Bildverarbeitungseinheit 25 die Gesichtsregion erfolgreich erfasst, ein Verfahren zum Bestimmen einer Nachbarschaft eines Gesichts bzw. eines im Nahbereich liegenden Gesichts in Abhängigkeit von der Größe der erfassten Gesichtsregion eingesetzt werden, und zwar an Stelle der Methode zur Bestimmung in Abhängigkeit von einer Verschwommenheit bzw. Unschärfe in dem fotografischen Bild. Genauer gesagt, wird beispielsweise die Verarbeitung gemäß dem Ablaufdiagramm implementiert bzw. ausgeführt, das in 10 gezeigt ist. In 10 sind Schritte, die gleichartig sind wie diejenigen bei der Nahbereichserfassungsverarbeitung gemäß 4 und 8, mit den gleichen Bezugzahlen bezeichnet. Der Unterschied der Nahbereichserfassungsverarbeitung in 4 gegenüber der den Verarbeitungen zur Erfassung einer Nachbarschaft bzw. Nähe oder Annäherung gemäß 4 und 8 besteht darin, die Verarbeitung gemäß den Schritten S28, S29 an Stelle der Verarbeitung gemäß den Schritten S16 bis S20 in 4 oder statt der Verarbeitung gemäß den Schritten S24 bis S27 in 8 zu implementieren, d. h. vorzusehen.
Gemäß 10 berechnet die Projektionsbestimmungseinheit 27 dann, wenn die Bildverarbeitungseinheit 25 die Gesichtsregion erfolgreich erkannt bzw. erfasst hat (Ergebnis „JA” bei dem Schritt S15) die Größe S der erfassten Gesichtsregion (Schritt S28). Nachfolgend ermittelt bzw. bestimmt die Projektionsbestimmungseinheit 27, ob die Größe S der Gesichtsregion größer ist als eine vorbestimmte Schwelle bzw. ein vorbestimmter Schwellwert Sth (Schritt S29). Die Schwelle Sth kann auf eine Größe der Gesichtsregion festgelegt sein, die sich ergibt, wenn der Abstand von dem Projektor 21 beispielsweise ungefähr 20 cm beträgt. Als Beispiel wird in dem Fall der 5A (5C) und der 5B (5D) die Größe der Gesichtsregion 301 und 401 jeweils relativ zu den fotografischen Bildern 300 und 400 bestimmt bzw. ermittelt.
Bei dem Schritt S29 bestimmt bzw. ermittelt die Projektionsbestimmungseinheit 27 dann, wenn die Größe S der Gesichtsregion kleiner ist als die Schwelle Sth (Verzweigung „NEIN” bei dem Schritt S29), dass sich das Gesicht des Fahrers dem Projektor 21 nicht annähert, und es kehrt die Verarbeitung zu dem Schritt S11 zurück. In diesem Fall wird die Lichtstärke bzw. Lichtintensität in dem normalen Zustand beibehalten, und es wird die anschließende Bedingung bzw. Kondition für die Lichtaussendung bei dem Schritt S11 festgelegt.
Wenn im Unterschied hierzu die Größe S der Gesichtsregion größer ist als die Schwelle Sth (Verzweigung „JA” bei dem Schritt S29), ermittelt die Projektionsbestimmungseinheit 27, dass sich das Gesicht des Fahrers dem Projektor 21 annähert. In diesem Fall wird der Projektor 21 dazu veranlasst, die Aussendung von Licht zu beenden oder abzuschwächen (Schritt S21). Damit ist die Verarbeitung gemäß dem Ablaufdiagramm in 10 beendet. In diesem Fall kann die Verarbeitung gemäß 10 beispielsweise wieder aufgenommen werden, nachdem eine vorbestimmte Zeitdauer verstrichen ist. Andere Verarbeitungen sind gleichwertig bzw. gleichartig wie diejenigen gemäß 4 und 8, und deren Beschreibung wird weg gelassen.
(Drittes Ausführungsbeispiel)
Im Folgenden wird ein Gesichtsabbildungssystem in Übereinstimmung mit einem dritten Ausführungsbeispiel beschrieben. Im Folgenden wird im Wesentlichen der Unterschied des Gesichtsabbildungssystems gegenüber den vorstehend erläuterten Ausführungsbeispielen beschrieben. In einem Fall, bei dem das Gesichtsabbildungssystem in einem Fahrzeug eingesetzt ist, kann die Kamera durch ein Hindernis wie etwa einen Arm eines Fahrers verborgen bzw. abgedeckt sein, wenn der Fahrer einen Lenkvorgang bei dem Fahren des Fahrzeugs ausführt. Dies bedeutet, dass eine Lenkungsverbergung bzw. Verbergung bzw. Abdeckung bei einer Lenkung während des Fahrens des Fahrzeugs auftreten kann. Wenn eine Lenkungsabdeckung auftritt, kann die Kamera das Gesicht des Fahrers nicht abbilden. In dem Fall einer Lenkungsabdeckung kann es daher vergeblich bzw. verschwenderisch sein, damit fortzufahren, die Kamera zur Abbildung bzw. Bildaufnahme zu veranlassen und/oder damit fortzufahren, den Projektor zum Aussenden von Licht zu veranlassen. Das vorliegende, dritte Ausführungsbeispiel zielt darauf ab, eine solche Verschwendung bzw. unnötige Verhaltensweise zu verringern, wenn eine Lenkungsabdeckung auftritt.
Die Konfiguration des Fahrerüberwachungssystems gemäß dem vorliegenden Ausführungsbeispiel ist im Wesentlichen die gleiche wie diejenige bei dem Fahrerüberwachungssystem 1 gemäß 1. Zusätzlich zu den Verarbeitungen zur Annäherungserfassung gemäß dem ersten und zweiten Ausführungsbeispiel (siehe hierzu auch 4 und 8), führt das Fahrerüberwachungssystem 1 eine Verarbeitung zur Erfassung einer Lenkungsabdeckung aus, um hierbei die Steuerung der Abbildung bzw. Bildaufnahme zu modifizieren, wenn eine Lenkungsabdeckung erfasst wird. 11 zeigt ein Ablaufdiagramm, dass die Verarbeitung zur Erfassung einer Lenkungsabdeckung veranschaulicht. Die Verarbeitung gemäß dem Ablaufdiagramm, das in 11 gezeigt ist, wird beispielsweise dann begonnen, wenn das Fahrerüberwachungssystem 1 gestartet bzw. eingeschaltet wird, und wird wiederholt mit einem konstanten Intervall bzw. in konstanten Abständen ausgeführt. Die Verarbeitung gemäß dem Ablaufdiagramm, das in 11 gezeigt ist, wird gleichzeitig mit der Verarbeitung zur Annäherungserfassung gemäß 4 oder 8 ausgeführt.
Die Projektionsbestimmungseinheit 27 bestimmt als erstes, ob der Betätigungswinkel Θth des Lenkrads 35 (1) größer ist als eine vorbestimmte Schwelle bzw. ein vorbestimmter Schwellwert Θth (Schritt S31) in Abhängigkeit von dem Signal, das von dem Lenkwinkelsensor 28 (1) abgegeben wird. Die Schwelle Θth ist auf einen Wert festgelegt, bei dem eine Lenkungsabdeckung auftreten kann, und kann speziell auf den Wert Θth = 30° festgelegt sein. Wenn der Betätigungswinkel Θ des Lenkrads 35 kleiner als oder gleich groß wie die Schwelle Θth ist (Verzweigung „NEIN” in dem Schritt S31), wird bestimmt, dass die Möglichkeit des Auftretens einer Lenkungsabdeckung niedrig ist, und es wird die Verarbeitung gemäß dem Ablaufdiagramm, das in 11 gezeigt ist, beendet.
Wenn der Betätigungswinkel Θ des Lenkrads 35 im Unterschied hierzu größer ist als die Schwelle Θth (Verzweigung „JA” in dem Schritt S31) wird bestimmt, dass eine Lenkungsabdeckung auftreten kann, und es schreitet die Verarbeitung zu dem Schritt S32 weiter. Bei dem Schritt S32 ruft die Bildverarbeitungseinheit 25 das fotografische Bild ab bzw. auf, das mit der Kamera 22 aufgenommen worden ist (Schritt S32). Nachfolgend führt die Bildverarbeitungseinheit 22 im Wesentlichen die gleiche Erkennungsverarbeitung wie diejenige gemäß dem Schritt S14 in 4 oder 8 aus, um hierdurch zu versuchen, die Gesichtsregion und die Hintergrundregion aus dem fotografischen Bild zu erfassen (Schritt S33). Nachfolgend ermittelt die Projektionsbestimmungseinheit 27 auf der Basis des Signals, das von der Bildverarbeitungseinheit 25 gesendet ist, ob die Bildverarbeitungseinheit 25 die Gesichtsregion erfolgreich erfasst hat (Schritt S34). Wenn die Bildverarbeitungseinheit 25 die Gesichtsregion erfolgreich detektiert bzw. detektiert hat (Verzweigung „JA” bei dem Schritt S34), wird bestimmt, dass die Lenkungsabdeckung nicht aufgetreten ist, und es wird die Verarbeitung gemäß dem Ablaufdiagramm, das in 11 gezeigt ist, beendet. Wenn die Bildverarbeitungseinheit 25 im Unterschied hierzu die Gesichtsregion nicht erfasst bzw. erfasst hat (Verzweigung „NEIN” bei dem Schritt S34), ist es hochwahrscheinlich, dass eine Lenkungsabdeckung auftreten kann, und es schreitet die Verarbeitung zu dem Schritt S35 weiter.
Bei dem Schritt S35 berechnet die Projektionsbestimmungseinheit 27 eine Rate bzw. ein Verhältnis R der Hintergrundregion relativ zu dem gesamten fotografischen Bild entsprechend bzw. abhängig von dem fotografischen Bild, das bei dem Schritt S32 aufgerufen worden ist, und der Hintergrundregion, die durch die Bildverarbeitungseinheit 25 bei dem Schritt S33 erfasst worden ist (Schritt S35). Wenn die Lenkungsabdeckung auftritt, kann ein Hindernis wie etwa ein Arm des Fahrers vor der Kamera 22 angeordnet sein. Daher enthält das fotografische Bild eine Hindernisregion, die dem Hindernis entspricht. Demzufolge wird die Rate R der Hintergrundregion aufgrund der Hindernisregion klein. Unter Berücksichtigung dieses Sachverhalts bestimmt bzw. ermittelt die Projektionsbestimmungseinheit 27, ob die Rate R der Hintergrundregion kleiner ist als eine vorbestimmte Schwelle Rth (Schritt S36). Die Schwelle Rth ist beispielsweise auf einen Wert von weniger als 10% festgelegt.
Wenn die Rate R der Hintergrundregion größer als oder gleich groß wie die Schwelle Rth ist (Verzweigung „NEIN” in dem Schritt S36), wird bestimmt bzw. ermittelt, dass keine Lenkungsabdeckung vorhanden ist, und es wird die Verarbeitung gemäß dem Ablaufdiagramm, das in 11 gezeigt ist, beendet. Auch wenn die Kamera 22 in diesem Fall das Gesicht des Fahrers erfolgreich abbilden bzw. aufnehmen kann, kann die Bildverarbeitungseinheit 25 eventuell nicht im Stande sein, aus einem gewissen Grund die Gesichtsregion zu erfassen. Wenn die Rate R der Hintergrundregion im Gegensatz hierzu kleiner ist als die Schwelle Rth (Verzweigung „JA” bei dem Schritt S36), wird bestimmt bzw. ermittelt, dass die Lenkungsabdeckung auftreten kann, und es schreitet die Verarbeitung zu dem Schritt S37 weiter. In diesem Fall informiert die Projektionsbestimmungseinheit 27 die Abbildungssteuereinheit 23 darüber, dass die Lenkungsabdeckung auftritt. Die Abbildungssteuereinheit 23 vergrößert folglich das Antriebs- bzw. Ansteuerungsintervall des Verschlusses der Kamera 22 (Schritt S37). Dies bedeutet, dass die Abbildungssteuereinheit 23 das Belichtungsintervall vergrößert, d. h. den Zyklus T1 des Impulses bzw. Pulses gemäß 3. Auf diese Weise verringert die Abbildungssteuereinheit 23 die Rahmenrate bzw. Bildrate der Kamera 22 (Schritt S37). Genauer gesagt, ändert die Abbildungssteuereinheit 23 die Rahmenrate bzw. Bildrate der Kamera 22 von beispielsweise 30 Rahmen bzw. Aufnahmen je Sekunde auf 10 Rahmen je Sekunde. Wie vorstehend unter Bezugnahme auf 3 beschrieben ist, ist die Projektionszeitsteuerung des von dem Projektor 21 abgegebenen Lichts mit der Belichtungszeitsteuerung der Kamera 22 synchronisiert. Das Intervall T2 (Projektionsintervall, 3) zwischen der Aktivierung bzw. den Aktivierungen des Projektors 21 ist daher vergrößert, begleitet von einer Verringerung der Rahmenrate der Kamera 22. Bei dem Schritt S37 kann die Projektionssteuereinheit 27 optional das von dem Projektor 21 projizierte bzw. ausgesendete Licht beenden oder dimmen, um hierdurch die Lichtleistung zu reduzieren. Bei der vorliegenden Konfiguration kann das Altern von elektronischen Komponenten der Projektorschaltung begrenzt bzw. verringert werden. Damit ist die Verarbeitung gemäß dem Ablaufdiagramm in 11 beendet.
Gemäß dem vorliegenden Ausführungsbeispiel, wie es vorstehend beschrieben ist, wird die Rahmenrate bzw. Bildrate oder Aufnahmerate der Kamera 22 verringert, wenn die Lenkungsabdeckung auftritt, um hierdurch das Projektionsintervall bzw. Lichtaussendeintervall des Projektors 21 zu vergrößern. Damit kann ein fortgesetzter bedeutungsloser Abbildungsvorgang bzw. Bildaufnahmevorgang und eine fortgesetzte, bedeutungslose Projektion von Licht eingeschränkt werden. Insbesondere ermöglicht die Vergrößerung des Projektions- bzw. Lichtaussendeintervalls eine Verringerung hinsichtlich der Energieverluste und eine Abschwächung der Augenbeanspruchung des Fahrers.
Zudem hört hierbei die Bildaufnahme mittels der Kamera 22 nicht mit dem Aufnahmebetrieb auf, wenn die Lenkungsabdeckung auftritt. Es kann daher auf der Grundlage des fotografischen Bilds, das mit der Kamera 22 nachfolgend aufgenommen wird, ermittelt werden, ob die Lenkungsabdeckung fortdauert oder endet. Wenn die Lenkungsabdeckung endet, kann somit die ursprüngliche Belichtungszeitsteuerung und die Projektionszeitsteuerung wieder aufgenommen werden.
(Viertes Ausführungsbeispiel)
Nachfolgend wird ein Gesichtsaufnahmesystem in Übereinstimmung mit dem vierten Ausführungsbeispiel beschrieben. Im Folgenden wird im Wesentlichen der Unterschied des Gesichtsaufnahmesystems gegenüber den vorstehend erläuterten Ausführungsbeispielen beschrieben. 12 zeigt einen Überblick über das Fahrerüberwachungssystem 2 gemäß dem vorliegenden Ausführungsbeispiel. In 12B sind gleichwertige bzw. gleichartige Teile wie diejenigen gemäß 1 mit den gleichen Bezugzahlen bezeichnet. Die Konfiguration des Fahrerüberwachungssystems 2, das in 12 dargestellt ist, weist einen Abstandssensor 30 auf, der sich von dem Fahrerüberwachungssystem 1 unterscheidet, das in 1 gezeigt ist.
Der Abstandssensor 30 ist dazu ausgelegt, den Abstand von einem Objekt zu detektieren, das um den Projektor 21 herum vorhanden ist. Bei der aktuellen Konfiguration sind verschiedene Arten von generell bekannten Abstandssensoren als Abstandssensor 30 einsetzbar. Der Abstandssensor 30 kann beispielsweise ein Sensor sein, der zum Aussenden einer Ultraschallwelle oder eines Laserstrahls um ihn herum ausgelegt ist, um die Entfernung zu einem Objekt auf der Basis einer reflektierten Welle zu erfassen. Alternativ kann der Abstandssensor 30 ein Sensor sein, der zum Erfassen des Abstands auf der Grundlage eines Stereobilds ausgelegt ist, oder kann ein Sensor sein, der zur Erfassung des Abstands ausgelegt ist, indem er einen Infrarotstrahl wahrnimmt, der von einem Objekt innerhalb eines spezifischen bzw. bestimmten Abstands ausgesendet wird. Die Konfiguration des Abstandssensors 30 ist derart ausgelegt, dass der Abstandssensor 30 im Stande ist, den Abstand zu einem Objekt wie etwa zu dem Gesicht eines Fahrers um den Projektor 21 herum zu erfassen. Noch genauer gesagt, ist die Konfiguration des Abstandssensors 30, wie etwa die Montageposition und/oder die Aussendungsfläche bzw. der Aussendungsbereich des Signals einer Ultraschallwelle und/oder eines Laserstrahls so festgelegt, dass der Abstandssensor 30 im Stande ist, den Abstand von insbesondere einem Objekt zu detektieren, das in der Peripherieregion 10 des Sitzes des Fahrers vorhanden ist.
Der Abstandssensor 30 ist dazu ausgebildet, sein Erfassungssignal zu der Projektionsbestimmungseinheit 27 zu senden. Die Projektionsbestimmungseinheit 27 ermittelt auf der Basis des Erfassungssignals von dem Abstandssensor 30, als Zusatz zu den Verarbeitungsergebnissen des fotografischen Bilds gemäß den vorstehend erläuterten Ausführungsbeispielen, ob sich das Gesicht des Fahrers dem Projektor 21 annähert. Genauer gesagt, enthält die Nähe- bzw. Annäherungserfassungsverarbeitung gemäß 4 oder 8 bei dem vorliegenden Ausführungsbeispiel noch zusätzlich eine Verarbeitung hinsichtlich einer Ermittlung, ob der Abstand, der durch den Abstandssensor 30 detektiert ist, kleiner ist als ein vorbestimmter Schwellwert, und zwar nachfolgend zu der Verarbeitung gemäß dem Schritt S20 in dem Fall der 4, oder nachfolgend zu der Verarbeitung gemäß dem Schritt S27 in dem Fall der 8. Anschließend wird auf die Ermittlung hin, dass sich das Gesicht des Fahrers in der Nähe befindet, und wenn der erfasste Abstand kleiner ist als die Schwelle, die Aussendung von Licht von dem Projektor 21 angehalten oder abgeschwächt (gedimmt) (Schritt 21). Bei der vorliegenden Konfiguration kann die Nähe bzw. Annäherung des Gesichts des Fahrers mit hoher Genauigkeit detektiert werden. Die einzige Einrichtung gemäß dem Abstandssensor 30 kann dazu konfiguriert sein, die Nähe bzw. Annäherung des Gesichts des Fahrers zu detektieren.
Die vorstehend beschriebenen Ausführungsbeispiele können in beliebiger Weise wie folgt modifiziert werden. Als Beispiel ist bei den vorstehend beschriebenen Ausführungsbeispielen das Gesichtsabbildungssystem bzw. Gesichtsaufnahmesystem anhand des Beispiels vorgestellt, dass das Fahrerüberwachungssystem dazu ausgelegt ist, das Gesicht des Fahrers abzubilden bzw. aufzunehmen. Es ist anzumerken, dass das Gesichtsabbildungssystem auch bei einem System zum Abbilden bzw. Aufnehmen eines Gesichts eines Benutzers eingesetzt werden kann, wobei das Gesicht des Benutzers ein anderes als das Fahrergesicht ist oder zusätzlich zu dem Gesicht des Fahrers vorhanden ist bzw. aufgenommen wird.
Bei den vorstehend erläuterten Ausführungsbeispielen kann der Projektor 21 gleichwertig bzw. äquivalent zu einer Projektionseinheit sein. Die Kamera 22 kann äquivalent zu einer Abbildungseinheit bzw. Aufnahmeeinheit sein. Die Abbildungssteuereinheit 23, die Projektionssteuereinheit 24, die Bildverarbeitungseinheit 25 und die Projektionsbestimmungseinheit 27, die dazu ausgelegt sind, die Verarbeitung gemäß den Schritten S11 bis S23 in 4, die Verarbeitung gemäß den Schritten S11 bis S27 in 8 oder die Verarbeitung gemäß den Schritten S11 bis S29 in 10 zu implementieren bzw. auszuführen, können äquivalent zu einer Näheerfassungseinheit bzw. Annäherungserfassungseinheit sein. Die Projektionssteuereinheit 24, die dazu ausgelegt ist, die Verarbeitung gemäß dem Schritt S21 in 4, 8 oder 10 zu realisieren, kann äquivalent zu der ersten Beleuchtungssteuereinheit sein. Die Projektionsbestimmungseinheit 27, die dazu ausgelegt ist, die Verarbeitung gemäß den Schritten S16 bis S18 in 4, oder die Verarbeitung gemäß den Schritten S24, S25 in 8 zu implementieren, kann äquivalent zu bzw. gleichartig mit einer Kanten- bzw. Randextraktionseinheit sein. Die Projektionsbestimmungseinheit 27, die dazu ausgelegt ist, die Verarbeitung gemäß den Schritten S19 und S20 in 4 oder die Verarbeitung gemäß den Schritten S26 und S27 in 8 auszuführen, kann äquivalent zu bzw. gleichartig wie eine Kanten- bzw. Randbestimmungseinheit sein. Die Bildverarbeitungseinheit 25, die dazu ausgelegt ist, die Verarbeitung gemäß dem Schritt S14 in 4, 8 oder 10 zu implementieren, kann äquivalent zu bzw. gleichartig mit einer Gesichterkennungseinheit sein. Die Abbildungssteuereinheit 23 in 1 kann äquivalent zu bzw. gleichartig mit einer Abbildungssteuereinheit bzw. Aufnahmesteuereinheit (Gerät) sein. Die Projektionssteuereinheit 24 gemäß 1 kann äquivalent zu bzw. gleichartig mit einer zweiten Projektionssteuereinheit (Gerät) sein. Zusätzlich zu dem Lenkwinkelsensor 28, können die Abbildungs- bzw. Bildaufnahmesteuereinheit 23, die Projektionssteuereinheit 24, die Bildverarbeitungseinheit 25 und die Projektionsbestimmungseinheit 27, die dazu ausgelegt sind, die Verarbeitung gemäß den Schritten S31 bis S36 in 11 auszuführen, äquivalent zu einer bzw. gleichartig wie eine Verbergungs- bzw. Abdeckungserfassungseinheit sein. Der Abstandssensor 30 gemäß 12 kann äquivalent zu einer bzw. gleichartig wie eine Abstandserfassungseinheit sein. Die Projektionsbestimmungseinheit 27, die dazu ausgelegt ist, die Verarbeitung gemäß dem Schritt S22 in 4 oder in 8 zu implementieren, kann gleichartig bzw. äquivalent zu einer Erfassungseinheit zur Erfassung einer ausblühenden bzw. überstrahlten Region sein. Die Projektionsbestimmungseinheit 27, die Dazu ausgelegt ist, die Verarbeitung gemäß dem Schritt S23 in 4 oder in 8 zu realisieren, kann äquivalent zu einer bzw. gleichartig wie eine Erfassungseinheit zur Erfassung eines tiefschwarzen bzw. konturlos schwarzen Bereichs sein.
Wenn die vorstehend beschriebenen Ausführungsbeispiele summarisch betrachtet werden, weist das Gesichtsabbildungssystem folgende Merkmale auf: die Projektionseinheit, die zum Projizieren bzw. Aussenden von Licht zu der Projektionseinrichtung, die als die Region vorab bestimmt ist, von der angenommen wird, dass das Gesicht des Benutzers dort angeordnet ist, ausgelegt ist; die Abbildungseinheit bzw. Bildaufnahmeeinheit, die dazu konfiguriert ist, die Region einschließlich der Projektionsregion aufzunehmen bzw. abzubilden, die mit Licht von der Projektionseinheit bestrahlt wird; die Nahzustands- bzw. Annäherungs-Erfassungseinheit, die dazu ausgelegt ist, zu erfassen, dass sich das Gesicht des Benutzers der Projektionseinheit annähert; und die erste Projektionssteuereinheit, die dazu konfiguriert ist, die Projektionseinheit zum Beenden oder Abschwächen der Projektion von Licht zu veranlassen, wenn die Annäherungs-Erfassungseinheit eine Annäherung detektiert.
Bei der vorliegenden Konfiguration ist die Annäherungs-Erfassungseinheit dazu ausgelegt, zu erfassen, dass sich das Gesicht des Benutzers der Projektionseinheit annähert. In diesem Fall veranlasst die erste Projektionssteuereinheit die Projektionseinheit dazu, die Lichtaussendung zu beenden oder das Licht zu dimmen, um hierdurch eine Augenbeanspruchung, die in den Augen des Benutzers hervorgerufen wird, abzuschwächen.
Die Annäherungs-Erfassungseinheit kann zusätzlich weiterhin dazu ausgelegt sein, eine Annäherung auf der Basis des fotografischen Bilds zu detektieren, das mit der Abbildungseinheit aufgenommen ist.
Bei der vorliegenden Konfiguration kann das fotografische Bild entsprechend der Annäherung erhalten werden, wenn sich das Gesicht des Benutzers der Projektionseinheit annähert. Die Annäherungs-Erfassungseinheit ist daher im Stande, entsprechend dem fotografischen Bild zu ermitteln, dass sich das Gesicht des Benutzers der Projektionseinheit annähert. Bei der vorliegenden Konfiguration ist es nicht erforderlich, dass ein weiterer Sensor für die Erfassung einer Annäherung des Gesichts des Benutzers zusätzlich vorgesehen ist. Die Konfiguration des Gesichtsabbildungssystems kann daher vereinfacht sein.
Die Abbildungseinheit kann die Linsenstruktur bzw. den Objektivaufbau aufweisen, die bzw. der derart konfiguriert ist, dass sie bzw. er eine Verschwommenheit bzw. Unschärfe in der Region verursacht, die dem Objekt in dem fotografischen Bild entspricht, wenn das Objekt bei einer Annäherung an die Projektionseinheit abgebildet wird. In diesem Fall kann das Gesichtsabbildungssystem weiterhin die Kanten- bzw. Randextraktionseinheit aufweisen, die derart konfiguriert ist, dass sie die Rand- bzw. Kanteninformation von dem fotografischen Bild extrahiert, wobei die Rand- bzw. Kanteninformation ein Merkmal einer Kante bzw. eines Rands in dem fotografischen Bild widerspiegelt. Zusätzlich kann das Gesichtsabbildungssystem ferner die Rand- bzw. Kantenbestimmungseinheit aufweisen, die dazu konfiguriert ist, zu bestimmen, ob die Rand- bzw. Kanteninformation, die von der Kanten- bzw. Randextraktionseinheit extrahiert worden ist, eine Kanteninformation mit einer Verschwommenheit bzw. Unschärfe ist.
Bei der vorliegenden Konfiguration weist die Abbildungseinheit den Linsenaufbau auf, der dazu konfiguriert ist, eine Unschärfe in der Abbildungsregion entsprechend dem Objekt zu erzeugen, wenn das Objekt abgebildet wird, während es sich der Projektionseinheit annähert. Daher kann eine Unschärfe in dem fotografischen Bild generiert werden, wenn sich ein Benutzer der Projektionseinheit annähert. In diesem Fall wird die Rand- bzw. Kanteninformation, die von der Kanten- bzw. Randextraktionseinheit extrahiert wird, zu einer Rand- bzw. Kanteninformation, die eine Unschärfe widerspiegelt bzw. aufweist. In diesem Fall ermittelt die Kantenbestimmungseinheit weiterhin, dass die extrahierte Kanteninformation eine Kanteninformation mit einer Unschärfe ist, um hierdurch die Nähe (Annäherung bzw. angenäherter Zustand) des Gesichts des Benutzers zu detektieren. Auf diese Weise wird die Nähe (Annäherung) entsprechend der Kanteninformation detektiert. Selbst in einem Fall, bei dem das Gesicht des Benutzers nicht detektiert werden kann, ist hierdurch eine Annäherung des Gesichts des Benutzers detektierbar.
Die Abbildungseinheit kann weiterhin dazu ausgelegt sein, die Projektionsregion in einer Form abzubilden bzw. aufzunehmen, dass die umgebende Struktur abgebildet wird, die sich in ihrer Position relativ zu der Abbildungseinheit nicht ändert. In diesem Fall kann die Kantenbestimmungseinheit weiterhin dazu ausgelegt sein, die Kanteninformation an bzw. in der Hintergrundregion, also in der Region, die der Struktur in dem fotografischen Bild entspricht, mit der Kanteninformation an bzw. in der nicht fixierten bzw. veränderbaren Region zu vergleichen, also in der Region, die eine andere Region als die Hintergrundregion ist, um hierdurch zu bestimmen bzw. ermitteln, ob die Kanteninformation in der nicht fixierten Region eine Kanteninformation mit einer Unschärfe ist.
Bei der vorliegenden Konfiguration erhält die Abbildungseinheit das fotografische Bild der umgebenden Struktur. Das fotografische Bild enthält daher die Hintergrundregion, die der Struktur entspricht. Die Struktur ändert sich hinsichtlich ihrer Position relativ zu der Abbildungseinheit nicht. Daher ist die Kanteninformation in der Hintergrundregion eine Kanteninformation ohne eine Verschwommenheit bzw. Unschärfe. Zudem enthält die nicht fixierte Region, anders als die Hintergrundregion, in dem fotografischen Bild, die Gesichtsregion, die dem Gesicht des Benutzers entspricht. Wenn sich das Gesicht des Benutzers annähert, wird daher die Kanteninformation in der nicht fixierten Region zu einer Kanteninformation, die eine Unschärfe widerspiegelt. In diesem Fall enthält die Kanteninformation in der nicht fixierten Region ein anderes Merkmal, das unterschiedlich ist gegenüber demjenigen der Kanteninformation in der Hintergrundregion. Wenn sich im Gegensatz hierzu das Gesicht des Benutzers nicht annähert, weist die Kanteninformation in der nicht fixierten Region ein Merkmal ähnlich wie dasjenige der Kanteninformation in der Hintergrundregion auf. Die Kantenbestimmungseinheit ist daher im Stande, zu bestimmen bzw. zu ermitteln, ob die Kanteninformation in der nicht fixierten Region eine Kanteninformation mit einer Unschärfe ist, indem sie die Kanteninformation in der nicht fixierten Region mit der Kanteninformation in der Hintergrundregion vergleicht. Daher kann die Ermittlung, ob eine Unschärfe in dem fotografischen Bild auftritt, ausgeführt werden, und es kann weiterhin eine Bestimmung dahingehend, ob sich das Gesicht des Benutzers annähert, in Abhängigkeit von dem Vergleichsergebnis zwischen der Kanteninformation in der nicht fixierten Region mit der Kanteninformation in der bekannten, keine Unschärfe aufweisenden Region (Hintergrundregion) in dieser Weise ausgeführt werden.
Die Kantenbestimmungseinheit kann weiterhin dazu ausgelegt sein, die aktuelle Kanteninformation mit der vorhergehenden Kanteninformation in dem vorhergehenden fotografischen Bild ohne eine Unschärfe zu vergleichen, um hierdurch zu erkennen, ob die aktuelle Kanteninformation eine Kanteninformation mit einer Unschärfe ist.
Wenn eine Unschärfe in dem aktuellen bzw. gegenwärtigen fotografischen Bild auftritt, ändert sich die aktuelle Kanteninformation gegenüber der vorhergehenden Kanteninformation in dem vorhergehenden fotografischen, keine Unschärfe aufweisenden Bild. Wenn im Gegensatz hierzu keine Unschärfe bzw. Verschwommenheit in dem aktuellen fotografischen Bild auftritt, weist das aktuelle fotografische Bild keine große Differenz gegenüber der vorhergehenden Kanteninformation auf. Daher kann eine Bestimmung, ob die aktuelle Kanteninformation eine Kanteninformation mit einer Unschärfe ist, auf der Basis des Vergleichsergebnisses zwischen der aktuellen Kanteninformation und der vorhergehenden Kanteninformation getroffen werden.
Das Gesichtsabbildungssystem kann weiterhin die Gesichtserkennungseinheit enthalten, die dazu ausgelegt ist, die Gesichtsregion in dem fotografischen Bild zu detektieren, wobei die Gesichtsregion die Region ist, die dem Gesicht des Benutzers entspricht. In diesem Fall kann die Annäherungs-Erfassungseinheit weiterhin dazu ausgelegt sein, die Annäherung entsprechend bzw. auf der Basis der Größe der Gesichtsregion zu erfassen, wenn die Gesichtserkennungseinheit die Gesichtsregion detektiert.
Bei der vorliegenden Konfiguration wird davon ausgegangen, dass die Größe der Gesichtsregion, die dem Gesicht des Benutzers entspricht, in dem fotografischen Bild mit der Nähe (Annäherung) des Gesichts des Benutzers an die Projektionseinheit korreliert ist. Wenn die Gesichtserkennungseinheit die Gesichtsregion erfolgreich erfasst, ist die Annäherungs-Erfassungseinheit somit im Stande, die Nähe bzw. Annäherung des Gesichts des Benutzers entsprechend bzw. auf der Basis der Größe der Gesichtsregion zu erfassen. Daher kann die Nähe bzw. Annäherung des Gesichts des Benutzers detektiert werden, ohne dass die Kanteninformation benutzt wird.
Das Gesichtsabbildungssystem kann weiterhin umfassen: die Abbildungssteuereinheit, die dazu konfiguriert ist, die Belichtungsbedingung bzw. die Belichtungsbedingungen der Abbildungseinheit zu steuern; die zweite Projektionssteuereinheit, die dazu ausgelegt ist, die Projektionszeitsteuerung der Aussendung von Licht von der Projektionseinheit entsprechend der Belichtungszeitsteuerung der Abbildungseinheit zu steuern; und die Abdeckungserfassungseinheit, die dazu ausgelegt ist, entsprechend dem fotografischen Bild bzw. auf dessen Basis zu erfassen, dass die Abbildungseinheit durch ein Hindernis verdeckt bzw. verborgen ist. In diesem Fall kann die Abbildungssteuereinheit dann, wenn die Abdeckungserfassungseinheit eine Abdeckung detektiert, das Belichtungsintervall der Abbildungseinheit vergrößern und/oder die erste Projektionssteuereinheit kann die Projektionseinheit dazu veranlassen, das Aussenden von Licht zu beenden, oder die Aussendung des Lichts zu projizieren.
Bei der vorliegenden Konfiguration ist die zweite Projektionssteuereinheit, die Projektionszeitsteuerung des Lichts von der Projektionseinheit mit der Belichtungszeitsteuerung der Abbildungseinheit zu verknüpfen. Bei der vorliegenden Konfiguration projiziert die Projektionseinheit Licht, während die Abbildungseinheit ihren Verschluss öffnet, um die Abbildung bzw. Bildaufnahme durchzuführen. Hierbei kann ein Hindernis die Abbildungseinheit abdecken, so dass eine Abbildung bzw. Aufnahme des Gesichts des Benutzers aufgrund des Hindernisses nicht möglich ist. In diesem Fall kann es nutzlos bzw. verschwenderisch sein, mit der Gewinnung der fotografischen Bilder fortzufahren und die Aussendung von Licht fortzuführen. Bei der vorliegenden Konfiguration erfasst die Abdeckungserfassungseinheit eine Abdeckung der Abbildungseinheit auf der Basis des fotografischen Bilds. Die Abbildungssteuereinheit vergrößert hierbei das Belichtungsintervall, wenn eine Abdeckung der Abbildungseinheit erfasst wird. Zusätzlich oder alternativ kann die erste Projektionssteuereinheit das Aussenden von Licht zu beenden oder dimmen bzw. abschwächen, um hierdurch die Leistung des projizierten Lichts zu verringern. In Verbindung mit der Vergrößerung des Belichtungsintervalls erhöht sich auch das Projektionsintervall der Projektionseinheit. Daher können Energieverluste, die durch eine sinnlose Aussendung von Licht verursacht sind, begrenzt werden, und es kann eine Augenbelastung, die in den Augen des Benutzers hervorgerufen wird, verringert werden. Zusätzlich können elektronische Komponenten der Projektorschaltung hinsichtlich ihrer Alterungserscheinungen beschränkt bzw. verringert werden. Zusätzlich hört die Abbildungseinheit nicht mit der Abbildung bzw. der Bildaufnahme auf, wenn eine Abdeckung der Abbildungseinheit auftritt. Daher kann auf der Grundlage des oder der fotografischen Bilder, die mit der Abbildungseinheit nachfolgend aufgenommen werden, die Ermittlung ausgeführt werden, ob die Abdeckung der Abbildungseinheit andauert oder endet. Wenn die Abdeckung beendet ist, können die ursprüngliche Belichtungszeitsteuerung und die ursprüngliche Projektionszeitsteuerung wieder aufgenommen werden.
Die Annäherungs-Erfassungseinheit kann weiterhin die Abstandserfassungseinheit aufweisen, die dazu konfiguriert ist, den Abstand bzw. die Entfernung eines Objekts zu erfassen, das um die Projektionseinheit herum vorhanden ist. In diesem Fall kann die Annäherungs-Erfassungseinheit weiterhin dazu ausgelegt sein, entsprechend bzw. auf der Basis des Abstands, der mit der Abstanderfassungseinheit erfasst ist, zu detektieren, dass bzw. ob sich das Objekt der Projektionseinheit annähert. Die Abstandserfassungseinheit kann beispielsweise eine Ultraschallwelle, eine Kamera, die zum Detektieren des Abstands konfiguriert ist, und/oder ein Laser sein.
Bei der vorliegenden Konfiguration kann die Nähe bzw. Annäherung eines Objekts wie etwa des Gesichts eines Benutzers erfasst werden, ohne dass das fotografische Bild benutzt wird. Alternativ kann die Nähe des Gesichts des Benutzers mit einer hohen Genauigkeit detektiert werden, indem die Erfassung der Nähe auf der Basis des fotografischen Bilds sowie die Erfassung der Nähe mittels der Abstandserfassungseinheit kombiniert werden.
Das Gesichtsabbildungssystem kann weiterhin die Überstrahlungsregion-Erfassungseinheit enthalten, die dazu ausgelegt ist, zu erfassen, dass: die Überstrahlungsregion bzw. überbelichtete Region (überstrahltes bzw. überbelichtetes Foto) in Pixeln um das Zentrum des fotografischen Bilds herum vollständig auftritt; oder das Pixelwerte von Pixeln vollständig um das Zentrum des fotografischen Bilds herum größer als oder gleich groß wie eine erste Schwelle sind, die als ein Wert vorbestimmt ist, der äquivalent bzw. gleichartig zu der Überstrahlungsregion ist. In diesem Fall kann die Annäherungserfassungseinheit weiterhin dazu konfiguriert sein, anzunehmen bzw. zu entscheiden, dass sich das Gesicht des Benutzers der Projektionseinheit annähert, wenn die Überstrahlungsregion-Erfassungseinheit die überstrahlte Region detektiert oder erfasst, dass die Pixelwerte größer als oder gleich groß wie die erste Schwelle sind.
Wenn sich das Gesicht des Benutzers der Abbildungseinheit rasch annähert, ohne den Zustand der Verschwommenheit bzw. Unschärfe zu durchlaufen, kann die Abbildungseinheit ein Bild aufnehmen, das Licht von der Projektionseinheit stark reflektiert. In diesem Fall kann das aufgenommene Bild um das Zentrum des fotografischen Bilds herum zu einem im Wesentlichen rein weißen unklaren Bild in dem überstrahlten bzw. überbelichteten Zustand werden. Bei der vorliegenden Konfiguration ermittelt die Annäherungs-Erfassungseinheit, dass eine Annäherung des Gesichts des Benutzers vorliegt, auch dann, wenn die Überstrahlungsregion-Erfassungseinheit die überstrahlte Region detektiert. Selbst in dem Fall einer raschen Annäherung ohne Durchlaufen des verschwommenen bzw. unscharfen Zustands ist die erste Projektionssteuereinheit somit im Stande, die Projektionseinheit dazu zu veranlassen, die Projektion von Licht zu beenden oder projiziertes Licht zu dimmen. Zusätzlich kann die Überstrahlungsregion-Erfassungseinheit auch derart konfiguriert sein, dass sie erfasst, dass die Pixelwerte um das Zentrum des fotografischen Bilds herum größer als oder gleich groß wie die erste Schwelle sind, die als ein Wert vorbestimmt ist, der äquivalent bzw. gleichartig zu demjenigen einer überstrahlten Region ist, und zwar zusätzlich zu, oder alternativ zu der Erfassung der überstrahlten Region. In diesem Fall kann die Annäherungs-Erfassungseinheit die Annäherung bzw. Nähe des Gesichts des Benutzers ebenfalls ermitteln. Bei der vorliegenden Konfiguration kann die Annäherung des Gesichts selbst in einem Fall detektiert werden, bei dem sich der Abbildungsmodus bzw. Bildaufnahmemodus der Abbildungseinheit beispielsweise in dem Modus mit hohem dynamischen Bereich (HDR Modus) befindet, bei dem eine überstrahlte bzw. überbelichtete Region kaum hervorgerufen wird, und es kann die Beleuchtung beendet oder abgeschwächt (gedimmt) werden.
Das Gesichtsabbildungssystem kann weiterhin die Konturlos-Schwarz-Erfassungseinheit aufweisen, die dazu ausgelegt ist, zu erfassen, dass eine völlige bzw. konturlose Schwärzung (konturlos schwarzes Foto, „black crushing photo”) vollständig in den Bildelementen um das Zentrum des fotografischen Bilds herum auftritt; oder dass die Bildelementwerte von Bildelementen vollständig um das Zentrum des fotografischen Bilds herum kleiner als oder gleich groß wie die zweite Schwelle sind, die als der Wert vorbestimmt ist, der äquivalent bzw. gleich dem einer vollständigen bzw. konturlosen Schwärzung ist. In diesem Fall kann die Annäherungs-Erfassungseinheit ferner dazu konfiguriert sein, anzunehmen bzw. zu entscheiden, dass sich das Gesicht des Benutzers der Projektionseinheit annähert, wenn die Konturlos-Schwarz-Erfassungseinheit die vollständige bzw. konturlose Schwärzung detektiert oder erfasst, dass die Bildelementwerte bzw. Pixelwerte kleiner als oder gleich groß wie die zweite Schwelle sind.
Wenn sich das Gesicht des Benutzers in dem überstrahlten Zustand der Abbildungseinheit weiter annähert, ist die Abbildungseinheit im Wesentlichen abgedeckt, so dass sie sich in dem konturlos schwarzem Zustand („black crushing state”) befindet, in dem die Abbildungseinheit ein konturlos schwarzes Bild aufnimmt. Bei der vorliegenden Konfiguration ist die Konturlos-Schwarz-Erfassungseinheit derart konfiguriert, dass sie eine konturlose Schwärzung erfasst, und es ermittelt die Annäherungs-Erfassungseinheit, dass eine Annäherung des Gesichts des Benutzers auftritt, auch dann, wenn die Konturlos-Schwarz-Erfassungseinheit die konturlose Schwärzung detektiert. In diesem Fall kann die Aussendung von Licht daher beendet oder abgeschwächt werden. In ähnlicher Weise wie bei dem Fall der überstrahlten Region kann eine Bestimmung der Nähe bzw. Nachbarschaft des Gesichts des Benutzers auch dann getroffen werden, wenn die Bildelementwerte um das Zentrum des fotografischen Bilds herum kleiner als oder gleich groß wie die zweite Schwelle sind, die auf einen kleinen Wert vorab festgelegt ist, der äquivalent zu bzw. gleich dem konturlos schwarzem Bild ist. Selbst in dem Fall, dass die Abbildungseinheit eine hohe Empfindlichkeit besitzt, bei der eine konturlose Schwärzung kaum hervorgerufen wird, kann daher die Beleuchtung beendet oder abgeschwächt werden.
Das Gesicht kann ein Auge sein bzw. aufweisen. In diesem Fall wird die Projektion von Licht beendet oder abgeschwächt, wenn Licht in die Augen des Benutzers projiziert wird und wenn sich die Augen des Benutzers der Projektionseinheit annähern, um hierdurch die Augenbeanspruchung zu verringern, die in den Augen des Benutzers hervorgerufen wird. Die Abbildungseinheit kann eine Linsenkonfiguration aufweisen, die dazu ausgelegt ist, eine Verschwommenheit in einer Region zu verursachen, in der eine Schärfentiefe („depth of field”) kleiner als oder gleich 20 cm ist.
Die Abbildungseinheit kann eine Linsenkonfiguration aufweisen, die derart konfiguriert ist, dass die Modulationsübertragungsfunktion (MTF = Modulation Transfer Function) in einer bestimmten Region verringert ist.
Die Annäherungs-Erfassungseinheit kann weiterhin dazu ausgelegt sein, eine Temperaturinformation bezüglich der Temperatur einer Linse der Abbildungseinheit abzutasten bzw. abzufragen; und eine Erfassungsbedingung bezüglich der Erfassung der Annäherung des Gesichts des Benutzers in Abhängigkeit von der abgefragten Temperaturinformation zu ändern.
Die vorstehend beschriebenen Strukturen der Ausführungsbeispiele können in jeweils geeigneter Weise kombiniert werden. Die vorstehend beschriebenen Verarbeitungen wie etwa Berechnungen und Bestimmungen sind nicht darauf beschränkt, dass sie durch die Verarbeitungseinheiten 23 bis 27 ausgeführt werden. Die Steuereinheit kann verschiedenartige Strukturen einschließlich der Verarbeitungseinheiten 23 bis 27 aufweisen, die als ein Beispiel gezeigt sind. Die Anzahl der Komponenten und der Objekte, die mit dem Gesichtsabbildungssystem zusammenhängen, kann in beliebiger Weise von 1 bis zu 2 oder mehr festgelegt sein. Genauer gesagt, kann die Vorrichtung wie etwa die Projektionseinheit, die Abbildungseinheit, die Erfassungseinheit und die Steuereinheit eine Vorrichtung oder auch zwei oder mehr Vorrichtungen sein. Zudem kann das Objekt wie etwa die Region, das Gesicht und der Hintergrund ein Objekt oder kann auch zwei oder mehr Objekte sein.
Die vorstehend beschriebenen Verarbeitungen wie etwa Berechnungen und Bestimmungen können durch eine beliebige Kombination oder beliebige Kombination aus Software, einer elektrischen Schaltung, einer mechanischen Vorrichtung und dergleichen ausgeführt werden. Die Software kann in einem Speichermedium gespeichert sein, und kann über eine Übertragungseinrichtung wie etwa eine Netzwerkeinrichtung übertragen werden. Die elektrische Schaltung kann als eine integrierte Schaltung ausgelegt sein, und kann auch eine diskrete Schaltung wie etwa eine Hardware-Logik sein, die mit elektrischen oder elektronischen Elementen oder dergleichen ausgebildet ist. Die Elemente, die die vorstehend geschilderten Verarbeitungen ausführen, können diskrete Elemente sein und können teilweise oder vollständig integriert sein.
Es ist festzustellen, dass, auch wenn die Prozesse bzw. Abläufe bei den Ausführungsbeispielen der vorliegenden Erfindung hier so beschrieben sind, dass sie eine spezielle Sequenz von Schritten enthalten, weitere alternative Ausführungsbeispiele einschließlich verschiedenen anderen Sequenzen von diesen Schritten und/oder zusätzlichen Schritten, die hier nicht beschrieben sind, innerhalb der Schritte bzw. des Umfangs der vorliegenden Erfindung liegen.
Verschiedene Modifikationen und Abänderungen können bei den vorstehend beschriebenen Ausführungsbeispielen divergierend vorgesehen sein, ohne dass von dem Gehalt der vorliegenden Erfindung abgewichen wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 4419609 [0003]
JP 449316 [0079]

Zitierte Nicht-Patentliteratur

IEC62471 [0026]

Claims

Gesichtsabbildungssystem, mit einer Projektionseinheit (21), die zum Projizieren von Licht in eine vorbestimmte Projektionsregion ausgelegt ist, von der angenommen ist, dass ein Gesicht eines Benutzers dort angeordnet ist; einer Abbildungseinheit (22), die zum Aufnehmen einer Region einschließlich der Projektionsregion, die mit Licht von der Projektionseinheit (21) bestrahlt wird, ausgelegt ist; einer Annäherungs-Erfassungseinheit (23, 24, 25, 27, S11 bis S29), die dazu ausgelegt ist, eine Annäherung des Gesichts des Benutzers relativ zu der Projektionseinheit (21) zu erfassen; und einer ersten Projektionssteuereinheit (24, S21), die dazu ausgelegt ist, die Projektionseinheit (21) zum Beenden oder Abschwächen der Projektion von Licht zu veranlassen, wenn die Annäherungs-Erfassungseinheit (23, 24, 25, 27, S11 bis S29) die Annäherung des Gesichts des Benutzers erfasst.
Gesichtsabbildungssystem nach Anspruch 1, bei dem die Annäherungs-Erfassungseinheit (23, 24, 25, 27, S11 bis S29) weiterhin dazu ausgelegt ist, die Annäherung des Gesichts des Benutzers in Abhängigkeit von einem Bild zu erfassen, das von der Abbildungseinheit (22) aufgenommen ist.
Gesichtsabbildungssystem nach Anspruch 2, bei dem die Abbildungseinheit (22) eine Linsenstruktur aufweist, die dazu ausgelegt ist, eine Verschwommenheit bzw. Unschärfe in einer Region, die einem Objekt in dem Bild entspricht, hervorzurufen, wenn sich das Objekt der Projektionseinheit (21) annähert, und die Annäherungs-Erfassungseinheit (23, 24, 25, 27, S11 bis S29) aufweist: eine Randextraktionseinheit (27, S16 bis S18, S24, S25), die dazu ausgelegt ist, eine Rand- bzw. Kanteninformation aus dem Bild zu extrahieren, wobei die Rand- bzw. Kanteninformation ein Merkmal eines Rands in dem Bild widerspiegelt, und eine Randbestimmungseinheit (27, S19, S20, S27, S26), die dazu ausgelegt ist, zu ermitteln, ob die Randinformation, die durch die Randextraktionseinheit (27, S16 bis S18, S24, S25) extrahiert ist, eine Verschwommenheit bzw. Unschärfe aufweist.
Gesichtsabbildungssystem nach Anspruch 3, bei dem die Abbildungseinheit (22) weiterhin dazu ausgelegt ist, die Projektionsregion einschließlich einer umgebenden Struktur abzubilden, die hinsichtlich ihrer Position relativ zu der Abbildungseinheit (22) konstant bleibt, und die Randbestimmungseinheit (27, S19, S20, S27, S26) weiterhin dazu ausgelegt ist, Randinformationen, die in einer Hintergrundregion entsprechend der umgebenden Struktur in dem Bild vorhanden ist, mit einer Randinformation zu vergleichen, die in einer nicht fixierten, sich von der Hintergrundregion unterscheidenden Region vorhanden ist, um hierdurch zu ermitteln, ob die Randinformation in der nicht fixierten Region eine Unschärfe oder Verschwommenheit aufweist.
Gesichtsabbildungssystem nach Anspruch 3, bei dem die Randbestimmungseinheit (27, S19, S20, S27, S26) weiterhin dazu ausgelegt ist, eine aktuelle Randinformation mit einer vorhergehenden Randinformation, die in einem vorhergehenden Bild ohne Unschärfe vorhanden ist, zu vergleichen, um hierdurch zu ermitteln, ob die aktuelle Randinformation eine Unschärfe aufweist.
Gesichtsabbildungssystem nach Anspruch 2, das weiterhin umfasst: eine Gesichtserkennungseinheit (25, S14), die dazu ausgelegt ist, eine Gesichtsregion zu erfassen, die dem Gesicht eines Benutzers in dem Bild entspricht, wobei die Annäherungs-Erfassungseinheit (23, 24, 25, 27, S11 bis S29) weiterhin dazu ausgelegt ist, eine Annäherung des Gesichts des Benutzers basierend auf einer Größe der Gesichtsregion zu erfassen, wenn die Gesichtserkennungseinheit (25, S14) die Gesichtsregion erfasst.
Gesichtsabbildungssystem nach einem der Ansprüche 2 bis 6, das weiterhin umfasst: eine Abbildungssteuereinheit (23), die dazu ausgelegt ist, eine Belichtungsbedingung der Abbildungseinheit (22) zu steuern; eine zweite Projektionssteuereinheit (24), die dazu ausgelegt ist, eine Projektionszeitsteuerung der Projektion von Licht von der Projektionseinheit (21) basierend auf einer Belichtungszeitsteuerung der Abbildungseinheit (22) zu steuern; und eine Abdeckungserfassungseinheit (23, 24, 25, 27, 28, S31 bis S36), die dazu ausgelegt ist, eine Abdeckung der Abbildungseinheit (22) durch ein Hindernis basierend auf dem Bild zu erfassen, wobei dann, wenn die Abdeckungserfassungseinheit (23, 24, 25, 27, 28, S31 bis S36) eine Abdeckung der Abbildungseinheit (22) erfasst: die Abbildungssteuereinheit (23) ein Belichtungsintervall der Abbildungseinheit (22) vergrößert; und/oder die erste Projektionssteuereinheit (24, S21) die Projektionseinheit (21) zum Beenden der Projektion von Licht oder zum Dimmen der Lichtprojektion veranlasst.
Gesichtsabbildungssystem nach einem der Ansprüche 1 bis 7, bei dem die Annäherungs-Erfassungseinheit (23, 24, 25, 27, S11 bis S29) eine Abstandserfassungseinheit (30) aufweist, die dazu ausgelegt ist, einen Abstand eines Objekts in der Projektionsregion zu detektieren, und die Annäherungs-Erfassungseinheit (23, 24, 25, 27, S11 bis S29) weiterhin dazu ausgelegt ist, eine Annäherung eines Objekts relativ zu der Projektionseinheit (21) basierend auf dem Abstand zu erfassen, der durch die Abstandserfassungseinheit (30) erfasst ist.
Gesichtsabbildungssystem nach einem der Ansprüche 1 bis 8, das weiterhin aufweist: eine Überstrahlungsregion-Erfassungseinheit (27, S22), die dazu ausgelegt ist, zu erfassen, dass: die Überstrahlungsregion vollständig in den Bildelementen um ein Zentrum des Bilds herum auftritt; oder Bildelementwerte von Bildelementen vollständig um ein Zentrum des Bilds herum größer als oder gleich groß wie eine erste Schwelle, die eine überstrahlte Region repräsentiert, werden, wobei die Annäherungs-Erfassungseinheit (23, 24, 25, 27, S11 bis S29) weiterhin dazu ausgelegt ist, zu bestimmen, dass sich das Gesicht des Benutzers der Projektionseinheit (21) annähert, wenn die Überstrahlungsregion-Erfassungseinheit (27, S22) eine überstrahlte Region erfasst oder detektiert, dass die Bildelementwerte größer als oder gleich groß wie eine erste Schwelle werden.
Gesichtsabbildungssystem nach einem der Ansprüche 1 bis 9, das weiterhin umfasst: eine Konturlos-Schwarz-Erfassungseinheit (27, S23), die dazu ausgelegt ist, zu erfassen, dass: ein konturloses Schwarz vollständig in Bildelementen um ein Zentrum des Bilds herum auftritt; oder Bildelementwerte von Bildelementen vollständig um ein Zentrum des Bilds herum kleiner als oder gleich groß wie eine zweite Schwelle werden, die ein konturloses Schwarz repräsentiert, wobei die Annäherungs-Erfassungseinheit (23, 24, 25, 27, S11 bis S29) weiterhin dazu ausgelegt ist, zu bestimmen, dass sich das Gesicht des Benutzers der Projektionseinheit (21) annähert, wenn die Konturlos-Schwarz-Erfassungseinheit (27, S23) ein konturloses Schwarz erfasst oder detektiert, dass die Bildelementwerte kleiner als oder gleich groß wie die zweite Schwelle werden.
Gesichtsabbildungssystem nach einem der Ansprüche 1 bis 10, wobei das Gesicht ein Auge ist oder enthält.
Gesichtsabbildungssystem nach einem der Ansprüche 1 bis 11, bei dem die Abbildungseinheit (22) eine Linsenkonfiguration aufweist, die dazu ausgelegt ist, eine Verschwommenheit bzw. Unschärfe in einer Region zu verursachen, bei der eine Feld- bzw. Schärfentiefe kleiner als oder gleich groß wie 20 cm ist.
Gesichtsabbildungssystem nach einem der Ansprüche 1 bis 12, bei dem die Abbildungseinheit (22) eine Linsenkonfiguration aufweist, die dazu ausgelegt ist, eine Modulationsübertragungsfunktion (MTF) in einer bestimmten Region zu verringern.
Gesichtsabbildungssystem nach Anspruch 13, bei dem die Annäherungs-Erfassungseinheit (23, 24, 25, 27, S11 bis S29) weiterhin dazu ausgelegt ist, eine Temperaturinformation bezüglich der Temperatur einer Linse der Abbildungseinheit (22) abzufragen; und eine Erfassungsbedingung zur Erfassung einer Annäherung des Gesichts des Benutzers auf der Basis der abgefragten Temperaturinformation zu ändern.
Verfahren zum Steuern eines Gesichtsabbildungssystems, das eine Projektionseinheit (21) und eine Abbildungseinheit (22) umfasst, wobei das Verfahren aufweist: Veranlassen der Projektionseinheit (21) zur Projektion von Licht in eine Projektionsregion, von der angenommen ist, dass sich ein Gesicht eines Benutzers dort befindet; Veranlassen der Abbildungseinheit (22) zur Aufnahme der Projektionsregion, wobei die Abbildungseinheit (22) dazu ausgelegt ist, eine Verschwommenheit oder Unschärfe in einer Region entsprechend einem Objekt, das sich der Projektionseinheit (21) annähert, zu verursachen; Bestimmen, ob die abgebildete Projektionsregion eine Verschwommenheit bzw. Unschärfe aufweist, die durch die Abbildungseinheit (22) verursacht ist; Erfassen einer Annäherung des Gesichts des Benutzers relativ zu der Projektionseinheit (21) bei der Bestimmung, dass die abgebildete Projektionsregion eine Verschwommenheit bzw. Unschärfe aufweist; und Veranlassen der Projektionseinheit (21) zum Beenden oder Abschwächen der Projektion von Licht bei der Erfassung einer Annäherung des Gesichts des Benutzers.
Ein nicht flüchtiges, computerlesbares Medium, das Instruktionen enthält, die von einem Computer ausgeführt werden oder ausführbar sind, wobei die Instruktionen das Verfahren gemäß dem Anspruch 15 enthalten.