-
Querverweis auf zugehörige Anmeldungen
-
Diese Anmeldung basiert auf und beansprucht die Priorität der am 13. September 2016 eingereichten
japanischen Patentanmeldung mit der Nummer 2016-178769 , auf deren Offenbarung vollinhaltlich Bezug genommen wird.
-
Technisches Gebiet
-
Die vorliegende Offenbarung betrifft eine Sichtlinienmessvorrichtung zum Messen einer Sichtlinienrichtung unter Verwendung beispielsweise eines Gesichtsbilds eines Benutzers, der ein Fahrzeug fährt.
-
Hintergrund
-
Beispielsweise ist eine herkömmliche Sichtlinienmessvorrichtung bekannt, die in Patentdokument 1 offenbart ist. Die Sichtlinienmessvorrichtung, die in Patentdokument 1 offenbart ist, beinhaltet eine Fahrerüberwachungskamera zum Aufnehmen eines Bilds eines Fahrergesichts und eine Fahrerüberwachungs-ECU zum Ausführen von Bildverarbeitung.
-
Als Erstes nimmt die Fahrerüberwachungs-ECU ein erstes aufgenommenes Bild, das hauptsächlich einen weiten Bereich des Fahrergesichts bei einer vorbestimmten Helligkeit (Belichtungsbetrag) beinhaltet, unter Verwendung der Fahrerüberwachungskamera auf. Der große Bereich des Gesichts beinhaltet eine Kontur des Gesichts und einen Ort von Nasenlöchern. Ferner erlangt eine Fahrerüberwachungs-ECU normalerweise ein zweites aufgenommenes Bild, das hauptsächlich nur einen Abschnitt des Gesichts beinhaltet, durch Erhöhen eines Belichtungsbetrags der Fahrerüberwachungskamera, um größer als der des ersten aufgenommenen Bildes zu sein, sodass ein Bereich um die Augen herum, der dazu tendiert, dunkel zu sein, als ein klares Bild verglichen mit dem weiten Bereich des Gesichts erlangt wird. Insbesondere wird die Augenregion als ein Abschnitt des Gesichts abgebildet.
-
Dann nimmt die Fahrerüberwachungs-ECU das erste aufgenommene Bild und das zweite aufgenommene Bild durch dieselbe Fahrerüberwachungskamera mit extrem kurzen Zeitintervallen auf. Demzufolge kann das Gesicht des Fahrers, das in dem zweiten aufgenommenen Bild abgebildet ist, als im Wesentlichen an der gleichen Position abgebildet und in dem gleichen Zustand abgebildet wie das erste aufgenommene Bild betrachtet (angenommen) werden.
-
Demzufolge erfasst die Fahrerüberwachungs-ECU eine Richtung des Gesichts und die Position der Augen des Fahrers mit der Verwendung des ersten aufgenommenen Bildes (führt erste Bildverarbeitung durch) und erfasst den Öffnungs- und Schließgrad der Augen des Fahrers und die Sichtlinienrichtung mit der Verwendung des zweiten aufgenommenen Bildes (führt zweite Bildverarbeitung durch).
-
Literatur des Stands der Technik
-
Patentliteratur
-
Patentdokument 1:
JP 2009-276849A -
Überblick über die Erfindung
-
In diesem Beispiel wird in Patentdokument 1 angenommen, dass der Fahrer sich nicht bewegt, und das erste aufgenommene Bild und das zweite aufgenommene Bild werden mit einem extrem kurzen Zeitintervall erlangt, sodass angenommen wird, dass das Gesicht und Augen des Fahrers im Wesentlichen an derselben Position und im selben Zustand zwischen diesen aufgenommenen Bildern abgebildet werden. Jedoch, falls sich das Gesicht des Fahrers bewegt hat, sogar wenn das erste aufgenommene Bild und das zweite aufgenommene Bild mit dem extrem kurzen Zeitintervall erlangt werden, weichen die Position des Gesichts und die Position der Augen in den zwei Bildern voneinander ab. Dies macht es schwierig, genau die Position der Augen und die Sichtlinienrichtung bezüglich des Gesichts zu bestimmen, wodurch eine Genauigkeit der Sichtlinienmessung verschlechtert wird.
-
Hinsichtlich der vorstehenden Umstände ist es eine Aufgabe der vorliegenden Offenbarung, eine Sichtlinienmessvorrichtung bereitzustellen, die eine genauere Messung einer Sichtlinie ausführen kann, sogar, wenn sich ein Subjekt bewegt.
-
Eine Sichtlinienmessvorrichtung gemäß der vorliegenden Offenbarung beinhaltet eine Abbildungseinheit und eine Sichtlinienmesseinheit. Die Abbildungseinheit beinhaltet einen variablen Belichtungspegel und ist konfiguriert, um ein Bild eines Subjekts aufzunehmen. Die Sichtlinienmesseinheit misst eine Sichtlinienrichtung des Subjekts basierend auf dem Bild, das durch die Abbildungseinheit aufgenommen wird. Die Abbildungseinheit ist konfiguriert, um kontinuierlich zwischen Aufnehmen eines ersten Bilds, das ein gesamtes Gesicht des Subjekts darstellt, mit einem ersten Belichtungspegel und Aufnehmen eines zweiten Bilds, das einen Bereich um die Augen des Subjekts herum darstellt, mit einem zweiten Belichtungspegel, der höher als der erste Belichtungspegel festgelegt ist, abzuwechseln. Die Sichtlinienmesseinheit ist konfiguriert ist, um eine Positionsabweichung zu bestimmen, die mit einer Bewegung des Subjekts zwischen einem beliebigen Bild und einem nächsten Bild von dem ersten Bild und dem zweiten Bild, die kontinuierlich abwechselnd aufgenommen werden, verknüpft ist, wobei die Positionsabweichung basierend auf einem Merkmalsabschnitt zum Erfassen einer Bewegung bestimmt wird, und die Positionsabweichung des nächsten Bilds bezüglich des beliebigen Bilds zur Messung der Sichtlinienrichtung gemäß einer Richtung von Augen bezüglich des Gesichts zu korrigieren.
-
Gemäß der vorliegenden Offenbarung bestimmt in einem beliebigen Bild und einem nächsten Bild die Sichtlinienmesseinheit eine Positionsabweichung basierend auf dem Merkmalsabschnitt zum Erfassen der Bewegung, korrigiert die Positionsabweichung und misst die Sichtlinienrichtung gemäß der Richtung der Augen bezüglich des Gesichts. Demzufolge kann die Sichtlinienrichtung mit höherer Präzision gemessen werden, sogar, wenn sich die abgebildete Person bewegt.
-
Figurenliste
-
Diese und weitere Aufgaben, Merkmale und Vorteile der vorliegenden Offenbarung werden aus der nachfolgenden detaillierten Beschreibung in Zusammenschau mit den Zeichnungen ersichtlicher.
- 1 ist ein Konfigurationsdiagramm, das eine Gesamtkonfiguration einer Sichtlinienmessvorrichtung darstellt.
- 2A ist ein Ablaufdiagramm, das den Steuerinhalt einer Belichtungssteuerung darstellt.
- 2B ist ein Diagramm, das einen Abbildungsbereich eines Gesichtsbilds darstellt.
- 3A ist eine illustrative Ansicht, die eine Belichtungsevaluierung in einem ersten Bild darstellt.
- 3B ist eine illustrative Ansicht, die eine Belichtungsevaluierung in einem zweiten Bild darstellt.
- 4A ist ein Ablaufdiagramm, das einen Basissteuerinhalt einer Sichtlinienmesssteuerung darstellt.
- 4B ist eine illustrative Ansicht bezüglich des Ablaufdiagramms von 4A.
- 5A ist ein Diagramm, das darstellt, dass eine Position eines Fahrergesichts zwischen dem ersten Bild und dem zweiten Bild abweicht.
- 5B ist ein Diagramm, das darstellt, dass eine Abweichung von 5A korrigiert ist.
- 6 ist ein Ablaufdiagramm, das den Inhalt einer Sichtlinienmesssteuerung gemäß einer ersten Ausführungsform darstellt.
- 7 ist eine illustrative Ansicht, die eine Skizze zum Extrahieren eines Merkmalsabschnitts beim Erfassen einer Bewegung darstellt.
- 8 ist ein Ablaufdiagramm, das den Inhalt einer Sichtlinienmesssteuerung gemäß einer zweiten Ausführungsform darstellt.
- 9 ist ein Ablaufdiagramm, das den Inhalt einer Hell-/Dunkel-Schaltsteuerung gemäß einer dritten Ausführungsform darstellt.
- 10 ist ein Ablaufdiagramm, das den Inhalt einer Hell-/Dunkel-Schaltsteuerung gemäß einer vierten Ausführungsform darstellt.
-
Beschreibung der Ausführungsformen
-
Nachfolgend werden mehrere Modi zum Ausführen der vorliegenden Offenbarung mit Bezug auf die Zeichnungen beschrieben. In jeder der Ausführungsformen sind die gleichen Bezugszeichen Abschnitten zugewiesen, die den Elementen entsprechen, die in den vorhergehenden Ausführungsformen beschrieben werden, und eine wiederholte Beschreibung der gleichen Abschnitte kann weggelassen werden. Wenn nur ein Teil der Konfiguration in jeder Form beschrieben ist, können die anderen vorstehend beschriebenen Formen auf die anderen Teile der Konfiguration angewandt werden. Nicht nur Abschnitte, für die speziell klargestellt ist, dass sie in jeder Ausführungsform kombiniert werden können, können kombiniert werden, sondern es können ebenso Ausführungsformen teilweise miteinander kombiniert werden, obwohl die Kombination nicht klargestellt ist, solange kein nachteiliger Effekt insbesondere hinsichtlich der Kombination erzeugt wird.
-
(Erste Ausführungsform)
-
Eine Sichtlinienmessvorrichtung 100 gemäß einer ersten Ausführungsform wird mit Bezug auf 1 bis 7 beschrieben. Die Sichtlinienmessvorrichtung 100 ist beispielsweise eine Vorrichtung, die an einem Fahrzeug zum Aufnehmen eines Bilds eines Gesichts (Gesichtsbild) eines Fahrers (Subjekt) zum Messen einer Sichtlinienrichtung basierend auf dem aufgenommenen Gesichtsbild montiert ist. Beispielsweise sind unterschiedliche Vorrichtungen wie eine Fahrzeugnavigationsvorrichtung, eine Fahrzeugaudiovorrichtung und/oder eine Fahrzeugklimatisierungsvorrichtung an dem Fahrzeug montiert. Wenn die Sichtlinienrichtung (Sichtlinienziel), die durch die Sichtlinienmessvorrichtung 100 gemessen wird, mit einer Position von irgendeiner von unterschiedlichen Schalteinheiten von unterschiedlichen Vorrichtungen übereinstimmt, wird diese Schalteinheit eingeschaltet.
-
In der Sichtlinienmessvorrichtung 100 kann der Öffnungsgrad von Augen ebenso gemäß dem Gesichtsbild gemessen werden. Beispielsweise wird vom Öffnungsgrad der Augen bestimmt, ob oder nicht der Fahrer schläfrig ist, und wenn bestimmt wird, dass der Fahrer schläfrig ist, kann ein Alarm oder dergleichen aktiviert werden, um den Fahrer zu wecken. Alternativ kann eine Sicherheitsfahrunterstützung wie Verzögern durch Operieren einer Bremsvorrichtung oder zwangsweises Stoppen ausgeführt werden.
-
Wie in 1 dargestellt ist, beinhaltet die Sichtlinienmessvorrichtung 100 eine Abbildungseinheit 110, eine Bilderlangungseinheit 121, einen Rahmenspeicher beziehungsweise Einzelbildspeicher 122, eine Belichtungssteuereinheit 130, eine Sichtlinienmesseinheit 140, eine Operationssteuereinheit 150 und dergleichen.
-
Die Abbildungseinheit 110 nimmt ein Gesichtsbild des Fahrers mit einem variablen Belichtungspegel auf. Die Abbildungseinheit 110 ist beispielsweise an einem oberen Abschnitt einer Lenksäule, einem Kombiinstrument, einem oberen Abschnitt einer Windschutzscheibe oder dergleichen montiert, um dem Gesicht des Fahrers zugewandt zu sein. Die Abbildungseinheit 110 beinhaltet eine Lichtquelle 111, eine Linse 112, ein Bandpassfilter 112a, einen Bildsensor 113, einen Controller 114 und dergleichen.
-
Die Lichtquelle 111 emittiert Licht, wie beispielsweise Nahinfrarotstrahlen hin zum Gesicht des Fahrers, um ein Gesichtsbild aufzunehmen. In der Lichtquelle 111 werden beispielsweise eine Belichtungszeit, eine Lichtquellenintensität und dergleichen durch den Controller 114 gesteuert. Demzufolge wird der Belichtungspegel zur Zeit der Abbildung abgeglichen.
-
Die Linse 112 ist auf der Fahrerseite des Bildsensors 113 vorgesehen und fokussiert das Licht, das von der Lichtquelle emittiert und durch das Gesicht des Fahrers reflektiert wird, hin zum Bildsensor 113.
-
Der Bandpassfilter (BPF) 112a ist ein optischer Filter mit einer Eigenschaft, dass er nur Licht durchlässt, das eine spezifische Wellenlänge aufweist, um einen Einfluss einer Störung wie durch Sonne oder externe Beleuchtung zu reduzieren. In der vorliegenden Ausführungsform lässt der Bandpassfilter 112a nur Wellenlängen im Nahinfrarotbereich von der Lichtquelle 111 durch. Der Bandpassfilter 112a ist auf einer vorderen Oberfläche der Linse 112 oder zwischen der Linse 112 und dem Bildsensor 113 angeordnet.
-
Der Bildsensor 113 ist eine Bildaufnahmevorrichtung, die ein Bild, welches durch die Linse 112 ausgebildet wird, in ein elektrisches Signal konvertiert und das Gesichtsbild des Fahrers aufnimmt (erlangt), und beispielsweise wird eine Verstärkung oder dergleichen des Bildsensors 113 durch den Controller 114 gesteuert. Demzufolge wird der Belichtungspegel zur Zeit der Abbildung abgeglichen. Beim Aufnehmen des Gesichtsbilds erlangt der Bildsensor 113 kontinuierlich beispielsweise 30 Rahmen bzw. Einzelbilder aufgenommener Daten pro Sekunde.
-
Wie später beschrieben wird, nimmt der Bildsensor 113 das Gesichtsbild beispielsweise in einem Bereich auf, der in 2 dargestellt ist, während er kontinuierlich zwischen einem ersten Belichtungspegelzustand und einem zweiten Belichtungspegelzustand wechselt. Das Gesichtsbild mit dem ersten Belichtungspegel ist hauptsächlich ein erstes Bild 1101 (3A), das das gesamte Gesicht mit Ausnahme des Bereichs um die Augen des Fahrers herum darstellt. Das Gesichtsbild mit dem zweiten Belichtungspegel ist primär ein zweites Bild 1102 (3B), das den Bereich um die Augen des Fahrers herum darstellt. In dem Fall, in dem 30 Rahmen beziehungsweise Einzelbilder pro Sekunde aufgenommen werden, ist beispielsweise das erste Bild 1101 ein Bild für fünfzehn geradzahlige Rahmen. Auf diese Weise nimmt der Bildsensor 113 abwechselnd und kontinuierlich das erste Bild 1101 und das zweite Bild 1102 auf und gibt Daten des aufgenommenen Gesichtsbilds an die Bilderlangungseinheit 121 aus.
-
Der Controller 114 steuert die Lichtquelle 111 und den Bildsensor 113 basierend auf einer Anweisung von der Belichtungssteuereinheit 130, um einen Belichtungspegel zu erreichen, der zum Aufnehmen des Gesichtsbilds erforderlich ist. Beim Aufnehmen des Gesichtsbilds steuert der Controller 114 die Lichtquelle 111 und den Bildsensor 113, um den ersten Belichtungspegel aufzuweisen, wenn das erste Bild 1101 aufgenommen wird, und um den zweiten Belichtungspegel aufzuweisen, wenn das zweite Bild 1102 aufgenommen wird.
-
Im Allgemeinen ist es beim Abbilden des Bereichs um die Augen herum schwierig, genau Augenlider, Pupillen (oder Iriden) oder dergleichen abzubilden, da der Bereich um die Augen herum dunkel wird, wenn das Gesicht um die Augen herum scharf geformt ist oder wenn manche Menschen eine Sonnenbrille tragen. Demnach wird der zweite Belichtungspegel auf einen höheren Wert als der erste Belichtungspegel festgelegt. Demnach wird das erste Bild 1101 mit einem Belichtungspegel (erster Belichtungspegel) abgebildet, der relativ dunkel ist, und das zweite Bild 1102 wird mit einem Belichtungspegel (zweiter Belichtungspegel) abgebildet, der relativ hell ist.
-
Die Bilderlangungseinheit 121 erlangt Daten des Gesichtsbilds, die von dem Bildsensor 113 ausgegeben werden. Die Bilderlangungseinheit 121 gibt die erlangten Gesichtsbilddaten an den Rahmenspeicher 122 und die Belichtungssteuereinheit 130 (beispielsweise eine Belichtungsevaluierungseinheit 131) aus.
-
Der Rahmenspeicher 122 speichert die Daten des Gesichtsbilds, die von der Bilderlangungseinheit 121 ausgegeben werden, und gibt ferner die Daten an die jeweiligen Abschnitte der Sichtlinienmesseinheit 140 und der Operationssteuereinheit 150 aus. In der vorliegenden Ausführungsform beinhalten die jeweiligen Abschnitte der Sichtlinienmesseinheit 140 eine Gesichtserfassungseinheit 141, eine Gesichtsabschnittserfassungseinheit 142, eine Augenerfassungseinheit 143 und eine Korrektureinheit 145.
-
Die Belichtungssteuereinheit 130 steuert einen Belichtungspegel zur Zeit der Aufnahme des Gesichtsbilds. Die Belichtungssteuereinheit 130 beinhaltet eine Belichtungsevaluierungseinheit 131, eine Belichtungsfestlegungseinheit 132, einen Belichtungsspeicher 133 und dergleichen.
-
Beim Aufnehmen des Gesichtsbilds evaluiert die Belichtungsevaluierungseinheit 131 einen tatsächlichen Belichtungspegel bezüglich des Zielbelichtungspegels mit der Verwendung der Luminanz des Bildes. Die Belichtungsevaluierungseinheit 131 gibt die Daten des evaluierten tatsächlichen Belichtungspegels an den Belichtungsspeicher 133 aus.
-
Die Belichtungsfestlegungseinheit 132 weist den Controller 114 an, den tatsächlichen Belichtungspegel zur Zeit des Aufnehmens des Gesichtsbilds dem Zielbelichtungspegel anzunähern. Die Belichtungsfestlegungseinheit 132 gibt die Daten des festgelegten Belichtungspegelzustands an den Belichtungsspeicher 133 aus.
-
Der Belichtungsspeicher 133 speichert unterschiedliche Daten, die in der vorstehend beschriebenen Belichtungsevaluierung involviert sind, unterschiedliche Daten, die in der Belichtungsfestlegung involviert sind, und dergleichen. In dem Belichtungsspeicher 133 werden unterschiedliche Typen von Kombinationsdaten wie eine Belichtungszeit, eine Lichtquellenintensität und eine Verstärkung vorab als eine Tabelle als unterschiedliche Typen von Daten bereitgestellt, die in der Belichtungsfestlegung involviert sind.
-
Die Sichtlinienmesseinheit 140 misst die Sichtlinienrichtung des Fahrers basierend auf dem Gesichtsbild, das durch die Abbildungseinheit 110 aufgenommen wird, in anderen Worten den Gesichtsbilddaten, die von dem Rahmenspeicher 122 ausgegeben werden. Die Sichtlinienmesseinheit 140 beinhaltet eine Gesichtserfassungseinheit 141, eine Gesichtsabschnittserfassungseinheit 142, eine Augenerfassungseinheit 143, eine Geometrieberechnungseinheit 144, eine Bewegungsmess- und Korrektureinheit 145, einen Sichtlinien- und Gesichtsmessspeicher 146 und dergleichen.
-
Die Gesichtserfassungseinheit 141 erfasst einen Gesichtsabschnitt bezüglich eines Hintergrunds, wie in 4B (1) dargestellt ist, bezüglich des Gesichtsbilds (hauptsächlich das erste Bild 1101). Die Gesichtserfassungseinheit 141 gibt die erfassten Daten an den Sichtlinien- und Gesichtsmessspeicher 146 aus.
-
Die Gesichtsabschnittserfassungseinheit 142 erfasst einen Gesichtsabschnitt wie den Umriss von Augen, einer Nase, eines Munds und eines Kiefers, die in 4B (2) dargestellt sind, bezüglich des Gesichtsbilds (hauptsächlich das erste Bild 1101). Die Gesichtsabschnittserfassungseinheit 142 gibt die erfassten Daten an den Sichtlinien- und Gesichtsmessspeicher 146 aus.
-
In dem Gesichtsbild (hauptsächlich das zweite Bild 1102) erfasst die Augenerfassungseinheit 143 die Augenlider, Pupillen (Iriden) und dergleichen in den Augen, wie in 4B (3) dargestellt ist. Die Augenerfassungseinheit 143 gibt die erfassten Daten an den Sichtlinien- und Gesichtsmessspeicher 146 aus.
-
Die Geometrieberechnungseinheit 144 berechnet die Gesichtsrichtung und die Sichtlinienrichtung, die in 4B (4) dargestellt sind, in dem Gesichtsbild. Die Geometrieberechnungseinheit 144 gibt die berechneten Daten an den Sichtlinien- und Gesichtsmessspeicher 146 aus.
-
Die Bewegungsmess- und Korrektureinheit 145 misst die Bewegung (Bewegungsbetrag) des Fahrers aus dem ersten Bild 1101 und dem zweiten Bild 1102 (5A), bestimmt die Positionsabweichung, die der Bewegung des Fahrers zuzuschreiben ist, und korrigiert die Positionsabweichung (5B). Die Bewegungsmess- und Korrektureinheit 145 gibt die korrigierten Daten an den Sichtlinien- und Gesichtsmessspeicher 146 aus.
-
Der Sichtlinien- und Gesichtsmessspeicher 146 speichert unterschiedliche Daten, die durch die Gesichtserfassungseinheit 141, die Gesichtsabschnittserfassungseinheit 142, die Augenerfassungseinheit 143, die Geometrieberechnungseinheit 144 und die Bewegungsmess- und Korrektureinheit 145 erlangt werden, und gibt unterschiedliche Daten (Grenzwerte, Merkmalsbetrag und so weiter), die vorab gespeichert sind, an die jeweiligen Einheiten 141 bis 145 und ferner an die Belichtungssteuereinheit 130 (Belichtungsevaluierungseinheit 131) jedes Mal aus, wenn Erfassen oder Berechnen ausgeführt wird.
-
Die Operationssteuereinheit 150 unterrichtet die Belichtungssteuereinheit 130, die Sichtlinienmesseinheit 140 und dergleichen darüber, ob das gegenwärtig aufgenommene Gesichtsbild das erste Bild 1101 oder das zweite Bild 1102 ist, basierend auf den Daten von dem Rahmenspeicher 122 und dem Sichtlinien- und Gesichtsmessspeicher 146. Ferner bestimmt die Operationssteuereinheit 150 die Häufigkeit der Abbildung des ersten Bilds 1101 und des zweiten Bilds 1102 (dritte Ausführungsform) oder bestimmt, ob die Abbildung unter Verwendung des ersten Belichtungspegels und des zweiten Belichtungspegels umzuschalten ist (vierte Ausführungsform). Die Operationssteuereinheit 150 entspricht einer Frequenzsteuereinheit und einer Schaltsteuereinheit gemäß der vorliegenden Offenbarung.
-
Die Operation der Sichtlinienmessvorrichtung 100, die wie vorstehend beschrieben konfiguriert ist, wird nachfolgend gemäß 2 bis 7 beschrieben. In der Sichtlinienmessvorrichtung 100 werden die in 2A, 3A und 3B dargestellte Belichtungssteuerung und die in 4 bis 7 dargestellte Sichtlinienmesssteuerung parallel ausgeführt. Details einer Belichtungssteuerung in einer Basis-Sichtlinienmesssteuerung und einer Sichtlinienmesssteuerung gemäß der vorliegenden Ausführungsform werden nachfolgend beschrieben.
-
Belichtungssteuerung
-
Die Belichtungssteuerung wird durch die Belichtungssteuereinheit 130 ausgeführt. Wie in 2A dargestellt ist, führt bei Schritt S100 die Belichtungssteuereinheit 130 als Erstes eine Belichtungsevaluierung aus. Die Belichtungssteuereinheit 130 berechnet die Luminanz des ersten aufgenommenen Bildes 1101 und des aufgenommenen zweiten Bildes 1102 zum Evaluieren sowohl des ersten Belichtungspegels als auch des zweiten Belichtungspegels. Beim Berechnen der Luminanz kann eine durchschnittliche Luminanz oder eine gewichtete durchschnittliche Luminanz in jedem der Bilder 1101 und 1102 verwendet werden.
-
Wenn die gewichtete durchschnittliche Luminanz verwendet wird, berechnet die Belichtungssteuereinheit 130 die Luminanz mit einem Schwerpunkt auf das ganze Gesicht mit Ausnahme des Bereichs um die Augen herum mit Bezug auf das erste Bild 1101, wie in 3A dargestellt ist, und berechnet die Luminanz mit einem Schwerpunkt auf den Bereich um die Augen herum mit Bezug auf das zweite Bild 1102, wie in 3B dargestellt ist.
-
Als Nächstes berechnet die Belichtungssteuereinheit 130 bei S110 einen Belichtungsfestlegungswert. Die Belichtungssteuereinheit 130 ruft eine Ziel-Luminanz entsprechend dem Ziel-Belichtungspegel in jedem der Bilder 1101 und 1102 von dem Belichtungsspeicher 133 auf und berechnet festgelegte Werte der Belichtungszeit in der Lichtquelle 111, der Lichtquellenintensität, der Verstärkung in dem Bildsensor 113 und dergleichen, sodass die tatsächliche Luminanz, die bei S100 erlangt wird, sich der Ziel-Luminanz nähert. Die Daten in der Tabelle, die vorab in dem Belichtungsspeicher 133 gespeichert werden, werden als die Kombinationsbedingung bzw. der Kombinationszustand der Belichtungszeit, der Lichtquellenintensität und der Verstärkung verwendet.
-
Bei S120 führt die Belichtungssteuereinheit 130 die Belichtungsfestlegung aus. Die Belichtungssteuereinheit 130 gibt die festgelegten Werte, die bei S110 berechnet werden, an den Controller 114 aus. Demzufolge werden der erste Belichtungspegel zur Zeit der Aufnahme des ersten Bildes 1101 und der zweite Belichtungspegel zur Zeit der Aufnahme des zweiten Bildes 1102 festgelegt. Die Belichtungssteuerung wird wiederholt ausgeführt, da das erste Bild 1101 und das zweite Bild 1102 abwechselnd kontinuierlich aufgenommen werden.
-
Basis-Sichtlinienmesssteuerung
-
Die Sichtlinienmesssteuerung wird durch die Sichtlinienmesseinheit 140 ausgeführt. Als erstes wird eine Basis- Sichtlinienmesssteuerung beschrieben. Wie in 4A dargestellt ist, führt bei S200 die Sichtlinienmesseinheit 140 als erstes Gesichtserfassung aus. Die Sichtlinienmesseinheit 140 (Gesichtserfassungseinheit 141) extrahiert den Merkmalsbetrag wie Schattierung aus dem Teilbild, das durch Ausschneiden eines Abschnitts des Gesichtsbilds erlangt wird, und bestimmt, ob oder ob nicht das Merkmal ein Gesicht ist, mit der Verwendung eines gelernten Grenzwerts, der vorab in dem Sichtlinien- und Gesichtsmessspeicher 146 gespeichert ist, um dabei einen Gesichtsabschnitt (4B (1)) bezüglich des Hintergrunds zu erfassen.
-
Als Nächstes führt bei S210 die Sichtlinienmesseinheit 140 (die Gesichtsabschnittserfassungseinheit 142) eine Gesichtsabschnittserfassung aus. Die Sichtlinienmesseinheit 140 legt Anfangspositionen von Gesichtsorganpunkten (Umrisse von Augen, Nase, Mund, Umriss von Kiefer und dergleichen) gemäß dem Gesichtserfassungsergebnis fest und deformiert die Gesichtsorganpunkte so, dass eine Differenz zwischen einem Merkmalsbetrag wie einem Schatten und einer Positionsbeziehung und einem gelernten Merkmalsbetrag, der in dem Sichtlinien- und Gesichtsmessspeicher 146 gespeichert ist, miniert ist, um dadurch den Gesichtsabschnitt (4B (2)) zu erfassen.
-
Als Nächstes führt bei S260 die Sichtlinienmesseinheit 140 (Augenerfassungseinheit 143) eine Augenerfassung aus. Die Sichtlinienmesseinheit 140 erfasst Augenlider, Pupillen und dergleichen (4B (3)) gemäß der Position der Augen in dem Gesicht, das durch die Gesichtserfassungseinheit bei S200 erfasst wird, und der Position der Augen, die durch die Gesichtsabschnittserfassung bei S210 erlangt wird, unter Verwendung der Merkmalsdaten, die in den Augen (Augenlider, Pupillen und dergleichen) involviert sind, die vorab in dem Sichtlinien- und Gesichtsmessspeicher 146 gespeichert sind.
-
Als Nächstes führt bei S270 die Sichtlinienmesseinheit 140 (Geometrieberechnungseinheit 144) eine geometrische Berechnung aus. Die Sichtlinienmesseinheit 140 berechnet die Gesichtsrichtung und die Sichtlinienrichtung (4B (4)) gemäß dem Gesicht, das durch die Gesichtserfassungseinheit 141 erlangt wird, der Positionsbeziehung der Gesichtsabschnitte, die durch die Gesichtsabschnittserfassungseinheit 142 erlangt werden, und der Positionsbeziehung der Augenlider, Pupillen und dergleichen, die durch die Augenerfassungseinheit 143 erlangt wird.
-
Sichtlinienmesssteuerung
-
Bei der Sichtlinienmesssteuerung, die vorstehend beschrieben ist, wenn sich der Fahrer bewegt, tritt eine Abweichung in der Position des Gesichts und der Position der Augen zwischen dem ersten Bild 1101 und dem zweiten Bild 1102 auf. Dadurch wird es schwierig, genau die Position der Augen und die Sichtlinienrichtung bezüglich des Gesichts zu bestimmen, wodurch sich eine Genauigkeit der Sichtlinienmessung verschlechtert. Demzufolge wird gemäß der vorliegenden Ausführungsform, wie in 5A dargestellt ist, die Positionsabweichung, die mit der Bewegung des Fahrers verknüpft ist, basierend auf den Merkmalspunkten (beispielsweise den Positionen der Augen) in jedem eines beliebigen Bildes und eines nächsten Bildes, das unmittelbar nach dem beliebigen Bild aufgenommen wird, von dem ersten Bild 1101 und dem zweiten Bild 1102, die abwechselnd und kontinuierlich aufgenommen werden, bestimmt. Dann wird die Positionsabweichung in dem nächsten Bild bezüglich des beliebigen Bilds korrigiert und die Sichtlinienrichtung des Fahrers wird gemäß der Richtung der Augen bezüglich des Gesichts gemessen.
-
Wie vorstehend beschrieben ist, werden das erste Bild 1101 und das zweite Bild 1102 kontinuierlich abwechselnd über die Zeit aufgenommen. Nachfolgend wird von den mehreren Bildern, die kontinuierlich aufgenommen werden, ein beliebiges Bild als ein erstes Messbild bezeichnet, wobei das erste Messbild ein Gesichtsbild ist, das als erstes aufgenommen wird, und ein Gesichtsbild, das als n-tes ausgehend von dem ersten Messbild aufgenommen wird, wird als ein n-tes Messbild bezeichnet. In anderen Worten, wenn das erste Messbild dem ersten Bild 1101 entspricht, sind die ungeradzahligen Bilder unter den mehreren Messbildern die ersten Bilder 1101 und die geradzahligen Bilder unter den mehreren Messbildern sind die zweiten Bilder 1102.
-
Die Sichtlinienmesssteuerung gemäß der vorliegenden Ausführungsform wird gemäß 6 beschrieben. In einem in 6 dargestellten Ablaufdiagramm sind S220, S230, S240 und S250 zu dem in 4A dargestellten Ablaufdiagramm hinzugefügt. Die Sichtlinienmesseinheit 140 führt die Verarbeitungen von S200, S210 und S220 für das erste Messbild 1101a aus. Die Sichtlinienmesseinheit 140 führt die Verarbeitungen von S230, S240, S250, S260 und S270 für das zweite Messbild 1102a aus. Ferner führt die Sichtlinienmesseinheit 140 S200, S210, S220, S240, S250 und S270 für ein drittes Messbild 1101b aus. Die Sichtlinienmesseinheit 140 misst sequentiell die Sichtlinienrichtung durch Wiederholen der vorstehenden Verarbeitung.
-
Die Sichtlinienmesseinheit 140 führt die Gesichtserfassung (S200) und die Gesichtsabschnittserfassung (S210), die vorstehend beschrieben sind, für die Messbilder entsprechend den ersten Bildern 1101 von den mehreren Bildern aus.
-
Bei S220 extrahiert die Sichtlinienmesseinheit 140 den Merkmalsabschnitt zur Bewegungserfassung in dem Messbild entsprechend dem ersten Bild 1101. Der Bewegungserfassungsmerkmalsabschnitt kann beispielsweise die Positionen der Augen (Augenpositionen) verwenden. Die Erfassung der Augenpositionen kann beispielsweise basierend auf der Luminanzverteilung in dem Gesichtsbild ausgeführt werden, wie in 7 dargestellt ist. Bei der Berechnung der Luminanzverteilung können die Positionen der Augen gemäß der Verteilung der integrierten Werte berechnet werden, die durch Integrieren der Luminanz in zwei Richtungen (X-Richtung und Y-Richtung) des Gesichtsbilds erlangt werden. Beispielsweise, wenn das Gesicht scharf geformt ist oder wenn eine Sonnenbrille getragen wird, tendiert die Luminanz um die Augen herum dazu, niedrig zu sein. Demnach kann ein Bereich, in dem die wie vorstehend beschrieben berechnete integrierte Luminanz relativ niedrig ist, als die Position der Augen extrahiert werden.
-
Bei S220 können die Positionen der Augen unter Verwendung eines Luminanzhistogramms erfasst werden. Das Luminanzhistogramm gibt eine Auftrittsfrequenz der Luminanz in dem Gesichtsbild an und es kann beispielsweise ein Abschnitt eines Bereichs, der die Luminanz aufweist, die niedriger als eine vorbestimmte Luminanz ist, als die Positionen der Augen durch ein Diskriminanzanalyseverfahren extrahiert werden.
-
Bei S230 bis S270 erfasst die Sichtlinienmesseinheit 140 die Augen in dem Messbild entsprechend dem zweiten Bild 1102 und berechnet die Sichtlinienrichtung hinsichtlich der Bewegung des Fahrers.
-
In anderen Worten extrahiert in einem in 6 dargestellten Beispiel die Sichtlinienmesseinheit 140 bei S230 den Merkmalsabschnitt zur Bewegungserfassung (beispielsweise die Position der Augen) in dem zweiten Messbild 1102a entsprechend dem zweiten Bild 1102 wie bei S220.
-
Als der Bewegungserfassungsmerkmalsabschnitt kann das „Bild selbst“ wie nachfolgend beschrieben anstelle wie in dem Fall verwendet werden, in dem die „Augenpositionen“ wie vorstehend beschrieben verwendet werden. In anderen Worten wird das zweite Bild 1102 durch Maskieren eines Bereichs, in dem Überbelichtung (hauptsächlich ein Bereich außer dem Bereich um die Augen herum) in dem zweiten Bild 1102 auftritt, und Abgleichen des zweiten Belichtungspegels in dem zweiten Bild 1102 mit dem Belichtungspegel des ersten Bildes 1101 verarbeitet. Die Bewegungserfassung kann durch Suchen nach einer Position, bei der eine Gesamtdifferenz zwischen den ersten Bildern 1101 und den zweiten Bildern 1102 minimiert ist, unter Verwendung der zweiten Bilder 1102 selbst, die korrigiert wurden, sodass die Helligkeit des zweiten Bilds 1102 annähernd gleich der des ersten Bildes 1101 wird, als der Merkmalsabschnitt ausgeführt werden.
-
Als Nächstes führt bei S240 die Sichtlinienmesseinheit 140 eine Bewegungsmessung aus. Die Sichtlinienmesseinheit 140 misst den Positionsabweichungsbetrag, der mit der Bewegung des Fahrers verknüpft ist, gemäß den Positionen der Augen, die basierend auf dem ersten Messbild 1101a bei S220 extrahiert werden, und den Positionen der Augen, die basierend auf dem zweiten Messbild 1102a bei S230 extrahiert werden.
-
Als Nächstes führt die Sichtlinienmesseinheit 140 bei S250 eine Bewegungskorrektur aus. Die Sichtlinienmesseinheit 140 führt die Bewegungskorrektur unter Verwendung des Positionsabweichungsbetrags aus, der bei S240 gemessen wird. Beispielsweise wird die Positionskorrektur für das zweite Messbild 1102a basierend auf den Koordinaten des Gesichtsabschnitts des ersten Messbilds 1101a ausgeführt, der bei S210 erfasst wird.
-
Als Nächstes erfasst die Sichtlinienmesseinheit 140 die Augen, wie beispielsweise die Augenlider und die Pupillen bei S260 und berechnet die Gesichtsrichtung und die Sichtlinienrichtung bei S270 in dem zweiten Messbild 1102a, dessen Position korrigiert wurde.
-
Die Sichtlinienmesseinheit 140 führt eine Bewegungserfassungsmerkmalsextrahierung (S220) für das dritte Messbild 1101b aus, führt eine Bewegungsberechnung (S240) und eine Bewegungskorrektur (S250) im Vergleich mit dem zweiten Messbild 1102a aus und berechnet die Sichtlinienrichtung (S270). Dann misst die Sichtlinienmesseinheit 140 sequentiell die Sichtlinienrichtung durch Wiederholen der vorstehend beschriebenen Steuerung zwischen einem unmittelbar vorhergehenden Bild und einem nächsten Bild. In anderen Worten misst die Sichtlinienmesseinheit 140 die Sichtlinienrichtung durch Vergleichen eines mittleren Messbilds mit zwei Messbildern vor und nach dem mittleren Messbild unter Verwendung der drei aufeinanderfolgenden Messbilder.
-
Wie vorstehend beschrieben ist, misst gemäß der vorliegenden Ausführungsform die Sichtlinienmesseinheit 140 die Sichtlinienrichtung unter Verwendung zweier aufeinanderfolgender Bilder der ersten Bilder 1101 und der zweiten Bilder 1102, die abwechselnd und aufeinanderfolgend aufgenommen werden. Eines der zwei aufeinanderfolgenden Bilder ist ein beliebiges Bild und das andere Bild ist ein Bild, das unmittelbar nach dem beliebigen Bild aufgenommen wird (nächstes Bild). Die Sichtlinienmesseinheit 140 vergleicht die zwei Bilder miteinander und bestimmt eine Positionsabweichung, die mit der Bewegung des Fahrers verknüpft ist, basierend auf dem Merkmalsabschnitt zum Erfassen der Bewegung. Anschließend wird die Positionsabweichung des anderen Bilds bezüglich eines Bilds korrigiert, um die Sichtlinienrichtung aus der Richtung der Augen bezüglich des Gesichts zu messen. Dies ermöglicht es, genauere Messung der Sichtlinienrichtung auszuführen, sogar, wenn sich der Fahrer bewegt.
-
Ferner bestimmt bei S220 und S230 die Sichtlinienmesseinheit 140 die Positionen der Augen als den Merkmalsabschnitt zum Erfassen der Bewegung aus dem integrierten Wert der Luminanz in den jeweiligen zwei Achsenrichtungen (X-Richtung und Y-Richtung) für das erste Bild 1101 und das zweite Bild 1102. Demzufolge kann die Sichtlinienmesseinheit 140 genau die Positionen der Augen bestimmen.
-
Bei S230 kann als der Merkmalsabschnitt zum Erfassen der Bewegung eine verarbeitete Version des zweiten Bilds 1102 verwendet werden. Insbesondere wird das zweite Bild 1102 verarbeitet, um einen Bereich zu maskieren, in dem eine Überbelichtung in dem zweiten Bild 1102 auftritt, und verarbeitet, um den zweiten Belichtungspegel mit dem ersten Belichtungspegel abzugleichen. Dies ermöglicht es, Bewegung zu erfassen.
-
(Zweite Ausführungsform)
-
Eine zweite Ausführungsform ist in 8 dargestellt. Die zweite Ausführungsform hat die gleich Konfiguration wie die erste Ausführungsform und ihr Steuerinhalt unterscheidet sich von dem der ersten Ausführungsform. In einem Ablaufdiagramm von 8 werden ein Messbild entsprechend einem ersten Bild 1101 und ein Messbild entsprechend einem zweiten Bild 1102 kombiniert (S245), um eine Sichtlinienrichtung zu messen.
-
Wie in 8 dargestellt ist, kombiniert nach Ausführung der Verarbeitung bei S240 eine Sichtlinienmesseinheit 140 ein erstes Messbild 1101a mit einem zweiten Messbild 1102a, dessen Positionsababweichung bei S245 korrigiert wurde. Die Sichtlinienmesseinheit 140 führt eine Gesichtsabschnittserfassung bei S210, eine Augenerfassung bei S260 und eine Sichtlinienrichtungsmessung bei S270 für das kombinierte Bild durch. Auf ähnliche Weise werden das zweite Messbild 1102A und ein drittes Messbild 1101b einer Bildkombination (S245) unterworfen und der Gesichtsabschnitt wird bei S210 erfasst, die Augen werden bei S260 erfasst und die Sichtlinienrichtung wird bei S270 für das kombinierte Bild gemessen.
-
Wie vorstehend beschrieben ist, werden gemäß der vorliegenden Ausführungsform ein Bild von zwei aufeinanderfolgenden Bildern und das andere Bild, dessen Positionsabweichung basierend auf dem einen Bild korrigiert ist, kombiniert, wodurch die Sichtlinienrichtung mit dem kombinierten Bild genau gemessen werden kann.
-
(Dritte Ausführungsform)
-
Eine dritte Ausführungsform ist in 9 dargestellt. Die dritte Ausführungsform hat die gleiche Konfiguration wie die erste Ausführungsform. Die dritte Ausführungsform unterscheidet sich von der ersten Ausführungsform dadurch, dass eine Abbildungsfrequenz zur Zeit der Aufnahme des ersten Bilds 1101 bezüglich einer Abbildungsfrequenz zur Zeit der Aufnahme des zweiten Bilds 1102 gemäß dem Bewegungsbetrag des Fahrers geändert ist. Die Änderung der Abbildungsfrequenz wird durch eine Operationssteuereinheit 150 (Frequenzsteuereinheit) ausgeführt.
-
Wie in 9 dargestellt ist, liest als Erstes bei S300 die Operationssteuereinheit 150 das erste Bild 1101 und das zweite Bild 1102 aus einem Sichtlinien- und Gesichtsmessspeicher 146. Als Nächstes berechnet bei S310 die Operationssteuereinheit 150 die Bewegung des Fahrers gemäß einem Vergleich bei einem Merkmalsabschnitt zum Erfassen der Bewegung des ersten Bilds 1101 und des zweiten Bilds 1102.
-
Dann bestimmt bei S320 die Operationssteuereinheit 150 die Frequenz. Insbesondere, wenn der Bewegungsbetrag des Fahrers, der bei S310 berechnet wird, größer als ein vorbestimmter Bewegungsbetrag ist (beispielsweise für eine vorbestimmte Zeit), erhöht die Operationssteuereinheit 150 die Abbildungsfrequenz des ersten Bilds 1101, um größer als die Abbildungsfrequenz des zweiten Bilds 1102 zu sein. Die Kombination der Abbildungsfrequenzen des ersten Bilds 1101 und des zweiten Bilds 1102 entsprechend dem Bewegungsbetrag wird vorab in der Operationssteuereinheit 150 gespeichert.
-
Insbesondere wurden beispielsweise in der ersten Ausführungsform das erste Bild 1101 und das zweite Bild 1102 als Bilder beschrieben, die jeweils Daten für 15 Rahmen von 30 Rahmen pro Sekunde verwenden. Andererseits wird beispielsweise bei S320 das erste Bild 1101 in ein Bild für 20 Rahmen geändert und das zweite Bild 1102 wird in ein Bild für zehn Rahmen geändert.
-
Wenn der Bewegungsbetrag des Fahrers größer als der vorbestimmte Bewegungsbetrag ist, ist es wahrscheinlich, dass das zweite Bild 1102, das den Bereich um die Augen herum zeigt, relativ ungenau verglichen zum ersten Bild 1101 ist, das das gesamte Gesicht zeigt. Demnach kann mit einer Zunahme der Abbildungsfrequenz des ersten Bilds 1101, das das gesamte Gesicht zeigt, als Erstes die Genauigkeit des ersten Bilds 1101 erhöht werden. Die Sichtlinienerrichtung wird unter Verwendung des zweiten Bilds 1102 (um die Augen herum) auf der Basis des ersten Bilds 1101 (das gesamte Gesicht) mit einer erhöhten Genauigkeit gemessen und eine genauere Sichtlinienrichtung kann erlangt werden, sogar, wenn der Bewegungsbetrag des Fahrers groß ist.
-
(Vierte Ausführungsform)
-
Eine vierte Ausführungsform ist in 10 dargestellt. Die vierte Ausführungsform hat die gleiche Konfiguration wie die erste Ausführungsform. Die Vierte Ausführungsform unterscheidet sich von der ersten Ausführungsform dadurch, dass ob oder nicht zwischen der Festlegung eines ersten Belichtungspegels und der Festlegung eines zweiten Belichtungspegels umzuschalten ist, gemäß einer Luminanz eines zweiten Bilds 1102 bezüglich einer Luminanz eines erstes Bilds 1101 bestimmt wird. Das Umschalten des Belichtungspegels wird durch eine Operationssteuereinheit (150) (Schaltsteuereinheit) bestimmt.
-
Wie in 10 dargestellt ist, bestimmt als Erstes bei Schritt S400 die Operationssteuereinheit 150, ob oder nicht es ein Belichtungsevaluierungsergebnis von jedem der Bilder 1101 und 1102 in einer in 2A für eine Belichtungssteuereinheit 130 beschriebenen Belichtungssteuerung gibt.
-
Erfolgt bei S400 eine positive Entscheidung, liest die Operationssteuereinheit 150 Luminanzdaten des zweiten Bilds 1102 (ein Bild um Augen herum) bei S410 und liest die Luminanzdaten des ersten Bilds 1101 (ein Bild des gesamten Gesichts) bei S420.
-
Als Nächstes bestimmt bei S430 die Operationssteuereinheit, ob oder nicht die Luminanz des Bilds um die Augen herum bezüglich der Luminanz des Bilds des gesamten Gesichts kleiner als ein vorbestimmter Grenzwert ist.
-
Wir bei S430 positiv entschieden, hat die Luminanz um die Augen herum einen relativ niedrigen Pegel und deshalb besteht, um das zweite Bild 1102 aufzunehmen, ein Bedarf, den Belichtungspegel verglichen zu dem Fall zu erhöhen, in dem das erste Bild 1101 aufgenommen wird. Demnach führt bei S440 wie in der ersten Ausführungsform die Operationssteuereinheit 150 eine Belichtungspegelumschaltsteuerung xxx(Hell-und-Dunkel-Umschalten ein)yyy für die Festlegung eines Belichtungspegels auf einen ersten Belichtungspegel, wenn das erste Bild 1101 aufgenommen wird, und Festlegen des Belichtungspegels auf einen zweiten Belichtungspegel, wenn das zweite Bild 1102 aufgenommen wird, aus.
-
Andererseits, wenn bei S430 negativ entschieden wird, da die Luminanz um die Augen herum einen relativ hohen Pegel aufweist, kann, um das zweite Bild 1102 abzubilden, der gleiche Belichtungspegel wie der zur Zeit des Abbildens des ersten Bilds 1101 angewandt werden. Demnach führt, wenn das erste Bild 1101 und das zweite Bild 1102 bei S450 aufgenommen werden, die Operationssteuereinheit 150 eine Steuerung (Hell-und-Dunkel-Umschalten aus) aus, die kein Umschalten zwischen dem ersten Belichtungspegel und dem zweiten Belichtungspegel erfordert, wobei das erste Bild 1101 und das zweite Bild 1102 mit dem ersten Belichtungspegel aufgenommen werden.
-
Andererseits, wenn bei S400 negativ entschieden wird, bestimmt die Operationssteuereinheit 150, dass die Belichtungsevaluierung noch nicht ausgeführt wurde, führt eine Fehlerunterrichtung bei S460 aus und schließt den Ablauf ab.
-
(Weitere Ausführungsformen)
-
Es ist zu beachten, dass die vorliegende Offenbarung nicht auf die vorstehend beschriebenen Ausführungsformen beschränkt ist und angemessen innerhalb eines Umfangs modifiziert werden kann, der nicht vom Geist der vorliegenden Offenbarung abweicht. Die vorstehenden Ausführungsformen sind nicht irrelevant zueinander und können angemessen kombiniert werden, außer, die Kombination ist offensichtlich nicht möglich. Ferner sind die Elemente, die jede der vorstehenden Ausführungsformen konfigurieren, nicht notwendigerweise essentiell, außer, wenn klar angegeben ist, dass die Elemente besonders essentiell sind, wenn die Elemente klar prinzipiell als essentiell zu betrachten sind und dergleichen.
-
In jeder der vorstehenden Ausführungsformen sind die numerischen Werte der Komponente nicht auf eine spezifische Zahl beschränkt, außer, wenn auf numerische Werte wie die Zahl, einen numerischen Wert, Quantität und Bereich der Komponenten Bezug genommen wird, insbesondere, wenn klar angegeben ist, dass die Komponenten unvermeidbar sind und der numerische Wert offensichtlich prinzipiell auf eine spezifische Zahl beschränkt ist und dergleichen. Ferner sind in jeder der vorstehenden Ausführungsformen das Material, die Form, Positionsbeziehung und dergleichen der Komponenten und dergleichen nicht auf die vorstehend beschriebenen spezifischen Beispiele beschränkt, mit der Ausnahme des Falls, in dem das Material, die Form und die Positionsbeziehung besonders spezifiziert sind, und des Falls, in dem das Material, die Form und die Positionsbeziehung fundamental auf ein spezifisches Material, eine spezifische Form und eine spezifische Positionsbeziehung und dergleichen beschränkt sind.
-
Die Operationssteuereinheit 150 kann Umschaltsteuerung der Belichtungspegelfestlegung zu irgendeinem der folgenden beispielhaften Zeitpunkte ausführen:
- (1) Initiale Inbetriebnahme;
- (2) Vorbestimmtes Zeitintervall;
- (3) Wenn das Gesichtserfassungsergebnis für eine vorbestimmte Periode oder länger unterbrochen wird;
- (4) Nachdem der Augenerfassungsfehler in den Hell-Dunkel-AusZustand für eine vorbestimmte Zeitperiode oder länger fortbesteht.
-
Demzufolge kann immer, wenn die Luminanz des zweiten Bilds 1102, das den Bereich um die Augen herum angibt, größer als der vorbestimmte Grenzwert ist, ein exzellentes Bild um die Augen herum erlangt werden, ohne den Belichtungspegel erhöht festzulegen. Demnach wird Umschalten zwischen der Festlegung des ersten Belichtungspegels und der Festlegung des zweiten Belichtungspegels unnötig. In anderen Worten können das erste Bild 1101 und das zweite Bild 1102 aufgenommen werden, während der erste Belichtungspegel beibehalten wird.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- JP 2016178769 [0001]
- JP 2009276849 A [0007]
