DE102016225311A1

DE102016225311A1 - Bildverarbeitungseinrichtung

Info

Publication number: DE102016225311A1
Application number: DE102016225311.5A
Authority: DE
Inventors: Yoshio Matsuura
Original assignee: Omron Automotive Electronics Co Ltd
Current assignee: Omron Corp
Priority date: 2015-12-16
Filing date: 2016-12-16
Publication date: 2017-06-22
Also published as: JP6289439B2; JP2017112486A; US20170178304A1; US10089731B2

Abstract

Eine Bildverarbeitungseinrichtung weist auf: eine erste und eine zweite Beleuchtungseinheit, die Licht zu einem Subjekt aus unterschiedlichen Richtungen aussenden; eine Bildaufnahmeeinheit, die ein erstes und ein zweites Bild in einem Zustand aufnimmt, in dem die erste Beleuchtungseinheit bzw. die zweite Beleuchtungseinheit das Licht aussendet; und eine Bildkorrektureinheit, die einen ersten Helligkeitswert eines ersten Pixels, den das erste Bild aufweist, mit einem zweiten Helligkeitswert eines zweiten Pixels, den das zweite Bild aufweist, für alle einander entsprechenden Pixel vergleicht, und ein korrigiertes Bild durch Durchführung eines Korrekturarbeitsablaufs auf ein aus dem ersten Bild und dem zweiten Bild synthetisierten Bild erzeugt. Die Bildkorrektureinheit berechnet eine Differenz zwischen den ersten und zweiten Helligkeitswerten, und berechnet einen Helligkeitskorrekturwert auf der Grundlage der Differenz und einer Funktion, welche monoton ansteigt, wenn die Differenz ansteigt, und deren Steigungsrate sukzessive abnimmt, und erzeugt das korrigierte Bild unter Verwendung des Helligkeitskorrekturwerts.

Description

QUERVERWEISE AUF ZUGEHÖRIGE ANMELDUNGEN
Diese Anmeldung basiert auf und beansprucht die Priorität der japanischen Patentanmeldung mit der Nummer 2015-245118 , die am 16. Dezember 2015 eingereicht wurde, wobei deren gesamter Inhalt hierin durch Bezugnahme aufgenommen ist.
TECHNISCHES GEBIET
Eine oder mehrere Ausführungsformen der vorliegenden Erfindung betreffen eine Bildverarbeitungseinrichtung welche Bilder eines Subjekts aufnimmt und die Bilder verarbeitet, und insbesondere eine Technologie eines Verringerns eines Einflusses von an einer Brille oder Ähnlichem reflektiertem Licht wird.
STAND DER TECHNIK
Es gibt ein Fahrzeug, bei dem eine Einrichtung (nachfolgend als „Fahrerüberwachungsgerät” bezeichnet) zur Überwachung eines unaufmerksamen Fahrens oder eines schläfrigen Fahrens bzw. eines Fahrens in einem schläfrigen Zustand eines Fahrers montiert ist. Das Fahrerüberwachungsgerät ermittelt ein Auge des Fahrers aus einem Gesichtsbilds bzw. Bild eines Gesichts des Fahrers, das von einer Kamera aufgenommen wird, und ermittelt eine Richtung einer Blickrichtung einer Pupille, einen Schließzustand eines Augenlids, oder Ähnliches. Wenn jedoch der Fahrer eine Brille trägt, wird ein Beleuchtungslicht in dem Fahrzeug, externes Licht, Beleuchtungslicht zur Aufnahme eines Bilds, oder Ähnliches von einer Linse oder einem Rahmen der Brille reflektiert, und dadurch ist es unmöglich, eine Pupille oder ein Augenlid fehlerfrei zu erkennen. Insbesondere in einem Fall, in dem von der Brille reflektiertes Licht die Pupille überlappt, wird die Ermittlungsgenauigkeit erheblich verringert. Zur Lösung dieses Problems sind Technologien bekannt, die in der JP-A-2008-123137 und der JP-A-2006-48328 offenbart sind.
In der JP-A-2008-123137 sind in einer Kamera für ein Fahrzeug zwei Beleuchtungseinrichtungen vorgesehen. Die Kamera für ein Fahrzeug bringt die zwei Beleuchtungseinrichtungen abwechselnd synchron mit einem Timing bzw. einer zeitlichen Steuerung einer Abbildung zum Leuchten, und nimmt Bilder eines Subjekts auf, zu welchem eine der Beleuchtungseinrichtungen Licht aussendet und zu welchem die andere Beleuchtungseinrichtung Licht aussendet. Dann werden Helligkeitswerte bzw. Luminanzwerte von jedem Pixel der zwei aufgenommenen Bilder miteinander verglichen, wobei die Pixel die gleiche relative Position aufweisen, ein Pixel mit dem niedrigeren Helligkeitswert ausgewählt wird, und ein einzelnes künstlich hergestelltes bzw. synthetisiertes Bild erzeugt wird. Dadurch wird eine unerwartete Reflexion von Licht von der Brille verringert, und das Auge wird auf einfache Weise ermittelt.
In der JP-A-2006-48328 wird ermittelt, ob Helligkeitswerte von jedem Pixel eines Bilds größer als ein Schwellenwert sind oder nicht, wenn ein Gesicht in bzw. aus dem Bild ermittelt wird, das von der Kamera aufgenommen wird. In einem Fall, in dem ein Abschnitt mit hoher Helligkeit, welcher Pixel aufweist, die einen Helligkeitswert aufweisen, der größer als der Schwellenwert ist, ermittelt wird, dann wird der Helligkeitswert von jedem Pixel des Abschnitts mit der hohen Helligkeit auf eine niedrige Helligkeit eingestellt, und daher wird der Abschnitt mit der hohen Helligkeit in einen Abschnitt mit niedriger Helligkeit umgewandelt. Dadurch wird der Abschnitt mit der hohen Helligkeit, der durch das von der Brille reflektierte Licht verursacht wird, beseitigt, und daher wird das Auge auf einfache Weise ermittelt.
Jedoch ist in einem Fall, in dem eine rechte Seite eines Gesichts eines Subjekts mit Licht bestrahlt bzw. angeleuchtet wird und das Gesicht aufgenommen wird, eine Helligkeit einer linken Seite des Gesichts geringer als eine Helligkeit der rechten Seite des Gesichts, und daher ist ein Bild der linken Seite des Gesichts dunkler. Indes ist in einem Fall, in dem die linke Seite des Gesichts des Subjekts mit Licht bestrahlt wird und das Gesicht aufgenommen wird, die Helligkeit der rechten Seite des Gesichts niedriger als die Helligkeit der linken Seite des Gesichts, und daher ist ein Bild der rechten Seite des Gesichts dunkler. Daher wird, wie in der JP-A-2008-123137 offenbart, wenn ein synthetisiertes Bild unter Verwendung von Pixeln mit dem niedrigeren Helligkeitswert von zwei Bildern erzeugt wird, das gesamte Bild dunkel. Dementsprechend gibt es die Möglichkeit, dass es schwierig ist, fehlerfrei einen Umriss eines Gesichtsbilds zu ermitteln oder eine Pupille oder ein Augenlid fehlerfrei aus dem Gesichtsbild zu ermitteln.
Im Gegensatz dazu ist es bei der Technologie der JP-A-2006-48328 möglich zu verhindern, dass das gesamte Bild dunkel wird, aber ein Abschnitt mit hoher Helligkeit wird in einen Abschnitt mit niedriger Helligkeit umgewandelt, und daher gibt es die Möglichkeit, dass ein weißer Abschnitt eines Auges dunkel wird. Da ein heller Abschnitt in einen dunklen Abschnitt umgewandelt wird, unter Verwendung eines Schwellenwerts als eine Bereichsgrenze, wird außerdem die Helligkeit an dem umgewandelten Abschnitt und einem dazu benachbarten nicht-umgewandelten Abschnitt diskontinuierlich, und daher ist das Bild unnatürlich. Wie in der JP-A-2006-48328 offenbart umfasst außerdem ein Verfahren zur Beseitigung eines Abschnitts mit hoher Helligkeit basierend auf dem Schwellenwert einen verzweigten Arbeitsablauf in einem Algorithmus einer Bildverarbeitung und daher besteht das Problem, dass die arithmetische Verarbeitung bzw. der Berechnungsvorgang kompliziert ist.
KURZFASSUNG DER ERFINDUNG
Es ist eine Aufgabe von einer oder mehreren Ausführungsformen der vorliegenden Erfindung, eine Bildverarbeitungseinrichtung bereitzustellen, welche bewirken kann, dass das gesamte Bild nicht dunkel wird, und welche einen Einfluss von an bzw. von einer Brille oder Ähnlichem reflektiertem Licht verringern kann. Eine andere Aufgabe von einer oder mehreren Ausführungsformen der vorliegenden Erfindung ist es, eine Bildverarbeitungseinrichtung bereitzustellen, welche unter Verwendung einer einfachen Rechenoperation bzw. einfachen arithmetischen Verarbeitung ein natürliches und kontinuierliches Bild erhält bzw. erzielt.
Eine Bildverarbeitungseinrichtung gemäß einer oder mehreren Ausführungsformen der vorliegenden Erfindung weist eine erste Beleuchtungseinheit, welche Beleuchtungslicht zu einem Subjekt emittiert bzw. Beleuchtungslicht auf ein Subjekt wirft bzw. Beleuchtungslicht in Richtung eines Subjekts bzw. zu dem Subjekt aussendet; eine zweite Beleuchtungseinheit, welche Beleuchtungslicht zu dem Subjekt in einer Richtung emittiert bzw. aussendet, die unterschiedlich zu derjenigen der ersten Beleuchtungseinheit ist; eine Bildaufnahmeeinheit, welche ein erstes Bild des Subjekts in einem Zustand aufnimmt, in dem die erste Beleuchtungseinheit das Beleuchtungslicht zu dem Subjekt aussendet, und ein zweites Bild des Subjekts in einem Zustand aufnimmt, in dem die zweite Beleuchtungseinheit das Beleuchtungslicht zu dem Subjekt emittiert bzw. aussendet; und eine Bildkorrektureinheit auf, die einen ersten Helligkeitswert bzw. Luminanzwert eines ersten Pixels, den das erste Bild aufweist, mit einem zweiten Helligkeitswert bzw. Luminanzwert eines zweiten Pixels, den das zweite Bild aufweist, für jeden entsprechenden Pixel vergleicht bzw. für alle einander entsprechenden bzw. zugeordneten Pixel vergleicht bzw. für alle einander entsprechenden bzw. für alle einander zugeordneten ersten Pixel und zweiten Pixel vergleicht, und ein korrigiertes Bild durch Durchführung eines vorgegebenen Korrekturarbeitsablaufs auf ein aus dem ersten Bild und dem zweiten Bild synthetisiertes bzw. künstlich hergestelltes Bild auf der Grundlage der Vergleichsergebnisse erzeugt. Die Bildkorrektureinheit berechnet eine Differenz zwischen dem ersten Helligkeitswert und dem zweiten Helligkeitswert, und berechnet einen Helligkeitskorrekturwert bzw. korrigierten Helligkeitswert bzw. korrigierten Luminanzwert auf der Grundlage der Differenz und einer vorgegebenen Funktion, welche monoton ansteigt zusammen mit einem Anstieg bzw. einer Zunahme der Differenz, und deren Steigungsrate allmählich bzw. sukzessive bzw. graduell abnimmt, und erzeugt das korrigierte Bild unter Verwendung des Helligkeitskorrekturwerts.
Mit dieser Konfiguration wird in einem Fall, in dem Licht von einer Balle oder Ähnlichem des Subjekts reflektiert wird und die Differenz zwischen dem ersten Helligkeitswert und dem zweiten Helligkeitswert groß ist, die Differenz durch eine Funktion komprimiert bzw. verringert, deren Steigungsrate sukzessive bzw. allmählich abnimmt, und daher ist es möglich, ein Korrekturbild bzw. korrigiertes Bild zu erzeugen, das kaum durch reflektiertes Licht beeinflusst wird, indem die relativ kleine Differenz in dem Helligkeitskorrekturwert reflektiert bzw. wiedergegeben bzw. berücksichtigt wird. In einem Fall, in dem Licht nicht von der Brille oder Ähnlichem des Subjekts reflektiert wird und die Differenz zwischen dem ersten Helligkeitswert und dem zweiten Helligkeitswert klein ist, ist indes eine Komprimierung bzw. Verringerung der Differenz durch eine Funktion klein, und daher ist es möglich, das gesamte Bild hell werden zu lassen, indem die Differenz in dem Helligkeitskorrekturwert reflektiert bzw. wiedergegeben bzw. berücksichtigt wird. Außerdem erfolgt die Korrektur durch lediglich eine einzelne Arithmetik bzw. Rechenoperation, die durch eine Funktion ohne Verwendung eines Schwellenwerts durchgeführt wird, und daher ist ein Bild kontinuierlich und die arithmetische Verarbeitung bzw. Rechenoperation ist ebenfalls einfach.
Bei einer oder mehreren Ausführungsformen der Erfindung können eine bzw. eine einzelne Beleuchtungseinheit und zwei Bildaufnahmeeinheiten vorgesehen sein, anstatt zwei Beleuchtungseinheiten und eine bzw. eine einzelne Bildaufnahmeeinheit vorzusehen. In diesem Fall weist die Bildverarbeitungseinrichtung eine Beleuchtungseinheit, welche Beleuchtungslicht zu einem Subjekt emittiert bzw. aussendet bzw. auf ein Subjekt wirft; eine erste Bildaufnahmeeinheit, die ein erstes Bild des Subjekts in einem Zustand aufnimmt, in dem die Beleuchtungseinheit das Beleuchtungslicht zu dem Subjekt aussendet; und eine zweite Bildaufnahmeeinheit auf, die ein zweites Bild des Subjekts in bzw. aus einer Richtung aufnimmt, die unterschiedlich zu derjenigen der ersten Bildaufnahmeeinheit ist, in einem Zustand, in dem die Beleuchtungseinheit das Beleuchtungslicht zu dem Subjekt aussendet.
Bei einer oder mehreren Ausführungsformen der vorliegenden Erfindung kann eine logarithmische Funktion als die Funktion verwendet werden. In diesem Fall berechnet die Bildkorrektureinheit einen logarithmischen Differenzwert, der ein Logarithmus eines Absolutwerts der Differenz zwischen den Helligkeitswerten ist, auf der Grundlage der logarithmischen Funktion, und berechnet den Helligkeitskorrekturwert unter Verwendung des logarithmischen Differenzwerts.
Bei einer oder mehreren Ausführungsformen der vorliegenden Erfindung kann der Helligkeitskorrekturwert ein erster Helligkeitskorrekturwert bzw. ein erster korrigierter Helligkeitswert sein, der durch Addieren eines niedrigen Helligkeitswerts, welcher ein kleinerer Helligkeitswert ausgewählt aus dem ersten Helligkeitswert und dem zweiten Helligkeitswert ist, zu dem logarithmischen Differenzwert erhalten wird.
Bei einer oder mehreren Ausführungsformen der vorliegenden Erfindung kann der Helligkeitskorrekturwert bzw. korrigierte Helligkeitswert ein zweiter Helligkeitskorrekturwert bzw. ein zweiter korrigierter Helligkeitswert sein, der erhalten wird, indem ein Wert, welcher durch Multiplikation eines Werts, der durch Addieren des niedrigen Helligkeitswerts, welcher ein kleinerer Helligkeitswert ausgewählt aus dem ersten Helligkeitswert und dem zweiten Helligkeitswert ist, zu dem logarithmischen Differenzwert erhalten wird, mit einem ersten Koeffizienten α erhalten wird, zu einem Wert addiert wird, der durch Multiplikation eines Mittelwerts des ersten Helligkeitswerts und des zweiten Helligkeitswerts mit einem zweiten Koeffizienten β erhalten wird.
Bei einer oder mehreren Ausführungsformen der vorliegenden Erfindung kann sich der erste Koeffizienten α in einem Bereich von 0 ≤ α ≤ 1 gemäß einem hohen Helligkeitswert, welcher ein größerer Helligkeitswert ausgewählt aus dem ersten Helligkeitswert und dem zweiten Helligkeitswert ist, ändern, und kann mit abnehmendem hohen Helligkeitswert allmählich bzw. sukzessive abnehmen. Der zweite Koeffizient β kann die Gleichung β = 1 – α(0 ≤ β ≤ 1) erfüllen, und kann allmählich bzw. sukzessive mit abnehmendem hohen Helligkeitswert abnehmen. In diesem Fall ermittelt die Bildkorrektureinheit den hohen Helligkeitswert, und bestimmt, ob der hohe Helligkeitswert größer als oder gleich einem vorgegebenen Wert ist; setzt den ersten Koeffizienten α auf bzw. gleich 1 und setzt den zweiten Koeffizienten β auf bzw. gleich 0, und berechnet den zweiten Helligkeitskorrekturwert, in einem Fall, in dem der hohe Helligkeitswert größer als oder gleich einem vorgegebenen Wert ist; und berechnet den zweiten Helligkeitskorrekturwert unter Verwendung des ersten Koeffizienten α (0 ≤ α < 1) und des zweiten Koeffizienten β (0 < β ≤ 1) in Abhängigkeit von dem hohen Helligkeitswert, in einem Fall, in dem der hohe Helligkeitswert kleiner als der vorgegebene Wert ist.
Bei einer oder mehreren Ausführungsformen der vorliegenden Erfindung ist es bevorzugt, dass in der logarithmischen Funktion 2 als eine Basis verwendet wird, sodass die Arithmetik vereinfacht wird.
Bei einer oder mehreren Ausführungsformen der vorliegenden Erfindung können Helligkeitswerte miteinander anhand einer Blockeinheit, welche eine Vielzahl von Pixeln aufweist, verglichen werden, anstelle des Vergleichens des ersten Helligkeitswerts mit dem zweiten Helligkeitswert für alle einander entsprechenden bzw. zugeordneten Pixeln. In diesem Fall vergleicht die Bildkorrektureinheit die ersten Helligkeitswerte einer Vielzahl von ersten Blöcken, wobei jeder davon eine Vielzahl von ersten Pixeln aufweist, mit den zweiten Helligkeitswerten einer Vielzahl von zweiten Blöcken, wobei jeder davon eine Vielzahl von zweiten Pixeln aufweist, für alle einander entsprechenden bzw. zugeordneten Blöcke.
Gemäß einer oder mehreren Ausführungsformen der vorliegenden Erfindung ist es möglich, eine Bildverarbeitungseinrichtung bereitzustellen, mit der erzielt werden kann, dass das gesamte Bild nicht dunkel wird, und welche einen Einfluss von an bzw. von einer Brille oder Ähnlichem reflektiertem Licht verringern kann; weiterhin erzielt sie ein natürliches und kontinuierliches Bild unter Verwendung von einfacher arithmetischer Verarbeitung.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Blockdiagramm eines Fahrerüberwachungsgeräts gemäß einer ersten Ausführungsform;
2 ist eine Außenansicht des Fahrerüberwachungsgeräts gemäß der ersten Ausführungsform;
3 ist eine Ansicht, welche einen Verwendungszustand des Fahrerüberwachungsgeräts veranschaulicht;
4A und 4B sind Ansichten, in denen ein Zustand, in dem ein Subjekt von dem Fahrerüberwachungsgerät bestrahlt wird, von oben betrachtet wird;
5A und 5B sind Ansichten, welche ein Gesicht des Subjekts veranschaulichen, das von dem Fahrerüberwachungsgerät bestrahlt wird; 5A: Zustand, in dem erste Beleuchtungseinheit Licht aussendet; 5B: Zustand, in dem zweite Beleuchtungseinheit Licht aussendet;
6A bis 6D sind schematische Darstellungen, welche aufgenommene Bilder eines rechten Augenabschnitts des Subjekts veranschaulichen; 6A: erstes Bild (Bild eines rechten Augenabschnitts, wenn die erste Beleuchtungseinheit Licht aussendet; 6B: zweites Bild (Bild eines rechten Augenabschnitts, wenn die zweite Beleuchtungseinheit Licht aussendet; 6C: künstlich hergestelltes Bild gemäss dem Verfahren des Standes der Technik; 6D: künstlich hergestelltes Bild gemäss der vorliegenden Ausführungsform;
7 ist ein Diagramm, welches eine logarithmische Funktion darstellt;
8A und 8B sind Ansichten, bei denen ein Gesichtsbild gemäß der ersten Ausführungsform mit einem Gesichtsbild des Stands der Technik verglichen wird; 8A: Gesichtsbild gemäss Verfahren des Stands der Technik; 8B: Gesichtsbild gemäss der vorliegenden Ausführungsform;
9 ist ein Flussdiagramm, welches den gesamten Arbeitsablauf des Fahrerüberwachungsgeräts gemäß der ersten Ausführungsform veranschaulicht;
10 ist ein Flussdiagramm, welches Details des Schritts S7 der 9 veranschaulicht;
11 ist eine Außenansicht eines Fahrerüberwachungsgeräts gemäß einer zweiten Ausführungsform;
12 ist ein Blockdiagramm des Fahrerüberwachungsgeräts gemäß der zweiten Ausführungsform;
13 ist ein Flussdiagramm, welches den gesamten Arbeitsablauf des Fahrerüberwachungsgeräts gemäß der zweiten Ausführungsform veranschaulicht;
14 ist ein Flussdiagramm, welches Details des Schritts S45 der 13 veranschaulicht;
15 ist eine Darstellung, welche ein Verfahren eines geometrischen Korrelierens von rechten und linken Pixeln veranschaulicht;
16 ist ein Diagramm, welches Gewichtungskoeffizienten veranschaulicht;
17A und 17B sind Ansichten, die Gesichtsbilder in einem Fall veranschaulichen, in dem eine Reflexion an einer Brille stattfindet und in einem Fall, in dem keine Reflexion an einer Brille stattfindet; 17A: Gesichtsbild des Falls, in dem Licht von Brille reflektiert wird; 17B: Gesichtsbild des Falls, in dem Licht nicht von Brille reflektiert wird;
18 ist ein Diagramm, welches eine irrationale Funktion darstellt;
19 ist ein Diagramm, welches eine hyperbolische Funktion darstellt; und
20 ist eine Darstellung, welche ein Beispiel veranschaulicht, das Helligkeitswerte für jeden Block vergleicht.
AUSFÜHRLICHE BESCHREIBUNG
In Ausführungsformen der Erfindung werden zahlreiche spezifische Details dargelegt, um ein tieferes Verständnis der Erfindung zu vermitteln. Jedoch wird es für den Fachmann offensichtlich sein, dass die Erfindung ohne diese spezifischen Details ausgeführt wer den kann. In anderen Fällen wurden bekannte Merkmale nicht im Detail beschrieben, um zu verhindern, dass die Erfindung unklar wird.
Ausführungsformen der Erfindung werden mit Bezug auf die Zeichnungen beschrieben werden. Die gleichen Symbole oder Bezugszeichen sind denselben Abschnitten oder dazu entsprechenden Abschnitten in jeder Fig. zugeordnet. Nachfolgend wird ein Fahrerüberwachungsgerät, welches unaufmerksames Fahren oder schläfriges Fahren eines Fahrers überwacht, als ein Beispiel einer Bildverarbeitungseinrichtung gemäß einer Ausführungsform der Erfindung beschrieben.
Zunächst wird ein Aufbau des Fahrerüberwachungsgeräts gemäß einer ersten Ausführungsform mit Bezug auf die 1 und 2 beschrieben werden. In 1 ist das Fahrerüberwachungsgerät 100 in einem Fahrzeug montiert und weist eine Bildaufnahmeeinheit 1, eine Beleuchtungseinheit 2, eine Speichereinheit 3, eine Bildkorrektureinheit 4, eine korrigiertes-Bild-Speichereinheit 5, eine Bildanalyseeinheit 6, eine Steuereinheit 7, und eine externe Ausgabeeinheit 8 auf. Die Bildaufnahmeeinheit 1 ist ein Teil bzw. Abschnitt, welcher eine Kamera bildet bzw. aufweist, und weist eine optische Einrichtung 11, welche Linsen, einen optischen Filter, und Ähnliches aufweist, und eine Bildaufnahmevorrichtung 12 auf, die Bilder eines Subjekts bzw. einer Person (Fahrers) durch die optische Einrichtung 11 hindurch aufnimmt bzw. erfasst. Die Beleuchtungseinheit 2 ist ein Abschnitt bzw. Teil, welcher eine Lichtquelle aufweist, die Licht zu dem Subjekt emittiert bzw. Licht zu dem Subjekt aussendet und die eine erste Beleuchtungseinheit 21 und eine zweite Beleuchtungseinheit 22 aufweist.
Die Bildaufnahmevorrichtung 12 weist mehrere Bildaufnahmeelemente (nicht veranschaulicht) auf, welche gitterförmig angeordnet sind. Jedes Bildaufnahmeelement weist beispielsweise ein ladungsgekoppeltes Bauelement (engl.: „charge coupled device”) (CCD) auf. Die erste Beleuchtungseinheit 21 und die zweite Beleuchtungseinheit 22 weisen mehrere lichtemittierende Elemente 21a (2) bzw. mehrere lichtemittierende Elemente 22a (2) auf, welche gitterförmig angeordnet sind. Jedes der lichtemittierenden Elemente 21a und 22a weist beispielsweise eine lichtemittierende Diode (LED) auf, welche nah-Infrarotes Licht emittiert bzw. aussendet.
Wie in 2 veranschaulicht sind die Bildaufnahmeeinheit 1, die erste Beleuchtungseinheit 21, und die zweite Beleuchtungseinheit 22 derart vorgesehen, dass sie eine vordere Oberfläche eines Gehäuses 101 des Fahrerüberwachungsgeräts 100 belegen bzw. auf dieser vorgesehen sind. Die Bildaufnahmeeinheit 1 ist in einem mittleren Abschnitt der vorderen Oberfläche des Gehäuses 101 angeordnet, und die zwei Beleuchtungseinheiten 21 und 22 sind auf der rechten und der linken Seite derart angeordnet, dass die Bildaufnahmeeinheit 1 dazwischen angeordnet bzw. eingeschoben ist.
Wie in 3 veranschaulicht ist das Fahrerüberwachungsgerät 100 an einem Fahrersitz des Fahrzeugs vorgesehen und ist an einer Position vorgesehen, die einem Gesicht eines Fahrers P, welcher das Subjekt ist, gegenüberliegt. Außerdem emittiert die erste Beleuchtungseinheit 21 des Fahrerüberwachungsgeräts 100 Licht in Richtung der rechten Seite des Gesichts des Fahrers P, wie in 4A veranschaulicht. Außerdem emittiert die zweite Beleuchtungseinheit 22 des Fahrüberwachungsgeräts 100 Licht in Richtung der linken Seite des Gesichts des Fahrers P, wie in 4B veranschaulicht. Das heißt, die zweite Beleuchtungseinheit 22 emittiert Licht bzw. sendet Licht aus in Richtung des Gesichts des Fahrers P in eine Richtung, die unterschiedlich von derjenigen der ersten Beleuchtungseinheit 21 ist. Mit anderen Worten senden die erste Beleuchtungseinheit 21 und die zweite Beleuchtungseinheit 22 Licht entlang unterschiedlicher Richtungen aus.
In 1 nimmt in einem Zustand, in dem die erste Beleuchtungseinheit 21 Beleuchtungslicht zu dem Fahrer P emittiert bzw. aussendet, die Bildaufnahmevorrichtung 12 der Bildaufnahmeeinheit 1 ein Bild des Gesichts des Fahrers P auf. Ein Bild, das zu diesem Zeitpunkt aufgenommen wird, wird als ein „erstes Bild” bezeichnet. Außerdem nimmt in einem Zustand, in dem die zweite Beleuchtungseinheit 22 Beleuchtungslicht zu dem Fahrer P emittiert, die Bildaufnahmevorrichtung 12 der Bildaufnahmeeinheit 1 ein Bild eines Gesichts des Fahrers P auf. Ein Bild, das zu diesem Zeitpunkt aufgenommen wird, wird als „zweites Bild” bezeichnet. Die erste Beleuchtungseinheit 21 und die zweite Beleuchtungseinheit 22 bestrahlen das Gesicht des Fahrers P mit Licht zu unterschiedlichen Zeitpunkten bzw. leuchten das Gesicht des Fahrers P mit Licht zu unterschiedlichen Zeitpunkten an, und die Bildaufnahmeeinheit 1 nimmt das Gesicht des Fahrers P zu unterschiedlichen Zeitpunkten auf.
Die Speichereinheit 3 speichert das erste Bild und das zweite Bild, welche von der Bildaufnahmeeinheit 1 aufgenommen werden. Die Bildkorrektureinheit 4 führt einen vorgegebenen Korrekturarbeitsablauf an einem bzw. auf ein bzw. für ein aus dem ersten Bild und dem zweiten Bild synthetisierten bzw. künstlich hergestellten Bild aus, und erzeugt ein Korrekturbild bzw. korrigiertes Bild. Der Korrekturarbeitsablauf wird nachfolgend im Detail beschrieben. Die korrigiertes-Bild-Speichereinheit 5 speichert das korrigierte Bild, welches von der Bildkorrektureinheit 4 erzeugt wird. Die Bildanalyseeinheit 6 analysiert das in der korrigiertes-Bild-Speichereinheit 5 gespeicherte korrigierte Bild, und ermittelt eine Position eines Auges, einen Zustand einer Pupille und eines Augenlids, oder Ähnliches. Die Steuereinheit 7 bestimmt, ob der Fahrer P ein unaufmerksames Fahren oder ein schläfriges Fahren ausführt oder nicht, auf der Grundlage des Ermittlungsergebnisses der Bildanalyseeinheit 6, und gibt die Bestimmungsergebnisse aus. Genauer gesagt erzeugt die Steuereinheit ein Signal, das angibt, ob der Fahrer das unaufmerksame Fahren oder das schläfrige Fahren durchführt, und liefert das erzeugte Signal an die externe Ausgabeeinheit 8. Die externe Ausgabeeinheit 8 gibt das Signal an eine Fahrzeugsteuereinrichtung (nicht veranschaulicht) aus. Zusätzlich steuert die Steuereinheit 7 das Abbildungstiming bzw. die zeitliche Steuerung der Abbildung bzw. der Aufnahme der Bildaufnahmeeinheit 1 und die zeitliche Steuerung des Aufleuchtens bzw. des zum Leuchten bringen der ersten Beleuchtungseinheit 21 und der zweiten Beleuchtungseinheit 22, und führt eine vorgegebene Steuerung mit Bezug auf die Speichereinheit 3, die Bildkorrektureinheit 4, und die Bildanalyseeinheit 6 aus.
Die 5A und 5B veranschaulichen schematisch Licht- und Schattenzustände eines Gesichts eines Subjekts, welchem Beleuchtungslicht zugeführt wird. In dem Gesicht, das von der ersten Beleuchtungseinheit 21 in 5A bestrahlt bzw. angeleuchtet wird, ist die rechte Seite (linke Seite in der Fig.) des Gesichts dunkler als die linke Seite (rechte Seite in der Fig.) des Gesichts, da das Licht vom Subjekt aus gesehen von links bzw. von einer linken Richtung zugeführt wird. Wie durch ein Bezugszeichen R1 angegeben, wird zusätzlich das Beleuchtungslicht von der ersten Beleuchtungseinheit 21 von Linsen auf der rechten Seite und der linken Seite der Brille reflektiert. In dem Gesicht, das von der zweiten Beleuchtungseinheit 22 in 5B bestrahlt wird, ist die linke Seite (rechte Seite in der Fig.) des Gesichts dunkler als die rechte Seite (linke Seite in der Fig.) des Gesichts, da das Licht vom Subjekt aus gesehen von rechts bzw. von einer rechten Richtung zugeführt wird. Wie durch das Bezugszeichen R2 angegeben, wird zusätzlich das Beleuchtungslicht von der zweiten Beleuchtungseinheit 22 von Linsen auf der rechten und der linken Seite der Brille reflektiert.
Wenn Licht von den Linsen der Brille reflektiert wird, ist es wie oben beschrieben schwierig, einen Zustand der Augen genau bzw. fehlerfrei zu ermitteln. Demzufolge werden in dem Stand der Technik die Helligkeiten bzw. Luminanzen von Pixeln miteinander verglichen, die die gleiche relative Position in den jeweiligen Bildern aufweisen, welche durch Abbildung der Gesichter der 5A und 5B erhalten werden, und ein synthetisiertes bzw. künstlich hergestelltes Bild wird unter Verwendung der Pixel mit niedriger Helligkeit erzeugt ( JP-A-2008-123137 ). Zwar werden bei Verwendung dieses Verfahrens Einflüsse von an bzw. von den Linsen reflektiertem Licht verringert, aber da das synthetisierte Bild durch Pixel mit niedriger Helligkeit aufgebaut ist, wird das gesamte Bild dunkel, wie in 8A dargestellt.
Daher werden gemäß einer Ausführungsform der Erfindung, wenn die jeweiligen Bilder, die durch Abbildung der Gesichter der 5A und 5B erhalten werden, synthetisiert werden, nicht nur die Pixel mit niedriger Helligkeit verwendet, sondern es wird des Weiteren eine besondere Korrektur hinzugefügt, und daher ist es möglich, ein synthetisiertes Bild zu erhalten, das heller als dasjenige des Stands der Technik ist, wie in 8B veranschaulicht. Nachfolgend wird ein Korrekturarbeitsablauf gemäß der Ausführungsform der Erfindung im Detail durchgeführt werden.
Die 6A bis 6D sind schematische Darstellungen, welche aufgenommene Bilder eines rechten Augenabschnitts (siehe 5A und 5B) des Subjekts veranschaulichen. In den Figuren gibt ein bzw. ein einzelnes Quadrat ein bzw. ein einzelnes Pixel an. Dabei ist, zum Zwecke einer kurzen Beschreibung, die Anzahl der Pixel viel kleiner als die Anzahl der tatsächlichen Pixel. Je dunkler eine Farbe des Pixels ist, desto dunkler ist ein Bild des Pixels, und je heller die Farbe des Pixels ist, desto heller ist das Bild des Pixels.
6A ist ein Bild eines rechten Augenabschnitts, welches in einem Zustand (5A) aufgenommen ist, in dem das Beleuchtungslicht von der ersten Beleuchtungseinheit 21 emittiert bzw. ausgesendet wird. Nachfolgend wird das Bild als ein „erstes Bild” bezeichnet und ein Pixel G1, den das erste Bild aufweist, wird als ein „erstes Pixel” bezeichnet bzw. werden die Pixel G1, die das erste Bild bilden, als „erste Pixel” G1 bezeichnet. In diesem Zustand ist die Beleuchtung auf der rechten Seite des Gesichts unzureichend, und daher weisen die meisten der ersten Pixel G1 eine niedrige Helligkeit auf. Demzufolge ist das erste Bild überall dunkel, aber ein Abschnitt in der Brille, der einem Reflexionsabschnitt R1 (5A) entspricht, an dem das Beleuchtungslicht reflektiert wird, wird zu einem außergewöhnlich hellen Bild, wie durch weiße Pixel gezeigt.
6B ist ein Bild eines rechten Augenabschnitts, das in einem Zustand (5B) aufgenommen wurde, in dem das Beleuchtungslicht von der zweiten Beleuchtungseinheit 22 emittiert bzw. ausgesendet wird. Nachfolgend wird das Bild als ein „zweites Bild” bezeichnet und ein Pixel G2, welchen das zweite Bild aufweist, wird als ein „zweites Pixel” bezeichnet bzw. werden die Pixel G2, die das zweite Bild bilden, als „zweite Pixel” G2 bezeichnet. In diesem Zustand wird das Licht von der rechten Seite des Gesichts reflektiert, und daher weisen die meisten der zweiten Pixel G2 eine Helligkeit auf, welche höher ist als die der ersten Pixel G1. Demzufolge ist das zweite Bild überall heller als das erste Bild. Weiterhin wird ein Abschnitt, der einem Reflexionsabschnitt R2 (5B) entspricht, von dem bzw. an dem das Beleuchtungslicht von der Brille reflektiert wird, zu einem außergewöhnlich hellen Bild, wie anhand weißer Pixel gezeigt ist.
In den 6A und 6B sind X-Koordinaten (horizontale Richtung) und Y-Koordinaten (senkrechte Richtung) jeweils dem ersten Bild G1 und dem zweiten Bild G2 zugeordnet. Außerdem werden Helligkeitswerte von jeweiligen Pixeln mit den gleichen Koordinatenwerten der Pixel G1 und G2, das heißt von jeweiligen Pixeln (nachfolgend als „einander entsprechende Pixel” bzw. „einander zugeordnete Pixel” bezeichnet), welche sich relativ gesehen in der gleichen Position befinden, miteinander verglichen, und ein Bild, das erhalten wird, indem die Pixel mit niedriger Helligkeit synthetisiert werden, wird zu einem Bild gemäß der 6C gemäß einem Verfahren des Stands der Technik. In 6C ist zu sehen, dass sowohl ein Abschnitt mit hoher Helligkeit (weißes Pixel) gemäß der Reflexion von der Brille der 6A als auch ein Abschnitt mit hoher Helligkeit (weißes Pixel) gemäß der Reflexion von der Brille der 6B eine niedrige Helligkeit aufweisen, und durch reflektiertes Licht in geringerem Maße beeinträchtigt werden können. Jedoch wird andererseits, da das synthetisierte Bild aus Pixeln mit niedriger Helligkeit aufgebaut ist, das gesamte Bild dunkel.
6D veranschaulicht ein synthetisiertes Bild, das erhalten wird, indem das Bild der 6C unter Verwendung der Bildkorrektureinheit 4 korrigiert wird, das heißt, ein korrigiertes Bild. In dem Korrekturarbeitsablauf wird eine Differenz ΔQ zwischen einem Helligkeitswert Q1 des ersten Pixels G1 und einem Helligkeitswert Q2 des zweiten Pixels G2 zunächst unter Verwendung der folgenden Gleichung für alle einander entsprechenden bzw. zugeordneten Pixel des ersten Bilds der 6A und des zweiten Bilds der 6B berechnet. ΔQ = Q1 – Q2 (1)
Als nächstes wird ein Absolutwert bzw. Betrag |ΔQ| der Differenz ΔQ anhand der folgenden Gleichung berechnet. |ΔQ| = |Q1 – Q2| (2)
Des Weiteren wird ein logarithmischer Differenzwert A, welcher ein Logarithmus des Absolutwerts bzw. Betrags |ΔQ| der Differenz ist, anhand der folgenden Gleichung berechnet. A = log₂|ΔQ| = log₂|Q1 – Q2| (3)
Zusätzlich wird ein Helligkeitskorrekturwert Qs bzw. korrigierter Helligkeitswert Qs durch Addieren des logarithmischen Differenzwerts A zu einem niedrigen Helligkeitswert Min(Q1, Q2), welcher der kleinere Helligkeitswert der Helligkeitswerte Q1 und Q2 ist, für alle einander entsprechenden bzw. zugeordneten Pixel berechnet. Qs = Min(Q1, Q2) + A = Min(Q1, Q2) + log₂|Q1 – Q2| (4)
Dadurch wird der Helligkeitswert von jedem entsprechenden Pixel des synthetisierten Bilds zu dem Helligkeitskorrekturwert Qs bzw. zu dem korrigierten Helligkeitswert Qs, der durch Addition des logarithmischen Differenzwerts A mit einem niedrigen Helligkeitswert erhalten wird, und daher ist es möglich, ein Bild, das überall hell ist, wie in 6D veranschaulicht, zu erhalten, im Vergleich zu dem Verfahren des Stands der Technik der 6C, bei dem das synthetisierte Bild einfach erzeugt wird, indem ein Pixel mit niedriger Helligkeit verwendet wird. Der Helligkeitskorrekturwert Qs entspricht einem „ersten Helligkeitskorrekturwert” bzw. „erstem korrigierten Helligkeitswert” gemäß einer Ausführungsform der Erfindung.
7 veranschaulicht ein Diagramm einer logarithmischen Funktion y = log₂x, welche zur Berechnung des logarithmischen Differenzwerts A verwendet wird. Um die Berechnung so weit wie möglich zu vereinfachen, wird hierbei eine logarithmische Funktion verwendet, bei der die Basis gleich 2 ist. Wie aus 7 ersichtlich wird ein Wert y eines Logarithmus einfach erhöht, wenn eine Variable x erhöht wird, und eine Steigungsrate Δy/Δx nimmt allmählich bzw. sukzessive ab. In einem Fall, in dem beispielsweise die Helligkeitswerte Q1 und Q2 der entsprechenden Pixel G1 und G2 Q1 = 19 bzw. Q2 = 153 sind, wird der Helligkeitskorrekturwert Qs durch Gleichung (4) wie folgt erhalten. Qs = Min(Q1, Q2) + log₂|Q1 – Q2| = 19 + log₂(153 – 19) = 19 + 7,06 = 26,06
Das heißt, 153 – 19 = 134, welches eine Differenz zwischen den Helligkeitswerten Q1 und Q2 ist, wird in 7,06, das ein Logarithmus davon ist, umgewandelt, und zu dem niedrigeren Helligkeitswert 19 addiert, und der Helligkeitskorrekturwert Qs wird berechnet.
Als solches wird in einem Fall, in dem eine Differenz zwischen den Helligkeitswerten Q1 und Q2 groß ist, die Helligkeitsdifferenz bzw. der Helligkeitsunterschied bzw. die Luminanzdifferenz erheblich durch die logarithmische Umwandlung komprimiert bzw. verkleinert. Obwohl der logarithmische Differenzwert A zu dem Helligkeitswert Min(Q1, Q2) addiert wird, wird daher der Helligkeitskorrekturwert Qs nicht zu einem unnötig hohen Wert. Dadurch ist es möglich zu verhindern, dass das gesamte Bild dunkel wird und einen Einfluss des von der Brille reflektierten Lichts zu verringern.
Wenn man sich beispielsweise auf einen Pixel mit den Koordinaten (320, 200) in den 6A und 6B konzentriert, ist eine Helligkeitsdifferenz zwischen einander entsprechenden Pixeln bzw. einander zugeordneten Pixeln bzw. korrespondierenden Pixeln groß, weil diese durch an der Brille reflektiertes Licht beeinflusst wird. Als Ergebnis einer Komprimierung bzw. Verringerung einer großen Helligkeitsdifferenz und einer Berechnung des Helligkeitskorrekturwerts Qs, wird in diesem Fall wie oben beschrieben das Pixel mit den Koordinaten (320, 200) in 6D hell im Vergleich mit dem gleichen Pixel der 6C, aber weniger durch das reflektierte Licht beeinträchtigt.
Indes wird beispielsweise in einem Fall, in dem die Helligkeitswerte Q1 und Q2 der entsprechenden bzw. einander zugeordneten bzw. korrespondierenden Pixel G1 und G2 Q1 = 63 bzw. Q2 = 71 sind, der Helligkeitskorrekturwert Qs durch Gleichung (4) wie folgt erhalten. Qs = Min(Q1, Q2) + log₂|Q1 – Q2| = 63 + log₂(71 – 63) = 63 + 3 = 66
Das heißt, 71 – 63 = 8, welches eine Differenz zwischen den Helligkeitswerten Q1 und Q2 ist, wird in 3 umgewandelt, welches ein Logarithmus davon ist, und zu dem niedrigeren Helligkeitswert 63 addiert, und der Helligkeitskorrekturwert Qs wird berechnet. Als solches wird in einem Fall, in dem eine Differenz zwischen den Helligkeitswerten Q1 und Q2 klein ist, ein Ausmaß einer Komprimierung verringert, obwohl die Helligkeitsdifferenz in einen Logarithmus umgewandelt wird. Daher wird der logarithmische Differenzwert A zu dem Helligkeitswert Min(Q1, Q2) addiert, und der Helligkeitskorrekturwert Qs, durch den eine kleine Differenz eines Helligkeitswerts widergegeben bzw. berücksichtigt wird, wird erhalten.
Beispielsweise fallen, wenn man sich auf einen Pixel mit den Koordinaten (320, 202) in den 6A und 6B konzentriert, Einflüsse des von der Brille reflektierten Lichts geringer aus, und die Helligkeitsdifferenz zwischen den entsprechenden bzw. einander zugeordneten Pixeln ist relativ gering. Als Ergebnis einer Berechnung des Helligkeitskorrekturwerts Qs, durch den die Helligkeitsdifferenz widergegeben bzw. berücksichtigt wird, weist in diesem Fall wie oben beschrieben das Pixel der Koordinaten (320, 202) in 6D eine Helligkeit auf, die erhalten wird, indem die Helligkeit gemäß der Helligkeitsdifferenz zu der Helligkeit des gleichen Pixels der 6C addiert wird.
Der oben erwähnte Korrekturarbeitsablauf wird nicht nur mit Bezug auf die Augenabschnitte, sondern auch mit Bezug auf das gesamte Gesicht durchgeführt. Als Ergebnis wird ein Bild (korrigiertes Bild) eines Gesichts, für welches der Korrekturarbeitsablauf durchgeführt wird, überall heller, im Vergleich zu dem Bild der 8A gemäß dem Verfahren des Stands der Technik, wie in 8B beschrieben. Dementsprechend ist es einfach, einen Umriss eines Gesichtsbilds genau bzw. fehlerfrei zu ermitteln oder eine Position eines Auges von einem Gesichtsbild oder einen Zustand einer Pupille und eines Augenlids genau bzw. fehlerfrei zu ermitteln, und es ist möglich, die Ermittlungsgenauigkeit zu verbessern. Tatsächlich ist die Helligkeit von jedem Bild der 8A und 8B nicht gleichförmig über das gesamte Gesicht, und es gibt eine Helligkeitsdifferenz in Abhängigkeit von einer Position in dem Gesicht, aber zum Zwecke einer dienlichen Beschreibung wird hierin angenommen, dass die Helligkeit des gesamten Gesichts gleichförmig ist.
9 ist ein Flussdiagramm, welches den gesamten Arbeitsablauf des Fahrerüberwachungsgeräts 100 gemäß der ersten Ausführungsform veranschaulicht.
In Schritt S1 der 9 wird die erste Beleuchtungseinheit 21 zum Leuchten gebracht, und ein Gesicht eines Subjekts (Fahrers P) wird mit Beleuchtungslicht wie in 4A veranschaulicht bestrahlt bzw. angeleuchtet. In diesem Zustand wird in Schritt S2 das Gesicht des Subjekts durch die Bildaufnahmeeinheit 1 aufgenommen. Dann wird in Schritt S3 ein Bild des Gesichts, das aufgenommen wird, in der Speichereinheit 3 als ein erstes Bild gespeichert. Danach wird in Schritt S4 die zweite Beleuchtungseinheit 22 zum Leuchten gebracht, und das Gesicht des Subjekts (Fahrers P) wird mit Beleuchtungslicht wie in 4B veranschaulicht bestrahlt bzw. angeleuchtet. In diesem Zustand wird in Schritt S5 das Gesicht des Subjekts durch die Bildaufnahmeeinheit 1 aufgenommen. Dann wird in Schritt S6 ein Bild des Gesichts, das aufgenommen wird, in der Speichereinheit 3 als ein zweites Bild gespeichert. Danach wird in Schritt S7 der oben erwähnte Bildkorrekturarbeitsablauf auf der Grundlage des ersten Bilds und des zweiten Bilds durchgeführt. Details des Schritts S7 sind in 10 beschrieben und werden nachfolgend beschrieben werden. Ein korrigiertes Bild, das durch Durchführung des Korrekturarbeitsablaufs erhalten wird, wird in der korrigiertes-Bild-Speichereinheit 5 gespeichert.
Danach liest in Schritt S8 die Bildanalyseeinheit 6 das korrigierte Bild, das in der korrigiertes-Bild-Speichereinheit 5 gespeichert ist, und ermittelt ein Auge aus bzw. in dem korrigierten Bild. Genauer gesagt analysiert die Bildanalyseeinheit 6 das korrigierte Bild, ermittelt eine Position des Auges, und ermittelt eine Richtung einer Blickrichtung einer Pupille, einen Schließzustand eines Augenlids, oder Ähnliches. Ein Verfahren zur Ermittlung davon ist bekannt, und ist nicht charakteristisch für die Erfindung, und daher wird eine ausführliche Beschreibung des Ermittlungsverfahrens weggelassen. Danach bestimmt in Schritt S9 die Steuereinheit 7, ob der Fahrer P unaufmerksam fährt oder schläfrig fährt, anhand eines Zustands des Auges, der in Schritt S8 ermittelt wird. Ein Verfahren zum Bestimmen davon ist ebenso bekannt, und ist nicht charakteristisch für die Erfindung, und daher wird eine detaillierte Beschreibung des Bestimmungsverfahrens weggelassen.
Als Ergebnis der Bestimmung in Schritt S9 gibt in einem Fall, in dem der Fahrer P unaufmerksam fährt oder schläfrig fährt (Schritt S9; JA), die Steuereinheit 7 in Schritt S10 über die externe Ausgabeeinheit 8 ein Signal, das angibt, dass der Fahrer unaufmerksam fährt oder schläfrig fährt, an eine Fahrzeugsteuereinrichtung aus, welche nicht veranschaulicht ist. Auf der Grundlage des Signals führt die Fahrzeugsteuereinrichtung eine Steuerung eines Alarmierens bzw. Warnens oder Ähnliches aus. Währenddessen beendet als Ergebnis der Bestimmung in Schritt S9 in einem Fall, in dem der Fahrer P weder unaufmerksam fährt noch schläfrig fährt (Schritt S9; NEIN), die Steuereinheit 7 in Schritt S11 das Ausgeben des Signals, welches angibt, dass der Fahrer unaufmerksam fährt oder schläfrig fährt.
Nachdem Schritt S10 oder Schritt S11 durchgeführt wurde, wird in Schritt S12 bestimmt, ob eine Pausen- bzw. Haltezeit abgelaufen ist bzw. abläuft oder nicht. Die Pausenzeit ist eine Bereitschaftszeit bis die erste Beleuchtungseinheit 21 Licht an einem nächsten Zeitpunkt emittiert. Als Ergebnis der Bestimmung des Schritts S12 wird die Bereitschaft so fortgesetzt wie sie ist, wenn die Pausenzeit nicht abläuft (Schritt S12; NEIN), und wenn die Pausenzeit abläuft (Schritt S12; JA), kehrt der Arbeitsablauf zu Schritt S1 zurück, und der oben genannte Arbeitsablauf der Schritte S1 bis S12 wird wiederholt.
Die 10 ist ein Flussdiagramm, welches detaillierte Abläufe des Bildkorrekturarbeitsablaufs des Schritts S7 der 9 veranschaulicht. Jeder Ablauf des vorliegenden Flussdiagramms wird von der Bildkorrektureinheit 4 durchgeführt.
In Schritt S21 der 10 wird ein Anfangswert der Koordinaten (X, Y) eines zu lesenden Pixels auf (0, 0) gesetzt. X und Y sind jeweils Koordinatenwerte in einem Bereich von 0 ≤ X ≤ m und 0 ≤ Y ≤ n (m und n sind ganze Zahlen). Daher ist die Gesamtzahl der Pixel (m + 1) × (n + 1).
Danach wird in Schritt S22 der Helligkeitswert Q1 eines Pixels (nachfolgend als ein „Pixel (X, Y)” bezeichnet) mit den Koordinaten (X, Y) aus dem in Schritt S3 der 9 gespeicherten ersten Bild gelesen. Wenn Schritt S22 zum ersten Mal durchgeführt wird, wird der Helligkeitswert Q1 eines Pixels (0, 0) des ersten Bilds gelesen. Danach wird in Schritt S23 der Helligkeitswert Q2 eines Pixels (X, Y) aus dem in Schritt S6 der 9 gespeicherten zweiten Bild gelesen. Wenn der Schritt S23 zum ersten Mal durchgeführt wird, wird der Helligkeitswert Q2 eines Pixels (0, 0) des zweiten Bilds gelesen.
Anschließend wird in Schritt S24 der kleinere Wert ausgewählt aus dem Helligkeitswert Q1 und dem Helligkeitswert Q2, das heißt ein niedriger Helligkeitswert Min (Q1, Q2) als ein Helligkeitswert Q des Pixels (X, Y) (Q = Min (Q1, Q2)) gesetzt bzw. eingestellt. Danach wird in Schritt S25 die Differenz ΔQ zwischen dem Helligkeitswert Q1 und dem Helligkeitswert Q2 berechnet (ΔQ = Q1 – Q2). Danach wird in Schritt S26 ein Logarithmus eines Absolutwerts der Differenz ΔQ, das heißt der logarithmische Differenzwert A (A = log₂|ΔQ|) berechnet. Weiterhin wird in Schritt S27 ein Helligkeitswert Q korrigiert, indem der logarithmische Differenzwert A zu dem Helligkeitswert Q addiert wird, und der korrigierte Helligkeitswert bzw. Helligkeitskorrekturwert Qs (Qs = Q + A = Min(Q1, Q2) + A) wird berechnet.
Wenn der Arbeitsablauf, der bis zu Schritt S27 durchgeführt wird, endet, schreitet der Arbeitsablauf voran zu Schritt S28, und ein Wert der Koordinate X wird erhöht. Das heißt, die Berechnung von X = X + 1 wird durchgeführt. Dann wird in Schritt S29 bestimmt, ob X > m ist oder nicht, und wenn X > m nicht erfüllt ist (Schritt S29; NEIN), kehrt der Arbeitsablauf zurück zu Schritt S22, und der Helligkeitswert Q1 eines nächsten Pixels des ersten Bilds wird gelesen, und danach werden die Schritte S22 bis S29 wiederholt. Wenn X > m erfüllt ist (Schritt S29; JA), schreitet der Arbeitsablauf außerdem voran zu Schritt S30, und ein Wert der Koordinate Y wird erhöht. Das heißt, die Berechnung von Y = Y + 1 wird durchgeführt. Danach wird in Schritt S31 bestimmt, ob Y > n ist oder nicht, und wenn Y > n nicht erfüllt ist (Schritt S31; NEIN), kehrt der Arbeitsablauf zurück zu Schritt S22, und der Helligkeitswert Q1 eines nächsten Pixels des ersten Bilds wird gelesen, und danach werden die Schritte S22 bis S31 wiederholt. Wenn Y > n erfüllt ist (Schritt S31; JA), wird bestimmt, dass der Korrekturarbeitsablauf der gesamten Pixel bzw. für alle Pixel beendet ist, und eine Reihe von Arbeitsabläufen endet.
Gemäß der oben genannten ersten Ausführungsform wird das synthetisierte Bild erzeugt, indem der Helligkeitskorrekturwert verwendet wird, der durch Addieren des logarithmischen Differenzwerts zu dem Helligkeitswert (niedrigen Helligkeitswert) des Pixels mit der niedrigen Helligkeit erhalten wird, und daher ist es möglich, einen Einfluss des von der Brille reflektierten Lichts auf dem synthetisierten Bild zu verringern und das synthetisierte Bild zu erhalten, das überall hell ist. Außerdem ist bei einem Verfahren, welches einen Schwellenwert benutzt, der in der JP-A-2006-48328 beschrieben ist, wie oben beschrieben ein Bild diskontinuierlich, und die arithmetische Verarbeitung ist ebenfalls kompliziert, aber in der vorliegenden Ausführungsform wird die Korrektur durchgeführt, indem nur eine einzelne Berechnung der Gleichung (4), die oben beschrieben ist, verwendet wird, ohne einen Schwellenwert zu verwenden, und daher ist das Bild nicht diskontinuierlich, und die arithmetische Verarbeitung ist ebenso einfach.
Als nächstes wird eine zweite Ausführungsform der Erfindung beschrieben werden. In der oben genannten ersten Ausführungsform weist das Fahrerüberwachungsgerät 100 eine bzw. eine einzelne Bildaufnahmeeinheit 1, welche in der Mitte der vorderen Oberfläche des Gehäuses 101 vorgesehen ist, und zwei Beleuchtungseinheiten 21 und 22 auf, die auf beiden Seiten der Bildaufnahmeeinheit 1 vorgesehen sind, wie in 2 veranschaulicht. Im Unterschied dazu weist in der zweiten Ausführungsform ein Fahrerüberwachungsgerät 200 eine bzw. eine einzelne Beleuchtungseinheit 30, welche in der Mitte der vorderen Oberfläche eines Gehäuses 201 vorgesehen ist, und eine erste Bildaufnahmeeinheit 1a und eine zweite Bildaufnahmeeinheit 1b auf, die auf beiden Seiten der Beleuchtungseinheit 30 vorgesehen sind, wie in 11 veranschaulicht. Das heißt, das Fahrerüberwachungsgerät 200 gemäß der zweiten Ausführungsform ist ein Fahrerüberwachungsgerät einer Stereokameraeinrichtung, welche zwei Bildaufnahmeeinheiten aufweist.
12 veranschaulicht ein Blockdiagramm des Fahrerüberwachungsgeräts 200 gemäß der zweiten Ausführungsform. Die erste Bildaufnahmeeinheit 1a weist eine optische Einrichtung 11a, die Linsen, einen optischen Filter, und Ähnliches aufweist, und eine Bildaufnahmevorrichtung 12a auf, welche Bilder eines Subjekts (Fahrers) durch die optische Einrichtung 11a hindurch aufnimmt bzw. erfasst. Die zweite Bildaufnahmeeinheit 1b weist eine optische Einrichtung 11b, die Linsen, einen optischen Filter und Ähnliches aufweist, und eine Bildaufnahmevorrichtung 12b auf, welche Bilder eines Subjekts (Fahrers) durch die optische Einrichtung 11b hindurch aufnimmt, und Bilder des Subjekt aus einer Richtung aufnimmt, die unterschiedlich zu derjenigen der ersten Bildaufnahmeeinheit 1a ist. Mit anderen Worten nehmen die erste Bildaufnahmeeinheit 1a und die zweite Bildaufnahmeeinheit 1b Bilder des Subjekts aus unterschiedlichen Richtungen auf.
Jede der Bildaufnahmevorrichtungen 12a und 12b weist mehrere Bildaufnahmeelemente (nicht veranschaulicht) auf, welche gitterförmig angeordnet sind. Jedes Bildaufnahmeelement weist beispielsweise ein ladungsgekoppeltes Bauelement (engl.: „charge coupled device”) (CCD) auf. Die Beleuchtungseinheit 30 weist mehrere lichtemittierende Elemente 30a auf, welche wie in 11 veranschaulicht gitterförmig angeordnet sind. Jedes der lichtemittierenden Elemente 30a weist beispielsweise eine lichtemittierende Diode (LED) auf, welche nah-Infrarotes Licht emittiert bzw. aussendet.
Andere Einheiten 3 bis 8 der 12 sind die gleichen wie in 1, und daher wird eine wiederholte Beschreibung davon weggelassen. Das Fahrerüberwachungsgerät 200 gemäß der zweiten Ausführungsform ist an einem Fahrersitz eines Fahrzeugs auf die gleiche Art und Weise wie das Fahrerüberwachungsgerät 100 gemäß der ersten Ausführungsform, das in 3 veranschaulicht ist, vorgesehen.
13 ist ein Flussdiagramm, welches den gesamten Arbeitsablauf des Fahrerüberwachungsgeräts 200 gemäß der zweiten Ausführungsform veranschaulicht.
In Schritt S41 der 13 wird die Beleuchtungseinheit 30 angemacht bzw. zum Leuchten gebracht, und ein Gesicht eines Subjekts (Fahrers P) wird mit Beleuchtungslicht bestrahlt bzw. angeleuchtet. In diesem Zustand wird in Schritt S42 das Gesicht des Subjekts gleichzeitig durch die erste Bildaufnahmeeinheit 1a und die zweite Bildaufnahmeeinheit 1b in voneinander unterschiedlichen Richtungen bzw. aus voneinander unterschiedlichen Richtungen aufgenommen. Dann wird in Schritt S43 ein Bild des Gesichts, das von der ersten Bildaufnahmeeinheit 1a aufgenommen wird, in der Speichereinheit 3 als ein erstes Bild gespeichert, und in Schritt S44 wird ein Bild des Gesichts, das mit der zweiten Bildaufnahmeeinheit 1b aufgenommen wird, in der Speichereinheit 3 als ein zweites Bild gespeichert. Danach wird in Schritt S45 ein Bildkorrekturarbeitsablauf auf der Grundlage des ersten Bilds und des zweiten Bilds durchgeführt. Details des Schritts S45 sind in 14 beschrieben, und werden nachfolgend beschrieben werden. Ein korrigiertes Bild, das erhalten wird, indem der Korrekturarbeitsablauf durchgeführt wird, wird in der korrigiertes-Bild-Speichereinheit 5 gespeichert.
Der Arbeitsablauf der nachfolgenden Schritte S46 bis S50 ist der gleiche wie der Arbeitsablauf der Schritte S8 bis S12 der 9. Das heißt, die Bildanalyseeinheit 6 ermittelt in Schritt S46 eine Position eines Auges, eine Richtung einer Blickrichtung einer Pupille, einen Schließzustand eines Augenlids, oder Ähnliches, aus dem korrigierten Bild in der korrigiertes-Bild-Speichereinheit 5. In Schritt S47 bestimmt die Steuereinheit 7 ein Vorliegen oder Nicht-Vorliegen eines unaufmerksamen Fahrens oder Ähnlichem. In einem Fall, in dem unaufmerksames Fahren oder Ähnliches vorliegt (Schritt S47; JA), gibt die Steuereinheit 7 ein Signal, das das unaufmerksame Fahren oder Ähnliches angibt, an eine Fahrzeugsteuereinrichtung über die externe Ausgabeeinheit 8 in Schritt S48 aus. In einem Fall, in dem unaufmerksames Fahren oder Ähnliches nicht vorliegt (Schritt S47; NEIN), beendet indes die Steuereinheit 7 in Schritt S49 das Ausgeben des Signals, das das unaufmerksame Fahren oder Ähnliches angibt. Dann wartet der Arbeitsablauf bis zum Ablauf der Pausenzeit (Schritt S50), und kehrt zu Schritt S41 zurück, und der Arbeitsablauf der oben genannten Schritte S41 bis S50 wird wiederholt.
14 ist ein Flussdiagramm, welches detaillierte Abläufe des Bildkorrekturarbeitsablaufs des Schritts S45 der 13 veranschaulicht. Jeder Ablauf des vorliegenden Flussdiagramms wird von der Bildkorrektureinheit 4 durchgeführt. Bei den Schritten der 14 werden die gleichen Symbole oder Bezugszeichen wie in 10 für Schritte verwendet, welche den gleichen Arbeitsablauf durchführen. In 14 ist der Schritt S21 der 10 durch den Schritt S21a ersetzt, und der Schritt S23 der 10 ist durch den Schritt S23a ersetzt.
In Schritt S21a der 14 wird ein Anfangswert der Koordinaten (X, Y) eines zu lesenden Pixels auf (0, 0) in dem ersten Bild gesetzt. X und Y sind jeweils Koordinatenwerte in einem Bereich von 0 ≤ X ≤ m und 0 ≤ Y ≤ n (m und n sind ganze Zahlen). Daher ist die Gesamtzahl der Pixel gleich (m + 1) × (n + 1).
Danach wird in Schritt S22 der Helligkeitswert Q1 eines Pixels (nachfolgend als ein „Pixel (X, Y)” bezeichnet) mit den Koordinaten (X, Y) aus bzw. von dem ersten Bild gelesen, das in Schritt S43 der 13 gespeichert wurde. Wenn der Schritt S22 zum ersten Mal durchgeführt wird, wird der Helligkeitswert Q1 eines Pixels (0, 0) des ersten Bilds gelesen.
Danach wird in Schritt S23a der Helligkeitswert Q2 eines Pixels (X + W, Y) von bzw. aus dem zweiten Bild gelesen, das in Schritt S44 der 13 gespeichert wurde. Wenn Schritt S23a zum ersten Mal durchgeführt wird, wird der Helligkeitswert Q2 eines Pixels (W, 0) des zweiten Bilds gelesen. Hierbei ist W ein Wert, welcher ein Pixel der ersten Bildaufnahmeeinheit 1a und ein Pixel der zweiten Bildaufnahmeeinheit 1b miteinander korreliert, und welcher einer Parallaxe entspricht. Dies wird genauer in 15 beschrieben werden.
15 veranschaulicht einen geometrischen Zusammenhang zwischen einem linken Pixel und einem rechten Pixel gemäß einer Stereokameraeinrichtung. Ein linkes Bildaufnahmeelement ist in der Bildaufnahmevorrichtung 12a der ersten Bildaufnahmeeinheit 1a enthalten, und ein rechtes Bildaufnahmeelement ist in der Bildaufnahmevorrichtung 12b der zweiten Bildaufnahmeeinheit 1b enthalten. D ist eine Entfernung zwischen einem Subjekt und einer Kamera (Bildaufnahmevorrichtungen 12a und 12b). Das Subjekt ist ein Fahrer, der auf einem Sitz sitzt, die Kamera ist an einem Fahrzeugkörper bzw. Fahrzeughauptteil befestigt, und daher kann angenommen werden, dass die Entfernung D ein annäherungsweise konstanter Wert ist. F ist eine Brennweite, und Z ist eine Entfernung zwischen Kameras, und dies sind bekannte Werte. Zwei gerade Linien L1 und L2 sind parallel zueinander.
In 15 ist ein Wert einer Koordinate X eines Pixels des rechten Bildaufnahmeelements, der einem Pixel des linken Bildaufnahmeelements entspricht, um W weiter verschoben bzw. versetzt als der Wert der Koordinate X des Pixels des linken Bildaufnahmeelements. Daher werden, wenn Koordinaten eines bestimmten Pixels des linken Bildaufnahmeelements auf (X, Y) gesetzt bzw. eingestellt werden, Koordinaten eines Pixels des rechten Bildaufnahmeelements, welcher diesem bzw. diesem bestimmten Pixel entspricht bzw. zugeordnet ist, auf (X + W, Y) eingestellt. Da ein geometrischer Zusammenhang von W/F = Z/D erfüllt wird, kann W in Schritt S23a der 14 anhand der folgenden Gleichung berechnet werden. W = F·(Z/D) (5)
Der Arbeitsablauf der Schritte S24 bis S31 der 14 ist der gleiche wie ein Fall der 10. Das heißt, dass in Schritt S24 der kleinere Wert ausgewählt aus dem Heiligkeitswert Q1 und dem Helligkeitswert Q2 als der Helligkeitswert Q des Pixels (X, Y) gesetzt wird, und in Schritt S25 die Differenz ΔQ zwischen dem Helligkeitswert Q1 und dem Helligkeitswert Q2 berechnet wird, und in Schritt S26 der logarithmische Differenzwert A, welcher ein Logarithmus eines Absolutwerts der Differenz ΔQ ist, berechnet wird. Dann wird in Schritt S27 der Helligkeitswert Q korrigiert, indem der logarithmische Differenzwert A zu dem Helligkeitswert Q addiert wird, und der Helligkeitskorrekturwert Qs wird berechnet. Danach wird in Schritt S28 ein Wert der Koordinate X erhöht, und in Schritt S29, wenn X > m nicht erfüllt ist, kehrt der Arbeitsablauf zurück zu Schritt S22, und wenn X > m erfüllt ist, schreitet der Arbeitsablauf voran zu Schritt S30, und ein Wert der Koordinate Y wird erhöht. Wenn in Schritt S31Y > n nicht erfüllt ist, dann kehrt der Arbeitsablauf zurück zu Schritt S22, und wenn Y > n erfüllt ist, endet eine Reihe eines Arbeitsablaufs.
Auch in der zweiten Ausführungsform, die oben beschrieben wurde, wird der Helligkeitswert korrigiert, indem für alle einander entsprechenden bzw. einander zugeordneten Pixel der logarithmische Differenzwert zu dem kleineren Helligkeitswert (niedrigen Helligkeitswert) addiert wird, und daher ist es möglich, dieselben Effekte wie in der ersten Ausführungsform zu erhalten. Da eine bzw. eine einzelne Beleuchtungseinheit 30 in der zweiten Ausführungsform verwendet wird, ist es ferner nicht erforderlich, dass zwei Beleuchtungseinheiten 21 und 22 Licht zu unterschiedlichen Zeitpunkten wie in der ersten Ausführungsform emittieren und eine Steuerung der Beleuchtungseinheit 30 wird einfach bzw. erleichtert. Zusätzlich können das erste Bild und das zweite Bild durch die zwei Bildaufnahmeeinheiten 1a und 1b gleichzeitig zu dem selben Zeitpunkt erhalten werden, und daher besteht der Vorteil, dass eine Bildrate bzw. Bildwiederholrate (die Anzahl der verarbeiteten Bilder pro Zeiteinheit) steigt, im Vergleich zu einem Fall, in dem das erste Bild und das zweite Bild durch eine bzw. eine einzelne Bildaufnahmeeinheit 1 zu unterschiedlichen Zeitpunkten wie in der ersten Ausführungsform erhalten werden.
Als nächstes wird ein anderes Verfahren einer Berechnung eines Helligkeitskorrekturwerts bzw. eines korrigierten Helligkeitswerts mit Bezug auf 16 beschrieben werden. 16 ist ein Diagramm, welches Gewichtungskoeffizienten veranschaulicht, die zur Berechnung des Helligkeitskorrekturwerts verwendet werden. Eine horizontale Achse gibt eine Zahl an, die einen hohen Helligkeitswert Max (Q1, Q2), welcher der größere Helligkeitswert der Helligkeitswerte Q1 und Q2 von zwei einander zugeordneten bzw. von zwei entsprechenden Pixeln des ersten Bilds und des zweiten Bilds ist, in Form von Abstufungen angibt. Hierbei wird der dunkelste Zustand bis zu dem hellsten Zustand eines Pixels durch Helligkeitswerte mit 256 Abstufungen (0 bis 255) angegeben. Eine vertikale Achse gibt Gewichtungskoeffizienten an, welche sich gemäß dem hohen Helligkeitswert Max (Q1, Q2) ändern. Hierbei werden zwei Koeffizienten α und β als die Gewichtungskoeffizienten verwendet.
Der Koeffizient α ändert sich in einem Bereich von 0 ≤ α ≤ 1 gemäß dem hohen Helligkeitswert Max (Q1, Q2), und wenn Max (Q1, Q2) größer als 128 ist, ist α = 1, und wenn Max (Q1, Q2) kleiner als 128 ist, nimmt α allmählich bzw. sukzessive ab, und α = 0, wenn Max (Q1, Q2) gleich Null ist. Der Koeffizient α entspricht einem „ersten Koeffizienten” gemäß einer Ausführungsform der Erfindung. Außerdem erfüllt der Koeffizient β die Gleichung β = 1 – α, und ändert sich in einem Bereich von 0 ≤ β ≤ 1 gemäß dem hohen Helligkeitswert Max (Q1, Q2). Wenn Max (Q1, Q2) größer als oder gleich 128 ist, ist β = 0, und wenn Max (Q1, Q2) kleiner als 128 ist, steigt β allmählich an, und β = 1 wenn Max (Q1, Q2) gleich Null ist. Der Koeffizient β entspricht einem „zweiten Koeffizienten” gemäß einer Ausführungsform der Erfindung.
Die Bildkorrektureinheit 4 ermittelt den ersten Helligkeitswert Q1 und den zweiten Helligkeitswert Q2 von jedem Pixel entsprechend dem ersten Bild und dem zweiten Bild bzw. für jedes Paar einander zugeordneter Pixeln des ersten und des zweiten Bilds, und vergleicht den ersten Helligkeitswert Q1 und den zweiten Helligkeitswert Q2, und ermittelt die hohen Helligkeitswerte Max (Q1, Q2) des größeren Helligkeitswerts und die niedrigen Helligkeitswerte Min(Q1, Q2) des kleineren Helligkeitswerts. Außerdem werden der logarithmische Differenzwert A (oben erwähnt) zwischen dem ersten Helligkeitswert Q1 und dem zweiten Helligkeitswert Q2, und ein Helligkeitsmittelwert B bzw. Luminanzmittelwert, welcher ein Mittelwert aus dem ersten Helligkeitswert Q1 und dem zweiten Helligkeitswert Q2 ist, jeweils anhand der folgenden Gleichungen berechnet. Logarithmischer Differenzwert A = log₂|Q1 – Q2| Helligkeitsmittelwert B = (Q1 + Q2)/2
Ferner werden Werte der Koeffizienten α und β anhand des Diagramms der 16 bestimmt, auf der Grundlage der hohen Helligkeitswerte Max (Q1, Q2). Dann wird ein Helligkeitskorrekturwert Qs' bzw. der korrigierte Helligkeitswert Qs' anhand der folgenden Gleichungen unter Verwendung des logarithmischen Differenzwerts A, des Helligkeitsmittelwerts B, des niedrigen Helligkeitswerts Min (Q1, Q2), und der Koeffizienten α und β davon berechnet. Helligkeitskorrekturwert Qs' = α·(Min(Q1, Q2) + A)+ β·B = α·(Min(Q1, Q2) + log₂|Q1 – Q2|) + β·(Q1 + Q2)/2 (6)
Wie aus Gleichung (6) ersichtlich, wird der Koeffizient α zur Gewichtung einer Summe aus den niedrigen Helligkeitswerten Min (Q1, Q2) und dem logarithmischen Differenzwert A verwendet, und der Koeffizient β wird zur Gewichtung des Helligkeitsmittelwerts B verwendet. Außerdem entspricht der Helligkeitskorrekturwert Qs' einem „zweiten Helligkeitskorrekturwert” gemäß einer Ausführungsform der Erfindung.
Die Bildkorrektureinheit 4 bestimmt, ob der hohe Helligkeitswert Max (Q1, Q2) größer als ein vorgegebener Wert (hier, 128) ist, wenn sie den Helligkeitskorrekturwert Qs' berechnet. Wenn 0 < Max(Q1, Q2) < 128 gilt, dann werden Werte der Koeffizienten α und β gemäß dem hohen Helligkeitswert Max (Q1, Q2) aus dem Diagramm der 16 bestimmt, und der Helligkeitskorrekturwert Qs' wird anhand von Gleichung (6) berechnet. In einem Fall, in dem 128 ≤ Max (Q1, Q2) gilt, ist α = 1 und β = 0 in Gleichung (6), und dadurch wird der Helligkeitskorrekturwert Qs' berechnet. Zu diesem Zeitpunkt wird der Helligkeitskorrekturwert Qs' anhand der folgenden Gleichung berechnet, und ist derselbe wie der Helligkeitskorrekturwert Qs der Gleichung (4). Qs' = Min(Q1, Q2) + log₂|Q1 – Q2| (7)
In einem Fall, in dem Max (Q1, Q2) = 0 gilt, ist außerdem α = 0 und β = 1 in Gleichung (6), und dadurch wird der Helligkeitskorrekturwert Qs' berechnet. Zu diesem Zeitpunkt wird der Helligkeitskorrekturwert Qs' anhand der folgenden Gleichung berechnet, und der Helligkeitsmittelwert B wird zu dem Helligkeitskorrekturwert Qs' sowie er ist. Qs' = (Q1 + Q2)/2 (8)
Als solches wird der Korrekturarbeitsablauf eines Bilds bzw. für ein Bild unter Verwendung des Helligkeitskorrekturwert Qs' durchgeführt, welcher durch Gewichtung einer Summe aus dem niedrigen Helligkeitswert Min(Q1, Q2) und dem logarithmischen Differenzwert A unter Verwendung von α, und durch Gewichtung des Helligkeitsmittelwerts B unter Verwendung von β erhalten wird, und dadurch kann ein optimal synthetisiertes Bild in Abhängigkeit von einem Vorliegen oder Nichtvorliegen einer Reflexion von bzw. an einer Brille gebildet werden. Das heißt, dass in einem Fall, in dem Licht von der Brille reflektiert wird und die hohen Helligkeitswerte Max (Q1, Q2) groß sind, der Helligkeitskorrekturwert Qs' zu einem Wert wird, bei dem die niedrigen Helligkeitswerte Min (Q1, Q2) und der logarithmische Differenzwert A mehr zur Geltung gebracht werden als der Helligkeitsmittelwert B, als Ergebnis davon, dass er durch den Koeffizienten α des größeren Werts und des Koeffizienten β des kleineren Werts gewichtet wird. Dementsprechend ist es möglich, ein synthetisiertes Bild zu erhalten, in welchem Komprimierungseffekte einer Differenz, die durch eine niedrige Helligkeit und eine logarithmischen Umwandlung erhalten wird, wiedergegeben bzw. berücksichtigt werden, und welche nicht durch Licht beeinträchtigt wird, das wie in 17A veranschaulicht von der Brille reflektiert wird. In einem Fall, in dem es kein von der Brille reflektiertes Licht gibt und die hohen Helligkeitswerte Max (Q1, Q2) klein sind, wird indessen der Helligkeitskorrekturwert Qs' zu einem Wert, bei dem der Helligkeitsmittelwert B stärker hervorgehoben wird als die niedrigen Helligkeitswerte Min (Q1, Q2) und der logarithmische Differenzwert A, als Ergebnis davon, dass er durch den Koeffizienten α des kleineren Werts und den Koeffizienten β des größeren Werts gewichtet wird. Dementsprechend ist es möglich, ein synthetisiertes Bild zu erhalten, welches überall heller ist als das Bild der 17A, in dem die Helligkeit gemittelt wird, wie in 17B veranschaulicht.
Das oben beschriebene Verfahren des Bildens eines synthetisierten Bilds unter Verwendung des Helligkeitskorrekturwerts Qs' kann auch sowohl bei dem Fahrerüberwachungsgerät 100, das in den 1 und 2 veranschaulicht ist, als auch dem Fahrerüberwachungsgerät 200, das in den 11 und 12 veranschaulicht ist, verwendet werden.
Gemäß einer Ausführungsform der Erfindung können die folgenden unterschiedlichen Ausführungsformen zusätzlich zu den oben genannten Ausführungsformen verwendet werden.
Die oben genannte Ausführungsform verwendet eine logarithmische Funktion (7) mit einer Basis von 2, wenn ein Helligkeitskorrekturwert berechnet wird, aber die Basis des Logarithmus kann ein von 2 unterschiedlicher Wert (beispielsweise 3) sein. Außerdem kann eine Funktion, welche für eine Ausführungsform der Erfindung verwendet wird, monoton ansteigen zusammen mit einem Anstieg eines Logarithmus, und kann eine Steigungsrate aufweisen, die allmählich abnimmt, und ist nicht auf die logarithmische Funktion beschränkt. Beispielsweise kann eine in 18 veranschaulichte irrationale Funktion oder eine in 19 veranschaulichte hyperbolische Funktion ebenfalls verwendet werden.
In der oben genannten Ausführungsform werden der erste Helligkeitswert Q1 und der zweite Helligkeitswert Q2 für alle einander entsprechenden bzw. zugeordneten Pixel verglichen, aber stattdessen können die Helligkeitswerte miteinander anhand einer Einheit eines Blocks, der eine Vielzahl von Pixeln enthält, verglichen werden. Beispielsweise wird wie in 20 veranschaulicht das erste Bild in eine Vielzahl von ersten Blöcken H1 unterteilt, wobei jeder Block eine Vielzahl von ersten Pixeln G1 aufweist, und das zweite Bild wird in eine Vielzahl von zweiten Blöcken H2 unterteilt, wobei jeder Block eine Vielzahl von zweiten Pixeln G2 aufweist. Dann wird der erste Helligkeitswert Q1 des ersten Blocks H1 mit dem zweiten Helligkeitswert Q2 des zweiten Blocks H2 für alle einander entsprechenden bzw. zugeordneten Blöcke verglichen. In diesem Fall kann ein Gesamtwert, ein Mittelwert, ein Maximalwert, oder Ähnliches der Helligkeitswerte von allen in einem Block enthalten Pixeln als der Helligkeitswert Q1 bzw. Q2 von den Blöcken H1 bzw. H2 verwendet werden.
In 15 werden die Koordinaten der Pixel des rechten Bildaufnahmeelements unter Verwendung eines Koordinatensystems der Pixel des linken Bildaufnahmeelements als Referenz berechnet, aber im Gegensatz dazu können die Koordinaten der Pixel des linken Bildaufnahmeelements unter Verwendung eines Koordinatensystems der Pixel des rechten Bildaufnahmeelements als Referenz berechnet werden. Außerdem wird ein drittes Koordinatensystem zusätzlich zu dem Koordinatensystem der linken und rechten Pixel festgelegt, und Koordinaten der Pixel der rechten und linken Bildaufnahmeelemente können unter Verwendung des dritten Koordinatensystems als Referenz berechnet werden.
Außerdem kann eine Korrelation der Pixel anhand eines experimentellen Verfahrens durchgeführt werden, unabhängig von dem in 15 veranschaulichten geometrischen Verfahren. Beispielsweise kann eine Figur, in welcher eine vorgegebene Form vorab gezeichnet ist, von zwei Bildaufnahmevorrichtungen (Stereokamera) in bzw. aus unterschiedlichen Richtungen aufgenommen werden, und eine Korrelation der Pixel durch Vergleich der rechten Pixel mit den linken Pixeln kann durchgeführt werden, und eine Tabelle kann unter Verwendung der Ergebnisse erzeugt werden. Zusätzlich dazu können verschiedene bekannte Verfahren wie etwa ein Verfahren einer Verwendung einer Epipolarlinie als das Verfahren der Korrelation der Pixel gemäß dem Stereokameraverfahren verwendet werden.
In 16 wird ein Beispiel verwendet, in welchem der Koeffizient β der Gewichtung der Gleichung β = 1 – α genügt, aber der Koeffizient β kann von dem Koeffizienten α unabhängig sein.
Ein Beispiel, in welchem das Fahrerüberwachungsgerät 100 eine bzw. eine einzelne Bildaufnahmeeinheit 1 und zwei Beleuchtungseinheiten 21 und 22 aufweist, wird in der 1 und der 2 verwendet, und ein Beispiel, in dem das Fahrerüberwachungsgerät 200 zwei Bildaufnahmeeinheiten 1a und 1b und eine bzw. eine einzelne Beleuchtungseinheit 30 aufweist, wird in der 11 und der 12 verwendet, aber die Erfindung ist nicht darauf beschränkt. Beispielsweise kann das Fahrerüberwachungsgerät zwei Bildaufnahmeeinheiten und zwei Beleuchtungseinheiten aufweisen.
In 1 und 12 sind die Bildkorrektureinheit 4 und die Bildanalyseeinheit 6 getrennt von der Steuereinheit 7 vorgesehen, aber die Bildkorrektureinheit 4 und die Bildanalyseeinheit 6 können in der Steuereinheit 7 enthalten sein.
Ein Beispiel, in dem das in einem Fahrzeug montierte Fahrerüberwachungsgerät als eine Bildverarbeitungseinrichtung verwendet wird ist in der oben erwähnten Ausführungsform angegeben, aber eine Ausführungsform der Erfindung kann auch bei einer Bildverarbeitungseinrichtung verwendet wurden, welche für andere Anwendungen verwendet wird.
Während die Erfindung mit Bezug auf eine beschränkte Anzahl von Ausführungsformen beschrieben wurde, werden Fachleute, die Nutzen aus dieser Beschreibung ziehen, erkennen, dass andere Ausführungsformen entworfen werden können, welche nicht von dem Schutzbereich der Erfindung, wie sie hierin offenbart ist, abweichen.
Dementsprechend sollte der Schutzbereich der Erfindung nur durch die beigefügten Ansprüche beschränkt werden.
Bezugszeichenliste

1: Bildaufnahmeeinheit
1a: Erste Bildaufnahmeeinheit
1b: Zweite Bildaufnahmeeinheit
2: Beleuchtungseinheit
3: Speichereinheit
4: Bildkorrektureinheit
5: Korrigiertes-Bild-Speichereinheit
5A-1: Rechtes Auge
5B-1: Rechtes Auge
6: Bildanalyseeinheit
7: Steuereinheit
8: Externe Ausgabeeinheit
11, 11a, 11b: Optische Einrichtung
12, 12a, 12b: Bildaufnahmevorrichtung
15-1: Linke Linse
15-2: Koordinaten (X, Y) des linken Pixels
15-3: Linkes Bildaufnahmeelement (erste Bildaufnahmeeinheit)
15-4: Rechtes Bildaufnahmeelement (zweite Bildaufnahmeeinheit)
15-5: Rechte Linse
15-6: Koordinaten (X + W, Y) des rechten Pixels, der dem linken Pixel zugeordnet ist
21: Erste Beleuchtungseinheit
22: Zweite Beleuchtungseinheit
30: Beleuchtungseinheit
100, 200: Fahrerüberwachungsgerät

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2015-245118 [0001]
JP 2008-123137 A [0003, 0004, 0006, 0048]
JP 2006-48328 A [0003, 0005, 0007, 0077]

Claims

Bildverarbeitungseinrichtung, aufweisend: eine erste Beleuchtungseinheit, welche Beleuchtungslicht zu einem Subjekt aussendet; eine zweite Beleuchtungseinheit, die Beleuchtungslicht zu dem Subjekt aussendet in einer Richtung, die unterschiedlich zu derjenigen der ersten Beleuchtungseinheit ist; eine Bildaufnahmeeinheit, welche ein erstes Bild des Subjekts in einem Zustand aufnimmt, in dem die erste Beleuchtungseinheit das Beleuchtungslicht zu dem Subjekt aussendet, und ein zweites Bild des Subjekts in einem Zustand aufnimmt, in dem die zweite Beleuchtungseinheit das Beleuchtungslicht zu dem Subjekt aussendet; und eine Bildkorrektureinheit, die einen ersten Helligkeitswert eines ersten Pixels, den das erste Bild aufweist, mit einem zweiten Helligkeitswert eines zweiten Pixels, den das zweite Bild aufweist, für alle einander entsprechenden Pixel vergleicht, und ein korrigiertes Bild durch Durchführung eines vorgegebenen Korrekturarbeitsablaufs auf ein aus dem ersten Bild und dem zweiten Bild synthetisierten Bild auf der Grundlage der Vergleichsergebnisse erzeugt, wobei die Bildkorrektureinheit eine Differenz zwischen dem ersten Helligkeitswert und dem zweiten Helligkeitswert berechnet, und einen Helligkeitskorrekturwert auf der Grundlage der Differenz und einer vorgegebenen Funktion, welche monoton ansteigt zusammen mit einem Anstieg der Differenz, und deren Steigungsrate sukzessiv abnimmt, und das korrigierte Bild unter Verwendung des Helligkeitskorrekturwerts erzeugt.
Bildverarbeitungseinrichtung, aufweisend: eine Beleuchtungseinheit, die Beleuchtungslicht zu einem Subjekt aussendet; eine erste Bildaufnahmeeinheit, die ein erstes Bild des Subjekts in einem Zustand aufnimmt, in dem die Beleuchtungseinheit das Beleuchtungslicht zu dem Subjekt aussendet; eine zweite Bildaufnahmeeinheit, die ein zweites Bild des Subjekts aus einer Richtung aufnimmt, die unterschiedlich zu derjenigen der ersten Bildaufnahmeeinheit ist, in einem Zustand, in dem die Beleuchtungseinheit das Beleuchtungslicht zu dem Subjekt aussendet; und eine Bildkorrektureinheit, die einen ersten Helligkeitswert eines ersten Pixels, den das erste Bild aufweist, mit einem zweiten Helligkeitswert eines zweiten Pixels, den das zweite Bild aufweist, für alle einander entsprechenden Pixel vergleicht, und ein korrigiertes Bild durch Durchführung eines vorgegebenen Korrekturarbeitsablaufs auf ein aus dem ersten Bild und dem zweiten Bild synthetisierten Bild auf der Grundlage der Vergleichsergebnisse erzeugt, wobei die Bildkorrektureinheit eine Differenz zwischen dem ersten Helligkeitswert und dem zweiten Helligkeitswert berechnet, und einen Helligkeitskorrekturwert auf der Grundlage der Differenz und einer vorgegebenen Funktion, welche monoton ansteigt zusammen mit einem Anstieg der Differenz, und deren Steigungsrate sukzessive abnimmt, und das korrigierte Bild unter Verwendung des Helligkeitskorrekturwerts erzeugt.
Bildverarbeitungseinrichtung gemäß Anspruch 1 oder 2, wobei die Funktion eine logarithmische Funktion ist, und wobei die Bildkorrektureinheit einen logarithmischen Differenzwert berechnet, der ein Logarithmus eines Absolutwerts der Differenz ist, basierend auf der logarithmischen Funktion, und den Helligkeitskorrekturwert unter Verwendung des logarithmischen Differenzwerts berechnet.
Bildverarbeitungseinrichtung gemäß Anspruch 3, wobei der Helligkeitskorrekturwert ein erster Helligkeitskorrekturwert ist, welcher erhalten wird, indem ein niedriger Helligkeitswert, der ein kleinerer Helligkeitswert ausgewählt aus dem ersten Helligkeitswert und dem zweiten Helligkeitswert ist, zu dem logarithmischen Differenzwert addiert wird.
Bildverarbeitungseinrichtung gemäß Anspruch 3, wobei der Helligkeitskorrekturwert ein zweiter Helligkeitskorrekturwert ist, der erhalten wird, indem ein Wert, welcher durch Multiplikation eines Werts, der durch Addieren des niedrigen Helligkeitswert, welcher ein kleinerer Helligkeitswert ausgewählt aus dem ersten Helligkeitswert und dem zweiten Helligkeitswert ist, zu dem logarithmischen Differenzwert erhalten wird, mit einem ersten Koeffizienten α erhalten wird, zu einem Wert addiert wird, der durch Multiplikation eines Mittelwerts des ersten Helligkeitswerts und des zweiten Helligkeitswerts mit einem zweiten Koeffizienten β erhalten wird.
Bildverarbeitungseinrichtung gemäß Anspruch 5, wobei sich der erste Koeffizient α in einem Bereich von 0 ≤ α ≤ 1 gemäß einem hohen Helligkeitswert, welcher ein größerer Helligkeitswert ausgewählt aus dem ersten Helligkeitswert und dem zweiten Helligkeitswert ist, ändert, und mit abnehmendem hohen Helligkeitswert sukzessive abnimmt, wobei der zweite Koeffizient β die Gleichung β = 1 – α (0 ≤ β ≤ 1) erfüllt, und mit abnehmendem hohen Helligkeitswert sukzessive ansteigt, wobei die Bildkorrektureinheit den hohen Helligkeitswert ermittelt und bestimmt, ob der hohe Helligkeitswert größer als oder gleich einem vorgegebenen Wert ist; den ersten Koeffizienten α gleich 1 setzt und den zweiten Koeffizienten β gleich 0 setzt, und den zweiten Helligkeitskorrekturwert berechnet, in einem Fall, in dem der hohe Helligkeitswert größer als oder gleich einem vorgegebenen Wert ist; und den zweiten Helligkeitskorrekturwert unter Verwendung des ersten Koeffizienten α (0 ≤ α < 1) und des zweiten Koeffizienten β (0 ≤ β ≤ 1) gemäß dem hohen Helligkeitswert berechnet, in einem Fall, in dem der hohe Helligkeitswert kleiner als der vorgegebene Wert ist.
Bildverarbeitungseinrichtung gemäß einem der Ansprüche 3 bis 6, wobei in der logarithmischen Funktion 2 als eine Basis verwendet wird.
Bildverarbeitungseinrichtung gemäß einem der Ansprüche 1 bis 7, wobei die Bildkorrektureinheit erste Helligkeitswerte einer Vielzahl von ersten Blöcken, von denen jeder eine Vielzahl von ersten Pixeln aufweist, mit zweiten Helligkeitswerten einer Vielzahl von zweiten Blöcken, von denen jeder eine Vielzahl von zweiten Pixeln aufweist, für alle einander entsprechenden Blöcke vergleicht, anstatt den ersten Helligkeitswert mit dem zweiten Helligkeitswert für alle einander entsprechenden Pixel zu vergleichen.