-
Die
Erfindung betrifft eine Vorrichtung nach dem Oberbegriff des Anspruches
1, die zum Erfassen des Verhaltens eines Fahrers wie Einnicken, Zurseiteblicken
und dergleichen dient.
-
1 zeigt
ein Blockschaltbild eines Augenpositionsdetektors, der eine bekannte
Fahrer-Fotografiervorrichtung verwendet, die beispielsweise in der
veröffentlichten
ungeprüften
japanischen Patentanmeldung
JP
60-158303 A aus 1985 gezeigt ist.
1 zeigt
einen Fahrer
1, einen Fahrersitz
2, ein Armaturenbrett
3,
CCD-Kameras
10a,
10b, eine Infrarotstrahlen emittierende
Diode (LED)
20, eine LED-Treiberschaltung (Beleuchtungslicht-Steuervorrichtung
21),
die elektrischen Strom zur LED
20 liefert, und eine Fahrerverhalten-Erfassungsschaltung
100.
-
Als
nächstes
wird die Arbeitsweise des bekannten Detektors beschrieben. Die Infrarot-LED 20 bestrahlt
den Fahrer 1 im Fahrersitz 2. Die Bilder des Fahrers 1 werden
in die CCD-Kameras 10a, 10b eingegeben, die sich
an Positionen befinden, an denen die Kameras 10a, 10b einen
vorbeschriebenen Bereich, der das Gesicht des Fahrers 1 enthält, fotografieren
können.
Die Eingabebilder der CCD-Kameras 10a, 10b werden
weiterhin von den Kameras 10a, 10b als Bildsignale
in die Fahrerverhalten-Erfassungsschaltung 100 eingegeben,
dann werden die Daten über
die Augenpositionen, die Richtungen des Gesichts und dergleichen
mittels Bildverarbeitungstechniken verarbeitet. 2 ist
ein Muster eines auf diese Weise erhaltenen Infrarotbildes. 2 zeigt eine
Iris 4, eine Lederhaut 5, eine Pupille 6 und
eine Gesichtsfläche 7.
In dem auf diese Weise erhaltenen Bild ist die Lederhaut 5 etwas
dunkler dargestellt als die Gesichtsfläche 7, die Iris 4 ist
etwas dunkler dargestellt als die Lederhaut 5 und weiterhin
ist die Pupille 6 noch dunkler dargestellt.
-
Weil
die Fotografiervorrichtung nach dem Stand der Technik wie vorbeschrieben
zusammengesetzt ist, besteht bei ihr das Problem, daß komplizierte
Bildverarbeitungstechniken erforderlich sind, um die Positionen
der Pupillen 6 zu erfassen. Das heißt die Vorrichtung sucht die
Pupillen 6 beispielsweise wie folgt: Durchführen von
Filteroperationen, Erfassen von Kanten und Erkennen von Mustern
mittels Durchführung
der Hough-Transformationsverarbeitung und dergleichen, um aus den
erfaßten
Kantenformen Kreise entsprechend den Pupillen 6 zu erhalten.
Darüber
hin aus hat die bekannte Vorrichtung ein anderes Problem, daß, wenn
die Kanten aufgrund von Störungen
und dergleichen zum Zeitpunkt der Kantenerfassung nicht genau erfaßt werden,
die Kreise nicht erhalten werden und die Bildverarbeitung sehr kompliziert
wird und dadurch viel Zeit benötigt.
-
Wie
in dem Artikel Tomono, A., Kishino, F., Kobayashi, Y.: "Pupil Extraction
Processing and Gaze Point Detection System Allowing Head Movement" (DENSHI JOHO TUSHIN
GAKKAI RONBUNSHI (THE PAPERS JOURNAL OF THE ELECTRIC AND INFORMATION
COMMUNICATION SOCIETY OF JAPAN), D-II, Band J76-D-II, Nr. 3)) gezeigt
ist, können
andererseits, wenn ein Gesicht durch eine koaxial strahlende Vorrichtung
bestrahlt wird, an der Netzhaut reflektierte Bilder klar fotografiert
werden; dann können
Pupillenpositionen, die Augenpositionen bedeuten, durch sehr einfache
Bildverarbeitungen erfaßt
werden, wie beispielsweise durch Transformation eines grauen Bildes
in ein binäres
Bild. (Die "koaxial
strahlende Beleuchtung" bedeutet
eine Beleuchtung in der Weise, daß die optische Achse einer
Kamera und die Strahlungsrichtung des beleuchtenden Lichts zusammenfallen).
Es ist demgemäß denkbar,
diese Vorrichtung als eine Fahrer-Fotografiervorrichtung zu verwenden;
jedoch führt
die tatsächliche
Realisierung zu dem Problem, daß die
an der Netzhaut reflektierten Bilder nicht erhalten werden können, weil
ein störendes
Licht (oder Sonnenlicht) vorhanden ist, dessen Lichtintensität nicht
geringer als das 100- bis 1000-fache
derjenigen des beleuchtenden Lichts zum Fotografieren im Zustand
der Installation in Kraftfahrzeugen ist. Die 3(a) und 3(b) sind Darstellun gen zur Erläuterung
des durch das vorerwähnte
störende
Licht bewirkten Einflusses. Die in 3(b) gezeigten
Wellenformen stellen die Helligkeitsverteilungen entlang der Linie
A-A eines erhaltenen Gesichtsbildes (3(a)) dar.
Die Kurvenlinie A in 3(b) zeigt
die Helligkeitsverteilung eines Bildes am Tage bei gutem Wetter
dar, welches nach der koaxial strahlenden Methode fotografiert ist;
die Kurvenlinie B stellt die Helligkeitsverteilung eines anderen
Bildes am Tage bei Regenwetter dar, welches nach derselben koaxial
strahlenden Methode fotografiert ist; die Kurventlinie C stellt
die Helligkeitsverteilung eines Bildes bei Nacht dar, das nach derselben
koaxial bestrahlenden Methode fotografiert ist; und die Kurvenlinie
D stellt die Helligkeitsverteilung eines anderen Bildes bei Nacht dar,
das nach einer nichtkoaxial bestrahlenden Methode (d.h. mit einer
Vorrichtung nach dem Stand der Technik) fotografiert ist. Es kann
festgestellt werden, daß die
Helligkeit der Teile der Bilder, mit Ausnahme der Pupillen 6,
die nach der koaxial bestrahlenden Methode fotografiert sind, höher wird
gemäß der Vergrößerung von
störendem
Licht (die Kurvenlinie C: in der Nacht → die Kurvenlinie B: am Tage
bei Regenwetter → die
Kurvenlinie A: am Tage bei schönem Wetter),
und daß die
Erfassung der Pupillen 6 so sehr schwierig wird.
-
Aus "Merchant et al.:
Remote Measurement of Eye Direction Allowing Subject Motion Over
One Cubic Foot of Space";
IEEE Transaction an Biomedical Engineering, Band B;E-21, Nr. 4,
Juli 1974, S. 309–317,
ist ebenfalls die koaxial strahlende Beleuchtung bekannt ("Bright-pupil" optical system), durch
welche die Grenze zwischen der Pupille und der Iris kontrastreicher
dargestellt werden kann. Das in der gleichen Richtung wie das einfallende
Licht vom Auge reflektierte und von einer Videokamera aufgenommene
Licht zeigt die Pupille als helle gleichförmige Scheibe gegenüber einem
relativ dunklen, von der Haut, der Lederhaut und der Iris gebildeten
Hintergrund.
-
Jedoch
ist auch bei der koaxial strahlenden Beleuchtung bei bestimmten
Umgebungslichtverhältnissen
der Einfluß des
Störlichtes
so groß,
daß eine einwandfreie
Bestimmung der Pupillenposition zumindest erschwert ist.
-
Es
ist daher die Aufgabe der vorliegenden Erfindung, eine Vorrichtung
zur Bestimmung der Position der Pupillen eines Fahrers in einem
Fahrzeug zu schaffen, die Pupillenpositionen mittels einfacher Bildverarbeitungstechniken
erfassen kann und die an der Netzhaut eines Fahrers reflektierte
Bilder einfach und klar aufnehmen kann, selbst wenn starkes störendes Licht
vorhanden ist.
-
Diese
Aufgabe wird erfindungsgemäß durch die
im kennzeichnenden Teil des Anspruches 1 angegebenen Merkmale gelöst. Vorteilhafte
Weiterbildungen der erfindungsgemäßen Vorrichtung ergeben sich
aus den Unteransprüchen.
-
Gemäß der Erfindung
ist eine Vorrichtung zur Bestimmung der Position der Pupillen eines
Fahrers vorgesehen, welche aufweist:
eine Beleuchtungslicht-Steuervorrichtung,
die das Vorhandensein von Beleuchtungslicht steuert, und eine Bildverarbeitungsvorrichtung,
die die Fahrerbildsignale ausgibt, wenn das Beleuchtungslicht vorhanden
ist, und die Fahrerbildsignale ausgibt, wenn das Beleuchtungslicht
nicht vorhanden ist, oder die Bildsignale ausgibt, die durch Verarbeitung
der Differenz der beiden vorerwähnten
Bildsignale erzeugt werden.
-
Wie
vorstehend dargestellt ist, erhält
die Vorrichtung die Bildsignale des Fahrers in den beiden Fällen, in
denen das Beleuchtungslicht vorhanden ist oder nicht, und die Vorrichtung
erhält
von der Netzhaut reflektierte Bilder aus der Differenz der Bildsignale
der beiden vorerwähnten
Bildsignale. Demgemäß ist der
Einfluß von
Störlicht
durch die Signalverarbeitung eliminiert und die deutlichen von der
Netzhaut reflektierten Bilder können
fotografiert werden.
-
Gemäß einer
Weiterentwicklung der erfindungsgemäßen Vorrichtung weist die Lichteingangsvorrichtung
eine Lichteingangs-Steuervorrichtung auf, die die Bilder des Fahrers
für eine
vorgeschriebene Zeitdauer entsprechend dem Vorhandensein von Beleuchtungslicht
in die Lichteingangsvorrichtung eingibt.
-
Hierdurch
können
die Zeitintervalle für
die Aufnahme jedes Bildes entsprechend dem Vorhandensein des beleuchtenden
Lichts gekürzt
werden, und die Unschärfe
wird geringer. Somit können
deutliche Bilder aufgenommen werden, selbst wenn die Bewegungen
des Fahrers schnell sind.
-
Weiterhin
kann die Lichteingangs-Steuervorrichtung kontinuierlich Bilder eines
Fahrers für
eine vorgeschriebene Zeitdauer eingeben, die sich über beide
Zeitintervalle, in denen das beleuchtende Licht vorhanden ist bzw.
nicht vorhanden ist, verteilt.
-
Hierdurch
kann die Zeitdifferenz zwischen dem Zeitintervall der Bildaufnahme,
in dem das beleuchtende Licht vorhanden ist, und dem Zeitintervall der
Bildaufnahme, in dem das beleuchtende Licht nicht vorhanden ist,
so verringert werden, daß sie sehr
klein ist, und demgemäß erscheinen
die Differenzen des Vorhandenseins des beleuchtenden Lichts auf
den erhaltenen Differenzbildern. Somit können deutliche Bilder fotografiert
werden, selbst wenn die Bewegungen des Fahrers sehr schnell sind.
-
Die
Erfindung wird im folgenden anhand von in den Figuren dargestellten
Ausführungsbeispielen näher erläutert. Es
zeigen:
-
1 ein
Blockschaltbild einer bekannten Fahrer-Fotografiervorrichtung,
-
2 eine
erläuternde
Darstellung eines mit der bekannten Fahrer-Fotografiervorrichtung
fotografierten Bildes eines Fahrers,
-
3(a) und 3(b) Darstellungen
zur Erläuterung
des Einflusses von Störlicht
in einer Fahrer-Fotografiervorrichtung,
-
4 ein
Blockschaltbild einer Vorrichtung zur Bestimmung der Pupillenposition
nach einem ersten Ausführungsbeispiel
der Erfindung,
-
5 ein
Zeitdiagramm zur Erläuterung
der Arbeitsweise der Vorrichtung nach dem ersten Ausführungsbeispiel
der Erfindung,
-
6 ein
Blockschaltbild einer Vorrichtung zur Bestimmung der Pupillenposition
nach einem zweiten Ausführungsbeispiel
der Erfindung,
-
7 ein
Zeitdiagramm zur Erläuterung
der Arbeitsweise der Vorrichtung nach dem zweiten Ausführungsbeispiel
der Erfindung,
-
8 ein
Blockschaltbild einer Vorrichtung zur Bestimmung der Pupillenposition
nach einem dritten Ausführungsbeispiel
der Erfindung,
-
9 ein
Zeitdiagramm zur Erläuterung
der Arbeitsweise der Vorrichtung nach dem dritten Ausführungsbeispiel
der Erfindung,
-
10 ein
Blockschaltbild einer Vorrichtung zur Bestimmung der Pupillenposition
nach einem vierten Ausführungsbeispiel
der Erfindung,
-
11 ein
Zeitdiagramm zur Erläuterung
der Arbeitsweise der Vorrichtung nach dem vierten Ausführungsbeispiel
der Erfindung, und
-
12 ein
Zeitdiagramm zur Erläuterung der
Arbeitsweise der Vorrichtung nach einem fünften Ausführungsbeispiel der Erfindung.
-
BEISPIEL 1
-
4 zeigt
ein Blockschaltbild der Vorrichtung zum Bestimmen der Pupillenposition
nach dem ersten Ausführungsbeispiel
der vorliegenden Erfindung. 4 zeigt
eine CCD-Kamera 10 (Lichteingabevorrichtung), die an einer
Stelle angeordnet ist, an der das Fotografieren eines vorbestimmten
Bereichs, der das Gesicht des Fahrers 1 enthält, möglich ist, und
eine Beleuchtungsvorrichtung 20, die den Fahrer 1 im
Fahrersitz 2 beleuchtet und beispielsweise eine Infrarotstrahlen-LED
ist, bei der die mittlere Wellenlänge des emittierten Lichts
860 nm mit einer Bandbreite von etwa 20 nm und deren Lichtemissions-Richtungscharakteristik ± 20° betragen,
sowie einen Halbspiegel 30. Ein optisches Bandpaßfilter (BPF) 40 ist
vor der CCD-Kamera 10 angeordnet und hat eine Durchlaßwellenlänge-Bandbreite
von 30 nm um die Wellenlänge
von 860 nm herum.
-
Der
Halbspiegel 30 reflektiert die halbe Menge des entlang
des optischen Pfades l1 gestrahlten beleuchtenden Lichts, und das
reflektierte Licht beleuchtet das Gesicht des Fahrers 1 über den
optischen Pfad l2. Das Bild des Fahrers 1 erreicht den Halbspiegel 30 über den
optischen Pfad l3, und die halbe Menge des Lichts erreicht die CCD-Kamera 10, die
dann das Bild des Fahrers 1 aufnimmt. In diesem Fall sind
die Achsen der optischen Pfade l2 und l3 so zusammengesetzt, daß sie fast
koaxial sind oder innerhalb eines vorgeschriebenen Winkels (zum
Beispiel 2°)
vom Gesichtspunkt des Fahrers 1 aus (koaxiale Bestrahlung).
In diesem Ausführungsbeispiel
ist der Winkel auf 0° gesetzt,
und der Winkel des Halbspiegels 30 zu der Lichtachse 13 der
CCD-Kamera 10 beträgt
45°. In
diesem Fall werden die Pupillen 6 des Fahrers 1 so
beobachtet, als ob sie selbst leuchten aufgrund des auf der Netzhaut
reflektierten Lichts durch die Beleuchtung mit koaxialer Bestrahlung
gemäß der vorerwähnten Zusammensetzung,
und die Pupillen 6 werden in einem Zustand sehr großer Helligkeit
fotografiert im Vergleich zu anderen Teilen wie der Gesichtsfläche 7 und
dergleichen. Dies ist der Grund, warum die Pupillen 6 die
Eigenschaft haben, daß sie
das reflektierte Licht in derselben Richtung wie der des einfallenden
Lichts zurückgeben.
Demgemäß können binäre Bilder
aus den Graubildern erhalten werden, die in der Weise erhalten werden,
daß nur
ein Schwellenwert der Transformation eines Graubildes in ein binäres Bild
eingestellt wird. Das so erhaltene binäre Bild besteht aus nur zwei
kreisförmigen
weißen
Bereichen entsprechend den Pupillen 6 und im übrigen einem
schwarzen Bereich.
-
Da
die mittlere Wellenlänge
der Wellenlängencharakteristik
des BPF 40 fast dieselbe ist wie die der Charakteristik
des von der LED 20 emittierten Lichts, gehen nahezu alle
Komponenten des Lichts durch das BPF 40 hindurch und erreichen
die CCD-Kamera 10, die dann das die Bilder des Fahrers 1 bildende
Licht aufnimmt. Andererseits hat das Störlicht aufgrund des Sonnenlichts
Lichtkomponenten, die sich über
eine große
Wellenlängen-Bandbreite erstrecken.
Nahezu alle der Wellenlängenkomponenten
mit Ausnahme der Komponenten nahe 860 nm des Lichts der Bilder des
vom Störlicht
beleuchteten Fahrers 1 werden nahezu voll ständig herabgesetzt,
und demgemäß werden
nur die begrenzten Komponenten des Störlichts in die CCD-Kamera 10 eingegeben.
Als Folge hiervon nimmt der Einfluß des Störlichts ab, wodurch es möglich ist,
daß die
aufgrund der Beleuchtung mit koaxialer Bestrahlung von der Infrarot-LED 20 an
der Netzhaut reflektierten Bilder deutlich beobachtet und die Bilder
der Pupillen mit großer
Helligkeit erhalten werden können.
-
Auf
diese Weise können
die an der Netzhaut reflektierten Bilder deutlich aufgenommen werden unter
dem Grad des Störlichts
bei wolkigem Wetter, jedoch ist dort das Problem, daß Pupillen
ziemlich hell beobachtet werden können, aber ihre Helligkeit für die Beobachtung
nicht hoch genug ist im Vergleich mit der von Wangen und dergleichen.
Es wird daher der Einfluß des
Störlichts
durch Signalverarbeitungstechniken weiter beseitigt. Zu diesem Zweck sind
eine Zeitsignal-Erzeugungsschaltung 60, ein erster Rahmenspeicher 61,
ein zweiter Rahmenspeicher 62, eine Differenzschaltung 63 und
ein dritter Rahmenspeicher 64 vorgesehen, wobei die Zeitsignal-Erzeugungsschaltung 60,
der erste Rahmenspeicher 61, der zweite Rahmenspeicher 62,
die Differenzschaltung 63 und der dritte Rahmenspeicher 64 eine
Bildverarbeitungsvorrichtung 600 bilden. 5 zeigt
ein Zeitdiagramm zur Erläuterung
der Arbeitsweise der Vorrichtung nach dem ersten Ausführungsbeispiel
der Erfindung. Die Zeitsignal-Erzeugungsschaltung 60 erzeugt
beispielsweise alle 30 ms Zeitsignale. Die LED-Treiberschaltung
(Beleuchtungslicht-Steuervorrichtung 21) erzeugt LED-Treibersignale
zur Wiederholung des Ein- oder
Ausschaltens der LED 20 alle 30 ms in Überein stimmung mit den Zeitsignalen
der Zeitsignal-Erzeugungsschaltung 60. Die CCD-Kamera 10 fotografiert
alle 30 ms ein Bild in Übereinstimmung
mit den Zeitsignalen der Zeitsignal-Erzeugungsschaltung 60;
dann werden als Folge hiervon die Gesichtsbilder zu Zeitpunkten,
in denen die LED 20 Licht emittiert, und zu Zeitpunkten,
in denen die LED 20 kein Licht emittiert, nacheinander
erzeugt. Die Rahmenspeicher 61, 62 und 64 sind
Speicher zum Speichern der Daten jeweils eines Bildes. Die im ersten
Rahmenspeicher 61 gespeicherten Bilddaten werden bei jedem
Bildrahmen zum zweiten Rahmenspeicher 62 übertragen.
Demgemäß speichert
der Bildspeicher 62 immer die Bilddaten des Rahmenspeichers 61 in
den vorhergehenden 30 ms. Das heißt, wenn die Bilddaten des
Rahmenspeichers 61 die Daten sind, bei denen die LED 20 eingeschaltet
ist, sind die Bilddaten des Rahmenspeichers 62 die Daten,
bei denen die LED 20 ausgeschaltet ist. Nach den nächsten 30
ms werden die Bilddaten umgekehrt. Die Differenzschaltung 63 bildet
die Differenz aus den Bilddaten des Rahmenspeichers 61 und
des Rahmenspeichers 62, wenn der Rahmenspeicher 61 die
Bilddaten zu der Zeit gespeichert hat, zu der die LED 20 eingeschaltet
war. In diesem Fall sind die von der Differenzschaltung 63 ausgegebenen
Gesichtsbilddaten die Bilddaten der Subtraktion der durch Störlicht beleuchteten
Bilddaten von den durch das Störlicht
und das Licht von der LED 20 beleuchteten Bilddaten. Dann
können
als Ergebnis die nur durch das beleuchtende Licht von der Infrarot-LED
beleuchteten Gesichtsbilddaten im dritten Rahmenspeicher 64 erhalten
werden. Da mittels der Signalverarbeitung der Einfluß des Störlichts
bei den Bilddaten entfernt wurde, werden alle 60 ms Bilder erhalten,
bei denen die Helligkeit der Pupillen groß ist.
-
BEISPIEL 2
-
Bei
dem vorerwähnten
ersten Ausführungsbeispiel
wiederholt die LED 20 ihre abwechselnde Ein- und Ausschaltung
entsprechend den LED-Treibersignalen zum Treiber der LED 20,
aber es kann auch geeignet sein, die Ein- und Ausschaltung der LED
durch das Öffnen
oder Schließen
einer Blende zu steuern, die das beleuchtende Licht von der LED 20 unterbricht.
-
6 zeigt
ein Blockschaltbild der Vorrichtung nach dem zweiten Ausführungsbeispiel
der Erfindung. Hierin ist eine Blende 11 dargestellt, die
beispielsweise durch eine Flüssigkristallblende
realisiert ist. Weiterhin ist eine Blendentreiberschaltung 12 gezeigt.
-
7 enthält ein Zeitdiagramm
zur Erläuterung
der Arbeitsweise der Vorrichtung nach dem zweiten Ausführungsbeispiel.
Die Blendentreiberschaltung 12 erzeugt beispielsweise alle
30 ms Signale für
das wiederholte Öffnen
und Schließen
der Blende entsprechend den Zeitsignalen von der Zeitsignal-Erzeugungsschaltung 60.
-
Die
Arbeitsweise nach dem zweiten Ausführungsbeispiel mit Ausnahme
des vorbeschriebenen Vorgangs ist dieselbe wie beim ersten Ausführungsbeispiel.
-
Obwohl
bei den vorbeschriebenen Ausführungsbeispielen
die Periode der Ein- und Ausschaltung der LED auf 30 ms eingestellt
ist und die Bildsignale alle 60 ms zu der Fahrerverhalten-Erfassungsschaltung 100 ausgegeben
werden, ist die Periode nicht auf 30 ms beschränkt. Beispielsweise kann es geeignet
sein, die Periode der LED-Umschaltung auf 15 ms und die Ausgabeperiode
des Kamerasignals auf 15 ms und weiterhin die Signalausgabeperiode des
dritten Rahmenspeichers 64 auf 30 ms einzustellen.
-
BEISPIEL 3
-
Obgleich
bei den Ausführungsbeispielen
1 und 2 die Differenzbildung durch Vorsehen der Rahmenspeicher durchgeführt wird,
kann es geeignet sein, die Bilddaten einmal zu der Fahrerverhalten-Erfassungsschaltung 100 zu übertragen
und die Differenzbilddaten in Übereinstimmung
mit der Software in der Fahrverhalten-Erfassungsschaltung 100 zu verarbeiten.
-
8 zeigt
ein Blockschaltbild der Vorrichtung nach dem dritten Ausführungsbeispiel
der Erfindung, und 9 stellt ein Zeitdiagramm zur
Erläuterung
der Arbeitsweise nach dem dritten Ausführungsbeispiel dar. Gemäß den 8 und 9 erzeugt die
LED-Treiberschaltung
(Beleuchtungslicht-Steuervorrichtung 21) LED-Treibersignale
zur Wiederholung der Ein- und Ausschaltung der LED entsprechend
den Zeitsignalen von der Zeitsignal-Erzeugungsschaltung 60.
Die CCD-Kamera 10 erzeugt beispielsweise alle 30 ms entsprechend
den Zeitsignalen von der Zeitsignal-Erzeugungsschaltung 60 Signale
für ein
Bild. Als Folge hiervon werden die Gesichtsbildsignale abwechselnd
zu der Zeit, zu der die LED 20 Licht emittiert, und zu
der Zeit, in der die LED 20 kein Licht emittiert, erzeugt.
In diesem dritten Ausführungsbeispiel
verarbeitet die Fahrerverhalten-Erfassungsschaltung 100 die
Differenzbildsignale zwischen den beiden vorerwähnten Bildsignalen, und die
Gesichtsbilder nur aufgrund des beleuchtenden Lichts von der Infrarotstrahlen-LED 20 werden
in ähnlicher
Weise wie beim ersten Ausführungsbeispiel
erhalten.
-
Obwohl
beim dritten Ausführungsbeispiel
die Differenzbildsignale immer verarbeitet werden, um die Gesichtsbilder
in der Fahrerverhalten-Erfassungsschaltung 100 zu erhalten,
kann es geeignet sein, die Gesichtsbildsignale durch Verarbeitung
der Differenzbildsignale zwischen den Bildsignalen zu der Zeit,
in der das beleuchtende Licht vorhanden ist, und den Bildsignalen
zu der Zeit, in der das beleuchtende Licht nicht vorhanden ist,
während
der Tageszeit in ähnlicher
Weise wie beim dritten Ausführungsbeispiel
zu erhalten, und die Gesichtsbildsignale aufgrund der Bildsignale
allein zu der Zeit, in der das beleuchtende Licht während der
Nachtzeit vorhanden ist, zu erhalten. Demgemäß wird die Bildverarbeitung einfach.
Darüber
hinaus kann die Unterscheidung zwischen der Tageszeit und der Nachtzeit
durch einen Leuchtstärkesensor
oder durch Kraftfahrzeug-Scheinwerferlicht-Einschalt- und Ausschaltsignale erfolgen.
-
Es
werden nicht nur die von der Netzhaut reflektierten Bilder aus den
Differenzbildern während der
Tageszeit in der Fahrerverhalten-Erfassungsschaltung 100 erhalten,
sondern auch andere Informationen über das Gesicht können durch
die Verwendung von Bildsi gnalen erhalten werden für den Fall,
daß das
Beleuchtungslicht nicht vorhanden ist.
-
BEISPIEL 4
-
Obgleich
das Zeitverhalten der Lichtemission der LED 20 beim vorbeschriebenen
ersten Ausführungsbeispiel
auf jeweils 30 ms eingestellt ist, ist es um so besser, je kürzer das
Intervall der Bildaufnahme ist, wenn der Fall berücksichtigt
wird, daß sich die
Augen eines Fahrers schnell bewegen. Obgleich das Zeitintervall
der Bildaufnahme beim ersten Ausführungsbeispiel 30 ms beträgt, kann
es geeignet sein, die Bilder zu der Zeit, in der die LED 20 eingeschaltet
ist, und zu der Zeit, in der die LED 20 ausgeschaltet ist,
während
einer kürzeren
Zeitperiode aufzunehmen mittels der mit einer Flüssigkristallblende 11 versehenen
CCD-Kamera 10.
-
10 zeigt
ein Blockschaltbild der Vorrichtung nach dem vierten Ausführungsbeispiel
der Erfindung, und 11 stellt ein Zeitdiagramm zur
Erläuterung
der Arbeitsweise des vierten Ausführungsbeispiels dar. In den 10 und 11 erzeugt
die LED-Treiberschaltung 21 LED-Treibersignale zur Wiederholung
des Ein- und Ausschaltens der LED 20 beispielsweise alle
30 ms entsprechend den Zeitsignalen von der Zeitsignal-Erzeugungsschaltung 60. Die
Blendentreiberschaltung 12 erzeugt Signale zum Öffnen der
Blende 11 für
5 ms in jeweils 30 ms entsprechend dem Ein- und Ausschalten der LED 20 gemäß den Zeitsignalen
von der Zeitsignal-Erzeugungsschaltung 60, wie in 11 gezeigt
ist. Die Arbeitsweise hiernach ist identisch mit der beim ersten Ausführungsbeispiel.
Da die Blende 11 der CCD-Kamera 10 für nur 5
ms geöffnet
ist, wie in 11 gezeigt ist, in Übereinstimmung
mit dem Ein- und Ausschalten der LED 20 beim ersten Ausführungsbeispiel,
kann jedoch das Zeitintervall für
die Aufnahme jedes Bildes verkürzt
werden, wodurch Bilder mit geringer Unschärfe erhalten werden können, selbst wenn
die Gesichtsbewegungen schnell sind.
-
Auch
ist die Blendenfreigabezeit nicht auf 5 ms beschränkt, und
jede Freigabezeit innerhalb von 30 ms ist in dem vorbeschriebenen
vierten Ausführungsbeispiel
möglich.
-
BEISPIEL 5
-
Wenn
der Fall berücksichtigt
wird, daß sich die
Augen eines Fahrers noch schneller als beim vierten Ausführungsbeispiel
bewegen, ist es darüber hinaus
vorteilhaft, daß die
Zeitdifferenz zwischen der Zeit der Bildaufnahme für den Fall,
daß die
LED 20 eingeschaltet ist, und der Zeit der Bildaufnahme
für den
Fall, daß die
LED 20 ausgeschaltet ist, klein ist, und dann erscheint
die Differenz aufgrund des Vorhandenseins von beleuchtendem Licht
in den erhaltenen Differenzbildern. 12 gibt
ein Zeitdiagramm zur Erläuterung
der Arbeitsweise eines derartigen Ausführungsbeispiels der Erfindung
wieder. Gemäß 12 erzeugt
die Blendentreiberschaltung (Lichteingangs-Steuervorrichtung 12)
Signale zum Öffnen der
Blende 11 beispielsweise für 10 ms, die sich über den
Einschalt- und den Ausschaltzustand der LED 20 alle 60
ms in Übereinstimmung
mit den Zeitsignalen von der Zeitsignal-Erzeugungsschaltung 60 erstrecken.
Die Arbeitsweise danach ist identisch mit der beim vorbeschriebenen
ersten Ausführungsbeispiel. Da
die Blende der CCD-Kamera 10 nur 5 ms gemäß dem Einschaltzustand
der LED 20 öffnet,
wie in 12 gezeigt ist, und fortdauernd
für die
nächsten 5
ms gemäß dem Ausschaltzustand
der LED öffnet, kann
jedoch in diesem Ausführungsbeispiel
die Zeitdifferenz zwischen der Zeit der Bildaufnahme für den Fall,
daß die
LED 20 eingeschaltet ist, und der Zeit der Bildaufnahme
für den
Fall, daß die
LED 20 ausgeschaltet ist, auf 5 ms eingestellt werden im
Vergleich zu 30 ms bei den Ausführungsbeispielen
neun und dreizehn. Als Folge hiervon kann die Differenz aufgrund
des Vorhandenseins von beleuchtendem Licht in den erhaltenen Differenzbildern
deutlicher herausgestellt werden, und Bilder mit geringerer Unschärfe können erhalten
werden, selbst wenn die Gesichtsbewegung schnell ist.
-
Bei
dem vorbeschriebenen Ausführungsbeispiel
ist die Blende 11 vor der LED 20 vorgesehen, und
sie wird geöffnet
und geschlossen gemäß dem Ein-
und Ausschalten der LED 20, jedoch kann es darüber hinaus
geeignet sein, den Lichteingang elektrisch mittels Vorrichtungen
zu steuern, die eine Auswahlfunktion zur Aufnahme oder Nichtaufnahme
von Bildern zu einer bestimmten Zeit haben, beispielsweise eine
Ladungsinjektionsvorrichtung (CID) anstelle der Blende 11.