DE19509689C2 - Verfahren zum Erfassen einer Vigilanz einer Person - Google Patents
Verfahren zum Erfassen einer Vigilanz einer PersonInfo
- Publication number
- DE19509689C2 DE19509689C2 DE19509689A DE19509689A DE19509689C2 DE 19509689 C2 DE19509689 C2 DE 19509689C2 DE 19509689 A DE19509689 A DE 19509689A DE 19509689 A DE19509689 A DE 19509689A DE 19509689 C2 DE19509689 C2 DE 19509689C2
- Authority
- DE
- Germany
- Prior art keywords
- person
- pupil
- face
- vigilance
- signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1103—Detecting eye twinkling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
- A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6814—Head
- A61B5/6821—Eye
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6893—Cars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Psychiatry (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Dentistry (AREA)
- Physiology (AREA)
- Ophthalmology & Optometry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Processing (AREA)
- Emergency Alarm Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Traffic Control Systems (AREA)
- Eye Examination Apparatus (AREA)
- Closed-Circuit Television Systems (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
Description
Die vorliegende Erfindung betrifft ein Verfahren nach
dem Oberbegriff des Anspruchs 1.
Herkömmliche Verfahren dieser Art verwenden den den
organischen Zustand erfassenden Apparat, der in der
japanischen Patent-Offenlegungsschrift Nr. Sho 63-
217500 offenbart ist, und den Apparat zur Verhinde
rung der Fahrerschläfrigkeit, der in der japanischen
Patentveröffentlichung Nr. Hei 3-14655 offenbart ist.
Diese Apparate haben jeweils ein Sende-Empfangs-
Gerät, das auf dem von der Person getragenen Brillen
rahmen befestigt ist. Im Betrieb erfaßt der Apparat
die Reflexion von den Augenlidern oder von den Horn
häuten, um festzustellen, ob die Vigilanz geöffnet
oder geschlossen sind, wodurch der Körperzustand der
Person erfaßt wird. Ein Hauptnachteil dieses Typs von
Apparaten ist das ärgerliche Erfordernis für die Per
son, den Brillenrahmen zu tragen.
Es existieren andere herkömmliche Apparate, die in
der Lage sind, Vigilanz in einer nichtberührenden
Weise zu erfassen, ohne daß von der Person gefordert
wird, irgendwelche Detektoren zu tragen, die einwand
freie von der Person vorgenommene Tätigkeit oder Ope
ration behindern würde. Ein derartiger Apparat ist
der Apparat zum Erkennen der Augenposition, der in
der japanischen Patentanmeldungs-Offenlegungsschrift
Nr. Sho 60-158303 offenbart ist. Der offenbarte Appa
rat weist eine Kamera, die Gesichtsbilder von der
Person aufnimmt, und Mittel zum Erfassen von Pupil
len- und Augenlidbewegungen durch die Bildverarbei
tung auf der Grundlage der aufgenommenen Bilder auf.
Fig. 1 ist eine schematische Ansicht des offenbarten
Apparates, der als ein Apparat zum Erfassen der
Schläfrigkeit verwendet wird. In Fig. 1 sind eine
Person 1, eine Infrarot-LED 2, die Person 1 beleuch
tet und die eine mittlere Beleuchtungswellenlänge von
860 nm hat, eine CCD-Kamera 3, die Gesichtsbilder der
Person in elektrische Signale umwandelt, ein Bildauf
nahme-Speicher 10, der vorübergehend die Ausgangsda
ten der CCD-Kamera speichert, eine Merkmalspunkt-
Extraktionsschaltung 20, die Pupillenbewegung aus den
Daten im Bildaufnahme-Speicher 10 herauszieht, und
eine Schläfrigkeits-Beurteilungsschaltung 40, welche
prüft, ob die Person schläfrig ist durch Erfassen der
Augenlid-Bewegung aus den von der Merkmalspunkt-
Extraktionsschaltung 20 gelieferten Daten, gezeigt.
Im Betrieb beleuchtet die Infrarot-LED 2 die Person
1. Das Bild der Person 1 wird in die CCD-Kamera 3
eingegeben, die so positioniert ist, daß sie Bilder
eines vorbestimmten Bereichs enthaltend das Gesicht
der Person 1 aufnehmen kann. Der Bildaufnahme-Spei
cher 10 empfängt die Ausgangsdaten der CCD-Kamera 3
und nimmt diese auf. Die Merkmalspunkt-Extraktions
schaltung 20 zieht die Pupillenstellung, Augenstel
lung, Gesichtsorientierung und andere Merkmale durch
Bildverarbeitung auf der Grundlage der Daten vom
Bildaufnahme-Speicher 10 heraus. Wenn beispielsweise
die Pupillenbewegung durch die Merkmalspunkt-Extrak
tionsschaltung 20 herausgezogen wird, erfaßt die
Schläfrigkeits-Beurteilungsschaltung 40 die augen
scheinliche Anwesenheit oder Abwesenheit der Pupil
len. Wenn die Pupillen augenscheinlich für eine vor
bestimmte Zeitspanne abwesend sind, bestimmt die
Schläfrigkeits-Beurteilungsschaltung 40, daß die Per
son 1 schläfrig ist.
Fig. 2 ist eine Ansicht eines in dem herkömmlichen
Apparat nach Fig. 1 verwendeten Infrarotbildes. Fig.
2 zeigt die Iris 4, die Lederhaut 5, die Pupille 6
und die Gesichtsoberfläche 7. In dem so erhaltenen
Bild erscheinen die Gesichtsoberfläche 7 etwas dun
kel, die Lederhaut 5 dunkler als die Gesichtsoberflä
che 7, die Iris 4 dunkler als die Lederhaut 5 und die
Pupille 6 noch dunkler als die Iris 4.
Ein Nachteil dieses wie vorstehend dargestellten
strukturierten Vigilanz-Erfassungsapparates besteht
darin, daß er eine komplizierte Bildverarbeitung be
nötigt, durch welche die Augenlid-Bewegung erfaßt
werden soll. Insbesondere wird das erhaltene Bild ei
ner Filter-Berechnung und dann einer Kantenerfassung
unterzogen. Die Gestalt der erfaßten Kante wird ver
wendet, um einen Mustererkennungsvorgang durchzufüh
ren, durch welchen die Augenlider darstellenden
kreisförmigen Bögen zu finden sind. Wenn die Augen
lid-Stellung bestimmt ist, wird die Augenlidform in
weiteren Einzelheiten berechnet. Während der Kan
tenerfassung sind die kreisförmigen Bögen schwer zu
finden, wenn die Kante nicht glatt erfaßt wird auf
grund der Anwesenheit von Rauschen oder anderen Stö
rungen. All dies trägt dazu bei, daß die Bildverar
beitung ein zeitaufwendiger und komplizierter Vorgang
ist.
In der Zwischenzeit wurde ein System vorgeschlagen,
das die Augenposition durch eine sehr einfache Bild
verarbeitung wie Binärverarbeitung erfaßt. Dieses Sy
stem weist eine Koaxialbeleuchtungs-Vorrichtung auf,
das die Gesichtsoberfläche der Person beleuchtet, um
Bilder der Reflexion an der Netzhaut für die verein
fachte Bildverarbeitung aufzunehmen, wie in "Prototy
pe of Gaze Direction Detection Apparatus Permitting
Pupil Data Extraction and Head Movement" (Technical
Report of the Institute of Electronics, Information
and Communication Engineers of Japan; D-II, Band J76-
D-II, Nr. 3) diskutiert ist. Die Koaxialbeleuchtungs-
Vorrichtung ist eine Vorrichtung, in der die opti
schen Achse der Kamera und die Richtung der Beleuch
tung zusammenfallen.
Aus der DE 38 03 916 A1 sind ein Verfahren und eine
Vorrichtung zur Ermittlung der Fahrtauglichkeit eines
Fahrzeugführers während der Fahrt bekannt. Hierbei
werden Ermüdung oder mangelnde Aufmerksamkeit durch
Auswerten von Augenreaktionen auf stimulierende Reize
festgestellt. Diese können dadurch beurteilt werden,
daß die Zeit des Ausrichtens der Augen länger wird
und außerdem die allererste Ausrichtung des Augapfels
mit zunehmender Ermüdung ungenauer wird.
Ausgehend von der DE 38 03 916 A1 ist es die Aufgabe
der vorliegenden Erfindung, ein Verfahren zum Erfas
sen einer Vigilanz einer Person auf der Grundlage von
Augenparametern, bei dem das Gesicht der Person be
leuchtet wird und das von dem Gesicht reflektierte
Licht in entsprechende elektrische Signale umgewan
delt wird, wobei die Richtungen des das Gesicht be
leuchtenden Lichts und des vom Gesicht reflektierten
Lichts zumindest annähernd zusammenfallen, und bei
dem weiterhin die die Augenparameter betreffenden Si
gnale aus den erzeugten elektrischen Signalen heraus
gezogen werden, anzugeben, mit dem auf einfache Weise
die Vigilanz der Person bestimmt werden kann.
Diese Aufgabe wird erfindungsgemäß gelöst durch die
im kennzeichnenden Teil des Anspruchs 1 angegebenen
Merkmale. Vorteilhafte Weiterbildungen des erfin
dungsgemäßen Verfahrens ergeben sich aus den Unteran
sprüchen.
Die Erfindung zeichnet sich dadurch aus, daß die eine
Pupillenposition und/oder Pupillenform betreffenden
Signale auf der Grundlage der Leuchtdichteverteilung
auf dem beleuchteten Gesicht der Person derart her
ausgezogen werden, daß Bereiche auf dem Gesicht, die
durch relativ hohe Leuchtdichte gekennzeichnet sind,
durch Signale mit einem ersten vorbestimmten Pegel
dargestellt werden, und Bereiche, die durch eine re
lativ geringe Leuchtdichte gekennzeichnet sind, durch
Signale mit einem zweiten vorbestimmten Pegel darge
stellt werden, und daß die Vigilanz mittels eines
vorbestimmten Parameters bestimmt wird, die aus den
die Pupillenposition und/oder die Pupillenform be
treffenden Signalen abgeleitet ist.
Die Erfindung wird im Folgenden anhand von in den Fi
guren dargestellten Ausführungsbeispielen näher er
läutert. Es zeigen:
Fig. 1 eine schematische Ansicht eines herkömmlichen
Vigilanz-Erfassungsapparates,
Fig. 2 eine Ansicht eines von optischen Eingabemit
teln aufgenommenen Bildes bei dem herkömmli
chen Vigilanz-Erfassungsapparat,
Fig. 3 eine schematische Ansicht eines Vigilanz-
Erfassungsapparates zur Durchführung des Ver
fahrens gemäß einem ersten Ausführungsbei
spiel der Erfindung,
Fig. 4 eine Ansicht, welche illustriert, wie der Ap
parat nach dem ersten Ausführungsbeispiel in
einem Fahrzeug installiert ist,
Fig. 5 eine Ansicht eines von optischen Eingabemit
teln nach dem ersten Ausführungsbeispiel auf
genommenen Bildes,
Fig. 6(a) und 6(b) Ansichten von aufgenommenen Bil
dern im Vergleich miteinander, wo
bei das eine durch die optischen
Eingabemittel nach dem ersten Aus
führungsbeispiel und das andere
durch den herkömmlichen Apparat
aufgenommen sind,
Fig. 7 eine Ansicht, die das Ergebnis der durch eine
Pupillen-Extraktionsschaltung nach dem ersten
Ausführungsbeispiel durchgeführten Pupillen
extraktion darstellt,
Fig. 8 ein Flußdiagramm von Schritten, nach denen
das erste Ausführungsbeispiel arbeitet,
Fig. 9 eine schematische Ansicht eines Vigilanz-
Erfassungsapparates zur Durchführung des Ver
fahrens gemäß einem zweiten Ausführungsbei
spiel der Erfindung,
Fig. 10 ein Flußdiagramm von Schritten, nach denen
das zweite Ausführungsbeispiel arbeitet,
Fig. 11(a) und 11(b) graphische Darstellungen,
welche angeben, wie das zwei
te Ausführungsbeispiel an
schaulich arbeitet,
Fig. 12 eine schematische Ansicht eines Vigilanz-
Erfassungsapparates zur Durchführung des Ver
fahrens gemäß einem dritten Ausführungsbei
spiel der Erfindung,
Fig. 13 eine schematische Ansicht eines Vigilanz-
Erfassungsapparates zur Durchführung des Ver
fahrens gemäß einem vierten Ausführungsbei
spiel der Erfindung,
Fig. 14 ein Satz von Ansichten, welche darstellen,
wie das vierte Ausführungsbeispiel anschau
lich arbeitet,
Fig. 15 eine schematische Ansicht eines Vigilanz-
Erfassungsapparates zur Durchführung des Ver
fahrens gemäß einem fünften Ausführungsbei
spiel der Erfindung,
Fig. 16(a) und 16(b) graphische Darstellungen, die
wiedergeben, wie das fünfte
Ausführungsbeispiel anschau
lich arbeitet,
Fig. 17 eine andere graphische Darstellung, welche
wiedergibt, wie das fünfte Ausführungsbei
spiel anschaulich arbeitet,
Fig. 18 eine schematische Ansicht eines Vigilanz-
Erfassungsgerätes zur Durchführung des Ver
fahrens gemäß einem sechsten Ausführungsbei
spiel der Erfindung,
Fig. 19 eine graphische Darstellung, welche wieder
gibt, wie das sechste Ausführungsbeispiel an
schaulich arbeitet,
Fig. 20 eine andere graphische Darstellung, welche
wiedergibt, wie das sechste Ausführungsbei
spiel anschaulich arbeitet,
Fig. 21 eine schematische Ansicht eines Vigilanz-
Erfassungsapparates zur Durchführung des Ver
fahrens gemäß einem siebenten Ausführungsbei
spiel der Erfindung,
Fig. 22(a) und 22(b) graphische Darstellungen, wel
che wiedergeben, wie das sie
bente Ausführungsbeispiel an
schaulich arbeitet,
Fig. 23 eine andere graphische Darstellung, welche
wiedergibt, wie das siebente Ausführungsbei
spiel anschaulich arbeitet,
Fig. 24 eine schematische Ansicht eines Vigilanz-
Erfassungsapparates zur Durchführung des Ver
fahrens gemäß einem achten Ausführungsbei
spiel der Erfindung,
Fig. 25 eine schematische Ansicht eines Vigilanz-
Erfassungsapparates zur Durchführung des Ver
fahrens gemäß einem neunten Ausführungsbei
spiel der Erfindung,
Fig. 26 eine graphische Darstellung, welche wieder
gibt, wie das neunte Ausführungsbeispiel an
schaulich arbeitet,
Fig. 27 eine Ansicht, welche wiedergibt, wie das
neunte Ausführungsbeispiel anschaulich arbei
tet,
Fig. 28 eine andere graphische Darstellung, welche
anzeigt, wie das neunte Ausführungsbeispiel
anschaulich arbeitet,
Fig. 29 eine schematische Ansicht eines Vigilanz-
Erfassungsapparates zur Durchführung des Ver
fahrens gemäß einem zehnten Ausführungsbei
spiel der Erfindung,
Fig. 30 (a), 30(b) und 30(c) Ansichten, welche demonstrieren, wie
das zehnte Ausführungsbeispiel an
schaulich arbeitet,
Fig. 31(a) und 31(b) graphische Darstellung, welche
wiedergeben, wie das zehnte
Ausführungsbeispiel anschaulich
arbeitet,
Fig. 32 eine schematische Ansicht eines Vigilanz-
Erfassungsapparates zur Durchführung des Ver
fahrens gemäß einem elften Ausführungsbei
spiel der Erfindung,
Fig. 33 ein Flußdiagramm von Schritten, nach denen
der Apparat gemäß dem elften Ausführungsbei
spiel arbeitet,
Fig. 34 eine schematische Ansicht eines Vigilanz-
Erfassungsapparates zur Durchführung des Ver
fahrens gemäß einem zwölften Ausführungsbei
spiel der Erfindung,
Fig. 35 eine Ansicht, welche erläutert, wie das
zwölfte Ausführungsbeispiel anschaulich ar
beitet,
Fig. 36 eine schematische Ansicht eines Vigilanz-
Erfassungsapparates zur Durchführung des Ver
fahrens gemäß einem dreizehnten Ausführungs
beispiel der Erfindung,
Fig. 37 eine graphische Darstellung, welche demon
striert, wie das dreizehnte Ausführungsbei
spiel anschaulich arbeitet, und
Fig. 38 eine schematische Ansicht eines Vigilanz-
Erfassungsapparates zur Durchführung des Ver
fahrens gemäß einem vierzehnten Ausführungs
beispiel der Erfindung.
Fig. 3 ist eine schematische Ansicht eines Vigilanz-
Erfassungsapparates zur Durchführung des Verfahrens
gemäß dem ersten Ausführungsbeispiel der Erfindung.
Eine CCD-Kamera 3 (d. h. optische Eingabemittel) ist
so positioniert, daß sie Bilder eines vorbestimmten
Bereichs enthaltend das Gesicht einer Person 1 auf
nimmt. Eine Beleuchtungseinrichtung 2 wie eine Infra
rot-LED beleuchtet die Person 1. Anschaulicherweise
beträgt die mittlere Beleuchtungs-Wellenlänge der In
frarot-LED 2 860 nm und ihre Strahlungsrichtungscha
rakteristik ist ±20°. Weiterhin sind ein Halbspiegel
8, ein Summer 9, ein Bildaufnahme-Eingabespeicher 10,
der die Ausgangsdaten der CCD-Kamera 3 vorübergehend
speichert, eine Pupillen-Extraktionsschaltung 21, die
Pupillendaten aus dem Bildaufnahme-Eingabespeicher 10
herauszieht, und eine Schläfrigkeits-Beurteilungs
schaltung 40, welche prüft, ob die Person 1 schläfrig
ist, gezeigt, wobei die Prüfung durch Erfassung der
Augenlid-Bewegung auf der Grundlage der Daten von der
Pupillen-Extraktionsschaltung 21 durchgeführt wird.
Der Apparat nach der in Fig. 3 dargestellten Struktur
wird vorteilhaft mit einer Nachtzeit-Bildaufnahmevor
richtung verwendet.
Fig. 4 ist eine schematische Darstellung, welche wie
dergibt, wie der Apparat nach dem ersten Ausführungs
beispiel anschaulich in einem Fahrzeug installiert
ist. Fig. 4 zeigt eine Windschutzscheibe 100, eine
transparente Abdeckung 101 über dem Armaturenbrett,
ein Lenkrad 102 und den Fahrersitz 103. Tief inner
halb des Armaturenbretts befinden sich der Halbspie
gel 8, die LED-Vorrichtung 2 und die CCD-Kamera 3.
Der Summer 9 ist auf der Welle des Lenkrads 102 ange
ordnet.
Bezugnehmend auf Fig. 3, erfolgt im Betrieb die Be
leuchtung von der Infrarot-LED-Vorrichtung 2 entlang
eines optischen Pfades 11. Die Hälfte der Beleuchtung
wird durch den Halbspiegel 8 reflektiert, um das Ge
sicht der Person 1 auf einem optischen Pfad 12 zu be
leuchten. Ein Bild der Person geht durch den Halb
spiegel 8 entlang eines optischen Pfades 13 hindurch,
wobei die Hälfte des Lichts die CCD-Kamera 3 er
reicht, welche das Bild der Person 1 aufnimmt. In
dieser Zusammenstellung sind die optische Achse des
optischen Pfades 12 und die des optischen Pfades 13
im wesentlichen koaxial oder fallen in einen vorbe
stimmten Winkel (2°) betrachtet von der Person 1 aus
(sogenannte koaxiale Beleuchtung). Bei dem ersten
Ausführungsbeispiel ist der vorbestimmte Winkel
gleich 0; der Winkel des Halbspiegels 8 relativ zur
optischen Achse 13 der CCD-Kamera 3 beträgt 45°. Das
so aufgenommene Bild der Person 1 ist anschaulich in
Fig. 5 gezeigt. In Fig. 5 bewirkt die vorbeschriebene
koaxiale Beleuchtungsanordnung, daß die Reflexion an
der Netzhaut die Pupillen 6 sichtbar aufleuchten
läßt; die Pupillen erscheinen bemerkenswert heller
als die anderen Gesichtsbereiche und Merkmalspunkte.
Dies ergibt sich daraus, daß die Netzhaut die Neigung
hat, das reflektierte Licht in derselben Richtung wie
das einfallende Licht zurückzuschicken. Die Fig.
6(a) und 6(b) stellen typische Muster der Hellig
keitsverteilung in aufgenommenen Bildern dar. Das
Bild in Fig. 6(a) ist durch das erste Ausführungsbei
spiel aufgenommen und das in Fig. 6(b) durch den her
kömmlichen Apparat. Ein Vergleich der beiden Bilder
ergibt, daß das durch das erste Ausführungsbeispiel
aufgenommene Bild einen deutlich hohen Grad von Hel
ligkeit an der Stelle der Pupillen im Vergleich mit
anderen Bereichen des Bildes hat. Dies bedeutet, daß
ein binäres Bild nach Fig. 7 durch einfache binäre
Schwellenwerteinstellung (d. h. hell oder nicht hell)
des aufgenommenen Bildes erhalten wird. Das binäre
Bild hat zwei kreisförmige weiße Bereiche, die die
Pupillen der Person darstellen, gegenüber dem dunklen
Hintergrund. Die Position und die Form der Pupillen
sind aus diesem binären Bild leicht zu erfassen durch
einfache Berechnungen wie solche zum Auffinden der
Mitte der Schwerkraft; es besteht keine Notwendigkeit
für die herkömmlich geforderten komplizierten Berech
nungen.
Es wird nun mit Bezug auf Fig. 8 erläutert, wie der
Apparat nach dem ersten Ausführungsbeispiel die
Schläfrigkeit der Person erfaßt. Im Schritt 1 wird
ein Zähler zurückgesetzt. Im Schritt 2 wird ein Ge
sichtsbild eingegeben. Im Schritt 3 wird das Ge
sichtsbild einer Binärverarbeitung (d. h. hell oder
nicht hell) unterzogen, wodurch die Pupillen aus dem
Bild herausgezogen werden. Mit den so herausgezogenen
Pupillen ist Schritt 4 erreicht, in welchem geprüft
wird, ob die Pupillen sichtbar sind. Wenn die Pupil
len sichtbar sind, ist Schritt S erreicht, in welchem
der Zähler zurückgesetzt wird, und Schritt 2 ist wie
der erreicht. Wenn die Pupillen im Schritt 4 nicht
sichtbar sind, ist Schritt 6 erreicht, in welchem der
Zähler erhöht wird. Im Schritt 7 wird geprüft, ob die
Pupillen fünf Sekunden lang oder länger nicht sicht
bar sind (Zählerwert: 5000/33 = 167). Wenn die Pupil
len fünf Sekunden lang oder länger unsichtbar sind,
wird festgestellt, daß die Person schläfrig ist, und
Schritt 8 ist erreicht. Im Schritt 8 wird der Summer
9 aktiviert. Wenn die Pupillen im Schritt 7 weniger
als fünf Sekunden lang unsichtbar sind, ist Schritt 2
wieder erreicht.
Obgleich die Beleuchtungsmittel 2 nach dem ersten
Ausführungsbeispiel eine Infrarot-LED-Vorrichtung
sind, kann diese durch eine Halogenlampe ersetzt wer
den, die ein Breitband-Wellenlängenlicht in einer
Weise erzeugt, daß es weniger durch Temperaturschwan
kungen beeinträchtigt ist. Alternativ können die Be
leuchtungsmittel 2 eine Halogenlampe und ein Filter
aufweisen, das das erzeugte Licht spektral in be
stimmte Wellenformen filtert. Die Kamera, die im er
sten Ausführungsbeispiel vom CCD-Typ ist, kann alter
nativ eine CID-Kamera (Ladungsinjektions-Vorrichtung)
sein.
Fig. 9 ist eine schematische Ansicht eines Vigilanz-
Erfassungsapparates zur Durchführung des Verfahrens
gemäß dem zweiten Ausführungsbeispiel der Erfindung.
Während beim ersten Ausführungsbeispiel die Schläf
rigkeit (Grad der Wachsamkeit) der Person festge
stellt wird gemäß der Sichtbarkeit der Pupillen die
ser Person, wird beim zweiten Ausführungsbeispiel ei
ne Beurteilung Über den Grad der Wachsamkeit der Per
son auf der Grundlage der Zeitfolgendaten über die
Pupillenstellung getroffen. Das heißt, die Schläfrig
keit wird aus der Tatsache abgeleitet, daß die Person
in einem schläfrigen Zustand allmählich die Augen
senkt und die sichtbare Pupillenstellung tiefer wird.
Fig. 9 zeigt einen Extraktionsergebnis-Speicher 30g
der die von der Pupillen-Extraktionsschaltung 21 her
ausgezogenen Pupillenstellungen speichert. Eine
Schläfrigkeits-Beurteilungsschaltung 40 stellt die
Schläfrigkeit der Person fest entsprechend der Dauer,
in der das Gesicht der Person nach unten gesenkt
bleibt, wobei die Dauer aus den Zeitfolgendaten über
die in dem Extraktionsergebnis-Speicher 30 gespei
cherten Pupillenstellungen bestimmt wird.
Es wird nun mit Bezug auf das Flußdiagramm nach Fig.
10 beschrieben, wie das zweite Ausführungsbeispiel
arbeitet. Im Schritt 10 wird ein Gesichtsbild einge
geben. Im Schritt 11 wird das Gesichtsbild einer bi
nären Verarbeitung (d. h. hell oder nicht hell) wie
beim ersten Ausführungsbeispiel unterzogen, wodurch
die Pupillen aus dem Bild herausgezogen werden. Im
Schritt 12 wird die Stellung der herausgezogenen Pu
pillen (d. h. Pupillenhöhe) gespeichert. Im Schritt 13
wird geprüft, ob die Daten über die Pupillen fünf Mi
nuten lang oder länger gesammelt wurden. Wenn die Da
ten zumindest die letzten fünf Minuten gesammelt wur
den, ist Schritt 14 erreicht. Im Schritt 14 wird der
Durchschnitt der Pupillenhöhe über die ersten fünf
Minuten gebildet und eine Bezugs-Pupillenhöhe (T1)
wird berechnet. Nach den fünf Minuten wird ein ande
res Gesichtsbild im Schritt 15 eingegeben. Im Schritt
16 werden die Pupillen aus dem Gesichtsbild herausge
zogen. Im Schritt 17 wird der Durchschnitt der Pupil
lenhöhe während der vergangenen zwei Minuten gebil
det. Im Schritt 18 wird geprüft, ob die durchschnitt
liche Pupillenhöhe um einen vorbestimmten Wert (5 cm
beim zweiten Ausführungsbeispiel) niedriger ist als
die Bezugs-Pupillenhöhe. Wenn gefunden wird, daß die
durchschnittliche Pupillenhöhe um 5 cm oder mehr
niedriger ist als die Bezugs-Pupillenhöhe, ist
Schritt 19 erreicht. Im Schritt 19 wird der kontinu
ierliche "Absenk"-Zustand der Person als ein gefähr
licher Abfall in der Wachsamkeit der Person gedeutet
(d. h. als Schläfrigkeits-Zustand). Fig. 11(a) ist ei
ne graphische Darstellung von Zeitfolgendaten über
Pupillenstellungen und Fig. 11(b) ist eine graphische
Darstellung von Zeitfolgendaten über durchschnittli
che Pupillenstellungen. In den Fig. 11(a) und 11(b)
stellt t1, die Zeit dar, die vergeht, bevor die Be
zugs-Pupillenposition ermittelt ist, T1 bedeutet die
so erhaltene Bezugs-Pupillenposition und t2 ist die
Zeit, zu der die Schläfrigkeit der Person erfaßt
wird.
Da das zweite Ausführungsbeispiel Zeitfolgeninforma
tionen Über die Pupillen der Person verwendet, wird
bei diesem der Summer aktiviert, bevor die Person
einschläft. Da der Grad der Schläfrigkeit der Person
erfaßt wird, bevor es zu spät ist, verbessert das
zweite Ausführungsbeispiel die Qualität der Schläf
rigkeits-Erfassung.
Anstelle der Festlegung der Bezugs-Pupillenstellung
auf ihren anfänglichen Wert kann alternativ die Posi
tion in Zeitintervallen (z. B. 30 Minuten), die länger
als die Zeitintervalle (2 Minuten) sind, in denen die
Pupillenstellung zu finden ist, aktualisiert werden.
Fig. 12 zeigt eine schematische Ansicht eines Vigi
lanz-Erfassungsapparates zur Durchführung des Verfah
rens gemäß dem dritten Ausführungsbeispiel der Erfin
dung. Während beim zweiten Ausführungsbeispiel die
Schläfrigkeit der Person auf der Grundlage der erfaß
ten Pupillenstellungen beurteilt wurde, werden beim
dritten Ausführungsbeispiel andere Merkmalspunkte des
Gesichts der Person erfaßt, um die Gesichtsmerkmals
größen auf eine direktere Weise zu ermitteln. Diese
Fähigkeit erlaubt dem dritten Ausführungsbeispiel,
eine höhere Genauigkeit bei der Vigilanzerfassung zu
bieten. Eine Fenstereinstell-Schaltung 22 (Suchbe
reichs-Bestimmungsmittel) bestimmt den Suchbereich
(Fenster) für andere Gesichtsmerkmalspunkte wie die
Nasenlöcher mit Bezug auf die von der Pupillen-
Extraktionsschaltung 21 herausgezogene Pupillenposi
tion. Eine Merkmalspunkt-Extraktionsschaltung 23
zieht die Position oder Form der Merkmalspunkte in
nerhalb des von der Fenstereinstell-Schaltung 22 be
stimmten Fensters heraus. Beispielsweise wird ein
Fenster mit den Maßen 6 × 6 cm um eine Position 5 cm
unter dem Mittelpunkt zwischen den beiden Pupillen
eingestellt. Es wird eine Bildverarbeitung innerhalb
dieses Fensters durchgeführt, um die Nasenlöcher zu
suchen und diese zu finden. Anschaulicherweise soll
ten die gesuchten Nasenlöcher jeweils 1 cm oder weni
ger im Durchmesser sein und mit geringer Helligkeit
erscheinen. Ein Extraktionsergebnis-Speicher 30 spei
chert die von der Pupillen-Extraktionsschaltung 21
erhaltenen Pupillenpositionen sowie die von der Merk
malspunkt-Extraktionsschaltung 23 ermittelten Posi
tionen der Nasenlöcher. Eine Schläfrigkeits-Beurtei
lungsschaltung 40 stellt die Neigung des Gesichts aus
der augenscheinlichen Positionsbeziehung zwischen den
Nasenlöchern und den beiden Pupillen fest. Mit der
erhaltenen "Absenk"-Zeit der Person beurteilt die
Schläfrigkeits-Beurteilungsschaltung 40, daß die Per
son gemäß einer angemessenen Festlegung der Absenkzu
standsdauer schläfrig ist.
Es wird nun beschrieben, wie das dritte Ausführungs
beispiel arbeitet, um die Schläfrigkeit der Person zu
erfassen. Die von der Pupillen-Extraktionsschaltung
21 erhaltenen Pupillenpositionen und die von der
Merkmalspunkt-Extraktionsschaltung 23 ermittelten Po
sitionen der Nasenlöcher werden in dem Extraktionser
gebnis-Speicher 30 gespeichert. Wie beim zweiten Aus
führungsbeispiel werden die Daten über die anfängli
chen fünf Minuten erläuternd verwendet, um eine au
genscheinliche Distanz SO zwischen dem Mittelpunkt
zwischen den Pupillen einerseits und dem Mittelpunkt
zwischen den Nasenlöchern andererseits zu finden,
wenn die Person nach vorn blickt. Danach werden die
Daten über die nächsten zwei Minuten erläuternd ver
wendet, um einen anderen augenscheinlichen Abstand S
zwischen dem Mittelpunkt zwischen den Pupillen einer
seits und dem Mittelpunkt zwischen den Nasenlöchern
andererseits zu finden. Der Neigungswinkel θ des Ge
sichts der Person wird aus den so ermittelten Abstän
den SO und S erhalten. Genauer gesagt, ist der augen
scheinliche Abstand S tatsächlich, wenn das Gesicht
um den Winkel θ abgesenkt ist, gegeben durch
S = SO . COS (θ).
Wenn der in zwei Minuten erhaltene Durchschnitts-
Gesichtsneigungswinkel θ anschaulich 20° oder mehr
wird, wird festgestellt, daß die Person schläfrig
ist.
Verglichen mit dem zweiten Ausführungsbeispiel unter
scheidet das dritte Ausführungsbeispiel zwei Fälle
des Körperzustands der Person: den einen, in welchem
sich nur die Pupillenhöhe auf- und abwärts bewegt,
und den anderen, in welchem sich das gesamte Gesicht
neigt. Diese Fähigkeit ermöglicht es dem dritten Aus
führungsbeispiel, höhere Genauigkeitspegel bei der
Schläfrigkeits-Erfassung als beim zweiten Ausfüh
rungsbeispiel zu liefern.
Obgleich das dritte Ausführungsbeispiel den augen
scheinlichen Abstand SO aus dem anfänglichen Zustand
der Person erhält, kann alternativ eine Nachricht an
die Person gerichtet werden, durch sie aufgefordert
wird, nach vorn zu blicken, bevor der Abstand SO er
mittelt wird.
Das dritte Ausführungsbeispiel verwendet den Extrak
tionsergebnis-Speicher 30, um die über zwei oder fünf
Minuten gemittelten Daten aufzunehmen. Alternativ
kann der Extraktionsergebnis-Speicher 30 entfernt
werden und es können Mittel zum Erfassen der momenta
nen Gesichtsorientierung der Person vorgesehen sein.
Fig. 13 ist eine schematische Ansicht eines Vigilanz-
Erfassungsapparates zur Durchführung des Verfahrens
gemäß dem vierten Ausführungsbeispiel der Erfindung.
Das vierte Ausführungsbeispiel schätzt den Grad der
Augenlidöffnung durch Ermittlung des Verhältnisses
aus der vertikalen Länge zu der horizontalen Länge
der Pupillen der Person, wodurch der halbgeschlossene
Zustand der Augenlider der Person erfaßt wird. Eine
Augenlidöffnungs-Schätzschaltung 24 schätzt den Grad
der Augenlidöffnung aus der von der Pupillen-
Extraktionsschaltung 21 herausgezogenen Pupillenform;
ein Extraktionsergebnis-Speicher 30 speichert den
Grad der so geschätzten Augenlidöffnung; und eine
Schläfrigkeits-Beurteilungsschaltung 40 beurteilt die
Schläfrigkeit der Person auf der Grundlage der Dauer
des halbgeschlossenen Zustands der Augenlider der
Person.
Das vierte Ausführungsbeispiel arbeitet wie folgt, um
die Schläfrigkeit der Person zu erfassen: die Pupil
len-Extraktionsschaltung 21 zieht zuerst die Pupil
lenform heraus. Mit der Pupillenform ermittelt die
Augenlidöffnungs-Schätzschaltung 24 die augenschein
liche vertikale Länge y und die augenscheinliche ho
rizontale Länge x der Pupille der Person. Aus dem
Verhältnis der vertikalen Länge zur horizontalen Län
ge (y/x) schätzt die Augenlidöffnungs-Schätzschaltung
24 den Grad der Augenlidöffnung. Fig. 14 zeigt, wie
die Augenlider geöffnet und geschlossen werden. Es
ist hieraus ersichtlich, daß, wenn die Augenlider
sich schließen, das Verhältnis y/x kleiner wird. Der
Extraktionsergebnis-Speicher 30 speichert die so er
mittelten Grade der Augenlidöffnung y/x. Wenn das
Verhältnis y/x beispielsweise 1/2 oder geringer ist,
stellt die Schläfrigkeits-Beurteilungsschaltung 40
fest, daß sich die Augenlider in einem halbgeschlos
senen Zustand befinden. Wenn der halbgeschlossene Zu
stand der Augenlider zwei Minuten oder länger anhält,
wird festgestellt, daß die Person schläfrig ist. Wie
bei dem zweiten und dritten Ausführungsbeispiel kann
alternativ der Durchschnitt des Verhältnisses y/x in
den ersten fünf Minuten gebildet werden. Wenn dann
das gegenwärtige Verhältnis y/x gleich 1/2 oder weni
ger des anfänglichen Durchschnittsverhältnisses wird,
wird bestimmt, daß die Augenlider in einem halbge
schlossenen Zustand sind. Wenn der halbgeschlossene
Zustand der Augenlider zwei Minuten oder länger an
dauert, wird festgestellt, daß die Person schläfrig
ist.
Wie beschrieben ist, schätzt das vierte Ausführungs
beispiel den Grad der Augenlidöffnung aus der Pupil
lenform. Mit dem so erkannten Blinzelzustand der Per
son wie im Fall des zweiten Ausführungsbeispiels er
faßt das vierte Ausführungsbeispiel einen gefährli
chen Abfall in dem Grad der Wachsamkeit der Person
und erhöht hierdurch die Qualität der Schläfrigkeits-
Erfassung.
Fig. 15 ist eine schematische Darstellung eines Vigi
lanz-Erfassungsapparates zur Durchführung des Verfah
rens gemäß dem fünften Ausführungsbeispiel der Erfin
dung. Das fünfte Ausführungsbeispiel schätzt die
Blinzelfrequenz der Person auf der Grundlage des Pu
pillenbereichs der Person. Mit der so geschätzten
Blinzelfrequenz erfaßt das Ausführungsbeispiel die
Schläfrigkeit der Person. Eine Pupillen-Extraktions
schaltung 21 zieht die Pupillenform aus dem aufgenom
menen Bild heraus und zählt die Anzahl der betroffe
nen Bildelemente, um den Pupillenbereich zu finden;
ein Extraktionsergebnis-Speicher 30 speichert die von
der Pupillen-Extraktionsschaltung 21 ermittelten Pu
pillenbereiche in Intervallen von beispielsweise 10
ms; und eine Blinzelfrequenz-Berechnungsschaltung 31
wandelt die Zeitfolgendaten über die Pupillenbereiche
gemäß einem Schwellenwert in binäre Daten um, wodurch
die Blinzelfrequenz der Person berechnet wird. Eine
Schläfrigkeits-Beurteilungsschaltung 40 bestimmt die
Schläfrigkeit der Person entsprechend der so berech
neten Blinzelfrequenz der Person.
Es wird nun mit Bezug auf die Fig. 16(a) und 16(b)
beschrieben, wie das fünfte Ausführungsbeispiel ar
beitet. Fig. 16(a) ist eine graphische Darstellung,
die tatsächliche Änderungen im Pupillenbereich der
Person anzeigt, wenn diese Person blinzelt. Diese Än
derungen werden erhalten durch Zählen der Anzahl der
die Pupille bildenden Bildelemente. Der Extraktions
ergebnis-Speicher 30 nimmt die von der Pupillen-
Extraktionsschaltung 21 erhaltenen Pupillenbereiche
in Intervallen von 10 ms auf. Fig. 16(b) ist eine
graphische Darstellung von typischen Zeitfolgendaten,
welche das Blinzeln wiedergeben. Die Blinzelfrequenz-
Berechnungsschaltung 31 wandelt die Zeitfolgendaten
unter Verwendung eines Schwellenwertes T in binäre
Daten mit den Werten 0 und 1 um. Beispielsweise wird
die Blinzelfrequenz der Person berechnet, indem die
Anzahl von "0"-Bereichen gezählt wird, die in zwei
Minuten gesammelt wurden. Eine typische Beziehung
zwischen der Blinzelfrequenz und dem Grad der Wach
samkeit ist in Fig. 17 gezeigt. Wie dargestellt ist,
beträgt die Blinzelfrequenz etwa 10 pro Minute, wenn
der Grad der Wachsamkeit hoch ist. Wenn die Wachsam
keit sinkt, nimmt die Blinzelfrequenz zu. Wenn die
Blinzelfrequenz der Person 20 oder mehr pro Minute
ist, wird geurteilt, daß die Person schläfrig ist.
Wie beschrieben ist, schätzt das fünfte Ausführungs
beispiel die Blinzelfrequenz der Person auf der
Grundlage der Pupillenform. Mit dem Blinzelzustand
wie im Fall des vierten Ausführungsbeispiels be
stimmt, erfaßt das fünfte Ausführungsbeispiel einen
gefährlichen Abfall in der Wachsamkeit der Person und
erhöht so die Qualität der Schläfrigkeits-Erfassung.
Der Schwellenwert der Blinzelfrequenz kann anders als
20 sein. Alternativ kann der Durchschnittswert der
tatsächlichen Blinzelfrequenz gebildet werden, wenn
der Grad der Wachsamkeit der Person hoch ist. Wenn
die gegenwärtige Blinzelfrequenz der Person bei
spielsweise das Zweifache der so erhaltenen durch
schnittlichen Blinzelfrequenz annimmt, kann festge
stellt werden, daß die Person schläfrig ist.
Während das fünfte Ausführungsbeispiel die Schläfrig
keit der Person feststellt, ist des bekannt, daß die
Blinzelfrequenz zunimmt, wenn die Person sich lang
weilt, und abnimmt, wenn sie erregt ist. Derartige
Änderungen in der Blinzelfrequenz der Person können
überwacht werden, um die mentalen Zustände der Person
wie Erregung und Gespanntheit zu erfassen.
Fig. 18 ist eine schematische Darstellung eines Vigi
lanz-Erfassungsapparates zur Durchführung des Verfah
rens gemäß dem sechsten Ausführungsbeispiel der Er
findung. Das sechste Ausführungsbeispiel mißt den
Durchmesser der Pupillen der Person, um den Grad der
Ausdehnung und Zusammenziehung der Pupillen der Per
son zu erfassen und ihren Atmungszyklus zu bestimmen.
Eine Pupillen-Extraktionsschaltung 21 zieht die Pu
pillenform der Person heraus und mißt den Durchmesser
der Pupillen, und ein Extraktionsergebnis-Speicher 30
speichert die von der Pupillen-Extraktionsschaltung
21 ermittelten Pupillendurchmesser in Intervallen von
beispielsweise 10 ms. Eine Pupillen-Wellenformanaly
seschaltung 32 führt eine Frequenzanalyse der Pupil
len-Wellenform durch, die anschaulich wie in Fig. 19
gezeigt aufgezeichnet ist. Eine Atmungszähl-Extrak
tionsschaltung 41 ermittelt den gegenwärtigen At
mungszählwert auf der Grundlage des Ergebnisses der
von der Pupillen-Wellenformanalyseschaltung 32 vorge
nommenen Frequenzanalyse, wie in Fig. 20 gezeigt ist.
Das sechste Ausführungsbeispiel arbeitet wie folgt,
um den Atmungszählwert zu erfassen: wenn sie genau
beobachtet werden, erkennt man, daß die Pupillen ge
ringfügig vibrieren, wie in Fig. 19 dargestellt ist.
Von den die so beobachtete schwankende Wellenform
bildenden Komponenten ist von denen mit der niedrigen
Frequenz bekannt, daß sie sich entsprechend dem At
mungszählwert verändern. Fig. 20 zeichnet das Ergeb
nis der Frequenzanalyse der in Fig. 19 gezeigten Wel
lenform auf. Wie in Fig. 20 dargestellt ist, er
scheint eine Spitze bei 0,33 Hz, welche einem At
mungszyklus von 20 pro Minute entspricht.
Das sechste Ausführungsbeispiel zieht einen Nutzen
aus der vorbeschriebenen Eigenschaft und bestimmt den
Atmungszählwert durch Überwachen der Änderungen im
Pupillendurchmesser. Die Pupillen-Extraktionsschal
tung 21 zieht die Form und den Durchmesser der Pupil
len heraus. Der Extraktionsergebnis-Speicher 30 spei
chert die Pupillendurchmesser in Intervallen von 10
ms. Die Pupillenwellenform-Analyseschaltung 32 führt
eine Frequenzanalyse der Wellenform der Pupillen
schwankungen einmal in jeder Minute durch. Mit dem
Ergebnis der Analyse sucht und findet die Atmungs
zähl-Extraktionsschaltung 41 eine Spitze in dem Ziel
bereich der Atmungsfrequenzen, wodurch der gegenwär
tige Atmungszählwert ermittelt wird.
Während das sechste Ausführungsbeispiel den Atmungs
zählwert allein erhält, kann alternativ eine andere
Beurteilungsschaltung vorgesehen sein, um den Grad
der Gespanntheit oder einen ungesunden Zustand der
Person herauszufinden auf der Grundlage des Umstan
des, daß der Atmungszählwert mit zunehmender Ge
spanntheit ansteigt.
Fig. 21 ist eine schematische Darstellung eines Vigi
lanz-Erfassungsapparates zur Durchführung des Verfah
rens gemäß dem siebenten Ausführungsbeispiel der Er
findung. Während beim sechsten Ausführungsbeispiel
eine Frequenzanalyse hinsichtlich der Zeitfolgendaten
über die Pupillendurchmesser durchgeführt wurde, um
den Atmungszählwert zu messen, wird beim siebenten
Ausführungsbeispiel der durchschnittliche Durchmesser
der Pupillen ermittelt, um die Gespanntheit der Per
son auf der Grundlage des so erhaltenen durchschnitt
lichen Pupillendurchmessers zu beurteilen.
Eine Pupillen-Extraktionsschaltung 21 zieht die Form
der Pupillen heraus und mißt demgemäß deren Durchmes
ser; ein Extraktionsergebnis-Speicher 30 speichert
die so ermittelten Pupillendurchmesser; und eine Ge
spanntheits-Beurteilungsschaltung 42 stellt fest,
nachdem sie den durchschnittlichen Durchmesser erhal
ten hat, daß die Gespanntheit der Person abgenommen
hat, wenn der durchschnittliche Durchmesser kleiner
als ein vorbestimmter Wert geworden ist. Fig. 22(a)
zeichnet relativ große Änderungen des Pupillendurch
messers über eine ausgedehnte Zeitspanne auf, im Ge
gensatz zu den winzigen Vibrationen des Pupillen
durchmessers (Fig. 19), die über eine kurze Zeitspan
ne entsprechend dem sechsten Ausführungsbeispiel er
faßt werden. Wenn der Durchschnittswert gebildet
wird, erscheinen die sich ändernden Durchmesser der
Pupillen wie in Fig. 22(b) aufgezeichnet. Fig. 23 il
lustriert eine typische Beziehung zwischen dem durch
schnittlichen Pupillendurchmesser und dem Grad der
Gespanntheit. Je kleiner der durchschnittliche Pupil
lendurchmesser ist, desto niedriger wird der Grad der
Gespanntheit, d. h. die Person wird träge oder gleich
gültig.
Bei dem sechsten oder siebenten Ausführungbeispiel
kann der anhand der Pupillenform gemessene maximale
Durchmesser der Pupillen als der Pupillendurchmesser
genommen werden. Dies macht es möglich, die Pupillen
größe korrekt auszuwerten ungeachtet der wechselnden
Gesichtsorientierung, wodurch die Zuverlässigkeit des
Ausführungsbeispiels verbessert wird.
Fig. 24 ist eine schematische Darstellung eines Kör
perzustands-Erfassungsapparates in einer bevorzugten
Struktur gemäß dem achten Ausführungsbeispiel der Er
findung. Ein Zoom-Mechanismus 50 bewirkt eine visuel
le Vergrößerung oder Zusammenziehung des Gesichts der
Person 1 bevor das Bild dieses Gesichts auf der CCD-
Ebene der CCD-Kamera 3 gebildet wird; ein Zoom-Steu
ermechanismus 51 betätigt den Zoom-Mechanismus 50
durch Auswertung des Ausgangssignals der Pupillen-Ex
traktionsschaltung 21; und ein Kamera-Antriebsmecha
nismus 52 ändert die Richtung der CCD-Kamera 3. Die
anderen Komponenten sind dieselben wie die entspre
chenden beim sechsten Ausführungsbeispiel in Fig. 18.
Das achte Ausführungsbeispiel arbeitet wie folgt: es
ist bekannt, daß der Pupillendurchmesser im Bereich
von 2 bis 8 mm liegt. Wenn die Anzahl von Bildelemen
ten der CCD-Kamera 3 gleich 512 × 512 ist und wenn
ein Bild von 25,6 cm im Quadrat von der Person 1 auf
genommen wird, wie im achten Ausführungsbeispiel an
genommen wird, dann ist die Primzahl des Pupillen
durchmessers von 4 bis 16. Daher wäre es schwierig,
die Wellenform von Pupillenschwankungen genau heraus
zuziehen, wenn der Pupillendurchmesser klein ist.
Diese Schwierigkeit wird durch das achte Ausführungs
beispiel umgangen, welches eine Variante des sechsten
Ausführungsbeispiels ist, indem dieses mit dem Zoom-
Mechanismus 50 ergänzt wird. Der hinzugefügte Mecha
nismus stellt sicher, daß ein Bild der Pupille in der
Weise aufgenommen wird, daß es um die Pupillenmitte
vergrößert ist. Diese Anordnung ermöglicht dem Aus
führungsbeispiel, die Pupillen-Schwankungswellenform
mit hoher Genauigkeit herauszuziehen.
Wenn die Pupillen-Extraktionsschaltung 21 die Pupil
lenposition herauszieht, ändert der Kamera-Antriebs
mechanismus 52 die Kamerarichtung derart, daß ein
Bild von einer der Pupillen in der Kameramitte aufge
nommen werden kann. Die Zoom-Steuerschaltung 51 steu
ert dann den Zoom-Mechanismus 50 in der Weise, daß er
ein Bild von 5,1 cm im Quadrat von der Person 1 auf
nimmt. Dies macht es möglich, ein fünffach vergrößer
tes Bild der Pupille aufzunehmen, wodurch die Genau
igkeit des Herausziehens der Wellenform von Pupillen
schwankungen erhöht wird.
Wenn sich die Person 1 leicht bewegt, wird nur die
Richtung der Kamera 3 geändert, um der Bewegung der
Person zu folgen, während die Zoom-Vergrößerung un
verändert bleibt. Wenn die Bewegung der Person 1 zu
groß ist, um ihr folgen zu können, wird die Zoom-
Vergrößerung auf eins herabgesetzt, um die Pupille
wieder zu erfassen, und dann wird der Zoom-Vorgang
wieder aufgenommen.
Während das achte Ausführungsbeispiel eine Variante
des sechsten Ausführungsbeispiels in der Weise ist,
daß der Zoom-Mechanismus hinzugefügt ist, können je
des der ersten bis fünften und siebenten Ausführungs
beispiele ebenso mit dem Zoom-Mechanismus versehen
sein. Eine derartige Anordnung macht es möglich, die
genaue Form der Pupille zu ermitteln, wodurch die Ge
nauigkeit der Körperzustandserfassung verbessert
wird.
Fig. 25 ist eine schematische Darstellung eines Vigi
lanz-Erfassungsapparates zur Durchführung des Verfah
rens gemäß dem neunten Ausführungsbeispiel der Erfin
dung. Während beim vierten Ausführungsbeispiel der
Grad der Augenlidöffnung auf der Grundlage der erhal
tenen Pupillenform geschätzt wurde, werden beim neun
ten Ausführungsbeispiel zuerst die Pupillen und dann
die Augenlider herausgezogen. Der Grad der Augenlid
öffnung wird aus den so herausgezogenen Augenlidern
direkt berechnet. Die das Blinzeln der Person dar
stellende Wellenform wird dann aus dem Grad der Au
genlidöffnung ermittelt, wodurch der Grad der Wach
samkeit festgestellt wird. Im allgemeinen verläuft
die Blinzelfrequenz wie in Fig. 26 gezeigt. In dieser
Figur stellt die Ordinate Yeb den maximalen vertika
len Abstand des oberen und unteren Augenlids dar
(siehe Fig. 27) und y0 bezeichnet den maximalen Ab
stand zwischen dem oberen und unteren Augenlid, wenn
sie am weitesten auseinander sind. Die Abszisse t be
deutet die Zeit, tp bezeichnet die Zeit, zu der die
Augenlider vollständig geschlossen sind, und t0s und
t0e stellen jeweils die Zeit für y0/2 dar. Fig. 28
zeigt zwei Blinzel-Wellenformen, von denen die eine
erscheint, wenn der Grad der Wachsamkeit fällt (ent
lang der ausgezogenen Linie B), und die andere auf
tritt, wenn der Grad der Wachsamkeit nicht abgenommen
hat (entlang der gestrichelten Linie A). Abgesehen
von geringen persönlichen Unterschieden ist eine Ab
nahme der Wachsamkeit im allgemein begleitet mit ei
ner Verlangsamung der Blinzel-Wellenform. Entlang der
ausgezogenen Linie B in Fig. 28 stellt y1 den maxima
len Abstand zwischen den vollständig geöffneten Au
genlidern dar und tls und tse bezeichnen jeweils die
Zeit für y1/2.
Das neunte Ausführungsbeispiel arbeitet wie folgt:
bezugnehmend auf Fig. 25 bestimmt die Fensterein
stell-Schaltung 22 den Suchbereich (Fenster) für die
Augenlider mit Bezug auf die von der Pupillen-Extrak
tionsschaltung 21 herausgezogenen Augenlidposition.
Wie in Fig. 27 gezeigt ist, ist ein Fenster von 5 cm
im Quadrat um die Pupille eingestellt für die Suche
des oberen und des unteren Augenlids. Aus dem durch
die Fenstereinstell-Schaltung 22 eingestellten Fen
ster zieht die Merkmalspunkt-Extraktionsschaltung 23
die Augenlider entsprechend der Geschwindigkeit von
Helligkeitsänderungen in der vertikalen Richtung des
Bildes heraus und erhält den maximalen Abstand Yeb
zwischen dem oberen und dem unteren Augenlid. Der Ex
traktionsergebnis-Speicher 30 speichert die Änderun
gen des maximalen Abstands Yeb über die Zeit als eine
Blinzel-Wellenform. Die Schläfrigkeits-Beurteilungs
schaltung 40 erkennt das Muster dieser Blinzel-Wel
lenform, analysiert diese und stellt fest, daß die
Person schläfrig ist, wenn die Frequenz von Auftrit
ten der wachsamkeitsreduzierten Wellenform größer
wird als ein vorbestimmter Wert. Die Analyse von
Blinzel-Wellenformen stützt sich im allgemeinen auf
die Blinzeldauer (te-ts) oder auf das Verhältnis der
Augenlid-Schließgeschwindigkeit zur Augenlid-Öff
nungsgeschwindigkeit (tp-ts)/(te-tp) t1s und t0s sind
generell durch ts und tie und t0e durch te darge
stellt). Das neunte Ausführungsbeispiel verwendet die
Blinzeldauer te-ts; wenn die Dauer einen vorbestimm
ten Wert überschreitet, wird festgestellt, daß die
Person schläfrig ist.
Obgleich das neunte Ausführungsbeispiel te und ts aus
y/2 ermittelt hat, ist dies für die Erfindung nicht
beschränkend. Alternativ können statt dessen die Wer
te bei y/3 verwendet werden.
Während beim neunten Ausführungsbeispiel die Blinzel-
Wellenformen für die Erfassung der Schläfrigkeit ana
lysiert werden, kann alternativ die Blinzel-Frequenz
aus dem Grad der Augenlidöffnung erhalten werden, und
der Grad der Wachsamkeit kann auf der Grundlage der
so erhaltenen Blinzel-Frequenz ermittelt werden. Wie
bei dem vierten Ausführungsbeispiel kann der halbge
schlossene Zustand der Augenlider aus dem Grad der
Augenlidöffnung festgestellt werden und der Grad der
Wachsamkeit kann gemäß dem halbgeschlossenen Zustand
der Augenlider erfaßt werden.
Obgleich beim neunten Ausführungsbeispiel die Augen
lider aus dem Fenster herausgezogen werden, das be
sonders eingestellt wurde, um die Augenlider mit Be
zug auf die Pupillenposition herauszuziehen, ist dies
für die Erfindung nicht beschränkend. Alternativ kann
ein Fenster errichtet werden, aus dem die Iris mit
Bezug auf die Pupillenposition herausgezogen wird. In
dieser Anordnung wird die Iris durch Kantenerfassung
und Hough-Transformation herausgezogen. Wie bei dem
vierten Ausführungsbeispiel wird der Grad der Augen
lidöffnung dann entsprechend der Irisgröße geschätzt,
und der Grad der Wachsamkeit der Person wird anhand
des Grades der so geschätzten Augenlidöffnung ermit
telt.
Fig. 29 ist eine schematische Darstellung einer Vigi
lanz-Erfassungsapparates zur Durchführung des Verfah
rens gemäß dem zehnten Ausführungsbeispiel der Erfin
dung. Während beim siebenten Ausführungsbeispiel der
durchschnittliche Durchmesser der Pupillen gemessen
wurde, um den Grad der Gespanntheit der Person zu er
fassen, werden beim zehnten Ausführungsbeispiel zu
erst die Pupillen herausgezogen, dann die Blickrich
tung ermittelt und der Grad der Gespanntheit der Per
son auf der Grundlage der Zeitfolgenmuster der Blick
richtung erfaßt. Fig. 29 zeigt eine Blickrichtungs-
Berechnungsschaltung 60.
Das zehnte Ausführungsbeispiel arbeitet wie folgt:
bezugnehmend auf Fig. 29 stellt eine Fenstereinstell-
Schaltung 22 den Suchbereich (Fenster) für die Augen
lider ein mit Bezug auf die von der Pupillen-Extrak
tionsschaltung 21 herausgezogene Pupillenposition, so
wie im Fall des neunten Ausführungsbeispiels. Die
Merkmalspunkt-Extraktionsschaltung 23 zieht die Au
genlider innerhalb des durch die Fenstereinstell-
Schaltung 22 eingestellten Fensters heraus. Die
Blickrichtungs-Berechnungsschaltung 60 schätzt die
Blickrichtung auf der Grundlage der Positionsbezie
hung zwischen den Augenlidern und den Pupillen. Die
Fig. 30(a) bis 30(c) zeigen anschaulich, wie die
Blickrichtungen bestimmt werden. Fig. 30(a) ist die
Darstellung eines nach vorn blickenden Auges (d. h.
zur Kamera hin), Fig. 30(b) ist die Darstellung eines
auf der rechten Seite blickende Auges und Fig. 30(c)
stellt die Blickrichtung von oben betrachtet dar.
Wenn der Mittelpunkt 0 zwischen dem oberen und dem
unteren Lid (d. h. die Position entsprechend der Mitte
der Pupille, wenn die Person nach vorn blickt) und
die sichtbare Pupillenmitte P bekannt sind, wird die
Blickrichtung gemäß der Positionsbeziehung zwischen 0
und P erhalten. Das heißt, der
X-Achsen-Abstand von OP = d . sin(α), und der
Y-Achsen-Abstand von OP = d . sin(β),
worin bedeuten:
d: Radius des Augapfels (1,22 cm, der japani sche Durchschnitt, für das zehnte Ausfüh rungsbeispiel)
α: Blickwinkel in X-Achsen-Richtung
β: Blickwinkel in Y-Achsen-Richtung.
d: Radius des Augapfels (1,22 cm, der japani sche Durchschnitt, für das zehnte Ausfüh rungsbeispiel)
α: Blickwinkel in X-Achsen-Richtung
β: Blickwinkel in Y-Achsen-Richtung.
Der Extraktionsergebnis-Speicher 30 speichert Zeit
folgenmuster der Blickrichtungen α und β, die von der
Blickrichtungs-Berechnungsschaltung 60 ermittelt wur
den (Fig. 31(a) zeigt ein typisches Zeitfolgenmuster
der Blickrichtung α). Wenn die Person träge wird,
nimmt die Bewegung der Blickrichtungen in der Aus
breitung ab (wie in Fig. 31(b) gezeigt ist). Somit
ermittelt die Gespanntheits-Beurteilungsschaltung 42
die Ausbreitung der Blickrichtungsbewegung (Fig.
31(b) zeichnet die Ausbreitung der Blickrichtungsbe
wegung in Fig. 31(a) auf) durch Verwendung der Glei
chung:
Wenn die Ausbreitung der Bewegung in der Blickrich
tung α innerhalb einer vorbestimmten Zeitspanne (2
Minuten) geringer wird als ein vorbestimmter Pegel,
stellt die Gespanntheits-Beurteilungsschaltung 42
fest, daß sich die Person in einem trägen oder ermü
deten Zustand befindet.
Fig. 32 ist eine schematische Ansicht eines Vigilanz-
Erfassungsapparates zur Durchführung des Verfahrens
gemäß dem elften Ausführungsbeispiel der Erfindung.
Bei einigen der vorhergehenden Ausführungsbeispiele
wurde der Körperzustand der Person erfaßt und bei ei
nigen der Summer beim Erfassen dieses Zustands betä
tigt. Im Gegensatz hierzu wird beim elften Ausfüh
rungsbeispiel die Erfassung des Körperzustands der
Person beibehalten, selbst nachdem der Summer betä
tigt wurde, um die Genauigkeit der Körperzustandser
fassung zu erhöhen. Fig. 32 zeigt eine sichtbare LED-
Vorrichtung 91 (Reizerzeugungsmittel) und einen Sum
mer 92.
Das elfte Ausführungsbeispiel arbeitet wie folgt:
bezugnehmend auf Fig. 32 arbeiten die Pupillen-Ex
traktionsschaltung 21 und der Extraktionsergebnis-
Speicher 30 in derselben Weise wie diejenigen beim
zweiten Ausführungsbeispiel, wobei Zeitfolgendaten
über die Pupillenpositionen im Speicher 30 aufgenom
men werden. Die Schläfrigkeits-Beurteilungsschaltung
40 stellt die Schläfrigkeit der Person fest entspre
chend der Dauer des "Absenk"-Zustands der Person, der
von den im Extraktionsergebnis-Speicher 30 gehaltenen
Zeitfolgendaten über die Pupillenpositionen abgelei
tet wird. Wenn vorläufig festgestellt wird, daß die
Person 1 schläfrig ist, wird die sichtbare LED-Vor
richtung 91 aktiviert, um die Person zu beleuchten.
Der Zustand der Person vor der Aktivierung der sicht
baren LED-Vorrichtung 91 wird mit dem Zustand der
Person danach verglichen. Wenn der Zustand der Person
nach der Aktivierung der sichtbaren LED-Vorrichtung
91 derselbe wie vorher bleibt, stellt die Schläfrig
keits-Beurteilungsschaltung 40 fest, daß die Person
tatsächlich schläfrig ist und betätigt den Summer 92.
Die genaue Arbeitsweise nach dem elften Ausführungs
beispiel ist in dem Flußdiagramm nach Fig. 33 darge
stellt. In Fig. 33 sind die Schritte 10 bis 18 die
selben wie in Fig. 10 für das zweite Ausführungsbei
spiel. Im Schritt 20 wird vorläufig festgestellt, daß
die Person schläfrig ist (primäres Ergebnis der Beur
teilung). Im Schritt 21 wird die tatsächliche Pupil
lenposition an diesem Punkt gespeichert. Im Schritt
22 wird die sichtbare LED-Vorrichtung 91 eingeschal
tet. Im Schritt 23 wird ein anderes Gesichtsbild ein
gegeben. Im Schritt 24 wird die Pupillenposition in
derselben Weise wie im Schritt 11 herausgezogen. Im
Schritt 25 wird geprüft, ob die im Schritt 24 heraus
gezogene Pupillenposition (d. h. Pupillenhöhe) sich
von der im Schritt 21 gespeicherten Pupillenposition
unterscheidet. Wenn die beiden Positionen unter
schiedlich sind, ist Schritt 26 erreicht, in welchem
die vorläufige Feststellung der Schläfrigkeit ge
löscht wird. Im Schritt 27 wird die sichtbare LED-
Vorrichtung 91 ausgeschaltet. Wenn die Pupillenposi
tion unverändert bleibt, ist Schritt 28 erreicht. Im
Schritt 28 wird vorläufig festgestellt, daß die Per
son schläfrig ist und es wird geprüft, ob drei Sekun
den vergangen sind. Wenn drei Sekunden im Schritt 28
noch nicht vergangen sind, ist Schritt 23 wieder er
reicht, in welchem ein anderes Gesichtsbild aufgenom
men wird. Wenn im Schritt 28 drei Sekunden vergangen
sind, wird festgestellt, daß der "Absenk"-Zustand
nach dem Alarm unverändert bleibt. Somit wird festge
stellt, daß die Person tatsächlich schläfrig ist (se
kundäres Ergebnis der Beurteilung), und der Summer 92
wird aktiviert.
Das elfte Ausführungsbeispiel ist tatsächlich eine
Variante des zweiten Ausführungsbeispiels, welches
ergänzt ist durch die Fähigkeit, den Zustand der Per
son vor der Ausübung eines Reizes und den Zustand da
nach zu vergleichen. Alternativ kann irgendeines der
anderen vorhergehenden Ausführungsbeispiele so ausge
bildet sein, daß es einen Reiz auf die Person in Ab
hängigkeit von deren Zustand ausübt. Der Vergleich
des Zustands der Person vor und nach der Ausübung des
Reizes gibt eine Anzeige über den gegenwärtigen Kör
perzustand der Person.
Beim elften Ausführungsbeispiel kann die sichtbare
LED-Vorrichtung 91 durch einen weichklingenden Summer
oder irgendeine andere Vorrichtung ersetzt werden,
die einen Reiz auf irgendeinen der fünf Sinne der
Person ausübt. Wenn das Ausführungsbeispiel für eine
Bedienungsperson an der Konsole einer Fabrik angewen
det wird, kann eine Sprachnachricht wie "Bitte diese
Knopf drücken" als Reiz ausgeübt werden.
Fig. 34 ist eine schematische Darstellung eines Vigi
lanz-Erfassungsapparates zur Durchführung des Verfah
rens gemäß dem zwölften Ausführungsbeispiel der Er
findung. Bei den vorhergehenden Ausführungsbeispielen
wurde die Position und/oder die Form der Merkmals
punkte der Person wie der Augenlider unter der Annah
me, daß der Abstand zu der Person konstant bleibt,
erfaßt. Jedoch erscheinen in Fällen wie dem in Fig.
35, in welchem der Abstand L zwischen der Kamera und
der Person verlängert ist, die Pupillen und Augenli
der spürbar klein in sichtbarer Größe.
Wenn L0 den Bezugsabstand zwischen der Person 1 und
der Kamera 3 bezeichnet, dann wird die sichtbare Grö
ße beispielsweise der Augenlider Yeb dargestellt
durch Yeb . L0/L, worin Yeb die Größe des Augenlids gese
hen aus dem Bezugsabstand bedeutet.
Das zwölfte Ausführungsbeispiel hat die Fähigkeit,
Änderungen der sichtbaren Pupillenform oder Merkmals
größen zu korrigieren, wenn der Abstand zwischen der
Person 1 und der Kamera 3 sich ändert. Dieses Ausfüh
rungsbeispiel ist tatsächlich eine Variante des neun
ten Ausführungsbeispiels, welche durch die Korrektur
mittel ergänzt ist. In Fig. 34 ist eine Abstandsmeß
schaltung 70 auf der Grundlage eines Ultraschallsen
sors nahe der CCD-Kamera 3 angeordnet.
Das zwölfte Ausführungsbeispiel arbeitet wie folgt:
die Abstandsmeßschaltung 70 emittiert Ultraschallim
pulse zur Person 1. Die Abstandsmeßschaltung 70 er
mittelt den Abstand L durch Berechnung der Zeit, die
von der Ultraschallwelle benötigt wird, um die Person
1 zu treffen, durch diese reflektiert zu werden und
zu ihrem Ursprung zurückzukehren. Die für die Berech
nung des Abstands L verwendete Gleichung lautet:
L = v . t/2,
worin v die Geschwindigkeit der Ausbreitung der Ul
traschallwelle und t die von der emittierten Welle
benötigte Zeit bis zur Rückkehr zu ihrem Ursprung be
deuten. Wenn der Abstand L zwischen der Person 1 und
der Kamera 3 gemessen ist, wird der durch das neunte
Ausführungsbeispiel ermittelte Abstand Yeb gemäß dem
gemessenen Abstand L unter Verwendung der Gleichung
korrigiert:
Yeb = Yeb . L/L0.
Dies ergibt die Blinzel-Wellenform. Der Rest der
Schritte für die Schläfrigkeits-Erfassung ist dersel
be wie beim neunten Ausführungsbeispiel.
Während das zwölfte Ausführungsbeispiel eine Variante
des neunten Ausführungsbeispiels ist, welches durch
die Abstandskorrekturmittel ergänzt ist, kann jedes
der anderen vorhergehenden Ausführungsbeispiele mit
einer ähnlichen Möglichkeit ausgerüstet sein. Das
heißt, der Abstand zwischen einer vorbestimmten Posi
tion und dem Gesicht der Person kann gemessen werden.
Dann können die Pupillenform oder die Merkmalsgrößen
korrigiert werden entsprechend dem gemessenen Ab
stand, wodurch die Genauigkeit der Schläfrigkeits-
Erfassung vergrößert wird.
Obgleich beim zwölften Ausführungsbeispiel der Ultra
schallsensor als Abstandsmeßvorrichtung verwendet
wurde, ist die Erfindung nicht hierauf beschränkt.
Alternativ kann der Abstand zur Person von dem Brenn
punkt der Kameralinse gemessen werden. Eine andere
Alternative besteht darin, daß die Person einen mag
netischen Positionssensor auf dem Kopf trägt. Ein
weitere Alternative besteht darin, mehrere koaxiale
Beleuchtungsvorrichtungen vorzusehen, die den Abstand
zu einem Merkmalspunkt auf dem Gesicht der Person
durch Triangulation ermitteln.
Fig. 36 ist eine schematische Darstellung eines Vigi
lanz-Erfassungsapparates zur Durchführung des Verfah
rens gemäß dem dreizehnten Ausführungsbeispiel der
Erfindung. Bei den vorhergehenden Ausführungsbeispie
len wurde die Pupillenform unter der Annahme erfaßt,
daß die Intensität der Beleuchtung um die Person kon
stant ist. Jedoch werden, wie in Fig. 37 gezeigt ist,
die Pupillen kleiner, je höher die Intensität der Be
leuchtung ist. Hieraus folgt, daß Fehler bei der Er
fassung der Pupillenform auftreten können, wenn die
Intensität der Beleuchtung variiert. Diese Schwierig
keit wird umgangen durch das dreizehnte Ausführungs
beispiel, das die Fähigkeit hat, Änderungen in der
erfaßten Pupillenform zu korrigieren, wenn die Inten
sität der Beleuchtung um die Person variiert. Dieses
Ausführungsbeispiel ist tatsächlich eine Variante des
sechsten Ausführungsbeispiels, welches durch die Kor
rekturmittel ergänzt ist. In Fig. 36 ist ein Beleuch
tungssensor 80 nahe der Person angeordnet.
Das dreizehnte Ausführungsbeispiel arbeitet wie
folgt: der Beleuchtungssensor 80 mißt die Intensität
der Beleuchtung um die Person 1. Bei gegebenem Sen
sorausgangssignal korrigiert die Pupillen-Extrak
tionsschaltung 21 den herausgezogenen Pupillendurch
messer, indem dieser mit einem Koeffizienten multi
pliziert wird, der im Einklang steht mit der vorher
ermittelten Beleuchtungsintensität. Diese Anordnung
macht es möglich, die Wellenform von Pupillenschwan
kungen zu analysieren ungeachtet der sich ändernden
Beleuchtungsintensität.
Alternativ kann in dem Moment, in dem die Beleuch
tungsintensität sich geändert hat, das Ergebnis der
Analyse bezüglich der gegenwärtigen Pupillen-
Wellenform gelöscht werden und eine neue Pupillen-
Wellenform kann aufgenommen werden für eine erneute
Analyse.
Fig. 38 ist eine schematische Darstellung eines Vigi
lanz-Erfassungsapparates zur Durchführung des Verfah
rens gemäß dem vierzehnten Ausführungsbeispiel der
Erfindung. Beim neunten Ausführungsbeispiel wurde die
Wachsamkeit der Person entsprechend dem Abstand zwi
schen dem oberen und unteren Augenlid der Person be
urteilt. Diese Anordnung arbeitet gut, solange wie
die Person das Gesicht nicht vertikal neigt. Wenn das
Gesicht geneigt wird, wird der sichtbare Abstand zwi
schen dem oberen und dem unteren Augenlid kürzer. Das
vierzehnte Ausführungsbeispiel hat die Möglichkeit,
die Änderungen der Pupillenform oder der Merkmalsgrö
ßen zu korrigieren, welche dadurch herrühren, daß die
Person ihr Gesicht vertikal neigt. Dieses Ausfüh
rungsbeispiel ist tatsächlich eine Variante des neun
ten Ausführungsbeispiels, welches durch die Korrek
turmittel ergänzt ist. Fig. 38 zeigt eine Orientie
rungsschätzungs-Korrekturschaltung 25 für das heraus
gezogene Gesicht.
Das vierzehnte Ausführungsbeispiel arbeitet wie
folgt: der vertikale Winkel des Gesichts der Person
wird in derselben Weise wie beim dritten Ausführungs
beispiel erhalten. Das heißt, die von der Pupillen-
Extraktionsschaltung 21 ermittelte Pupillenposition
und die von der Merkmalspunkt-Extraktionsschaltung 23
erhaltene Position der Nasenlöcher werden in die Ori
entierungsschätzungs-Korrekturschaltung 25 für das
herausgezogene Gesicht eingegeben. Die Korrektur
schaltung 25 ermittelt zuerst zwei Abstände: den tat
sächlichen Abstand S0 zwischen der Pupillenmitte und
der Nasenlochmitte, wenn die Person nach vorn schaut,
und den sichtbaren Abstand S zwischen der Pupillen
mitte und der Nasenlochmitte. Unter Verwendung der
Abstände S0 und S erhält die Korrekturschaltung 25
den vertikalen Winkel θ. Die verwendet Gleichung ist:
S = S0 - COS(θ).
Unterdessen zieht die Merkmalspunkt-Extraktionsschal
tung 23 die Augenlider in derselben Weise wie beim
neunten Ausführungsbeispiel heraus. Wenn der maximale
Abstand Yeb zwischen dem oberen und unteren Augenlid
erhalten ist, wird der Abstand in die Orientierungs
schätzungs-Korrekturschaltung 25 für das herausgezo
gene Gesicht eingegeben. Die Korrekturschaltung 25
ihrerseits korrigiert den Abstand zwischen dem oberen
und unteren Augenlid auf der Grundlage des Winkels θ
und des Abstandes Yeb, die wie vorstehend ermittelt
wurden. Die verwendete Gleichung lautet:
Yh =0 Yeb/COS(θ),
worin Yeb den Abstand zwischen dem oberen und dem un
teren Augenlid, die aus dem Gesichtsbild herausgezo
gen wurden, Yh der korrigierte Abstand zwischen dem
oberen und dem unteren Augenlid und θ den vertikalen
Drehwinkel des Gesichts der Person (der Winkel ist 0,
wenn die Person nach vorn blickt) darstellen. Der Ex
traktionsergebnis-Speicher 30 speichert die Änderun
gen des korrigierten Abstandes Yh über die Zeit als
eine Blinzel-Wellenform. Die Schläfrigkeits-Beurtei
lungsschaltung 40 erkennt das Muster dieser Blinzel-
Wellenform, analysiert es und stellt fest, daß die
Person schläfrig ist, wenn die Frequenz des Auftre
tens der wachsamkeitsreduzierten Wellenform höher
wird als ein vorbestimmter Wert.
Während das vierzehnte Ausführungsbeispiel eine Vari
ante des neunten Ausführungsbeispiels ergänzt durch
die Fähigkeit, Korrekturen entsprechend dem vertika
len Gesichtswinkel durchzuführen, ist, kann jedes der
anderen Ausführungsbeispiele mit einer ähnlichen Fä
higkeit ausgerüstet sein. Das heißt, der vertikale
oder horizontale Winkel des Gesichts der Person kann
gemessen werden und die Pupillenform oder die Merk
malsgrößen können korrigiert werden unter Berücksich
tigung des so gemessenen Winkels, wodurch die Genau
igkeit der Schläfrigkeits-Erfassung verbessert wird.
Claims (10)
1. Verfahren zum Erfassen einer Vigilanz einer Per
son auf der Grundlage von Augenparametern, bei
dem das Gesicht der Person beleuchtet wird und
das von dem Gesicht reflektierte Licht in ent
sprechende elektrische Signale umgewandelt wird,
wobei die Richtungen des das Gesicht beleuchten
den Lichts und des vom Gesicht reflektierten
Lichts zumindest annähernd zusammenfallen, und
bei dem weiterhin die die Augenparameter betref
fenden Signale aus den erzeugten elektrischen
Signalen herausgezogen werden,
dadurch gekennzeichnet,
daß die eine Pupillenposition und/oder Pupillen
form betreffenden Signale auf der Grundlage der
Leuchtdichteverteilung auf dem beleuchteten Ge
sicht der Person derart herausgezogen werden,
daß Bereiche auf dem Gesicht, die durch relativ
hohe Leuchtdichte gekennzeichnet sind, durch Si
gnale mit einem ersten vorbestimmten Pegel dar
gestellt werden, und Bereiche, die durch eine
relativ geringe Leuchtdichte gekennzeichnet
sind, durch Signale mit einem zweiten vorbe
stimmten Pegel dargestellt werden, und daß die
Vigilanz mittels eines vorbestimmten Parameters
bestimmt wird, die aus den die Pupillenposition
und/oder die Pupillenform betreffenden Signalen
abgeleitet ist.
2. Verfahren nach Anspruch 1, dadurch gekennzeich
net, daß der vorbestimmte Parameter eine zeitli
che Änderung der Pupillenposition ist.
3. Verfahren nach Anspruch 1, dadurch gekennzeich
net, daß der vorbestimmte Parameter der Grad der
Augenlidöffnung ist.
4. Verfahren nach Anspruch 1, dadurch gekennzeich
net, daß der vorbestimmte Parameter die Blinzel
frequenz ist.
5. Verfahren nach Anspruch 1, dadurch gekennzeich
net, daß der vorbestimmte Parameter die Ausdeh
nung und Zusammenziehung der Pupillen ist.
6. Verfahren nach einem der Ansprüche 1 bis 5, da
durch gekennzeichnet, daß auf der Grundlage der
herausgezogenen Signale ein weitere Merkmale in
dem Gesicht der Person enthaltender Bereich be
stimmt wird und aus den erzeugten elektrischen
Signalen die die Position und/oder die Form der
Merkmale betreffende Signale herausgezogen wer
den für die Bestimmung der Vigilanz.
7. Verfahren nach einem der Ansprüche 1 bis 6, da
durch gekennzeichnet, daß ein Reiz auf die Per
son ausgeübt wird in Abhängigkeit von der be
stimmten Vigilanz, und daß die Vigilanz in Ab
hängigkeit von dem Pupillenparameter oder dem
Zustand der Merkmale vor und nach der Ausübung
des Reizes bestimmt wird.
8. Verfahren nach einem der Ansprüche 1 bis 7, da
durch gekennzeichnet, daß der Abstand zwischen
dem Gesicht der Person und einer Vorrichtung zum
Umwandeln des reflektierten Lichts in elektri
sche Signale gemessen und die Pupillenform oder
die Größe der weiteren Merkmale entsprechend dem
gemessenen Abstand korrigiert wird.
9. Verfahren nach einem der Ansprüche 1 bis 8, da
durch gekennzeichnet, daß die Intensität des das
Gesicht beleuchtenden Lichts gemessen und die
Bildung der Signale in Abhängigkeit von der ge
messenen Intensität korrigiert wird.
10. Verfahren nach einem der Ansprüche 1 bis 9, da
durch gekennzeichnet, daß die Neigung des Ge
sichts der Person gemessen und die Pupillenform
oder die Größe der weiteren Merkmale in Abhän
gigkeit von der Gesichtsneigung korrigiert wird.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03988794A JP3293308B2 (ja) | 1994-03-10 | 1994-03-10 | 人物状態検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE19509689A1 DE19509689A1 (de) | 1995-09-14 |
DE19509689C2 true DE19509689C2 (de) | 2000-01-05 |
Family
ID=12565493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE19509689A Expired - Fee Related DE19509689C2 (de) | 1994-03-10 | 1995-03-07 | Verfahren zum Erfassen einer Vigilanz einer Person |
Country Status (3)
Country | Link |
---|---|
US (2) | US5573006A (de) |
JP (1) | JP3293308B2 (de) |
DE (1) | DE19509689C2 (de) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10024227B4 (de) * | 2000-05-17 | 2011-02-17 | Volkswagen Ag | Verfahren und Einrichtung zur elektronischen Überwachung des Aufmerksamkeitsgrades |
CZ303526B6 (cs) * | 2007-06-22 | 2012-11-14 | Kyjovský@Štepán | Zarízení pro detekci ztráty bdelosti ridice |
Families Citing this family (142)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1993024325A2 (en) * | 1992-05-27 | 1993-12-09 | Plastisign Limited | Method of cold laminating rigid plastics and stationery and apparatus therefor |
JP3452685B2 (ja) * | 1995-05-10 | 2003-09-29 | 三菱電機株式会社 | 顔画像の処理装置 |
JP3272906B2 (ja) * | 1995-05-29 | 2002-04-08 | シャープ株式会社 | 視線方向検出方法及び装置及びそれを含むマンマシンインターフェース装置 |
JP3316725B2 (ja) * | 1995-07-06 | 2002-08-19 | 三菱電機株式会社 | 顔画像撮像装置 |
JP3350296B2 (ja) * | 1995-07-28 | 2002-11-25 | 三菱電機株式会社 | 顔画像処理装置 |
JP3426060B2 (ja) * | 1995-07-28 | 2003-07-14 | 三菱電機株式会社 | 顔画像処理装置 |
JPH10192333A (ja) * | 1996-12-27 | 1998-07-28 | Nidek Co Ltd | 眼科手術装置 |
JP3455627B2 (ja) * | 1996-03-22 | 2003-10-14 | 日産ディーゼル工業株式会社 | 車両における覚醒度低下検出装置 |
JP3183161B2 (ja) * | 1996-04-12 | 2001-07-03 | 三菱自動車工業株式会社 | 覚醒度推定装置 |
USRE39539E1 (en) | 1996-08-19 | 2007-04-03 | Torch William C | System and method for monitoring eye movement |
DE19643593A1 (de) * | 1996-10-22 | 1998-04-23 | Privatinstitut Fuer Informatik | Vorrichtung und Verfahren zum frühzeitigen Erkennen und Verhindern unzulässiger Konzentrationsschwächen und des Einschlafens beim Autofahren und bei anderen Tätigkeiten, die hohe Konzentration erfordern |
JP3828626B2 (ja) * | 1996-12-27 | 2006-10-04 | 株式会社ニデック | 眼科手術装置 |
JP3815842B2 (ja) * | 1997-03-31 | 2006-08-30 | 日産ディーゼル工業株式会社 | 居眠り警報装置 |
DE19719695A1 (de) * | 1997-05-09 | 1998-11-19 | Univ Eberhard Karls | Verfahren und Vorrichtung zum Messen der Aufmerksamkeit von Lebewesen innerhalb einer Menge von Lebewesen |
DE19731301C2 (de) * | 1997-07-13 | 2001-05-10 | Smi Senso Motoric Instr Gmbh | Vorrichtung zum Steuern eines Mikroskopes mittels Blickrichtungsanalyse |
JPH1147094A (ja) * | 1997-08-05 | 1999-02-23 | Canon Inc | 検眼装置 |
JP3556439B2 (ja) * | 1997-08-12 | 2004-08-18 | 三菱電機株式会社 | 顔画像処理装置 |
EP0910986A1 (de) * | 1997-10-24 | 1999-04-28 | BRITISH TELECOMMUNICATIONS public limited company | Bilderzeugungsapparat |
JP3477057B2 (ja) * | 1997-12-05 | 2003-12-10 | 日本電信電話株式会社 | ドライバー状況依存コミュニケーション装置及びその方法 |
DE19803158C1 (de) * | 1998-01-28 | 1999-05-06 | Daimler Chrysler Ag | Vorrichtung zur Vigilanzzustandsbestimmung |
US6091334A (en) * | 1998-09-04 | 2000-07-18 | Massachusetts Institute Of Technology | Drowsiness/alertness monitor |
FR2784887B1 (fr) | 1998-10-22 | 2001-01-19 | Renault | Systeme pour surveiller des yeux afin de detecter et de prevenir des baisses de vigilance d'un conducteur de vehicule |
JP2000132693A (ja) * | 1998-10-27 | 2000-05-12 | Sony Corp | 画像処理装置および方法、並びに提供媒体 |
DE19856129A1 (de) * | 1998-12-04 | 2000-06-08 | Volkswagen Ag | Verfahren zur Ansteuerung von Sicherheitseinrichtungen in einem Kraftfahrzeug |
US6483484B1 (en) * | 1998-12-18 | 2002-11-19 | Semiconductor Energy Laboratory Co., Ltd. | Goggle type display system |
JP3839982B2 (ja) * | 1999-01-29 | 2006-11-01 | 松下電器産業株式会社 | 人体検知装置及び人体検知方法 |
JP3600755B2 (ja) * | 1999-05-13 | 2004-12-15 | 三菱電機株式会社 | 顔画像処理装置 |
FR2821459B1 (fr) * | 2001-02-23 | 2004-11-12 | Holding Bev Sa | Procede et dispositif de reperage d'un objet par sa forme, sa dimension et/ou son orientation |
JP2001242417A (ja) * | 2000-02-28 | 2001-09-07 | Mixed Reality Systems Laboratory Inc | 瞳孔位置検出装置及びそれを用いた画像表示装置 |
US6831998B1 (en) * | 2000-06-22 | 2004-12-14 | Hitachi, Ltd. | Inspection system for circuit patterns and a method thereof |
US6711279B1 (en) * | 2000-11-17 | 2004-03-23 | Honeywell International Inc. | Object detection |
US7200246B2 (en) * | 2000-11-17 | 2007-04-03 | Honeywell International Inc. | Object detection |
WO2002050792A1 (en) * | 2000-12-21 | 2002-06-27 | Todor Stankovic | The procedure and device intended for the man-machine system security preservation under a man's drowsiness conditions |
WO2002056251A1 (fr) * | 2000-12-27 | 2002-07-18 | Mitsubishi Denki Kabushiki Kaisha | Dispositif de traitement d'images et ascenseur sur lequel il est monte |
JP4476546B2 (ja) * | 2000-12-27 | 2010-06-09 | 三菱電機株式会社 | 画像処理装置及びそれを搭載したエレベータ |
US6841780B2 (en) | 2001-01-19 | 2005-01-11 | Honeywell International Inc. | Method and apparatus for detecting objects |
US7176440B2 (en) * | 2001-01-19 | 2007-02-13 | Honeywell International Inc. | Method and apparatus for detecting objects using structured light patterns |
DE10108797A1 (de) * | 2001-02-21 | 2002-09-05 | Zeiss Carl Jena Gmbh | Verfahren zur Ermittlung von Abständen am vorderen Augenabschnitt |
US20020180608A1 (en) | 2001-05-04 | 2002-12-05 | Sphericon Ltd. | Driver alertness monitoring system |
US6927694B1 (en) | 2001-08-20 | 2005-08-09 | Research Foundation Of The University Of Central Florida | Algorithm for monitoring head/eye motion for driver alertness with one camera |
US7409373B2 (en) * | 2001-12-28 | 2008-08-05 | Concepta Ab | Pattern analysis system and method |
US20030163827A1 (en) * | 2002-02-28 | 2003-08-28 | Purpura William J. | High risk personnel real time monitoring support apparatus |
JP3797253B2 (ja) * | 2002-03-14 | 2006-07-12 | 日産自動車株式会社 | 視線方向検出装置 |
US20040037450A1 (en) * | 2002-08-22 | 2004-02-26 | Bradski Gary R. | Method, apparatus and system for using computer vision to identify facial characteristics |
NL1021496C2 (nl) * | 2002-09-19 | 2004-03-22 | Joannes Hermanus Heiligers | Signaleringsinrichting en werkwijze voor het monitoren van alertheid van personen. |
GB0230223D0 (en) * | 2002-12-24 | 2003-02-05 | Newcastle Upon Tyne Hospitals | A pupilometer |
JP4391091B2 (ja) * | 2003-01-17 | 2009-12-24 | ソニー株式会社 | 情報伝送方法、情報伝送装置、情報記録方法、情報記録装置、情報再生方法、情報再生装置および記録媒体 |
US7138922B2 (en) * | 2003-03-18 | 2006-11-21 | Ford Global Technologies, Llc | Drowsy driver monitoring and prevention system |
JP4054713B2 (ja) * | 2003-04-25 | 2008-03-05 | 忠彦 福田 | 戸惑い検出方法及び戸惑い検出プログラム |
JP4123077B2 (ja) * | 2003-06-27 | 2008-07-23 | 日産自動車株式会社 | 運転者状態検出装置 |
JP2005013626A (ja) * | 2003-06-27 | 2005-01-20 | Nissan Motor Co Ltd | 覚醒状態検出装置 |
KR100682889B1 (ko) * | 2003-08-29 | 2007-02-15 | 삼성전자주식회사 | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 |
JP4118773B2 (ja) * | 2003-09-11 | 2008-07-16 | 日産ディーゼル工業株式会社 | 視線方向検出装置及び視線方向検出方法 |
JP4173083B2 (ja) * | 2003-09-12 | 2008-10-29 | 日産ディーゼル工業株式会社 | 覚醒状態判定装置及び覚醒状態判定方法 |
US7049947B2 (en) * | 2003-09-29 | 2006-05-23 | Nattel Group, Inc. | System and method for monitoring the operational condition of a motor vehicle |
DE102004022581B4 (de) * | 2003-10-06 | 2017-08-03 | Volkswagen Ag | Fahrerassistenzsystem |
JP4225182B2 (ja) * | 2003-11-04 | 2009-02-18 | 株式会社デンソー | 居眠り運転予防装置 |
DE10360176A1 (de) * | 2003-12-20 | 2005-07-21 | Volkswagen Ag | Kraftfahrzeug mit einem Sensor zur Fahrerüberwachung |
JP4317465B2 (ja) | 2004-02-13 | 2009-08-19 | 本田技研工業株式会社 | 顔識別装置、顔識別方法及び顔識別プログラム |
US7331671B2 (en) * | 2004-03-29 | 2008-02-19 | Delphi Technologies, Inc. | Eye tracking method based on correlation and detected eye movement |
US20110077548A1 (en) * | 2004-04-01 | 2011-03-31 | Torch William C | Biosensors, communicators, and controllers monitoring eye movement and methods for using them |
US10039445B1 (en) | 2004-04-01 | 2018-08-07 | Google Llc | Biosensors, communicators, and controllers monitoring eye movement and methods for using them |
EP1755441B1 (de) * | 2004-04-01 | 2015-11-04 | Eyefluence, Inc. | Biosensoren, kommunikatoren und steuerungen zur überwachung der augenbewegung und verfahren zu deren verwendung |
JP4088282B2 (ja) * | 2004-08-20 | 2008-05-21 | 清実 中村 | コンピュータ入力方法と装置 |
US7435227B2 (en) * | 2004-09-13 | 2008-10-14 | Biocognisafe (Bcs) Technologies | Method and apparatus for generating an indication of a level of vigilance of an individual |
US8456534B2 (en) * | 2004-10-25 | 2013-06-04 | I-Interactive Llc | Multi-directional remote control system and method |
US8842186B2 (en) | 2004-10-25 | 2014-09-23 | I-Interactive Llc | Control system and method employing identification of a displayed image |
US8760522B2 (en) | 2005-10-21 | 2014-06-24 | I-Interactive Llc | Multi-directional remote control system and method |
CN101132729A (zh) * | 2005-03-04 | 2008-02-27 | 睡眠诊断学公司 | 警觉性的测量 |
US7301465B2 (en) * | 2005-03-24 | 2007-11-27 | Tengshe Vishwas V | Drowsy driving alarm system |
DE102005026479B4 (de) * | 2005-06-09 | 2017-04-20 | Daimler Ag | Verfahren zur Unaufmerksamkeitserkennung in Abhängigkeit von mindestens einem fahrerindividuellen Parameter |
US20060279745A1 (en) * | 2005-06-13 | 2006-12-14 | Wenstrand John S | Color imaging system for locating retroreflectors |
JP4704174B2 (ja) * | 2005-09-30 | 2011-06-15 | 富士フイルム株式会社 | 状態識別装置、プログラムおよび方法 |
JP4621983B2 (ja) * | 2005-10-07 | 2011-02-02 | 株式会社デンソー | 自動車用ユーザーもてなしシステム |
JP4497081B2 (ja) * | 2005-10-31 | 2010-07-07 | トヨタ自動車株式会社 | 人の状態検出装置 |
US7650034B2 (en) * | 2005-12-14 | 2010-01-19 | Delphi Technologies, Inc. | Method of locating a human eye in a video image |
US20070146482A1 (en) * | 2005-12-23 | 2007-06-28 | Branislav Kiscanin | Method of depth estimation from a single camera |
US7423540B2 (en) | 2005-12-23 | 2008-09-09 | Delphi Technologies, Inc. | Method of detecting vehicle-operator state |
JP4509042B2 (ja) * | 2006-02-13 | 2010-07-21 | 株式会社デンソー | 自動車用もてなし情報提供システム |
WO2007095368A2 (en) * | 2006-02-14 | 2007-08-23 | Wms Gaming Inc. | Reorganizing a wagering game machine's nvram |
US7400235B2 (en) * | 2006-02-28 | 2008-07-15 | Nissan Technical Center North America, Inc. | Lane departure warning mirror |
JP4452833B2 (ja) * | 2006-03-31 | 2010-04-21 | 国立大学法人静岡大学 | 視線移動検出方法及び視線移動検出装置 |
JP4864541B2 (ja) * | 2006-05-23 | 2012-02-01 | 旭化成株式会社 | まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置 |
US7620216B2 (en) * | 2006-06-14 | 2009-11-17 | Delphi Technologies, Inc. | Method of tracking a human eye in a video image |
US8013838B2 (en) | 2006-06-30 | 2011-09-06 | Microsoft Corporation | Generating position information using a video camera |
US8102417B2 (en) * | 2006-10-25 | 2012-01-24 | Delphi Technologies, Inc. | Eye closure recognition system and method |
JP4137969B2 (ja) * | 2006-12-04 | 2008-08-20 | アイシン精機株式会社 | 眼部検出装置、眼部検出方法及びプログラム |
JP4240118B2 (ja) * | 2006-12-12 | 2009-03-18 | トヨタ自動車株式会社 | 運転支援装置 |
JP4840146B2 (ja) * | 2007-01-09 | 2011-12-21 | 株式会社デンソー | 眠気検知装置 |
JP4895847B2 (ja) * | 2007-02-08 | 2012-03-14 | アイシン精機株式会社 | 瞼検出装置及びプログラム |
US8045766B2 (en) * | 2007-02-16 | 2011-10-25 | Denso Corporation | Device, program, and method for determining sleepiness |
DE102008007152B4 (de) * | 2007-03-30 | 2019-01-17 | Volkswagen Ag | Verfahren zur Parametrisierung des Augenöffnungsgrades eines Fahrers eines Kraftfahrzeugs |
JP4899059B2 (ja) * | 2007-03-30 | 2012-03-21 | 国立大学法人静岡大学 | 眠気検知装置 |
US8237656B2 (en) * | 2007-07-06 | 2012-08-07 | Microsoft Corporation | Multi-axis motion-based remote control |
JP4582137B2 (ja) * | 2007-10-11 | 2010-11-17 | 株式会社デンソー | 眠気度判定装置 |
JP2009116742A (ja) * | 2007-11-08 | 2009-05-28 | Aisin Seiki Co Ltd | 車載用画像処理装置、画像処理方法、および、プログラム |
JP2009223752A (ja) * | 2008-03-18 | 2009-10-01 | Hyundai Motor Co Ltd | 居眠り運転危険判定装置 |
JP5262243B2 (ja) * | 2008-03-31 | 2013-08-14 | アイシン精機株式会社 | 眼開閉判別装置、及びプログラム |
US8570176B2 (en) * | 2008-05-28 | 2013-10-29 | 7352867 Canada Inc. | Method and device for the detection of microsleep events |
US20100073584A1 (en) | 2008-09-22 | 2010-03-25 | Harbach Andrew P | Apparatus for illuminating a vehicle occupant with infrared light |
JP4957711B2 (ja) * | 2008-12-02 | 2012-06-20 | オムロン株式会社 | 検出装置および方法、並びに、プログラム |
JP4915413B2 (ja) * | 2008-12-03 | 2012-04-11 | オムロン株式会社 | 検出装置および方法、並びに、プログラム |
JP5362405B2 (ja) * | 2009-03-25 | 2013-12-11 | 安川情報システム株式会社 | 瞳孔計測装置、瞳孔計測方法ならびに瞳孔計測プログラム |
WO2010132568A1 (en) * | 2009-05-13 | 2010-11-18 | Wms Gaming, Inc. | Player head tracking for wagering game control |
US8369608B2 (en) * | 2009-06-22 | 2013-02-05 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for detecting drowsy facial expressions of vehicle drivers under changing illumination conditions |
JP5493593B2 (ja) * | 2009-08-26 | 2014-05-14 | アイシン精機株式会社 | 眠気検出装置、眠気検出方法、及びプログラム |
US8890946B2 (en) * | 2010-03-01 | 2014-11-18 | Eyefluence, Inc. | Systems and methods for spatially controlled scene illumination |
EP2571417A1 (de) * | 2010-05-20 | 2013-03-27 | BAE Systems PLC | Augenmonitor zur überwachung der grösse einer pupille |
US11318949B2 (en) * | 2010-06-07 | 2022-05-03 | Affectiva, Inc. | In-vehicle drowsiness analysis using blink rate |
US10482333B1 (en) * | 2017-01-04 | 2019-11-19 | Affectiva, Inc. | Mental state analysis using blink rate within vehicles |
JP5538160B2 (ja) * | 2010-09-24 | 2014-07-02 | パナソニック株式会社 | 瞳孔検出装置及び瞳孔検出方法 |
JP6066913B2 (ja) * | 2010-11-08 | 2017-01-25 | オプタラート・オーストラリア・プロプライエタリー・リミテッド | 作業テストへの適応性 |
JP5482712B2 (ja) * | 2011-04-08 | 2014-05-07 | ブラザー工業株式会社 | 画像表示装置 |
DE102011075467A1 (de) * | 2011-05-06 | 2012-11-08 | Deckel Maho Pfronten Gmbh | Vorrichtung zum bedienen einer automatisierten maschine zur handhabung, montage oder bearbeitung von werkstücken |
DE112011105441B4 (de) * | 2011-07-11 | 2019-11-14 | Toyota Jidosha Kabushiki Kaisha | Augenliderfassungsvorrichtung |
TWI436305B (zh) * | 2011-07-26 | 2014-05-01 | Holux Technology Inc | 疲勞度偵測方法及其裝置 |
CN102988037A (zh) * | 2011-09-16 | 2013-03-27 | 贾天民 | 通过对人眼部量值的检测达到警示与控制行为的智能装置 |
JP5367037B2 (ja) * | 2011-09-26 | 2013-12-11 | 本田技研工業株式会社 | 顔向き検出装置 |
TWI466070B (zh) * | 2012-09-14 | 2014-12-21 | Utechzone Co Ltd | 眼睛搜尋方法及使用該方法的眼睛狀態檢測裝置與眼睛搜尋裝置 |
US9330297B2 (en) * | 2013-01-16 | 2016-05-03 | Xerox Corporation | Methods and systems for video-based chew counting via feature tracking |
DE102013001380B4 (de) * | 2013-01-26 | 2018-04-26 | Audi Ag | Verfahren zum Betreiben wenigstens einer Anzeigeeinrichtung eines Kraftwagens und System mit wenigstens einer Anzeigeeinrichtung sowie Kraftwagen |
JP6150617B2 (ja) * | 2013-05-30 | 2017-06-21 | オリンパス株式会社 | 検出装置、学習装置、検出方法、学習方法及びプログラム |
JP6168876B2 (ja) | 2013-06-24 | 2017-07-26 | オリンパス株式会社 | 検出装置、学習装置、検出方法、学習方法及びプログラム |
TW201501044A (zh) * | 2013-06-24 | 2015-01-01 | Utechzone Co Ltd | 偵測臉部動作以產生訊號的裝置、方法以及電腦可讀取紀錄媒體 |
JP6359866B2 (ja) * | 2014-04-23 | 2018-07-18 | 矢崎総業株式会社 | 対象者存在範囲推定装置及び対象者存在範囲推定方法 |
US10055964B2 (en) | 2014-09-09 | 2018-08-21 | Torvec, Inc. | Methods and apparatus for monitoring alertness of an individual utilizing a wearable device and providing notification |
JP6442942B2 (ja) * | 2014-09-11 | 2018-12-26 | 株式会社デンソー | ドライバ状態判定装置 |
JP6164431B2 (ja) * | 2015-01-27 | 2017-07-19 | マツダ株式会社 | ドライバ状態判定装置 |
JP6565305B2 (ja) * | 2015-04-28 | 2019-08-28 | いすゞ自動車株式会社 | 車両の安全運転促進方法及び車両の安全運転促進装置 |
DE102015211444A1 (de) * | 2015-06-22 | 2016-12-22 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Unterscheiden von Blinzelereignissen und Instrumentenblicken unter Verwendung einer Augenöffnungsweite |
JP2019510550A (ja) | 2016-02-18 | 2019-04-18 | カーイージス テクノロジーズ,インコーポレイティド | 注意力予測システム及び方法 |
JP6917708B2 (ja) * | 2016-02-29 | 2021-08-11 | 株式会社デンソー | 運転者監視システム |
JP2019523514A (ja) * | 2016-07-21 | 2019-08-22 | ビジョンアップ ソルーションズ エス.エル. | 電子画面を具備する装置での近接作業が引き起こす視力低下を防止するためのシステムおよび方法 |
JP6720821B2 (ja) * | 2016-10-14 | 2020-07-08 | トヨタ自動車株式会社 | 瞬き検出装置 |
EP3354190B1 (de) | 2017-01-27 | 2018-12-05 | Carl Zeiss Vision International GmbH | Computerimplementiertes verfahren zur detektion eines hornhautscheitels |
JP6814068B2 (ja) * | 2017-02-20 | 2021-01-13 | 株式会社東海理化電機製作所 | 生体状態推定装置 |
DE102017112536A1 (de) | 2017-06-07 | 2018-12-13 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Fahrzeuginsassenbeobachtung mittels Terahertz-Strahlung |
JP2019012429A (ja) * | 2017-06-30 | 2019-01-24 | いすゞ自動車株式会社 | 車両用警報装置 |
US20210221404A1 (en) * | 2018-05-14 | 2021-07-22 | BrainVu Ltd. | Driver predictive mental response profile and application to automated vehicle brain interface control |
WO2021048682A1 (ja) | 2019-09-12 | 2021-03-18 | 株式会社半導体エネルギー研究所 | 分類方法 |
JP7212295B2 (ja) * | 2019-09-13 | 2023-01-25 | オムロン株式会社 | 表示システム、表示方法、及びプログラム |
JP7251524B2 (ja) | 2020-07-01 | 2023-04-04 | トヨタ自動車株式会社 | 眠気兆候通知システム、眠気兆候通知方法、及び眠気兆候通知プログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60158303A (ja) * | 1984-01-30 | 1985-08-19 | Nippon Denso Co Ltd | 車両運転者の眼の位置認識装置 |
DE3803916A1 (de) * | 1988-02-09 | 1989-08-17 | Messerschmitt Boelkow Blohm | Verfahren und vorrichtung zur ermittlung der fahrtauglichkeit eines fahrzeugfuehrers |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59153625A (ja) * | 1983-02-18 | 1984-09-01 | Nissan Motor Co Ltd | 居眠り運転検出装置 |
US5016282A (en) * | 1988-07-14 | 1991-05-14 | Atr Communication Systems Research Laboratories | Eye tracking image pickup apparatus for separating noise from feature portions |
US4967186A (en) * | 1989-08-18 | 1990-10-30 | Ariold Ludmirsky | Method and apparatus for fatigue detection |
JP2862030B2 (ja) * | 1991-06-13 | 1999-02-24 | 三菱電機株式会社 | 暗号化方式 |
JPH0655203B2 (ja) * | 1992-07-09 | 1994-07-27 | 株式会社エイ・ティ・アール視聴覚機構研究所 | 視線検出を用いた医療診断装置 |
US5317638A (en) * | 1992-07-17 | 1994-05-31 | International Business Machines Corporation | Performance enhancement for ANSI X3.92 data encryption algorithm standard |
US5543887A (en) * | 1992-10-29 | 1996-08-06 | Canon Kabushiki Kaisha | Device for detecting line of sight |
US5402109A (en) * | 1993-04-29 | 1995-03-28 | Mannik; Kallis H. | Sleep prevention device for automobile drivers |
-
1994
- 1994-03-10 JP JP03988794A patent/JP3293308B2/ja not_active Expired - Fee Related
- 1994-10-27 US US08/330,322 patent/US5573006A/en not_active Expired - Lifetime
-
1995
- 1995-03-07 DE DE19509689A patent/DE19509689C2/de not_active Expired - Fee Related
-
1996
- 1996-08-07 US US08/692,236 patent/US5795306A/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60158303A (ja) * | 1984-01-30 | 1985-08-19 | Nippon Denso Co Ltd | 車両運転者の眼の位置認識装置 |
DE3803916A1 (de) * | 1988-02-09 | 1989-08-17 | Messerschmitt Boelkow Blohm | Verfahren und vorrichtung zur ermittlung der fahrtauglichkeit eines fahrzeugfuehrers |
Non-Patent Citations (2)
Title |
---|
DE-Z.: Biomedizinische Technik, 36. H. 10, 1991, S. 253-259 * |
Technical Report of the Institut of Electronics, Informations and Communication Engineers of Japan, D-II, Band, 67-D-II, Nr. 3, S. 636-646 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10024227B4 (de) * | 2000-05-17 | 2011-02-17 | Volkswagen Ag | Verfahren und Einrichtung zur elektronischen Überwachung des Aufmerksamkeitsgrades |
CZ303526B6 (cs) * | 2007-06-22 | 2012-11-14 | Kyjovský@Štepán | Zarízení pro detekci ztráty bdelosti ridice |
Also Published As
Publication number | Publication date |
---|---|
US5795306A (en) | 1998-08-18 |
US5573006A (en) | 1996-11-12 |
JP3293308B2 (ja) | 2002-06-17 |
JPH07249197A (ja) | 1995-09-26 |
DE19509689A1 (de) | 1995-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE19509689C2 (de) | Verfahren zum Erfassen einer Vigilanz einer Person | |
DE602005003214T2 (de) | Verfahren und system zur perzeptuellen eignungsprüfung eines fahrers | |
DE102008040709B4 (de) | Bestimmungsvorrichtung eines schläfrigen Zustands | |
DE69902225T2 (de) | Verfahren und vorrichtung zur erfassung und verhinderung des einschlafens eines fahrzeugführers | |
US7680302B2 (en) | Method and apparatus for detection of drowsiness and quantitative control of biological processes | |
DE19803158C1 (de) | Vorrichtung zur Vigilanzzustandsbestimmung | |
DE19609455C2 (de) | Gesichtsbild-Verarbeitungssystem | |
AT513987B1 (de) | Brille und Verfahren zur Bestimmung von Pupillenmittelpunkten beider Augen eines Menschen | |
DE102006051930B4 (de) | Verfahren und Vorrichtung zur Fahrerzustandserkennung | |
DE102008010515B4 (de) | Schlafwarnvorrichtung | |
AT505338B1 (de) | Verfahren zur wahrnehmungsmessung | |
DE112017002765T5 (de) | Zustandsabschätzungsvorrichtung, Zustandsabschätzungsverfahren und Zustandsabschätzungsprogramm | |
DE4215946A1 (de) | Vorrichtung zum ueberwachen physiologischer daten zur erfassung einer drogenbeeintraechtigung | |
DE102016201531A1 (de) | Verfahren und Vorrichtung zum Erkennen von Müdigkeit eines Fahrers | |
DE102019109505A1 (de) | Datenverarbeitungsvorrichtung, überwachungssystem, wecksystem, datenverarbeitungsverfahren und datenverarbeitungsprogramm | |
JP2008246013A (ja) | 眠気検知装置 | |
DE102005024796A1 (de) | Verfahren und Vorrichtung zum Bestimmen neurologischer Beeinträchtigungen | |
DE102015218306A1 (de) | Verfahren und Vorrichtung zum Ermitteln eines Schläfrigkeitszustands eines Fahrers | |
DE69310281T2 (de) | Medizinisches Diagnosegerät zur Erkennung von Erkrankungen des Gehirns | |
DE102016210014B4 (de) | Überwachungsvorrichtung, Fahrzeugsteuervorrichtung und Überwachungsverfahren | |
WO2017220667A1 (de) | Verfahren und vorrichtung zur veränderung der affektiven visuellen information im gesichtsfeld eines benutzers | |
CN105894732A (zh) | 一种疲劳驾驶监测系统 | |
Boverie et al. | Driver vigilance diagnostic based on eyelid movement observation | |
DE102018206237A1 (de) | Verfahren und Vorrichtung zur Müdigkeitserkennung einer Person | |
WO1998052309A1 (de) | Verfahren und vorrichtung zum messen der aufmerksamkeit von lebewesen innerhalb einer menge von lebewesen |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
D2 | Grant after examination | ||
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |