DE19509689C2 - Verfahren zum Erfassen einer Vigilanz einer Person - Google Patents

Verfahren zum Erfassen einer Vigilanz einer Person

Info

Publication number
DE19509689C2
DE19509689C2 DE19509689A DE19509689A DE19509689C2 DE 19509689 C2 DE19509689 C2 DE 19509689C2 DE 19509689 A DE19509689 A DE 19509689A DE 19509689 A DE19509689 A DE 19509689A DE 19509689 C2 DE19509689 C2 DE 19509689C2
Authority
DE
Germany
Prior art keywords
person
pupil
face
vigilance
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE19509689A
Other languages
English (en)
Other versions
DE19509689A1 (de
Inventor
Mitsuo Shimotani
Minoru Nishida
Akira Okada
Toshihide Satake
Shoichi Washino
Futoshi Okawa
Hiromi Terashita
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of DE19509689A1 publication Critical patent/DE19509689A1/de
Application granted granted Critical
Publication of DE19509689C2 publication Critical patent/DE19509689C2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103Detecting eye twinkling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers
    • A61B2503/22Motor vehicles operators, e.g. drivers, pilots, captains
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head
    • A61B5/6821Eye
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893Cars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Processing (AREA)
  • Emergency Alarm Devices (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)
  • Eye Examination Apparatus (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)

Description

Die vorliegende Erfindung betrifft ein Verfahren nach dem Oberbegriff des Anspruchs 1.
Herkömmliche Verfahren dieser Art verwenden den den organischen Zustand erfassenden Apparat, der in der japanischen Patent-Offenlegungsschrift Nr. Sho 63- 217500 offenbart ist, und den Apparat zur Verhinde­ rung der Fahrerschläfrigkeit, der in der japanischen Patentveröffentlichung Nr. Hei 3-14655 offenbart ist. Diese Apparate haben jeweils ein Sende-Empfangs- Gerät, das auf dem von der Person getragenen Brillen­ rahmen befestigt ist. Im Betrieb erfaßt der Apparat die Reflexion von den Augenlidern oder von den Horn­ häuten, um festzustellen, ob die Vigilanz geöffnet oder geschlossen sind, wodurch der Körperzustand der Person erfaßt wird. Ein Hauptnachteil dieses Typs von Apparaten ist das ärgerliche Erfordernis für die Per­ son, den Brillenrahmen zu tragen.
Es existieren andere herkömmliche Apparate, die in der Lage sind, Vigilanz in einer nichtberührenden Weise zu erfassen, ohne daß von der Person gefordert wird, irgendwelche Detektoren zu tragen, die einwand­ freie von der Person vorgenommene Tätigkeit oder Ope­ ration behindern würde. Ein derartiger Apparat ist der Apparat zum Erkennen der Augenposition, der in der japanischen Patentanmeldungs-Offenlegungsschrift Nr. Sho 60-158303 offenbart ist. Der offenbarte Appa­ rat weist eine Kamera, die Gesichtsbilder von der Person aufnimmt, und Mittel zum Erfassen von Pupil­ len- und Augenlidbewegungen durch die Bildverarbei­ tung auf der Grundlage der aufgenommenen Bilder auf. Fig. 1 ist eine schematische Ansicht des offenbarten Apparates, der als ein Apparat zum Erfassen der Schläfrigkeit verwendet wird. In Fig. 1 sind eine Person 1, eine Infrarot-LED 2, die Person 1 beleuch­ tet und die eine mittlere Beleuchtungswellenlänge von 860 nm hat, eine CCD-Kamera 3, die Gesichtsbilder der Person in elektrische Signale umwandelt, ein Bildauf­ nahme-Speicher 10, der vorübergehend die Ausgangsda­ ten der CCD-Kamera speichert, eine Merkmalspunkt- Extraktionsschaltung 20, die Pupillenbewegung aus den Daten im Bildaufnahme-Speicher 10 herauszieht, und eine Schläfrigkeits-Beurteilungsschaltung 40, welche prüft, ob die Person schläfrig ist durch Erfassen der Augenlid-Bewegung aus den von der Merkmalspunkt- Extraktionsschaltung 20 gelieferten Daten, gezeigt.
Im Betrieb beleuchtet die Infrarot-LED 2 die Person 1. Das Bild der Person 1 wird in die CCD-Kamera 3 eingegeben, die so positioniert ist, daß sie Bilder eines vorbestimmten Bereichs enthaltend das Gesicht der Person 1 aufnehmen kann. Der Bildaufnahme-Spei­ cher 10 empfängt die Ausgangsdaten der CCD-Kamera 3 und nimmt diese auf. Die Merkmalspunkt-Extraktions­ schaltung 20 zieht die Pupillenstellung, Augenstel­ lung, Gesichtsorientierung und andere Merkmale durch Bildverarbeitung auf der Grundlage der Daten vom Bildaufnahme-Speicher 10 heraus. Wenn beispielsweise die Pupillenbewegung durch die Merkmalspunkt-Extrak­ tionsschaltung 20 herausgezogen wird, erfaßt die Schläfrigkeits-Beurteilungsschaltung 40 die augen­ scheinliche Anwesenheit oder Abwesenheit der Pupil­ len. Wenn die Pupillen augenscheinlich für eine vor­ bestimmte Zeitspanne abwesend sind, bestimmt die Schläfrigkeits-Beurteilungsschaltung 40, daß die Per­ son 1 schläfrig ist.
Fig. 2 ist eine Ansicht eines in dem herkömmlichen Apparat nach Fig. 1 verwendeten Infrarotbildes. Fig. 2 zeigt die Iris 4, die Lederhaut 5, die Pupille 6 und die Gesichtsoberfläche 7. In dem so erhaltenen Bild erscheinen die Gesichtsoberfläche 7 etwas dun­ kel, die Lederhaut 5 dunkler als die Gesichtsoberflä­ che 7, die Iris 4 dunkler als die Lederhaut 5 und die Pupille 6 noch dunkler als die Iris 4.
Ein Nachteil dieses wie vorstehend dargestellten strukturierten Vigilanz-Erfassungsapparates besteht darin, daß er eine komplizierte Bildverarbeitung be­ nötigt, durch welche die Augenlid-Bewegung erfaßt werden soll. Insbesondere wird das erhaltene Bild ei­ ner Filter-Berechnung und dann einer Kantenerfassung unterzogen. Die Gestalt der erfaßten Kante wird ver­ wendet, um einen Mustererkennungsvorgang durchzufüh­ ren, durch welchen die Augenlider darstellenden kreisförmigen Bögen zu finden sind. Wenn die Augen­ lid-Stellung bestimmt ist, wird die Augenlidform in weiteren Einzelheiten berechnet. Während der Kan­ tenerfassung sind die kreisförmigen Bögen schwer zu finden, wenn die Kante nicht glatt erfaßt wird auf­ grund der Anwesenheit von Rauschen oder anderen Stö­ rungen. All dies trägt dazu bei, daß die Bildverar­ beitung ein zeitaufwendiger und komplizierter Vorgang ist.
In der Zwischenzeit wurde ein System vorgeschlagen, das die Augenposition durch eine sehr einfache Bild­ verarbeitung wie Binärverarbeitung erfaßt. Dieses Sy­ stem weist eine Koaxialbeleuchtungs-Vorrichtung auf, das die Gesichtsoberfläche der Person beleuchtet, um Bilder der Reflexion an der Netzhaut für die verein­ fachte Bildverarbeitung aufzunehmen, wie in "Prototy­ pe of Gaze Direction Detection Apparatus Permitting Pupil Data Extraction and Head Movement" (Technical Report of the Institute of Electronics, Information and Communication Engineers of Japan; D-II, Band J76- D-II, Nr. 3) diskutiert ist. Die Koaxialbeleuchtungs- Vorrichtung ist eine Vorrichtung, in der die opti­ schen Achse der Kamera und die Richtung der Beleuch­ tung zusammenfallen.
Aus der DE 38 03 916 A1 sind ein Verfahren und eine Vorrichtung zur Ermittlung der Fahrtauglichkeit eines Fahrzeugführers während der Fahrt bekannt. Hierbei werden Ermüdung oder mangelnde Aufmerksamkeit durch Auswerten von Augenreaktionen auf stimulierende Reize festgestellt. Diese können dadurch beurteilt werden, daß die Zeit des Ausrichtens der Augen länger wird und außerdem die allererste Ausrichtung des Augapfels mit zunehmender Ermüdung ungenauer wird.
Ausgehend von der DE 38 03 916 A1 ist es die Aufgabe der vorliegenden Erfindung, ein Verfahren zum Erfas­ sen einer Vigilanz einer Person auf der Grundlage von Augenparametern, bei dem das Gesicht der Person be­ leuchtet wird und das von dem Gesicht reflektierte Licht in entsprechende elektrische Signale umgewan­ delt wird, wobei die Richtungen des das Gesicht be­ leuchtenden Lichts und des vom Gesicht reflektierten Lichts zumindest annähernd zusammenfallen, und bei dem weiterhin die die Augenparameter betreffenden Si­ gnale aus den erzeugten elektrischen Signalen heraus­ gezogen werden, anzugeben, mit dem auf einfache Weise die Vigilanz der Person bestimmt werden kann.
Diese Aufgabe wird erfindungsgemäß gelöst durch die im kennzeichnenden Teil des Anspruchs 1 angegebenen Merkmale. Vorteilhafte Weiterbildungen des erfin­ dungsgemäßen Verfahrens ergeben sich aus den Unteran­ sprüchen.
Die Erfindung zeichnet sich dadurch aus, daß die eine Pupillenposition und/oder Pupillenform betreffenden Signale auf der Grundlage der Leuchtdichteverteilung auf dem beleuchteten Gesicht der Person derart her­ ausgezogen werden, daß Bereiche auf dem Gesicht, die durch relativ hohe Leuchtdichte gekennzeichnet sind, durch Signale mit einem ersten vorbestimmten Pegel dargestellt werden, und Bereiche, die durch eine re­ lativ geringe Leuchtdichte gekennzeichnet sind, durch Signale mit einem zweiten vorbestimmten Pegel darge­ stellt werden, und daß die Vigilanz mittels eines vorbestimmten Parameters bestimmt wird, die aus den die Pupillenposition und/oder die Pupillenform be­ treffenden Signalen abgeleitet ist.
Die Erfindung wird im Folgenden anhand von in den Fi­ guren dargestellten Ausführungsbeispielen näher er­ läutert. Es zeigen:
Fig. 1 eine schematische Ansicht eines herkömmlichen Vigilanz-Erfassungsapparates,
Fig. 2 eine Ansicht eines von optischen Eingabemit­ teln aufgenommenen Bildes bei dem herkömmli­ chen Vigilanz-Erfassungsapparat,
Fig. 3 eine schematische Ansicht eines Vigilanz- Erfassungsapparates zur Durchführung des Ver­ fahrens gemäß einem ersten Ausführungsbei­ spiel der Erfindung,
Fig. 4 eine Ansicht, welche illustriert, wie der Ap­ parat nach dem ersten Ausführungsbeispiel in einem Fahrzeug installiert ist,
Fig. 5 eine Ansicht eines von optischen Eingabemit­ teln nach dem ersten Ausführungsbeispiel auf­ genommenen Bildes,
Fig. 6(a) und 6(b) Ansichten von aufgenommenen Bil­ dern im Vergleich miteinander, wo­ bei das eine durch die optischen Eingabemittel nach dem ersten Aus­ führungsbeispiel und das andere durch den herkömmlichen Apparat aufgenommen sind,
Fig. 7 eine Ansicht, die das Ergebnis der durch eine Pupillen-Extraktionsschaltung nach dem ersten Ausführungsbeispiel durchgeführten Pupillen­ extraktion darstellt,
Fig. 8 ein Flußdiagramm von Schritten, nach denen das erste Ausführungsbeispiel arbeitet,
Fig. 9 eine schematische Ansicht eines Vigilanz- Erfassungsapparates zur Durchführung des Ver­ fahrens gemäß einem zweiten Ausführungsbei­ spiel der Erfindung,
Fig. 10 ein Flußdiagramm von Schritten, nach denen das zweite Ausführungsbeispiel arbeitet,
Fig. 11(a) und 11(b) graphische Darstellungen, welche angeben, wie das zwei­ te Ausführungsbeispiel an­ schaulich arbeitet,
Fig. 12 eine schematische Ansicht eines Vigilanz- Erfassungsapparates zur Durchführung des Ver­ fahrens gemäß einem dritten Ausführungsbei­ spiel der Erfindung,
Fig. 13 eine schematische Ansicht eines Vigilanz- Erfassungsapparates zur Durchführung des Ver­ fahrens gemäß einem vierten Ausführungsbei­ spiel der Erfindung,
Fig. 14 ein Satz von Ansichten, welche darstellen, wie das vierte Ausführungsbeispiel anschau­ lich arbeitet,
Fig. 15 eine schematische Ansicht eines Vigilanz- Erfassungsapparates zur Durchführung des Ver­ fahrens gemäß einem fünften Ausführungsbei­ spiel der Erfindung,
Fig. 16(a) und 16(b) graphische Darstellungen, die wiedergeben, wie das fünfte Ausführungsbeispiel anschau­ lich arbeitet,
Fig. 17 eine andere graphische Darstellung, welche wiedergibt, wie das fünfte Ausführungsbei­ spiel anschaulich arbeitet,
Fig. 18 eine schematische Ansicht eines Vigilanz- Erfassungsgerätes zur Durchführung des Ver­ fahrens gemäß einem sechsten Ausführungsbei­ spiel der Erfindung,
Fig. 19 eine graphische Darstellung, welche wieder­ gibt, wie das sechste Ausführungsbeispiel an­ schaulich arbeitet,
Fig. 20 eine andere graphische Darstellung, welche wiedergibt, wie das sechste Ausführungsbei­ spiel anschaulich arbeitet,
Fig. 21 eine schematische Ansicht eines Vigilanz- Erfassungsapparates zur Durchführung des Ver­ fahrens gemäß einem siebenten Ausführungsbei­ spiel der Erfindung,
Fig. 22(a) und 22(b) graphische Darstellungen, wel­ che wiedergeben, wie das sie­ bente Ausführungsbeispiel an­ schaulich arbeitet,
Fig. 23 eine andere graphische Darstellung, welche wiedergibt, wie das siebente Ausführungsbei­ spiel anschaulich arbeitet,
Fig. 24 eine schematische Ansicht eines Vigilanz- Erfassungsapparates zur Durchführung des Ver­ fahrens gemäß einem achten Ausführungsbei­ spiel der Erfindung,
Fig. 25 eine schematische Ansicht eines Vigilanz- Erfassungsapparates zur Durchführung des Ver­ fahrens gemäß einem neunten Ausführungsbei­ spiel der Erfindung,
Fig. 26 eine graphische Darstellung, welche wieder­ gibt, wie das neunte Ausführungsbeispiel an­ schaulich arbeitet,
Fig. 27 eine Ansicht, welche wiedergibt, wie das neunte Ausführungsbeispiel anschaulich arbei­ tet,
Fig. 28 eine andere graphische Darstellung, welche anzeigt, wie das neunte Ausführungsbeispiel anschaulich arbeitet,
Fig. 29 eine schematische Ansicht eines Vigilanz- Erfassungsapparates zur Durchführung des Ver­ fahrens gemäß einem zehnten Ausführungsbei­ spiel der Erfindung,
Fig. 30 (a), 30(b) und 30(c) Ansichten, welche demonstrieren, wie das zehnte Ausführungsbeispiel an­ schaulich arbeitet,
Fig. 31(a) und 31(b) graphische Darstellung, welche wiedergeben, wie das zehnte Ausführungsbeispiel anschaulich arbeitet,
Fig. 32 eine schematische Ansicht eines Vigilanz- Erfassungsapparates zur Durchführung des Ver­ fahrens gemäß einem elften Ausführungsbei­ spiel der Erfindung,
Fig. 33 ein Flußdiagramm von Schritten, nach denen der Apparat gemäß dem elften Ausführungsbei­ spiel arbeitet,
Fig. 34 eine schematische Ansicht eines Vigilanz- Erfassungsapparates zur Durchführung des Ver­ fahrens gemäß einem zwölften Ausführungsbei­ spiel der Erfindung,
Fig. 35 eine Ansicht, welche erläutert, wie das zwölfte Ausführungsbeispiel anschaulich ar­ beitet,
Fig. 36 eine schematische Ansicht eines Vigilanz- Erfassungsapparates zur Durchführung des Ver­ fahrens gemäß einem dreizehnten Ausführungs­ beispiel der Erfindung,
Fig. 37 eine graphische Darstellung, welche demon­ striert, wie das dreizehnte Ausführungsbei­ spiel anschaulich arbeitet, und
Fig. 38 eine schematische Ansicht eines Vigilanz- Erfassungsapparates zur Durchführung des Ver­ fahrens gemäß einem vierzehnten Ausführungs­ beispiel der Erfindung.
Ausführungsbeispiel 1
Fig. 3 ist eine schematische Ansicht eines Vigilanz- Erfassungsapparates zur Durchführung des Verfahrens gemäß dem ersten Ausführungsbeispiel der Erfindung. Eine CCD-Kamera 3 (d. h. optische Eingabemittel) ist so positioniert, daß sie Bilder eines vorbestimmten Bereichs enthaltend das Gesicht einer Person 1 auf­ nimmt. Eine Beleuchtungseinrichtung 2 wie eine Infra­ rot-LED beleuchtet die Person 1. Anschaulicherweise beträgt die mittlere Beleuchtungs-Wellenlänge der In­ frarot-LED 2 860 nm und ihre Strahlungsrichtungscha­ rakteristik ist ±20°. Weiterhin sind ein Halbspiegel 8, ein Summer 9, ein Bildaufnahme-Eingabespeicher 10, der die Ausgangsdaten der CCD-Kamera 3 vorübergehend speichert, eine Pupillen-Extraktionsschaltung 21, die Pupillendaten aus dem Bildaufnahme-Eingabespeicher 10 herauszieht, und eine Schläfrigkeits-Beurteilungs­ schaltung 40, welche prüft, ob die Person 1 schläfrig ist, gezeigt, wobei die Prüfung durch Erfassung der Augenlid-Bewegung auf der Grundlage der Daten von der Pupillen-Extraktionsschaltung 21 durchgeführt wird. Der Apparat nach der in Fig. 3 dargestellten Struktur wird vorteilhaft mit einer Nachtzeit-Bildaufnahmevor­ richtung verwendet.
Fig. 4 ist eine schematische Darstellung, welche wie­ dergibt, wie der Apparat nach dem ersten Ausführungs­ beispiel anschaulich in einem Fahrzeug installiert ist. Fig. 4 zeigt eine Windschutzscheibe 100, eine transparente Abdeckung 101 über dem Armaturenbrett, ein Lenkrad 102 und den Fahrersitz 103. Tief inner­ halb des Armaturenbretts befinden sich der Halbspie­ gel 8, die LED-Vorrichtung 2 und die CCD-Kamera 3. Der Summer 9 ist auf der Welle des Lenkrads 102 ange­ ordnet.
Bezugnehmend auf Fig. 3, erfolgt im Betrieb die Be­ leuchtung von der Infrarot-LED-Vorrichtung 2 entlang eines optischen Pfades 11. Die Hälfte der Beleuchtung wird durch den Halbspiegel 8 reflektiert, um das Ge­ sicht der Person 1 auf einem optischen Pfad 12 zu be­ leuchten. Ein Bild der Person geht durch den Halb­ spiegel 8 entlang eines optischen Pfades 13 hindurch, wobei die Hälfte des Lichts die CCD-Kamera 3 er­ reicht, welche das Bild der Person 1 aufnimmt. In dieser Zusammenstellung sind die optische Achse des optischen Pfades 12 und die des optischen Pfades 13 im wesentlichen koaxial oder fallen in einen vorbe­ stimmten Winkel (2°) betrachtet von der Person 1 aus (sogenannte koaxiale Beleuchtung). Bei dem ersten Ausführungsbeispiel ist der vorbestimmte Winkel gleich 0; der Winkel des Halbspiegels 8 relativ zur optischen Achse 13 der CCD-Kamera 3 beträgt 45°. Das so aufgenommene Bild der Person 1 ist anschaulich in Fig. 5 gezeigt. In Fig. 5 bewirkt die vorbeschriebene koaxiale Beleuchtungsanordnung, daß die Reflexion an der Netzhaut die Pupillen 6 sichtbar aufleuchten läßt; die Pupillen erscheinen bemerkenswert heller als die anderen Gesichtsbereiche und Merkmalspunkte. Dies ergibt sich daraus, daß die Netzhaut die Neigung hat, das reflektierte Licht in derselben Richtung wie das einfallende Licht zurückzuschicken. Die Fig. 6(a) und 6(b) stellen typische Muster der Hellig­ keitsverteilung in aufgenommenen Bildern dar. Das Bild in Fig. 6(a) ist durch das erste Ausführungsbei­ spiel aufgenommen und das in Fig. 6(b) durch den her­ kömmlichen Apparat. Ein Vergleich der beiden Bilder ergibt, daß das durch das erste Ausführungsbeispiel aufgenommene Bild einen deutlich hohen Grad von Hel­ ligkeit an der Stelle der Pupillen im Vergleich mit anderen Bereichen des Bildes hat. Dies bedeutet, daß ein binäres Bild nach Fig. 7 durch einfache binäre Schwellenwerteinstellung (d. h. hell oder nicht hell) des aufgenommenen Bildes erhalten wird. Das binäre Bild hat zwei kreisförmige weiße Bereiche, die die Pupillen der Person darstellen, gegenüber dem dunklen Hintergrund. Die Position und die Form der Pupillen sind aus diesem binären Bild leicht zu erfassen durch einfache Berechnungen wie solche zum Auffinden der Mitte der Schwerkraft; es besteht keine Notwendigkeit für die herkömmlich geforderten komplizierten Berech­ nungen.
Es wird nun mit Bezug auf Fig. 8 erläutert, wie der Apparat nach dem ersten Ausführungsbeispiel die Schläfrigkeit der Person erfaßt. Im Schritt 1 wird ein Zähler zurückgesetzt. Im Schritt 2 wird ein Ge­ sichtsbild eingegeben. Im Schritt 3 wird das Ge­ sichtsbild einer Binärverarbeitung (d. h. hell oder nicht hell) unterzogen, wodurch die Pupillen aus dem Bild herausgezogen werden. Mit den so herausgezogenen Pupillen ist Schritt 4 erreicht, in welchem geprüft wird, ob die Pupillen sichtbar sind. Wenn die Pupil­ len sichtbar sind, ist Schritt S erreicht, in welchem der Zähler zurückgesetzt wird, und Schritt 2 ist wie­ der erreicht. Wenn die Pupillen im Schritt 4 nicht sichtbar sind, ist Schritt 6 erreicht, in welchem der Zähler erhöht wird. Im Schritt 7 wird geprüft, ob die Pupillen fünf Sekunden lang oder länger nicht sicht­ bar sind (Zählerwert: 5000/33 = 167). Wenn die Pupil­ len fünf Sekunden lang oder länger unsichtbar sind, wird festgestellt, daß die Person schläfrig ist, und Schritt 8 ist erreicht. Im Schritt 8 wird der Summer 9 aktiviert. Wenn die Pupillen im Schritt 7 weniger als fünf Sekunden lang unsichtbar sind, ist Schritt 2 wieder erreicht.
Obgleich die Beleuchtungsmittel 2 nach dem ersten Ausführungsbeispiel eine Infrarot-LED-Vorrichtung sind, kann diese durch eine Halogenlampe ersetzt wer­ den, die ein Breitband-Wellenlängenlicht in einer Weise erzeugt, daß es weniger durch Temperaturschwan­ kungen beeinträchtigt ist. Alternativ können die Be­ leuchtungsmittel 2 eine Halogenlampe und ein Filter aufweisen, das das erzeugte Licht spektral in be­ stimmte Wellenformen filtert. Die Kamera, die im er­ sten Ausführungsbeispiel vom CCD-Typ ist, kann alter­ nativ eine CID-Kamera (Ladungsinjektions-Vorrichtung) sein.
Ausführungsbeispiel 2
Fig. 9 ist eine schematische Ansicht eines Vigilanz- Erfassungsapparates zur Durchführung des Verfahrens gemäß dem zweiten Ausführungsbeispiel der Erfindung. Während beim ersten Ausführungsbeispiel die Schläf­ rigkeit (Grad der Wachsamkeit) der Person festge­ stellt wird gemäß der Sichtbarkeit der Pupillen die­ ser Person, wird beim zweiten Ausführungsbeispiel ei­ ne Beurteilung Über den Grad der Wachsamkeit der Per­ son auf der Grundlage der Zeitfolgendaten über die Pupillenstellung getroffen. Das heißt, die Schläfrig­ keit wird aus der Tatsache abgeleitet, daß die Person in einem schläfrigen Zustand allmählich die Augen senkt und die sichtbare Pupillenstellung tiefer wird. Fig. 9 zeigt einen Extraktionsergebnis-Speicher 30g der die von der Pupillen-Extraktionsschaltung 21 her­ ausgezogenen Pupillenstellungen speichert. Eine Schläfrigkeits-Beurteilungsschaltung 40 stellt die Schläfrigkeit der Person fest entsprechend der Dauer, in der das Gesicht der Person nach unten gesenkt bleibt, wobei die Dauer aus den Zeitfolgendaten über die in dem Extraktionsergebnis-Speicher 30 gespei­ cherten Pupillenstellungen bestimmt wird.
Es wird nun mit Bezug auf das Flußdiagramm nach Fig. 10 beschrieben, wie das zweite Ausführungsbeispiel arbeitet. Im Schritt 10 wird ein Gesichtsbild einge­ geben. Im Schritt 11 wird das Gesichtsbild einer bi­ nären Verarbeitung (d. h. hell oder nicht hell) wie beim ersten Ausführungsbeispiel unterzogen, wodurch die Pupillen aus dem Bild herausgezogen werden. Im Schritt 12 wird die Stellung der herausgezogenen Pu­ pillen (d. h. Pupillenhöhe) gespeichert. Im Schritt 13 wird geprüft, ob die Daten über die Pupillen fünf Mi­ nuten lang oder länger gesammelt wurden. Wenn die Da­ ten zumindest die letzten fünf Minuten gesammelt wur­ den, ist Schritt 14 erreicht. Im Schritt 14 wird der Durchschnitt der Pupillenhöhe über die ersten fünf Minuten gebildet und eine Bezugs-Pupillenhöhe (T1) wird berechnet. Nach den fünf Minuten wird ein ande­ res Gesichtsbild im Schritt 15 eingegeben. Im Schritt 16 werden die Pupillen aus dem Gesichtsbild herausge­ zogen. Im Schritt 17 wird der Durchschnitt der Pupil­ lenhöhe während der vergangenen zwei Minuten gebil­ det. Im Schritt 18 wird geprüft, ob die durchschnitt­ liche Pupillenhöhe um einen vorbestimmten Wert (5 cm beim zweiten Ausführungsbeispiel) niedriger ist als die Bezugs-Pupillenhöhe. Wenn gefunden wird, daß die durchschnittliche Pupillenhöhe um 5 cm oder mehr niedriger ist als die Bezugs-Pupillenhöhe, ist Schritt 19 erreicht. Im Schritt 19 wird der kontinu­ ierliche "Absenk"-Zustand der Person als ein gefähr­ licher Abfall in der Wachsamkeit der Person gedeutet (d. h. als Schläfrigkeits-Zustand). Fig. 11(a) ist ei­ ne graphische Darstellung von Zeitfolgendaten über Pupillenstellungen und Fig. 11(b) ist eine graphische Darstellung von Zeitfolgendaten über durchschnittli­ che Pupillenstellungen. In den Fig. 11(a) und 11(b) stellt t1, die Zeit dar, die vergeht, bevor die Be­ zugs-Pupillenposition ermittelt ist, T1 bedeutet die so erhaltene Bezugs-Pupillenposition und t2 ist die Zeit, zu der die Schläfrigkeit der Person erfaßt wird.
Da das zweite Ausführungsbeispiel Zeitfolgeninforma­ tionen Über die Pupillen der Person verwendet, wird bei diesem der Summer aktiviert, bevor die Person einschläft. Da der Grad der Schläfrigkeit der Person erfaßt wird, bevor es zu spät ist, verbessert das zweite Ausführungsbeispiel die Qualität der Schläf­ rigkeits-Erfassung.
Anstelle der Festlegung der Bezugs-Pupillenstellung auf ihren anfänglichen Wert kann alternativ die Posi­ tion in Zeitintervallen (z. B. 30 Minuten), die länger als die Zeitintervalle (2 Minuten) sind, in denen die Pupillenstellung zu finden ist, aktualisiert werden.
Ausführungsbeispiel 3
Fig. 12 zeigt eine schematische Ansicht eines Vigi­ lanz-Erfassungsapparates zur Durchführung des Verfah­ rens gemäß dem dritten Ausführungsbeispiel der Erfin­ dung. Während beim zweiten Ausführungsbeispiel die Schläfrigkeit der Person auf der Grundlage der erfaß­ ten Pupillenstellungen beurteilt wurde, werden beim dritten Ausführungsbeispiel andere Merkmalspunkte des Gesichts der Person erfaßt, um die Gesichtsmerkmals­ größen auf eine direktere Weise zu ermitteln. Diese Fähigkeit erlaubt dem dritten Ausführungsbeispiel, eine höhere Genauigkeit bei der Vigilanzerfassung zu bieten. Eine Fenstereinstell-Schaltung 22 (Suchbe­ reichs-Bestimmungsmittel) bestimmt den Suchbereich (Fenster) für andere Gesichtsmerkmalspunkte wie die Nasenlöcher mit Bezug auf die von der Pupillen- Extraktionsschaltung 21 herausgezogene Pupillenposi­ tion. Eine Merkmalspunkt-Extraktionsschaltung 23 zieht die Position oder Form der Merkmalspunkte in­ nerhalb des von der Fenstereinstell-Schaltung 22 be­ stimmten Fensters heraus. Beispielsweise wird ein Fenster mit den Maßen 6 × 6 cm um eine Position 5 cm unter dem Mittelpunkt zwischen den beiden Pupillen eingestellt. Es wird eine Bildverarbeitung innerhalb dieses Fensters durchgeführt, um die Nasenlöcher zu suchen und diese zu finden. Anschaulicherweise soll­ ten die gesuchten Nasenlöcher jeweils 1 cm oder weni­ ger im Durchmesser sein und mit geringer Helligkeit erscheinen. Ein Extraktionsergebnis-Speicher 30 spei­ chert die von der Pupillen-Extraktionsschaltung 21 erhaltenen Pupillenpositionen sowie die von der Merk­ malspunkt-Extraktionsschaltung 23 ermittelten Posi­ tionen der Nasenlöcher. Eine Schläfrigkeits-Beurtei­ lungsschaltung 40 stellt die Neigung des Gesichts aus der augenscheinlichen Positionsbeziehung zwischen den Nasenlöchern und den beiden Pupillen fest. Mit der erhaltenen "Absenk"-Zeit der Person beurteilt die Schläfrigkeits-Beurteilungsschaltung 40, daß die Per­ son gemäß einer angemessenen Festlegung der Absenkzu­ standsdauer schläfrig ist.
Es wird nun beschrieben, wie das dritte Ausführungs­ beispiel arbeitet, um die Schläfrigkeit der Person zu erfassen. Die von der Pupillen-Extraktionsschaltung 21 erhaltenen Pupillenpositionen und die von der Merkmalspunkt-Extraktionsschaltung 23 ermittelten Po­ sitionen der Nasenlöcher werden in dem Extraktionser­ gebnis-Speicher 30 gespeichert. Wie beim zweiten Aus­ führungsbeispiel werden die Daten über die anfängli­ chen fünf Minuten erläuternd verwendet, um eine au­ genscheinliche Distanz SO zwischen dem Mittelpunkt zwischen den Pupillen einerseits und dem Mittelpunkt zwischen den Nasenlöchern andererseits zu finden, wenn die Person nach vorn blickt. Danach werden die Daten über die nächsten zwei Minuten erläuternd ver­ wendet, um einen anderen augenscheinlichen Abstand S zwischen dem Mittelpunkt zwischen den Pupillen einer­ seits und dem Mittelpunkt zwischen den Nasenlöchern andererseits zu finden. Der Neigungswinkel θ des Ge­ sichts der Person wird aus den so ermittelten Abstän­ den SO und S erhalten. Genauer gesagt, ist der augen­ scheinliche Abstand S tatsächlich, wenn das Gesicht um den Winkel θ abgesenkt ist, gegeben durch
S = SO . COS (θ).
Wenn der in zwei Minuten erhaltene Durchschnitts- Gesichtsneigungswinkel θ anschaulich 20° oder mehr wird, wird festgestellt, daß die Person schläfrig ist.
Verglichen mit dem zweiten Ausführungsbeispiel unter­ scheidet das dritte Ausführungsbeispiel zwei Fälle des Körperzustands der Person: den einen, in welchem sich nur die Pupillenhöhe auf- und abwärts bewegt, und den anderen, in welchem sich das gesamte Gesicht neigt. Diese Fähigkeit ermöglicht es dem dritten Aus­ führungsbeispiel, höhere Genauigkeitspegel bei der Schläfrigkeits-Erfassung als beim zweiten Ausfüh­ rungsbeispiel zu liefern.
Obgleich das dritte Ausführungsbeispiel den augen­ scheinlichen Abstand SO aus dem anfänglichen Zustand der Person erhält, kann alternativ eine Nachricht an die Person gerichtet werden, durch sie aufgefordert wird, nach vorn zu blicken, bevor der Abstand SO er­ mittelt wird.
Das dritte Ausführungsbeispiel verwendet den Extrak­ tionsergebnis-Speicher 30, um die über zwei oder fünf Minuten gemittelten Daten aufzunehmen. Alternativ kann der Extraktionsergebnis-Speicher 30 entfernt werden und es können Mittel zum Erfassen der momenta­ nen Gesichtsorientierung der Person vorgesehen sein.
Ausführungsbeispiel 4
Fig. 13 ist eine schematische Ansicht eines Vigilanz- Erfassungsapparates zur Durchführung des Verfahrens gemäß dem vierten Ausführungsbeispiel der Erfindung. Das vierte Ausführungsbeispiel schätzt den Grad der Augenlidöffnung durch Ermittlung des Verhältnisses aus der vertikalen Länge zu der horizontalen Länge der Pupillen der Person, wodurch der halbgeschlossene Zustand der Augenlider der Person erfaßt wird. Eine Augenlidöffnungs-Schätzschaltung 24 schätzt den Grad der Augenlidöffnung aus der von der Pupillen- Extraktionsschaltung 21 herausgezogenen Pupillenform; ein Extraktionsergebnis-Speicher 30 speichert den Grad der so geschätzten Augenlidöffnung; und eine Schläfrigkeits-Beurteilungsschaltung 40 beurteilt die Schläfrigkeit der Person auf der Grundlage der Dauer des halbgeschlossenen Zustands der Augenlider der Person.
Das vierte Ausführungsbeispiel arbeitet wie folgt, um die Schläfrigkeit der Person zu erfassen: die Pupil­ len-Extraktionsschaltung 21 zieht zuerst die Pupil­ lenform heraus. Mit der Pupillenform ermittelt die Augenlidöffnungs-Schätzschaltung 24 die augenschein­ liche vertikale Länge y und die augenscheinliche ho­ rizontale Länge x der Pupille der Person. Aus dem Verhältnis der vertikalen Länge zur horizontalen Län­ ge (y/x) schätzt die Augenlidöffnungs-Schätzschaltung 24 den Grad der Augenlidöffnung. Fig. 14 zeigt, wie die Augenlider geöffnet und geschlossen werden. Es ist hieraus ersichtlich, daß, wenn die Augenlider sich schließen, das Verhältnis y/x kleiner wird. Der Extraktionsergebnis-Speicher 30 speichert die so er­ mittelten Grade der Augenlidöffnung y/x. Wenn das Verhältnis y/x beispielsweise 1/2 oder geringer ist, stellt die Schläfrigkeits-Beurteilungsschaltung 40 fest, daß sich die Augenlider in einem halbgeschlos­ senen Zustand befinden. Wenn der halbgeschlossene Zu­ stand der Augenlider zwei Minuten oder länger anhält, wird festgestellt, daß die Person schläfrig ist. Wie bei dem zweiten und dritten Ausführungsbeispiel kann alternativ der Durchschnitt des Verhältnisses y/x in den ersten fünf Minuten gebildet werden. Wenn dann das gegenwärtige Verhältnis y/x gleich 1/2 oder weni­ ger des anfänglichen Durchschnittsverhältnisses wird, wird bestimmt, daß die Augenlider in einem halbge­ schlossenen Zustand sind. Wenn der halbgeschlossene Zustand der Augenlider zwei Minuten oder länger an­ dauert, wird festgestellt, daß die Person schläfrig ist.
Wie beschrieben ist, schätzt das vierte Ausführungs­ beispiel den Grad der Augenlidöffnung aus der Pupil­ lenform. Mit dem so erkannten Blinzelzustand der Per­ son wie im Fall des zweiten Ausführungsbeispiels er­ faßt das vierte Ausführungsbeispiel einen gefährli­ chen Abfall in dem Grad der Wachsamkeit der Person und erhöht hierdurch die Qualität der Schläfrigkeits- Erfassung.
Fünftes Ausführungsbeispiel
Fig. 15 ist eine schematische Darstellung eines Vigi­ lanz-Erfassungsapparates zur Durchführung des Verfah­ rens gemäß dem fünften Ausführungsbeispiel der Erfin­ dung. Das fünfte Ausführungsbeispiel schätzt die Blinzelfrequenz der Person auf der Grundlage des Pu­ pillenbereichs der Person. Mit der so geschätzten Blinzelfrequenz erfaßt das Ausführungsbeispiel die Schläfrigkeit der Person. Eine Pupillen-Extraktions­ schaltung 21 zieht die Pupillenform aus dem aufgenom­ menen Bild heraus und zählt die Anzahl der betroffe­ nen Bildelemente, um den Pupillenbereich zu finden; ein Extraktionsergebnis-Speicher 30 speichert die von der Pupillen-Extraktionsschaltung 21 ermittelten Pu­ pillenbereiche in Intervallen von beispielsweise 10 ms; und eine Blinzelfrequenz-Berechnungsschaltung 31 wandelt die Zeitfolgendaten über die Pupillenbereiche gemäß einem Schwellenwert in binäre Daten um, wodurch die Blinzelfrequenz der Person berechnet wird. Eine Schläfrigkeits-Beurteilungsschaltung 40 bestimmt die Schläfrigkeit der Person entsprechend der so berech­ neten Blinzelfrequenz der Person.
Es wird nun mit Bezug auf die Fig. 16(a) und 16(b) beschrieben, wie das fünfte Ausführungsbeispiel ar­ beitet. Fig. 16(a) ist eine graphische Darstellung, die tatsächliche Änderungen im Pupillenbereich der Person anzeigt, wenn diese Person blinzelt. Diese Än­ derungen werden erhalten durch Zählen der Anzahl der die Pupille bildenden Bildelemente. Der Extraktions­ ergebnis-Speicher 30 nimmt die von der Pupillen- Extraktionsschaltung 21 erhaltenen Pupillenbereiche in Intervallen von 10 ms auf. Fig. 16(b) ist eine graphische Darstellung von typischen Zeitfolgendaten, welche das Blinzeln wiedergeben. Die Blinzelfrequenz- Berechnungsschaltung 31 wandelt die Zeitfolgendaten unter Verwendung eines Schwellenwertes T in binäre Daten mit den Werten 0 und 1 um. Beispielsweise wird die Blinzelfrequenz der Person berechnet, indem die Anzahl von "0"-Bereichen gezählt wird, die in zwei Minuten gesammelt wurden. Eine typische Beziehung zwischen der Blinzelfrequenz und dem Grad der Wach­ samkeit ist in Fig. 17 gezeigt. Wie dargestellt ist, beträgt die Blinzelfrequenz etwa 10 pro Minute, wenn der Grad der Wachsamkeit hoch ist. Wenn die Wachsam­ keit sinkt, nimmt die Blinzelfrequenz zu. Wenn die Blinzelfrequenz der Person 20 oder mehr pro Minute ist, wird geurteilt, daß die Person schläfrig ist.
Wie beschrieben ist, schätzt das fünfte Ausführungs­ beispiel die Blinzelfrequenz der Person auf der Grundlage der Pupillenform. Mit dem Blinzelzustand wie im Fall des vierten Ausführungsbeispiels be­ stimmt, erfaßt das fünfte Ausführungsbeispiel einen gefährlichen Abfall in der Wachsamkeit der Person und erhöht so die Qualität der Schläfrigkeits-Erfassung.
Der Schwellenwert der Blinzelfrequenz kann anders als 20 sein. Alternativ kann der Durchschnittswert der tatsächlichen Blinzelfrequenz gebildet werden, wenn der Grad der Wachsamkeit der Person hoch ist. Wenn die gegenwärtige Blinzelfrequenz der Person bei­ spielsweise das Zweifache der so erhaltenen durch­ schnittlichen Blinzelfrequenz annimmt, kann festge­ stellt werden, daß die Person schläfrig ist.
Während das fünfte Ausführungsbeispiel die Schläfrig­ keit der Person feststellt, ist des bekannt, daß die Blinzelfrequenz zunimmt, wenn die Person sich lang­ weilt, und abnimmt, wenn sie erregt ist. Derartige Änderungen in der Blinzelfrequenz der Person können überwacht werden, um die mentalen Zustände der Person wie Erregung und Gespanntheit zu erfassen.
Ausführungsbeispiel 6
Fig. 18 ist eine schematische Darstellung eines Vigi­ lanz-Erfassungsapparates zur Durchführung des Verfah­ rens gemäß dem sechsten Ausführungsbeispiel der Er­ findung. Das sechste Ausführungsbeispiel mißt den Durchmesser der Pupillen der Person, um den Grad der Ausdehnung und Zusammenziehung der Pupillen der Per­ son zu erfassen und ihren Atmungszyklus zu bestimmen. Eine Pupillen-Extraktionsschaltung 21 zieht die Pu­ pillenform der Person heraus und mißt den Durchmesser der Pupillen, und ein Extraktionsergebnis-Speicher 30 speichert die von der Pupillen-Extraktionsschaltung 21 ermittelten Pupillendurchmesser in Intervallen von beispielsweise 10 ms. Eine Pupillen-Wellenformanaly­ seschaltung 32 führt eine Frequenzanalyse der Pupil­ len-Wellenform durch, die anschaulich wie in Fig. 19 gezeigt aufgezeichnet ist. Eine Atmungszähl-Extrak­ tionsschaltung 41 ermittelt den gegenwärtigen At­ mungszählwert auf der Grundlage des Ergebnisses der von der Pupillen-Wellenformanalyseschaltung 32 vorge­ nommenen Frequenzanalyse, wie in Fig. 20 gezeigt ist.
Das sechste Ausführungsbeispiel arbeitet wie folgt, um den Atmungszählwert zu erfassen: wenn sie genau beobachtet werden, erkennt man, daß die Pupillen ge­ ringfügig vibrieren, wie in Fig. 19 dargestellt ist. Von den die so beobachtete schwankende Wellenform bildenden Komponenten ist von denen mit der niedrigen Frequenz bekannt, daß sie sich entsprechend dem At­ mungszählwert verändern. Fig. 20 zeichnet das Ergeb­ nis der Frequenzanalyse der in Fig. 19 gezeigten Wel­ lenform auf. Wie in Fig. 20 dargestellt ist, er­ scheint eine Spitze bei 0,33 Hz, welche einem At­ mungszyklus von 20 pro Minute entspricht.
Das sechste Ausführungsbeispiel zieht einen Nutzen aus der vorbeschriebenen Eigenschaft und bestimmt den Atmungszählwert durch Überwachen der Änderungen im Pupillendurchmesser. Die Pupillen-Extraktionsschal­ tung 21 zieht die Form und den Durchmesser der Pupil­ len heraus. Der Extraktionsergebnis-Speicher 30 spei­ chert die Pupillendurchmesser in Intervallen von 10 ms. Die Pupillenwellenform-Analyseschaltung 32 führt eine Frequenzanalyse der Wellenform der Pupillen­ schwankungen einmal in jeder Minute durch. Mit dem Ergebnis der Analyse sucht und findet die Atmungs­ zähl-Extraktionsschaltung 41 eine Spitze in dem Ziel­ bereich der Atmungsfrequenzen, wodurch der gegenwär­ tige Atmungszählwert ermittelt wird.
Während das sechste Ausführungsbeispiel den Atmungs­ zählwert allein erhält, kann alternativ eine andere Beurteilungsschaltung vorgesehen sein, um den Grad der Gespanntheit oder einen ungesunden Zustand der Person herauszufinden auf der Grundlage des Umstan­ des, daß der Atmungszählwert mit zunehmender Ge­ spanntheit ansteigt.
Ausführungsbeispiel 7
Fig. 21 ist eine schematische Darstellung eines Vigi­ lanz-Erfassungsapparates zur Durchführung des Verfah­ rens gemäß dem siebenten Ausführungsbeispiel der Er­ findung. Während beim sechsten Ausführungsbeispiel eine Frequenzanalyse hinsichtlich der Zeitfolgendaten über die Pupillendurchmesser durchgeführt wurde, um den Atmungszählwert zu messen, wird beim siebenten Ausführungsbeispiel der durchschnittliche Durchmesser der Pupillen ermittelt, um die Gespanntheit der Per­ son auf der Grundlage des so erhaltenen durchschnitt­ lichen Pupillendurchmessers zu beurteilen.
Eine Pupillen-Extraktionsschaltung 21 zieht die Form der Pupillen heraus und mißt demgemäß deren Durchmes­ ser; ein Extraktionsergebnis-Speicher 30 speichert die so ermittelten Pupillendurchmesser; und eine Ge­ spanntheits-Beurteilungsschaltung 42 stellt fest, nachdem sie den durchschnittlichen Durchmesser erhal­ ten hat, daß die Gespanntheit der Person abgenommen hat, wenn der durchschnittliche Durchmesser kleiner als ein vorbestimmter Wert geworden ist. Fig. 22(a) zeichnet relativ große Änderungen des Pupillendurch­ messers über eine ausgedehnte Zeitspanne auf, im Ge­ gensatz zu den winzigen Vibrationen des Pupillen­ durchmessers (Fig. 19), die über eine kurze Zeitspan­ ne entsprechend dem sechsten Ausführungsbeispiel er­ faßt werden. Wenn der Durchschnittswert gebildet wird, erscheinen die sich ändernden Durchmesser der Pupillen wie in Fig. 22(b) aufgezeichnet. Fig. 23 il­ lustriert eine typische Beziehung zwischen dem durch­ schnittlichen Pupillendurchmesser und dem Grad der Gespanntheit. Je kleiner der durchschnittliche Pupil­ lendurchmesser ist, desto niedriger wird der Grad der Gespanntheit, d. h. die Person wird träge oder gleich­ gültig.
Bei dem sechsten oder siebenten Ausführungbeispiel kann der anhand der Pupillenform gemessene maximale Durchmesser der Pupillen als der Pupillendurchmesser genommen werden. Dies macht es möglich, die Pupillen­ größe korrekt auszuwerten ungeachtet der wechselnden Gesichtsorientierung, wodurch die Zuverlässigkeit des Ausführungsbeispiels verbessert wird.
Ausführungsbeispiel 8
Fig. 24 ist eine schematische Darstellung eines Kör­ perzustands-Erfassungsapparates in einer bevorzugten Struktur gemäß dem achten Ausführungsbeispiel der Er­ findung. Ein Zoom-Mechanismus 50 bewirkt eine visuel­ le Vergrößerung oder Zusammenziehung des Gesichts der Person 1 bevor das Bild dieses Gesichts auf der CCD- Ebene der CCD-Kamera 3 gebildet wird; ein Zoom-Steu­ ermechanismus 51 betätigt den Zoom-Mechanismus 50 durch Auswertung des Ausgangssignals der Pupillen-Ex­ traktionsschaltung 21; und ein Kamera-Antriebsmecha­ nismus 52 ändert die Richtung der CCD-Kamera 3. Die anderen Komponenten sind dieselben wie die entspre­ chenden beim sechsten Ausführungsbeispiel in Fig. 18.
Das achte Ausführungsbeispiel arbeitet wie folgt: es ist bekannt, daß der Pupillendurchmesser im Bereich von 2 bis 8 mm liegt. Wenn die Anzahl von Bildelemen­ ten der CCD-Kamera 3 gleich 512 × 512 ist und wenn ein Bild von 25,6 cm im Quadrat von der Person 1 auf­ genommen wird, wie im achten Ausführungsbeispiel an­ genommen wird, dann ist die Primzahl des Pupillen­ durchmessers von 4 bis 16. Daher wäre es schwierig, die Wellenform von Pupillenschwankungen genau heraus­ zuziehen, wenn der Pupillendurchmesser klein ist.
Diese Schwierigkeit wird durch das achte Ausführungs­ beispiel umgangen, welches eine Variante des sechsten Ausführungsbeispiels ist, indem dieses mit dem Zoom- Mechanismus 50 ergänzt wird. Der hinzugefügte Mecha­ nismus stellt sicher, daß ein Bild der Pupille in der Weise aufgenommen wird, daß es um die Pupillenmitte vergrößert ist. Diese Anordnung ermöglicht dem Aus­ führungsbeispiel, die Pupillen-Schwankungswellenform mit hoher Genauigkeit herauszuziehen.
Wenn die Pupillen-Extraktionsschaltung 21 die Pupil­ lenposition herauszieht, ändert der Kamera-Antriebs­ mechanismus 52 die Kamerarichtung derart, daß ein Bild von einer der Pupillen in der Kameramitte aufge­ nommen werden kann. Die Zoom-Steuerschaltung 51 steu­ ert dann den Zoom-Mechanismus 50 in der Weise, daß er ein Bild von 5,1 cm im Quadrat von der Person 1 auf­ nimmt. Dies macht es möglich, ein fünffach vergrößer­ tes Bild der Pupille aufzunehmen, wodurch die Genau­ igkeit des Herausziehens der Wellenform von Pupillen­ schwankungen erhöht wird.
Wenn sich die Person 1 leicht bewegt, wird nur die Richtung der Kamera 3 geändert, um der Bewegung der Person zu folgen, während die Zoom-Vergrößerung un­ verändert bleibt. Wenn die Bewegung der Person 1 zu groß ist, um ihr folgen zu können, wird die Zoom- Vergrößerung auf eins herabgesetzt, um die Pupille wieder zu erfassen, und dann wird der Zoom-Vorgang wieder aufgenommen.
Während das achte Ausführungsbeispiel eine Variante des sechsten Ausführungsbeispiels in der Weise ist, daß der Zoom-Mechanismus hinzugefügt ist, können je­ des der ersten bis fünften und siebenten Ausführungs­ beispiele ebenso mit dem Zoom-Mechanismus versehen sein. Eine derartige Anordnung macht es möglich, die genaue Form der Pupille zu ermitteln, wodurch die Ge­ nauigkeit der Körperzustandserfassung verbessert wird.
Ausführungsbeispiel 9
Fig. 25 ist eine schematische Darstellung eines Vigi­ lanz-Erfassungsapparates zur Durchführung des Verfah­ rens gemäß dem neunten Ausführungsbeispiel der Erfin­ dung. Während beim vierten Ausführungsbeispiel der Grad der Augenlidöffnung auf der Grundlage der erhal­ tenen Pupillenform geschätzt wurde, werden beim neun­ ten Ausführungsbeispiel zuerst die Pupillen und dann die Augenlider herausgezogen. Der Grad der Augenlid­ öffnung wird aus den so herausgezogenen Augenlidern direkt berechnet. Die das Blinzeln der Person dar­ stellende Wellenform wird dann aus dem Grad der Au­ genlidöffnung ermittelt, wodurch der Grad der Wach­ samkeit festgestellt wird. Im allgemeinen verläuft die Blinzelfrequenz wie in Fig. 26 gezeigt. In dieser Figur stellt die Ordinate Yeb den maximalen vertika­ len Abstand des oberen und unteren Augenlids dar (siehe Fig. 27) und y0 bezeichnet den maximalen Ab­ stand zwischen dem oberen und unteren Augenlid, wenn sie am weitesten auseinander sind. Die Abszisse t be­ deutet die Zeit, tp bezeichnet die Zeit, zu der die Augenlider vollständig geschlossen sind, und t0s und t0e stellen jeweils die Zeit für y0/2 dar. Fig. 28 zeigt zwei Blinzel-Wellenformen, von denen die eine erscheint, wenn der Grad der Wachsamkeit fällt (ent­ lang der ausgezogenen Linie B), und die andere auf­ tritt, wenn der Grad der Wachsamkeit nicht abgenommen hat (entlang der gestrichelten Linie A). Abgesehen von geringen persönlichen Unterschieden ist eine Ab­ nahme der Wachsamkeit im allgemein begleitet mit ei­ ner Verlangsamung der Blinzel-Wellenform. Entlang der ausgezogenen Linie B in Fig. 28 stellt y1 den maxima­ len Abstand zwischen den vollständig geöffneten Au­ genlidern dar und tls und tse bezeichnen jeweils die Zeit für y1/2.
Das neunte Ausführungsbeispiel arbeitet wie folgt: bezugnehmend auf Fig. 25 bestimmt die Fensterein­ stell-Schaltung 22 den Suchbereich (Fenster) für die Augenlider mit Bezug auf die von der Pupillen-Extrak­ tionsschaltung 21 herausgezogenen Augenlidposition. Wie in Fig. 27 gezeigt ist, ist ein Fenster von 5 cm im Quadrat um die Pupille eingestellt für die Suche des oberen und des unteren Augenlids. Aus dem durch die Fenstereinstell-Schaltung 22 eingestellten Fen­ ster zieht die Merkmalspunkt-Extraktionsschaltung 23 die Augenlider entsprechend der Geschwindigkeit von Helligkeitsänderungen in der vertikalen Richtung des Bildes heraus und erhält den maximalen Abstand Yeb zwischen dem oberen und dem unteren Augenlid. Der Ex­ traktionsergebnis-Speicher 30 speichert die Änderun­ gen des maximalen Abstands Yeb über die Zeit als eine Blinzel-Wellenform. Die Schläfrigkeits-Beurteilungs­ schaltung 40 erkennt das Muster dieser Blinzel-Wel­ lenform, analysiert diese und stellt fest, daß die Person schläfrig ist, wenn die Frequenz von Auftrit­ ten der wachsamkeitsreduzierten Wellenform größer wird als ein vorbestimmter Wert. Die Analyse von Blinzel-Wellenformen stützt sich im allgemeinen auf die Blinzeldauer (te-ts) oder auf das Verhältnis der Augenlid-Schließgeschwindigkeit zur Augenlid-Öff­ nungsgeschwindigkeit (tp-ts)/(te-tp) t1s und t0s sind generell durch ts und tie und t0e durch te darge­ stellt). Das neunte Ausführungsbeispiel verwendet die Blinzeldauer te-ts; wenn die Dauer einen vorbestimm­ ten Wert überschreitet, wird festgestellt, daß die Person schläfrig ist.
Obgleich das neunte Ausführungsbeispiel te und ts aus y/2 ermittelt hat, ist dies für die Erfindung nicht beschränkend. Alternativ können statt dessen die Wer­ te bei y/3 verwendet werden.
Während beim neunten Ausführungsbeispiel die Blinzel- Wellenformen für die Erfassung der Schläfrigkeit ana­ lysiert werden, kann alternativ die Blinzel-Frequenz aus dem Grad der Augenlidöffnung erhalten werden, und der Grad der Wachsamkeit kann auf der Grundlage der so erhaltenen Blinzel-Frequenz ermittelt werden. Wie bei dem vierten Ausführungsbeispiel kann der halbge­ schlossene Zustand der Augenlider aus dem Grad der Augenlidöffnung festgestellt werden und der Grad der Wachsamkeit kann gemäß dem halbgeschlossenen Zustand der Augenlider erfaßt werden.
Obgleich beim neunten Ausführungsbeispiel die Augen­ lider aus dem Fenster herausgezogen werden, das be­ sonders eingestellt wurde, um die Augenlider mit Be­ zug auf die Pupillenposition herauszuziehen, ist dies für die Erfindung nicht beschränkend. Alternativ kann ein Fenster errichtet werden, aus dem die Iris mit Bezug auf die Pupillenposition herausgezogen wird. In dieser Anordnung wird die Iris durch Kantenerfassung und Hough-Transformation herausgezogen. Wie bei dem vierten Ausführungsbeispiel wird der Grad der Augen­ lidöffnung dann entsprechend der Irisgröße geschätzt, und der Grad der Wachsamkeit der Person wird anhand des Grades der so geschätzten Augenlidöffnung ermit­ telt.
Ausführungsbeispiel 10
Fig. 29 ist eine schematische Darstellung einer Vigi­ lanz-Erfassungsapparates zur Durchführung des Verfah­ rens gemäß dem zehnten Ausführungsbeispiel der Erfin­ dung. Während beim siebenten Ausführungsbeispiel der durchschnittliche Durchmesser der Pupillen gemessen wurde, um den Grad der Gespanntheit der Person zu er­ fassen, werden beim zehnten Ausführungsbeispiel zu­ erst die Pupillen herausgezogen, dann die Blickrich­ tung ermittelt und der Grad der Gespanntheit der Per­ son auf der Grundlage der Zeitfolgenmuster der Blick­ richtung erfaßt. Fig. 29 zeigt eine Blickrichtungs- Berechnungsschaltung 60.
Das zehnte Ausführungsbeispiel arbeitet wie folgt: bezugnehmend auf Fig. 29 stellt eine Fenstereinstell- Schaltung 22 den Suchbereich (Fenster) für die Augen­ lider ein mit Bezug auf die von der Pupillen-Extrak­ tionsschaltung 21 herausgezogene Pupillenposition, so wie im Fall des neunten Ausführungsbeispiels. Die Merkmalspunkt-Extraktionsschaltung 23 zieht die Au­ genlider innerhalb des durch die Fenstereinstell- Schaltung 22 eingestellten Fensters heraus. Die Blickrichtungs-Berechnungsschaltung 60 schätzt die Blickrichtung auf der Grundlage der Positionsbezie­ hung zwischen den Augenlidern und den Pupillen. Die Fig. 30(a) bis 30(c) zeigen anschaulich, wie die Blickrichtungen bestimmt werden. Fig. 30(a) ist die Darstellung eines nach vorn blickenden Auges (d. h. zur Kamera hin), Fig. 30(b) ist die Darstellung eines auf der rechten Seite blickende Auges und Fig. 30(c) stellt die Blickrichtung von oben betrachtet dar. Wenn der Mittelpunkt 0 zwischen dem oberen und dem unteren Lid (d. h. die Position entsprechend der Mitte der Pupille, wenn die Person nach vorn blickt) und die sichtbare Pupillenmitte P bekannt sind, wird die Blickrichtung gemäß der Positionsbeziehung zwischen 0 und P erhalten. Das heißt, der
X-Achsen-Abstand von OP = d . sin(α), und der
Y-Achsen-Abstand von OP = d . sin(β),
worin bedeuten:
d: Radius des Augapfels (1,22 cm, der japani­ sche Durchschnitt, für das zehnte Ausfüh­ rungsbeispiel)
α: Blickwinkel in X-Achsen-Richtung
β: Blickwinkel in Y-Achsen-Richtung.
Der Extraktionsergebnis-Speicher 30 speichert Zeit­ folgenmuster der Blickrichtungen α und β, die von der Blickrichtungs-Berechnungsschaltung 60 ermittelt wur­ den (Fig. 31(a) zeigt ein typisches Zeitfolgenmuster der Blickrichtung α). Wenn die Person träge wird, nimmt die Bewegung der Blickrichtungen in der Aus­ breitung ab (wie in Fig. 31(b) gezeigt ist). Somit ermittelt die Gespanntheits-Beurteilungsschaltung 42 die Ausbreitung der Blickrichtungsbewegung (Fig. 31(b) zeichnet die Ausbreitung der Blickrichtungsbe­ wegung in Fig. 31(a) auf) durch Verwendung der Glei­ chung:
Wenn die Ausbreitung der Bewegung in der Blickrich­ tung α innerhalb einer vorbestimmten Zeitspanne (2 Minuten) geringer wird als ein vorbestimmter Pegel, stellt die Gespanntheits-Beurteilungsschaltung 42 fest, daß sich die Person in einem trägen oder ermü­ deten Zustand befindet.
Ausführungsbeispiel 11
Fig. 32 ist eine schematische Ansicht eines Vigilanz- Erfassungsapparates zur Durchführung des Verfahrens gemäß dem elften Ausführungsbeispiel der Erfindung. Bei einigen der vorhergehenden Ausführungsbeispiele wurde der Körperzustand der Person erfaßt und bei ei­ nigen der Summer beim Erfassen dieses Zustands betä­ tigt. Im Gegensatz hierzu wird beim elften Ausfüh­ rungsbeispiel die Erfassung des Körperzustands der Person beibehalten, selbst nachdem der Summer betä­ tigt wurde, um die Genauigkeit der Körperzustandser­ fassung zu erhöhen. Fig. 32 zeigt eine sichtbare LED- Vorrichtung 91 (Reizerzeugungsmittel) und einen Sum­ mer 92.
Das elfte Ausführungsbeispiel arbeitet wie folgt: bezugnehmend auf Fig. 32 arbeiten die Pupillen-Ex­ traktionsschaltung 21 und der Extraktionsergebnis- Speicher 30 in derselben Weise wie diejenigen beim zweiten Ausführungsbeispiel, wobei Zeitfolgendaten über die Pupillenpositionen im Speicher 30 aufgenom­ men werden. Die Schläfrigkeits-Beurteilungsschaltung 40 stellt die Schläfrigkeit der Person fest entspre­ chend der Dauer des "Absenk"-Zustands der Person, der von den im Extraktionsergebnis-Speicher 30 gehaltenen Zeitfolgendaten über die Pupillenpositionen abgelei­ tet wird. Wenn vorläufig festgestellt wird, daß die Person 1 schläfrig ist, wird die sichtbare LED-Vor­ richtung 91 aktiviert, um die Person zu beleuchten. Der Zustand der Person vor der Aktivierung der sicht­ baren LED-Vorrichtung 91 wird mit dem Zustand der Person danach verglichen. Wenn der Zustand der Person nach der Aktivierung der sichtbaren LED-Vorrichtung 91 derselbe wie vorher bleibt, stellt die Schläfrig­ keits-Beurteilungsschaltung 40 fest, daß die Person tatsächlich schläfrig ist und betätigt den Summer 92.
Die genaue Arbeitsweise nach dem elften Ausführungs­ beispiel ist in dem Flußdiagramm nach Fig. 33 darge­ stellt. In Fig. 33 sind die Schritte 10 bis 18 die­ selben wie in Fig. 10 für das zweite Ausführungsbei­ spiel. Im Schritt 20 wird vorläufig festgestellt, daß die Person schläfrig ist (primäres Ergebnis der Beur­ teilung). Im Schritt 21 wird die tatsächliche Pupil­ lenposition an diesem Punkt gespeichert. Im Schritt 22 wird die sichtbare LED-Vorrichtung 91 eingeschal­ tet. Im Schritt 23 wird ein anderes Gesichtsbild ein­ gegeben. Im Schritt 24 wird die Pupillenposition in derselben Weise wie im Schritt 11 herausgezogen. Im Schritt 25 wird geprüft, ob die im Schritt 24 heraus­ gezogene Pupillenposition (d. h. Pupillenhöhe) sich von der im Schritt 21 gespeicherten Pupillenposition unterscheidet. Wenn die beiden Positionen unter­ schiedlich sind, ist Schritt 26 erreicht, in welchem die vorläufige Feststellung der Schläfrigkeit ge­ löscht wird. Im Schritt 27 wird die sichtbare LED- Vorrichtung 91 ausgeschaltet. Wenn die Pupillenposi­ tion unverändert bleibt, ist Schritt 28 erreicht. Im Schritt 28 wird vorläufig festgestellt, daß die Per­ son schläfrig ist und es wird geprüft, ob drei Sekun­ den vergangen sind. Wenn drei Sekunden im Schritt 28 noch nicht vergangen sind, ist Schritt 23 wieder er­ reicht, in welchem ein anderes Gesichtsbild aufgenom­ men wird. Wenn im Schritt 28 drei Sekunden vergangen sind, wird festgestellt, daß der "Absenk"-Zustand nach dem Alarm unverändert bleibt. Somit wird festge­ stellt, daß die Person tatsächlich schläfrig ist (se­ kundäres Ergebnis der Beurteilung), und der Summer 92 wird aktiviert.
Das elfte Ausführungsbeispiel ist tatsächlich eine Variante des zweiten Ausführungsbeispiels, welches ergänzt ist durch die Fähigkeit, den Zustand der Per­ son vor der Ausübung eines Reizes und den Zustand da­ nach zu vergleichen. Alternativ kann irgendeines der anderen vorhergehenden Ausführungsbeispiele so ausge­ bildet sein, daß es einen Reiz auf die Person in Ab­ hängigkeit von deren Zustand ausübt. Der Vergleich des Zustands der Person vor und nach der Ausübung des Reizes gibt eine Anzeige über den gegenwärtigen Kör­ perzustand der Person.
Beim elften Ausführungsbeispiel kann die sichtbare LED-Vorrichtung 91 durch einen weichklingenden Summer oder irgendeine andere Vorrichtung ersetzt werden, die einen Reiz auf irgendeinen der fünf Sinne der Person ausübt. Wenn das Ausführungsbeispiel für eine Bedienungsperson an der Konsole einer Fabrik angewen­ det wird, kann eine Sprachnachricht wie "Bitte diese Knopf drücken" als Reiz ausgeübt werden.
Ausführungsbeispiel 12
Fig. 34 ist eine schematische Darstellung eines Vigi­ lanz-Erfassungsapparates zur Durchführung des Verfah­ rens gemäß dem zwölften Ausführungsbeispiel der Er­ findung. Bei den vorhergehenden Ausführungsbeispielen wurde die Position und/oder die Form der Merkmals­ punkte der Person wie der Augenlider unter der Annah­ me, daß der Abstand zu der Person konstant bleibt, erfaßt. Jedoch erscheinen in Fällen wie dem in Fig. 35, in welchem der Abstand L zwischen der Kamera und der Person verlängert ist, die Pupillen und Augenli­ der spürbar klein in sichtbarer Größe.
Wenn L0 den Bezugsabstand zwischen der Person 1 und der Kamera 3 bezeichnet, dann wird die sichtbare Grö­ ße beispielsweise der Augenlider Yeb dargestellt durch Yeb . L0/L, worin Yeb die Größe des Augenlids gese­ hen aus dem Bezugsabstand bedeutet.
Das zwölfte Ausführungsbeispiel hat die Fähigkeit, Änderungen der sichtbaren Pupillenform oder Merkmals­ größen zu korrigieren, wenn der Abstand zwischen der Person 1 und der Kamera 3 sich ändert. Dieses Ausfüh­ rungsbeispiel ist tatsächlich eine Variante des neun­ ten Ausführungsbeispiels, welche durch die Korrektur­ mittel ergänzt ist. In Fig. 34 ist eine Abstandsmeß­ schaltung 70 auf der Grundlage eines Ultraschallsen­ sors nahe der CCD-Kamera 3 angeordnet.
Das zwölfte Ausführungsbeispiel arbeitet wie folgt: die Abstandsmeßschaltung 70 emittiert Ultraschallim­ pulse zur Person 1. Die Abstandsmeßschaltung 70 er­ mittelt den Abstand L durch Berechnung der Zeit, die von der Ultraschallwelle benötigt wird, um die Person 1 zu treffen, durch diese reflektiert zu werden und zu ihrem Ursprung zurückzukehren. Die für die Berech­ nung des Abstands L verwendete Gleichung lautet:
L = v . t/2,
worin v die Geschwindigkeit der Ausbreitung der Ul­ traschallwelle und t die von der emittierten Welle benötigte Zeit bis zur Rückkehr zu ihrem Ursprung be­ deuten. Wenn der Abstand L zwischen der Person 1 und der Kamera 3 gemessen ist, wird der durch das neunte Ausführungsbeispiel ermittelte Abstand Yeb gemäß dem gemessenen Abstand L unter Verwendung der Gleichung korrigiert:
Yeb = Yeb . L/L0.
Dies ergibt die Blinzel-Wellenform. Der Rest der Schritte für die Schläfrigkeits-Erfassung ist dersel­ be wie beim neunten Ausführungsbeispiel.
Während das zwölfte Ausführungsbeispiel eine Variante des neunten Ausführungsbeispiels ist, welches durch die Abstandskorrekturmittel ergänzt ist, kann jedes der anderen vorhergehenden Ausführungsbeispiele mit einer ähnlichen Möglichkeit ausgerüstet sein. Das heißt, der Abstand zwischen einer vorbestimmten Posi­ tion und dem Gesicht der Person kann gemessen werden. Dann können die Pupillenform oder die Merkmalsgrößen korrigiert werden entsprechend dem gemessenen Ab­ stand, wodurch die Genauigkeit der Schläfrigkeits- Erfassung vergrößert wird.
Obgleich beim zwölften Ausführungsbeispiel der Ultra­ schallsensor als Abstandsmeßvorrichtung verwendet wurde, ist die Erfindung nicht hierauf beschränkt. Alternativ kann der Abstand zur Person von dem Brenn­ punkt der Kameralinse gemessen werden. Eine andere Alternative besteht darin, daß die Person einen mag­ netischen Positionssensor auf dem Kopf trägt. Ein weitere Alternative besteht darin, mehrere koaxiale Beleuchtungsvorrichtungen vorzusehen, die den Abstand zu einem Merkmalspunkt auf dem Gesicht der Person durch Triangulation ermitteln.
Ausführungsbeispiel 13
Fig. 36 ist eine schematische Darstellung eines Vigi­ lanz-Erfassungsapparates zur Durchführung des Verfah­ rens gemäß dem dreizehnten Ausführungsbeispiel der Erfindung. Bei den vorhergehenden Ausführungsbeispie­ len wurde die Pupillenform unter der Annahme erfaßt, daß die Intensität der Beleuchtung um die Person kon­ stant ist. Jedoch werden, wie in Fig. 37 gezeigt ist, die Pupillen kleiner, je höher die Intensität der Be­ leuchtung ist. Hieraus folgt, daß Fehler bei der Er­ fassung der Pupillenform auftreten können, wenn die Intensität der Beleuchtung variiert. Diese Schwierig­ keit wird umgangen durch das dreizehnte Ausführungs­ beispiel, das die Fähigkeit hat, Änderungen in der erfaßten Pupillenform zu korrigieren, wenn die Inten­ sität der Beleuchtung um die Person variiert. Dieses Ausführungsbeispiel ist tatsächlich eine Variante des sechsten Ausführungsbeispiels, welches durch die Kor­ rekturmittel ergänzt ist. In Fig. 36 ist ein Beleuch­ tungssensor 80 nahe der Person angeordnet.
Das dreizehnte Ausführungsbeispiel arbeitet wie folgt: der Beleuchtungssensor 80 mißt die Intensität der Beleuchtung um die Person 1. Bei gegebenem Sen­ sorausgangssignal korrigiert die Pupillen-Extrak­ tionsschaltung 21 den herausgezogenen Pupillendurch­ messer, indem dieser mit einem Koeffizienten multi­ pliziert wird, der im Einklang steht mit der vorher ermittelten Beleuchtungsintensität. Diese Anordnung macht es möglich, die Wellenform von Pupillenschwan­ kungen zu analysieren ungeachtet der sich ändernden Beleuchtungsintensität.
Alternativ kann in dem Moment, in dem die Beleuch­ tungsintensität sich geändert hat, das Ergebnis der Analyse bezüglich der gegenwärtigen Pupillen- Wellenform gelöscht werden und eine neue Pupillen- Wellenform kann aufgenommen werden für eine erneute Analyse.
Ausführungsbeispiel 14
Fig. 38 ist eine schematische Darstellung eines Vigi­ lanz-Erfassungsapparates zur Durchführung des Verfah­ rens gemäß dem vierzehnten Ausführungsbeispiel der Erfindung. Beim neunten Ausführungsbeispiel wurde die Wachsamkeit der Person entsprechend dem Abstand zwi­ schen dem oberen und unteren Augenlid der Person be­ urteilt. Diese Anordnung arbeitet gut, solange wie die Person das Gesicht nicht vertikal neigt. Wenn das Gesicht geneigt wird, wird der sichtbare Abstand zwi­ schen dem oberen und dem unteren Augenlid kürzer. Das vierzehnte Ausführungsbeispiel hat die Möglichkeit, die Änderungen der Pupillenform oder der Merkmalsgrö­ ßen zu korrigieren, welche dadurch herrühren, daß die Person ihr Gesicht vertikal neigt. Dieses Ausfüh­ rungsbeispiel ist tatsächlich eine Variante des neun­ ten Ausführungsbeispiels, welches durch die Korrek­ turmittel ergänzt ist. Fig. 38 zeigt eine Orientie­ rungsschätzungs-Korrekturschaltung 25 für das heraus­ gezogene Gesicht.
Das vierzehnte Ausführungsbeispiel arbeitet wie folgt: der vertikale Winkel des Gesichts der Person wird in derselben Weise wie beim dritten Ausführungs­ beispiel erhalten. Das heißt, die von der Pupillen- Extraktionsschaltung 21 ermittelte Pupillenposition und die von der Merkmalspunkt-Extraktionsschaltung 23 erhaltene Position der Nasenlöcher werden in die Ori­ entierungsschätzungs-Korrekturschaltung 25 für das herausgezogene Gesicht eingegeben. Die Korrektur­ schaltung 25 ermittelt zuerst zwei Abstände: den tat­ sächlichen Abstand S0 zwischen der Pupillenmitte und der Nasenlochmitte, wenn die Person nach vorn schaut, und den sichtbaren Abstand S zwischen der Pupillen­ mitte und der Nasenlochmitte. Unter Verwendung der Abstände S0 und S erhält die Korrekturschaltung 25 den vertikalen Winkel θ. Die verwendet Gleichung ist:
S = S0 - COS(θ).
Unterdessen zieht die Merkmalspunkt-Extraktionsschal­ tung 23 die Augenlider in derselben Weise wie beim neunten Ausführungsbeispiel heraus. Wenn der maximale Abstand Yeb zwischen dem oberen und unteren Augenlid erhalten ist, wird der Abstand in die Orientierungs­ schätzungs-Korrekturschaltung 25 für das herausgezo­ gene Gesicht eingegeben. Die Korrekturschaltung 25 ihrerseits korrigiert den Abstand zwischen dem oberen und unteren Augenlid auf der Grundlage des Winkels θ und des Abstandes Yeb, die wie vorstehend ermittelt wurden. Die verwendete Gleichung lautet:
Yh =0 Yeb/COS(θ),
worin Yeb den Abstand zwischen dem oberen und dem un­ teren Augenlid, die aus dem Gesichtsbild herausgezo­ gen wurden, Yh der korrigierte Abstand zwischen dem oberen und dem unteren Augenlid und θ den vertikalen Drehwinkel des Gesichts der Person (der Winkel ist 0, wenn die Person nach vorn blickt) darstellen. Der Ex­ traktionsergebnis-Speicher 30 speichert die Änderun­ gen des korrigierten Abstandes Yh über die Zeit als eine Blinzel-Wellenform. Die Schläfrigkeits-Beurtei­ lungsschaltung 40 erkennt das Muster dieser Blinzel- Wellenform, analysiert es und stellt fest, daß die Person schläfrig ist, wenn die Frequenz des Auftre­ tens der wachsamkeitsreduzierten Wellenform höher wird als ein vorbestimmter Wert.
Während das vierzehnte Ausführungsbeispiel eine Vari­ ante des neunten Ausführungsbeispiels ergänzt durch die Fähigkeit, Korrekturen entsprechend dem vertika­ len Gesichtswinkel durchzuführen, ist, kann jedes der anderen Ausführungsbeispiele mit einer ähnlichen Fä­ higkeit ausgerüstet sein. Das heißt, der vertikale oder horizontale Winkel des Gesichts der Person kann gemessen werden und die Pupillenform oder die Merk­ malsgrößen können korrigiert werden unter Berücksich­ tigung des so gemessenen Winkels, wodurch die Genau­ igkeit der Schläfrigkeits-Erfassung verbessert wird.

Claims (10)

1. Verfahren zum Erfassen einer Vigilanz einer Per­ son auf der Grundlage von Augenparametern, bei dem das Gesicht der Person beleuchtet wird und das von dem Gesicht reflektierte Licht in ent­ sprechende elektrische Signale umgewandelt wird, wobei die Richtungen des das Gesicht beleuchten­ den Lichts und des vom Gesicht reflektierten Lichts zumindest annähernd zusammenfallen, und bei dem weiterhin die die Augenparameter betref­ fenden Signale aus den erzeugten elektrischen Signalen herausgezogen werden, dadurch gekennzeichnet, daß die eine Pupillenposition und/oder Pupillen­ form betreffenden Signale auf der Grundlage der Leuchtdichteverteilung auf dem beleuchteten Ge­ sicht der Person derart herausgezogen werden, daß Bereiche auf dem Gesicht, die durch relativ hohe Leuchtdichte gekennzeichnet sind, durch Si­ gnale mit einem ersten vorbestimmten Pegel dar­ gestellt werden, und Bereiche, die durch eine relativ geringe Leuchtdichte gekennzeichnet sind, durch Signale mit einem zweiten vorbe­ stimmten Pegel dargestellt werden, und daß die Vigilanz mittels eines vorbestimmten Parameters bestimmt wird, die aus den die Pupillenposition und/oder die Pupillenform betreffenden Signalen abgeleitet ist.
2. Verfahren nach Anspruch 1, dadurch gekennzeich­ net, daß der vorbestimmte Parameter eine zeitli­ che Änderung der Pupillenposition ist.
3. Verfahren nach Anspruch 1, dadurch gekennzeich­ net, daß der vorbestimmte Parameter der Grad der Augenlidöffnung ist.
4. Verfahren nach Anspruch 1, dadurch gekennzeich­ net, daß der vorbestimmte Parameter die Blinzel­ frequenz ist.
5. Verfahren nach Anspruch 1, dadurch gekennzeich­ net, daß der vorbestimmte Parameter die Ausdeh­ nung und Zusammenziehung der Pupillen ist.
6. Verfahren nach einem der Ansprüche 1 bis 5, da­ durch gekennzeichnet, daß auf der Grundlage der herausgezogenen Signale ein weitere Merkmale in dem Gesicht der Person enthaltender Bereich be­ stimmt wird und aus den erzeugten elektrischen Signalen die die Position und/oder die Form der Merkmale betreffende Signale herausgezogen wer­ den für die Bestimmung der Vigilanz.
7. Verfahren nach einem der Ansprüche 1 bis 6, da­ durch gekennzeichnet, daß ein Reiz auf die Per­ son ausgeübt wird in Abhängigkeit von der be­ stimmten Vigilanz, und daß die Vigilanz in Ab­ hängigkeit von dem Pupillenparameter oder dem Zustand der Merkmale vor und nach der Ausübung des Reizes bestimmt wird.
8. Verfahren nach einem der Ansprüche 1 bis 7, da­ durch gekennzeichnet, daß der Abstand zwischen dem Gesicht der Person und einer Vorrichtung zum Umwandeln des reflektierten Lichts in elektri­ sche Signale gemessen und die Pupillenform oder die Größe der weiteren Merkmale entsprechend dem gemessenen Abstand korrigiert wird.
9. Verfahren nach einem der Ansprüche 1 bis 8, da­ durch gekennzeichnet, daß die Intensität des das Gesicht beleuchtenden Lichts gemessen und die Bildung der Signale in Abhängigkeit von der ge­ messenen Intensität korrigiert wird.
10. Verfahren nach einem der Ansprüche 1 bis 9, da­ durch gekennzeichnet, daß die Neigung des Ge­ sichts der Person gemessen und die Pupillenform oder die Größe der weiteren Merkmale in Abhän­ gigkeit von der Gesichtsneigung korrigiert wird.
DE19509689A 1994-03-10 1995-03-07 Verfahren zum Erfassen einer Vigilanz einer Person Expired - Fee Related DE19509689C2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03988794A JP3293308B2 (ja) 1994-03-10 1994-03-10 人物状態検出装置

Publications (2)

Publication Number Publication Date
DE19509689A1 DE19509689A1 (de) 1995-09-14
DE19509689C2 true DE19509689C2 (de) 2000-01-05

Family

ID=12565493

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19509689A Expired - Fee Related DE19509689C2 (de) 1994-03-10 1995-03-07 Verfahren zum Erfassen einer Vigilanz einer Person

Country Status (3)

Country Link
US (2) US5573006A (de)
JP (1) JP3293308B2 (de)
DE (1) DE19509689C2 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10024227B4 (de) * 2000-05-17 2011-02-17 Volkswagen Ag Verfahren und Einrichtung zur elektronischen Überwachung des Aufmerksamkeitsgrades
CZ303526B6 (cs) * 2007-06-22 2012-11-14 Kyjovský@Štepán Zarízení pro detekci ztráty bdelosti ridice

Families Citing this family (142)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993024325A2 (en) * 1992-05-27 1993-12-09 Plastisign Limited Method of cold laminating rigid plastics and stationery and apparatus therefor
JP3452685B2 (ja) * 1995-05-10 2003-09-29 三菱電機株式会社 顔画像の処理装置
JP3272906B2 (ja) * 1995-05-29 2002-04-08 シャープ株式会社 視線方向検出方法及び装置及びそれを含むマンマシンインターフェース装置
JP3316725B2 (ja) * 1995-07-06 2002-08-19 三菱電機株式会社 顔画像撮像装置
JP3350296B2 (ja) * 1995-07-28 2002-11-25 三菱電機株式会社 顔画像処理装置
JP3426060B2 (ja) * 1995-07-28 2003-07-14 三菱電機株式会社 顔画像処理装置
JPH10192333A (ja) * 1996-12-27 1998-07-28 Nidek Co Ltd 眼科手術装置
JP3455627B2 (ja) * 1996-03-22 2003-10-14 日産ディーゼル工業株式会社 車両における覚醒度低下検出装置
JP3183161B2 (ja) * 1996-04-12 2001-07-03 三菱自動車工業株式会社 覚醒度推定装置
USRE39539E1 (en) 1996-08-19 2007-04-03 Torch William C System and method for monitoring eye movement
DE19643593A1 (de) * 1996-10-22 1998-04-23 Privatinstitut Fuer Informatik Vorrichtung und Verfahren zum frühzeitigen Erkennen und Verhindern unzulässiger Konzentrationsschwächen und des Einschlafens beim Autofahren und bei anderen Tätigkeiten, die hohe Konzentration erfordern
JP3828626B2 (ja) * 1996-12-27 2006-10-04 株式会社ニデック 眼科手術装置
JP3815842B2 (ja) * 1997-03-31 2006-08-30 日産ディーゼル工業株式会社 居眠り警報装置
DE19719695A1 (de) * 1997-05-09 1998-11-19 Univ Eberhard Karls Verfahren und Vorrichtung zum Messen der Aufmerksamkeit von Lebewesen innerhalb einer Menge von Lebewesen
DE19731301C2 (de) * 1997-07-13 2001-05-10 Smi Senso Motoric Instr Gmbh Vorrichtung zum Steuern eines Mikroskopes mittels Blickrichtungsanalyse
JPH1147094A (ja) * 1997-08-05 1999-02-23 Canon Inc 検眼装置
JP3556439B2 (ja) * 1997-08-12 2004-08-18 三菱電機株式会社 顔画像処理装置
EP0910986A1 (de) * 1997-10-24 1999-04-28 BRITISH TELECOMMUNICATIONS public limited company Bilderzeugungsapparat
JP3477057B2 (ja) * 1997-12-05 2003-12-10 日本電信電話株式会社 ドライバー状況依存コミュニケーション装置及びその方法
DE19803158C1 (de) * 1998-01-28 1999-05-06 Daimler Chrysler Ag Vorrichtung zur Vigilanzzustandsbestimmung
US6091334A (en) * 1998-09-04 2000-07-18 Massachusetts Institute Of Technology Drowsiness/alertness monitor
FR2784887B1 (fr) 1998-10-22 2001-01-19 Renault Systeme pour surveiller des yeux afin de detecter et de prevenir des baisses de vigilance d'un conducteur de vehicule
JP2000132693A (ja) * 1998-10-27 2000-05-12 Sony Corp 画像処理装置および方法、並びに提供媒体
DE19856129A1 (de) * 1998-12-04 2000-06-08 Volkswagen Ag Verfahren zur Ansteuerung von Sicherheitseinrichtungen in einem Kraftfahrzeug
US6483484B1 (en) * 1998-12-18 2002-11-19 Semiconductor Energy Laboratory Co., Ltd. Goggle type display system
JP3839982B2 (ja) * 1999-01-29 2006-11-01 松下電器産業株式会社 人体検知装置及び人体検知方法
JP3600755B2 (ja) * 1999-05-13 2004-12-15 三菱電機株式会社 顔画像処理装置
FR2821459B1 (fr) * 2001-02-23 2004-11-12 Holding Bev Sa Procede et dispositif de reperage d'un objet par sa forme, sa dimension et/ou son orientation
JP2001242417A (ja) * 2000-02-28 2001-09-07 Mixed Reality Systems Laboratory Inc 瞳孔位置検出装置及びそれを用いた画像表示装置
US6831998B1 (en) * 2000-06-22 2004-12-14 Hitachi, Ltd. Inspection system for circuit patterns and a method thereof
US6711279B1 (en) * 2000-11-17 2004-03-23 Honeywell International Inc. Object detection
US7200246B2 (en) * 2000-11-17 2007-04-03 Honeywell International Inc. Object detection
WO2002050792A1 (en) * 2000-12-21 2002-06-27 Todor Stankovic The procedure and device intended for the man-machine system security preservation under a man's drowsiness conditions
WO2002056251A1 (fr) * 2000-12-27 2002-07-18 Mitsubishi Denki Kabushiki Kaisha Dispositif de traitement d'images et ascenseur sur lequel il est monte
JP4476546B2 (ja) * 2000-12-27 2010-06-09 三菱電機株式会社 画像処理装置及びそれを搭載したエレベータ
US6841780B2 (en) 2001-01-19 2005-01-11 Honeywell International Inc. Method and apparatus for detecting objects
US7176440B2 (en) * 2001-01-19 2007-02-13 Honeywell International Inc. Method and apparatus for detecting objects using structured light patterns
DE10108797A1 (de) * 2001-02-21 2002-09-05 Zeiss Carl Jena Gmbh Verfahren zur Ermittlung von Abständen am vorderen Augenabschnitt
US20020180608A1 (en) 2001-05-04 2002-12-05 Sphericon Ltd. Driver alertness monitoring system
US6927694B1 (en) 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
US7409373B2 (en) * 2001-12-28 2008-08-05 Concepta Ab Pattern analysis system and method
US20030163827A1 (en) * 2002-02-28 2003-08-28 Purpura William J. High risk personnel real time monitoring support apparatus
JP3797253B2 (ja) * 2002-03-14 2006-07-12 日産自動車株式会社 視線方向検出装置
US20040037450A1 (en) * 2002-08-22 2004-02-26 Bradski Gary R. Method, apparatus and system for using computer vision to identify facial characteristics
NL1021496C2 (nl) * 2002-09-19 2004-03-22 Joannes Hermanus Heiligers Signaleringsinrichting en werkwijze voor het monitoren van alertheid van personen.
GB0230223D0 (en) * 2002-12-24 2003-02-05 Newcastle Upon Tyne Hospitals A pupilometer
JP4391091B2 (ja) * 2003-01-17 2009-12-24 ソニー株式会社 情報伝送方法、情報伝送装置、情報記録方法、情報記録装置、情報再生方法、情報再生装置および記録媒体
US7138922B2 (en) * 2003-03-18 2006-11-21 Ford Global Technologies, Llc Drowsy driver monitoring and prevention system
JP4054713B2 (ja) * 2003-04-25 2008-03-05 忠彦 福田 戸惑い検出方法及び戸惑い検出プログラム
JP4123077B2 (ja) * 2003-06-27 2008-07-23 日産自動車株式会社 運転者状態検出装置
JP2005013626A (ja) * 2003-06-27 2005-01-20 Nissan Motor Co Ltd 覚醒状態検出装置
KR100682889B1 (ko) * 2003-08-29 2007-02-15 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
JP4118773B2 (ja) * 2003-09-11 2008-07-16 日産ディーゼル工業株式会社 視線方向検出装置及び視線方向検出方法
JP4173083B2 (ja) * 2003-09-12 2008-10-29 日産ディーゼル工業株式会社 覚醒状態判定装置及び覚醒状態判定方法
US7049947B2 (en) * 2003-09-29 2006-05-23 Nattel Group, Inc. System and method for monitoring the operational condition of a motor vehicle
DE102004022581B4 (de) * 2003-10-06 2017-08-03 Volkswagen Ag Fahrerassistenzsystem
JP4225182B2 (ja) * 2003-11-04 2009-02-18 株式会社デンソー 居眠り運転予防装置
DE10360176A1 (de) * 2003-12-20 2005-07-21 Volkswagen Ag Kraftfahrzeug mit einem Sensor zur Fahrerüberwachung
JP4317465B2 (ja) 2004-02-13 2009-08-19 本田技研工業株式会社 顔識別装置、顔識別方法及び顔識別プログラム
US7331671B2 (en) * 2004-03-29 2008-02-19 Delphi Technologies, Inc. Eye tracking method based on correlation and detected eye movement
US20110077548A1 (en) * 2004-04-01 2011-03-31 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US10039445B1 (en) 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
EP1755441B1 (de) * 2004-04-01 2015-11-04 Eyefluence, Inc. Biosensoren, kommunikatoren und steuerungen zur überwachung der augenbewegung und verfahren zu deren verwendung
JP4088282B2 (ja) * 2004-08-20 2008-05-21 清実 中村 コンピュータ入力方法と装置
US7435227B2 (en) * 2004-09-13 2008-10-14 Biocognisafe (Bcs) Technologies Method and apparatus for generating an indication of a level of vigilance of an individual
US8456534B2 (en) * 2004-10-25 2013-06-04 I-Interactive Llc Multi-directional remote control system and method
US8842186B2 (en) 2004-10-25 2014-09-23 I-Interactive Llc Control system and method employing identification of a displayed image
US8760522B2 (en) 2005-10-21 2014-06-24 I-Interactive Llc Multi-directional remote control system and method
CN101132729A (zh) * 2005-03-04 2008-02-27 睡眠诊断学公司 警觉性的测量
US7301465B2 (en) * 2005-03-24 2007-11-27 Tengshe Vishwas V Drowsy driving alarm system
DE102005026479B4 (de) * 2005-06-09 2017-04-20 Daimler Ag Verfahren zur Unaufmerksamkeitserkennung in Abhängigkeit von mindestens einem fahrerindividuellen Parameter
US20060279745A1 (en) * 2005-06-13 2006-12-14 Wenstrand John S Color imaging system for locating retroreflectors
JP4704174B2 (ja) * 2005-09-30 2011-06-15 富士フイルム株式会社 状態識別装置、プログラムおよび方法
JP4621983B2 (ja) * 2005-10-07 2011-02-02 株式会社デンソー 自動車用ユーザーもてなしシステム
JP4497081B2 (ja) * 2005-10-31 2010-07-07 トヨタ自動車株式会社 人の状態検出装置
US7650034B2 (en) * 2005-12-14 2010-01-19 Delphi Technologies, Inc. Method of locating a human eye in a video image
US20070146482A1 (en) * 2005-12-23 2007-06-28 Branislav Kiscanin Method of depth estimation from a single camera
US7423540B2 (en) 2005-12-23 2008-09-09 Delphi Technologies, Inc. Method of detecting vehicle-operator state
JP4509042B2 (ja) * 2006-02-13 2010-07-21 株式会社デンソー 自動車用もてなし情報提供システム
WO2007095368A2 (en) * 2006-02-14 2007-08-23 Wms Gaming Inc. Reorganizing a wagering game machine's nvram
US7400235B2 (en) * 2006-02-28 2008-07-15 Nissan Technical Center North America, Inc. Lane departure warning mirror
JP4452833B2 (ja) * 2006-03-31 2010-04-21 国立大学法人静岡大学 視線移動検出方法及び視線移動検出装置
JP4864541B2 (ja) * 2006-05-23 2012-02-01 旭化成株式会社 まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置
US7620216B2 (en) * 2006-06-14 2009-11-17 Delphi Technologies, Inc. Method of tracking a human eye in a video image
US8013838B2 (en) 2006-06-30 2011-09-06 Microsoft Corporation Generating position information using a video camera
US8102417B2 (en) * 2006-10-25 2012-01-24 Delphi Technologies, Inc. Eye closure recognition system and method
JP4137969B2 (ja) * 2006-12-04 2008-08-20 アイシン精機株式会社 眼部検出装置、眼部検出方法及びプログラム
JP4240118B2 (ja) * 2006-12-12 2009-03-18 トヨタ自動車株式会社 運転支援装置
JP4840146B2 (ja) * 2007-01-09 2011-12-21 株式会社デンソー 眠気検知装置
JP4895847B2 (ja) * 2007-02-08 2012-03-14 アイシン精機株式会社 瞼検出装置及びプログラム
US8045766B2 (en) * 2007-02-16 2011-10-25 Denso Corporation Device, program, and method for determining sleepiness
DE102008007152B4 (de) * 2007-03-30 2019-01-17 Volkswagen Ag Verfahren zur Parametrisierung des Augenöffnungsgrades eines Fahrers eines Kraftfahrzeugs
JP4899059B2 (ja) * 2007-03-30 2012-03-21 国立大学法人静岡大学 眠気検知装置
US8237656B2 (en) * 2007-07-06 2012-08-07 Microsoft Corporation Multi-axis motion-based remote control
JP4582137B2 (ja) * 2007-10-11 2010-11-17 株式会社デンソー 眠気度判定装置
JP2009116742A (ja) * 2007-11-08 2009-05-28 Aisin Seiki Co Ltd 車載用画像処理装置、画像処理方法、および、プログラム
JP2009223752A (ja) * 2008-03-18 2009-10-01 Hyundai Motor Co Ltd 居眠り運転危険判定装置
JP5262243B2 (ja) * 2008-03-31 2013-08-14 アイシン精機株式会社 眼開閉判別装置、及びプログラム
US8570176B2 (en) * 2008-05-28 2013-10-29 7352867 Canada Inc. Method and device for the detection of microsleep events
US20100073584A1 (en) 2008-09-22 2010-03-25 Harbach Andrew P Apparatus for illuminating a vehicle occupant with infrared light
JP4957711B2 (ja) * 2008-12-02 2012-06-20 オムロン株式会社 検出装置および方法、並びに、プログラム
JP4915413B2 (ja) * 2008-12-03 2012-04-11 オムロン株式会社 検出装置および方法、並びに、プログラム
JP5362405B2 (ja) * 2009-03-25 2013-12-11 安川情報システム株式会社 瞳孔計測装置、瞳孔計測方法ならびに瞳孔計測プログラム
WO2010132568A1 (en) * 2009-05-13 2010-11-18 Wms Gaming, Inc. Player head tracking for wagering game control
US8369608B2 (en) * 2009-06-22 2013-02-05 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for detecting drowsy facial expressions of vehicle drivers under changing illumination conditions
JP5493593B2 (ja) * 2009-08-26 2014-05-14 アイシン精機株式会社 眠気検出装置、眠気検出方法、及びプログラム
US8890946B2 (en) * 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
EP2571417A1 (de) * 2010-05-20 2013-03-27 BAE Systems PLC Augenmonitor zur überwachung der grösse einer pupille
US11318949B2 (en) * 2010-06-07 2022-05-03 Affectiva, Inc. In-vehicle drowsiness analysis using blink rate
US10482333B1 (en) * 2017-01-04 2019-11-19 Affectiva, Inc. Mental state analysis using blink rate within vehicles
JP5538160B2 (ja) * 2010-09-24 2014-07-02 パナソニック株式会社 瞳孔検出装置及び瞳孔検出方法
JP6066913B2 (ja) * 2010-11-08 2017-01-25 オプタラート・オーストラリア・プロプライエタリー・リミテッド 作業テストへの適応性
JP5482712B2 (ja) * 2011-04-08 2014-05-07 ブラザー工業株式会社 画像表示装置
DE102011075467A1 (de) * 2011-05-06 2012-11-08 Deckel Maho Pfronten Gmbh Vorrichtung zum bedienen einer automatisierten maschine zur handhabung, montage oder bearbeitung von werkstücken
DE112011105441B4 (de) * 2011-07-11 2019-11-14 Toyota Jidosha Kabushiki Kaisha Augenliderfassungsvorrichtung
TWI436305B (zh) * 2011-07-26 2014-05-01 Holux Technology Inc 疲勞度偵測方法及其裝置
CN102988037A (zh) * 2011-09-16 2013-03-27 贾天民 通过对人眼部量值的检测达到警示与控制行为的智能装置
JP5367037B2 (ja) * 2011-09-26 2013-12-11 本田技研工業株式会社 顔向き検出装置
TWI466070B (zh) * 2012-09-14 2014-12-21 Utechzone Co Ltd 眼睛搜尋方法及使用該方法的眼睛狀態檢測裝置與眼睛搜尋裝置
US9330297B2 (en) * 2013-01-16 2016-05-03 Xerox Corporation Methods and systems for video-based chew counting via feature tracking
DE102013001380B4 (de) * 2013-01-26 2018-04-26 Audi Ag Verfahren zum Betreiben wenigstens einer Anzeigeeinrichtung eines Kraftwagens und System mit wenigstens einer Anzeigeeinrichtung sowie Kraftwagen
JP6150617B2 (ja) * 2013-05-30 2017-06-21 オリンパス株式会社 検出装置、学習装置、検出方法、学習方法及びプログラム
JP6168876B2 (ja) 2013-06-24 2017-07-26 オリンパス株式会社 検出装置、学習装置、検出方法、学習方法及びプログラム
TW201501044A (zh) * 2013-06-24 2015-01-01 Utechzone Co Ltd 偵測臉部動作以產生訊號的裝置、方法以及電腦可讀取紀錄媒體
JP6359866B2 (ja) * 2014-04-23 2018-07-18 矢崎総業株式会社 対象者存在範囲推定装置及び対象者存在範囲推定方法
US10055964B2 (en) 2014-09-09 2018-08-21 Torvec, Inc. Methods and apparatus for monitoring alertness of an individual utilizing a wearable device and providing notification
JP6442942B2 (ja) * 2014-09-11 2018-12-26 株式会社デンソー ドライバ状態判定装置
JP6164431B2 (ja) * 2015-01-27 2017-07-19 マツダ株式会社 ドライバ状態判定装置
JP6565305B2 (ja) * 2015-04-28 2019-08-28 いすゞ自動車株式会社 車両の安全運転促進方法及び車両の安全運転促進装置
DE102015211444A1 (de) * 2015-06-22 2016-12-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Unterscheiden von Blinzelereignissen und Instrumentenblicken unter Verwendung einer Augenöffnungsweite
JP2019510550A (ja) 2016-02-18 2019-04-18 カーイージス テクノロジーズ,インコーポレイティド 注意力予測システム及び方法
JP6917708B2 (ja) * 2016-02-29 2021-08-11 株式会社デンソー 運転者監視システム
JP2019523514A (ja) * 2016-07-21 2019-08-22 ビジョンアップ ソルーションズ エス.エル. 電子画面を具備する装置での近接作業が引き起こす視力低下を防止するためのシステムおよび方法
JP6720821B2 (ja) * 2016-10-14 2020-07-08 トヨタ自動車株式会社 瞬き検出装置
EP3354190B1 (de) 2017-01-27 2018-12-05 Carl Zeiss Vision International GmbH Computerimplementiertes verfahren zur detektion eines hornhautscheitels
JP6814068B2 (ja) * 2017-02-20 2021-01-13 株式会社東海理化電機製作所 生体状態推定装置
DE102017112536A1 (de) 2017-06-07 2018-12-13 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Fahrzeuginsassenbeobachtung mittels Terahertz-Strahlung
JP2019012429A (ja) * 2017-06-30 2019-01-24 いすゞ自動車株式会社 車両用警報装置
US20210221404A1 (en) * 2018-05-14 2021-07-22 BrainVu Ltd. Driver predictive mental response profile and application to automated vehicle brain interface control
WO2021048682A1 (ja) 2019-09-12 2021-03-18 株式会社半導体エネルギー研究所 分類方法
JP7212295B2 (ja) * 2019-09-13 2023-01-25 オムロン株式会社 表示システム、表示方法、及びプログラム
JP7251524B2 (ja) 2020-07-01 2023-04-04 トヨタ自動車株式会社 眠気兆候通知システム、眠気兆候通知方法、及び眠気兆候通知プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60158303A (ja) * 1984-01-30 1985-08-19 Nippon Denso Co Ltd 車両運転者の眼の位置認識装置
DE3803916A1 (de) * 1988-02-09 1989-08-17 Messerschmitt Boelkow Blohm Verfahren und vorrichtung zur ermittlung der fahrtauglichkeit eines fahrzeugfuehrers

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59153625A (ja) * 1983-02-18 1984-09-01 Nissan Motor Co Ltd 居眠り運転検出装置
US5016282A (en) * 1988-07-14 1991-05-14 Atr Communication Systems Research Laboratories Eye tracking image pickup apparatus for separating noise from feature portions
US4967186A (en) * 1989-08-18 1990-10-30 Ariold Ludmirsky Method and apparatus for fatigue detection
JP2862030B2 (ja) * 1991-06-13 1999-02-24 三菱電機株式会社 暗号化方式
JPH0655203B2 (ja) * 1992-07-09 1994-07-27 株式会社エイ・ティ・アール視聴覚機構研究所 視線検出を用いた医療診断装置
US5317638A (en) * 1992-07-17 1994-05-31 International Business Machines Corporation Performance enhancement for ANSI X3.92 data encryption algorithm standard
US5543887A (en) * 1992-10-29 1996-08-06 Canon Kabushiki Kaisha Device for detecting line of sight
US5402109A (en) * 1993-04-29 1995-03-28 Mannik; Kallis H. Sleep prevention device for automobile drivers

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60158303A (ja) * 1984-01-30 1985-08-19 Nippon Denso Co Ltd 車両運転者の眼の位置認識装置
DE3803916A1 (de) * 1988-02-09 1989-08-17 Messerschmitt Boelkow Blohm Verfahren und vorrichtung zur ermittlung der fahrtauglichkeit eines fahrzeugfuehrers

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DE-Z.: Biomedizinische Technik, 36. H. 10, 1991, S. 253-259 *
Technical Report of the Institut of Electronics, Informations and Communication Engineers of Japan, D-II, Band, 67-D-II, Nr. 3, S. 636-646 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10024227B4 (de) * 2000-05-17 2011-02-17 Volkswagen Ag Verfahren und Einrichtung zur elektronischen Überwachung des Aufmerksamkeitsgrades
CZ303526B6 (cs) * 2007-06-22 2012-11-14 Kyjovský@Štepán Zarízení pro detekci ztráty bdelosti ridice

Also Published As

Publication number Publication date
US5795306A (en) 1998-08-18
US5573006A (en) 1996-11-12
JP3293308B2 (ja) 2002-06-17
JPH07249197A (ja) 1995-09-26
DE19509689A1 (de) 1995-09-14

Similar Documents

Publication Publication Date Title
DE19509689C2 (de) Verfahren zum Erfassen einer Vigilanz einer Person
DE602005003214T2 (de) Verfahren und system zur perzeptuellen eignungsprüfung eines fahrers
DE102008040709B4 (de) Bestimmungsvorrichtung eines schläfrigen Zustands
DE69902225T2 (de) Verfahren und vorrichtung zur erfassung und verhinderung des einschlafens eines fahrzeugführers
US7680302B2 (en) Method and apparatus for detection of drowsiness and quantitative control of biological processes
DE19803158C1 (de) Vorrichtung zur Vigilanzzustandsbestimmung
DE19609455C2 (de) Gesichtsbild-Verarbeitungssystem
AT513987B1 (de) Brille und Verfahren zur Bestimmung von Pupillenmittelpunkten beider Augen eines Menschen
DE102006051930B4 (de) Verfahren und Vorrichtung zur Fahrerzustandserkennung
DE102008010515B4 (de) Schlafwarnvorrichtung
AT505338B1 (de) Verfahren zur wahrnehmungsmessung
DE112017002765T5 (de) Zustandsabschätzungsvorrichtung, Zustandsabschätzungsverfahren und Zustandsabschätzungsprogramm
DE4215946A1 (de) Vorrichtung zum ueberwachen physiologischer daten zur erfassung einer drogenbeeintraechtigung
DE102016201531A1 (de) Verfahren und Vorrichtung zum Erkennen von Müdigkeit eines Fahrers
DE102019109505A1 (de) Datenverarbeitungsvorrichtung, überwachungssystem, wecksystem, datenverarbeitungsverfahren und datenverarbeitungsprogramm
JP2008246013A (ja) 眠気検知装置
DE102005024796A1 (de) Verfahren und Vorrichtung zum Bestimmen neurologischer Beeinträchtigungen
DE102015218306A1 (de) Verfahren und Vorrichtung zum Ermitteln eines Schläfrigkeitszustands eines Fahrers
DE69310281T2 (de) Medizinisches Diagnosegerät zur Erkennung von Erkrankungen des Gehirns
DE102016210014B4 (de) Überwachungsvorrichtung, Fahrzeugsteuervorrichtung und Überwachungsverfahren
WO2017220667A1 (de) Verfahren und vorrichtung zur veränderung der affektiven visuellen information im gesichtsfeld eines benutzers
CN105894732A (zh) 一种疲劳驾驶监测系统
Boverie et al. Driver vigilance diagnostic based on eyelid movement observation
DE102018206237A1 (de) Verfahren und Vorrichtung zur Müdigkeitserkennung einer Person
WO1998052309A1 (de) Verfahren und vorrichtung zum messen der aufmerksamkeit von lebewesen innerhalb einer menge von lebewesen

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
D2 Grant after examination
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee