DE102015218306A1 - Verfahren und Vorrichtung zum Ermitteln eines Schläfrigkeitszustands eines Fahrers - Google Patents

Verfahren und Vorrichtung zum Ermitteln eines Schläfrigkeitszustands eines Fahrers Download PDF

Info

Publication number
DE102015218306A1
DE102015218306A1 DE102015218306.8A DE102015218306A DE102015218306A1 DE 102015218306 A1 DE102015218306 A1 DE 102015218306A1 DE 102015218306 A DE102015218306 A DE 102015218306A DE 102015218306 A1 DE102015218306 A1 DE 102015218306A1
Authority
DE
Germany
Prior art keywords
driver
drowsiness
detected
eye
movements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102015218306.8A
Other languages
English (en)
Inventor
Ronald Boos
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102015218306.8A priority Critical patent/DE102015218306A1/de
Priority to US15/267,343 priority patent/US10023199B2/en
Priority to JP2016183803A priority patent/JP2017079055A/ja
Priority to CN201610840391.7A priority patent/CN107028587B/zh
Publication of DE102015218306A1 publication Critical patent/DE102015218306A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/26—Incapacity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2900/00—Indexing codes relating to the purpose of, or problem solved of road vehicle drive control systems not otherwise provided for in groups B60W30/00

Abstract

Die Erfindung betrifft ein Verfahren zum Ermitteln eines Schläfrigkeitszustands eines Fahrers (3) eines Kraftfahrzeugs (1), wobei Bewegungen zumindest eines Augenlids eines Auges des Fahrers (3) erfasst und in Abhängigkeit von den erfassten Bewegungen der Schläfrigkeitszustand des Fahrers erkannt wird. Es ist vorgesehen, dass ein aktuelles Augenöffnungsnormalniveau (AN) bestimmt wird, das Schließbewegungen (B) des Augenlids ausgehend von dem Augenöffnungsnormalniveau überwacht werden, und dass in Abhängigkeit der erfassten Schließbewegungen (B) der Schläfrigkeitszustand bestimmt wird.

Description

  • Die Erfindung betrifft ein Verfahren zum Ermitteln eines Schläfrigkeitszustands eines Fahrers eines Kraftfahrzeugs, wobei Bewegungen zumindest eines Augenlids des Fahrers erfasst und in Abhängigkeit von den erfassten Bewegungen der Schläfrigkeitszustand bestimmt wird.
  • Weiterhin betrifft die Erfindung eine Vorrichtung zum Ermitteln eines Schläfrigkeitszustands eines Fahrers eines Kraftfahrzeugs, die eine Sensoreinrichtung zum Erfassen von Bewegungen zumindest eines Augenlids eines Auges des Fahrers aufweist, sowie eine Sicherheitseinrichtung, die bei Erfassen eines kritischen Schläfrigkeitszustandes wenigstens eine Sicherheitsmaßnahme einleitet.
  • Stand der Technik
  • Verfahren und Vorrichtungen der eingangs genannten Art sind aus dem Stand der Technik bekannt. Aus Untersuchungen hat sich ergeben, dass ein nicht unerheblicher Anteil aller Verkehrsunfälle durch Schläfrigkeit des Fahrers verursacht werden. Es ist daher von hoher Bedeutung, den Schläfrigkeitszustand eines Fahrers zu erkennen und gegebenenfalls auch vorhersagen zu können. Schläfrigkeit schränkt die Fahrtauglichkeit ähnlich stark ein wie Alkohol. Ein Fahrer, der schläfrig wird, kann sich schlechter konzentrieren, reagiert langsamer und überschätzt seine Fähigkeiten selbst. Es sind bereits Verfahren und Vorrichtungen im Einsatz, die den Schläfrigkeitszustand des Fahrers in Abhängigkeit von Lenkwinkeländerungen und dem Spurhaltevermögen des Fahrers bestimmen. Außerdem sind auch Produkte bekannt, die über den Augenschluss eine Warnung ausgeben. So offenbart beispielsweise die Offenlegungsschrift US 2004/0233061 A1 ein Überwachungsverfahren, bei welchem die Bewegungen eines Augenlids überwacht werden, um ein auf Schläfrigkeit hindeutendes Blinzeln des Fahrers zu erfassen.
  • Offenbarung der Erfindung
  • Das erfindungsgemäße Verfahren mit den Merkmalen des Anspruchs 1 hat den Vorteil, dass durch eine einfache Betrachtung der Augenöffnung und der Augenlidbewegung der Schläfrigkeitszustand des Fahrers sicher erkannt wird. Erfindungsgemäß ist hierzu vorgesehen, dass ein aktuelles Augenöffnungsniveau bestimmt wird, und dass insbesondere niederfrequente Schließbewegungen des Augenlids ausgehend von dem Augenöffnungsnormalniveau überwacht werden, und dass in Abhängigkeit der Schließbewegungen des Augenlids der Schläfrigkeitszustand bestimmt wird. Die Erfindung sieht also vor, dass zunächst für eine Augenöffnung fahrerindividuell das Normalniveau bestimmt wird. Dies kann beispielsweise aus Mittelwerten der über einen vorgebbaren Zeitraum hinweg gemessenen Augenöffnung bestimmt werden. Unter der Augenöffnung ist in diesem Zusammenhang der Abstand des oberen Augenlids zu dem unteren Augenlid bei geöffneten Augenlidern zu verstehen. Die Augenöffnung ist dabei von Mensch zu Mensch unterschiedlich. Durch das erfindungsgemäße Verfahren wird zunächst ein Augenöffnungsnormalniveau individuell für den aktuellen Fahrer des Fahrzeugs ermittelt. Insbesondere wird eine obere Normalposition des Augenlids des Fahrers zum Bestimmen der Augenöffnung des Normalniveaus erfasst und gespeichert. Ausgehend von der Normalstellung oder dem Augenöffnungsnormalniveau werden dann die Schließbewegungen eines Augenlids überwacht. Insbesondere in Abhängigkeit von der Frequenz und der Schließweite des Augenlids wird dann der Schläfrigkeitszustand des Fahrers bestimmt. Damit ist als Referenz für eine Augenlidbewegung nicht ein standardisierter oder Referenzwert vorgesehen, sondern vielmehr ein aktuell ermittelter Wert, nämlich das Augenöffnungsnormalniveau beziehungsweise die Normalstellung der Augenlider. Dadurch, dass das Augenöffnungsnormalniveau beziehungsweise die Normalstellung der Augenlider erfasst werden, erfolgt eine automatische Anpassung an eine sich über die Zeit verändernde Augenöffnung des Fahrers, sodass das Verfahren auch über einen langen Zeitraum hinweg eine sichere Erfassung/Bestimmung des Schläfrigkeitszustands des Fahrers gewährleistet.
  • Gemäß einer bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass die Schließbewegungen eines oberen Augenlids des Auges erfasst werden. Insbesondere das obere Augenlid reagiert bei Schläfrigkeit des Fahrers auffällig, um die Augenöffnung zu bewahren, weil das Augenlid über die Muskelkontraktion, also aktiv, offen gehalten werden muss, um die Augenöffnung zu bewahren. Wird der Fahrer schläfrig, so versucht er das Auge offen zu halten, was dazu führen kann, dass das obere Augenlid Mikrobewegungen ausführt beziehungsweise „zittert“. Diese Mikrobewegungen sind ein deutliches Anzeichen für das Auftreten eines kritischen Schläfrigkeitszustandes. Durch das vorteilhafte Verfahren werden diese auf einfache Art und Weise erfasst und der Schläfrigkeitszustand des Fahrers sicher bestimmt.
  • Insbesondere ist vorgesehen, dass nur Schließbewegungen erfasst werden, die die Augenöffnung ausgehend von dem Augenöffnungsnormalniveau um maximal 40%, insbesondere maximal 30% verringern. Damit werden die Mikrobewegungen eindeutig von Blinzelbewegungen der Augenlider unterschieden. Dadurch wird das Verfahren weiter optimiert.
  • Besonders bevorzugt ist vorgesehen, dass auf einen kritischen Schläfrigkeitszustand dann erkannt wird, wenn die Frequenz der erfassten Schließbewegungen eine vorgebbare Grenzfrequenz überschreitet. Sobald die Grenzfrequenz überschritten wird, wird also darauf erkannt, dass der Fahrer einen kritischen Schläfrigkeitszustand aufweist und darüber beispielsweise informiert werden sollte. In Abhängigkeit der erfassten Frequenz der Schließbewegungen kann sowohl ein aktueller Schläfrigkeitszustand bestimmt sowie die Eintrittswahrscheinlichkeit eines Sekundenschlafereignisses vorausgesagt werden. Entsprechend wird dem Fahrer bevorzugt bei Auftreten eines kritischen Schläfrigkeitszustands eine Warnmeldung optisch, haptisch und/oder akustisch angezeigt, um ihn aufzuwecken beziehungsweise über seinen Zustand zu informieren und insbesondere um eine Fahrpause anzuregen.
  • Auch kann infolge eines erfassten kritischen Schläfrigkeitszustands ein sicheres automatisches Anhalten des Fahrzeugs eingeleitet werden.
  • Weiterhin ist bevorzugt vorgesehen, dass eine Identifizierung des Fahrers durchgeführt und in Abhängigkeit von der Identifizierung die Grenzfrequenz vorgegeben wird. Dadurch wird berücksichtigt, dass ein Fahrer nicht nur unterschiedliche Augenöffnungsnormalniveaus sondern auch unterschiedliche Reaktionen in den Augenlidern bei Schläfrigkeitserscheinungen aufweisen. Durch eine gezielte Überwachung in Abhängigkeit eines identifizierten Fahrers kann somit das Verfahren zum Bestimmen des Schläfrigkeitszustands des Fahrers weiter optimiert werden.
  • Gemäß einer bevorzugten Weiterbildung der Erfindung ist bevorzugt vorgesehen, dass die Schließbewegungen des Augenlids durch einen, insbesondere mehrere Kamerasensoren erfasst wird. Der Fahrer wird somit laufend durch einen oder mehrere Kamerasensoren überwacht und die Bewegung des oder der Augenlider des Fahrers durch eine Bildauswertung ermittelt. Insbesondere ist vorgesehen, dass nur ein Augenlid, nämlich das obere Augenlid, von nur einem Auge des Fahrers überwacht wird, um den Rechenaufwand gering zu halten. Um das Verfahren zu optimieren ist jedoch bevorzugt vorgesehen, dass die oberen Augenlider beider Augen des Fahrers wie beschrieben überwacht werden.
  • Die erfindungsgemäße Vorrichtung mit den Merkmalen des Anspruchs 7 zeichnet sich durch ein Steuergerät aus, das speziell dazu hergerichtet ist, bei bestimmungsgemäßem Gebrauch das erfindungsgemäße Verfahren durchzuführen. Es ergeben sich hierdurch die bereits genannten Vorteile.
  • Weitere Vorteile und bevorzugte Merkmale ergeben sich insbesondere aus dem zuvor Beschriebenen sowie aus den Ansprüchen.
  • Im Folgenden soll die Erfindung anhand der Zeichnung näher erläutert werden. Dazu zeigen
  • 1 eine Vorrichtung zum Bestimmen eines Schläfrigkeitszustands eines Fahrers und
  • 2 ein Diagramm zur Erläuterung der Vorrichtung.
  • 1 zeigt in einer vereinfachten Darstellung ein Kraftfahrzeug 1 mit einer Vorrichtung 2 zum Übermitteln eines Schläfrigkeitszustands eines Fahrers 3 des Kraftfahrzeugs. Die Vorrichtung 2 weist eine an einem Armaturenbrett des Kraftfahrzeugs 2 angeordnete Sensoreinrichtung 4 auf, die wenigstens einen optischen Sensor 5 aufweist, welcher auf den Fahrersitz 6 ausgerichtet ist, um das Gesicht des Fahrers 3 optisch zu erfassen. Der Sensor 5 ist dazu als Videosensor, Kamerasensor, Ultraschallsensor oder Thermographiesensor ausgebildet. Die Sensoreinrichtung 4 ist mit einem Steuergerät 7 verbunden, welches die von der Sensoreinrichtung 4 erfassten Daten auswertet, um einen Schläfrigkeitszustand des Fahrers 3 zu ermitteln. Wird ein kritischer Schläfrigkeitszustand erfasst, steuert das Steuergerät 7 eine Sicherheitsvorrichtung 8 an, welche eine Sicherheitsmaßnahme einleitet. Dazu weist die Sicherheitsvorrichtung 8 beispielsweise eine Warnleuchte 9 auf, die bei Erfassen eines kritischen Schläfrigkeitszustands angesteuert wird, um den Fahrer 3 optisch auf seinen kritischen Schläfrigkeitszustand aufmerksam zu machen.
  • Anhand von 2 soll im Folgenden erläutert werden, wie die Vorrichtung 2 den Schläfrigkeitszustand des Fahrers bestimmt. Hierzu zeigt 2 in einem Diagramm beispielhaft über die Zeit t aufgetragen, das durch die Sensoreinrichtung 4 erfasste Verhalten eines Auges des Fahrers 3. Durch eine Bildauswertung ermittelt die Sensoreinrichtung 4 aus den Daten des Sensors 5 fortlaufend ein Augenöffnungsniveau A eines Auges des Fahrers 3. Das Augenöffnungsniveau ergibt sich aus dem Abstand eines oberen Augenlids des Auges zu einem unteren Augenlid des Auges. Ist das Auge geschlossen, so beträgt der Abstand A gleich null. Wird das Auge geöffnet, ändert sich der Abstand zu einem Wert größer null, wobei von Fahrer zu Fahrer das Auge unterschiedlich weit geöffnet wird und somit sich unterschiedlich große Augenöffnungsniveaus ergeben. Darüber hinaus kann sich das Augenöffnungsniveau über die Zeit der Benutzung des Kraftfahrzeugs 1 verändern, wenn der Fahrer beispielsweise schläfrig wird, nimmt das Augenöffnungsniveau mit der Zeit ab.
  • Vorliegend ist daher vorgesehen, dass zunächst ein Augenöffnungsnormalniveau AN bestimmt wird. Dazu wird das Augenöffnungsniveau des Fahrers über einen vorgebbaren Zeitraum überwacht und daraus das Augenöffnungsnormalniveau gebildet, beispielsweise durch Mittelung der erfassten Werte.
  • Anschließend werden Mikrobewegungen beziehungsweise Schließbewegungen des oberen Augenlids ausgehend von dem Augenöffnungsnormalniveau erfasst, die die Augenöffnung ausgehend von dem Augenöffnungsnormalniveau AN um maximal 40%, insbesondere um maximal 30%, verringern. 2 zeigt dazu beispielhaft eine Bewegungskennlinie K des oberen Augenlids des Auges des Fahrers, dessen Augenöffnungsniveau AN betrachtet wird. Das Steuergerät 7 wertet dabei aus, wie oft derartige Schließbewegungen des oberen Augenlids auftreten und berechnet hierdraus die Schließbewegungsfrequenz. Die Frequenz kann sich beispielsweise in einem Bereich von 0,2 Hz bis 1 Hz bewegen. Diese niederfrequenten Oszillationen des oberen Augenlids werden zur Bestimmung des Schläfrigkeitszustands des Fahrers 3 verwendet. Die beschriebenen Schließbewegungen kommen durch die Ermüdung der Muskulatur des oberen Augenlids zustande. Mit zunehmender Schläfrigkeit kämpft der menschliche Körper gegen ein drohendes Zufallen des oberen Augenlids an, wodurch die geringen Schließbewegungen entstehen. Somit sind diese Schließbewegungen ein Indiz für einen hohen Schläfrigkeitsgrad und ein Anzeichen für ein drohendes Sekundenschlafereignis.
  • Vorzugsweise wird daher die erfasste Frequenz, mit welcher die beschriebenen Schließbewegungen auftreten, mit einer vorgebbaren Grenzfrequenz verglichen, sodass auf einfache Art und Weise auf den Schläfrigkeitszustand des Fahrers 3 geschlossen werden kann. Dabei können auch fahrerbezogene Daten berücksichtigt werden, wie beispielsweise das Alter des Fahrers, um die Auswertung der erfassten Schließbewegungen zu optimieren. Insbesondere erfolgt dabei eine Fahreridentifizierung durch die Sensoreinrichtung 4 selbst, welche bevorzugt den ganzen Kopf beziehungsweise das Gesicht des Fahrers erfasst und durch Bildauswertung einerseits zumindest das Augenöffnungsnormalniveau sowie die Schließbewegungen eines Augenlids eines Auges und andererseits Gesichtszüge des Fahrers zu seiner Identifizierung erfasst und auswertet.
  • Vorzugsweise wird der Fahrer 3 beziehungsweise der Kopf des Fahrers 3 durch mehrere Sensoren 5 der Sensoreinrichtung 4 erfasst, sodass das Gesicht über einen größeren Winkel erfasst und eine bessere Abdeckung des Fahrers gewährleistet wird. Bevorzugt ist die Sensoreinrichtung 4 außerdem einer Beleuchtungseinrichtung 10 zugeordnet, welche den Fahrer 3 bei Bedarf ausleuchtet, um das Erfassen eines analysierbaren Bildes durch den oder die Sensoren 5 verbessert. Insbesondere handelt es sich bei der Beleuchtungseinrichtung 10 um wenigstens einen Infrarotstrahler, der den Fahrer 3 bei Bedarf anstrahlt, ohne dass dieser geblendet wird. Bevorzugt weisen der oder die Sensoren 5 eine Abtastrate von maximal 30 Hz auf. Weil kleine Bewegungen des Augenlids erfasst werden müssen, weisen der oder die Sensoren 5 zweckmäßigerweise eine hohe Auflösung auf. Aus der Kombination der genannten Parameter wird ein Schläfrigkeitsindex bestimmt, oder andere Algorithmen, um zur Schätzung des Schläfrigkeitszustands des Fahrer zu ergeben. Weiterhin kann auch ein Risikoindex beziehungsweise die Eintrittswahrscheinlichkeit eines Sekundenschlafereignisses in den nächsten Minuten bestimmt werden. Dabei wird das Sekundenschlafereignis insbesondere in Abhängigkeit von der Frequenz und der Weite der Schließbewegungen B des betrachteten Augenlids mit Grenzwerten verglichen, die vorzugsweise auf vorherige Versuche beruhen.
  • Wird ein kritischer Schläfrigkeitszustand des Fahrers 3 erfasst, so wird, wie zuvor bereits beschrieben, die Sicherheitsvorrichtung 8 angesteuert, ein Warnsignal an den Fahrer 3 auszugeben. Alternativ oder zusätzlich zu der beschriebenen optischen Warnung des Fahrers 3 ist vorgesehen, dass der Fahrer 3 haptisch oder akustisch auf seinen Zustand aufmerksam gemacht wird. Auch ist es denkbar, dass die Sicherheitsvorrichtung 8 einen sicheren Stopp des Kraftfahrzeugs 1 einleitet oder eine Inbetriebnahme des Kraftfahrzeugs 1 verhindert, um die Sicherheit zu erhöhen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 2004/0233061 A1 [0003]

Claims (7)

  1. Verfahren zum Ermitteln eines Schläfrigkeitszustands eines Fahrers (3) eines Kraftfahrzeugs (1), wobei Bewegungen zumindest eines Augenlids eines Auges des Fahrers (3) erfasst und in Abhängigkeit von den erfassten Bewegungen der Schläfrigkeitszustand des Fahrers erkannt wird, dadurch gekennzeichnet, dass ein aktuelles Augenöffnungsnormalniveau (AN) bestimmt wird, das Schließbewegungen (B) des Augenlids ausgehend von dem Augenöffnungsnormalniveau überwacht werden, und dass in Abhängigkeit der erfassten Schließbewegungen (B) der Schläfrigkeitszustand bestimmt wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Schließbewegungen (B) eines oberen Augenlids zumindest eines Auges des Fahrers (3) erfasst werden.
  3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass nur Schließbewegungen (B) erfasst werden, die die Augenöffnung (A) ausgehend von dem Augenöffnungsnormalniveau (AN) um maximal 40%, insbesondere maximal 30%, verringern.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass auf einen kritischen Schläfrigkeitszustand erkannt wird, wenn eine Frequenz der erfassten Schließbewegungen (B) eine vorgebbare Grenzfrequenz überschreitet.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Identifizierung des Fahrers (3) durchgeführt und in Abhängigkeit von der Identifizierung die Grenzfrequenz vorgegeben wird.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Schließbewegungen (B) des Augenlids durch einen, insbesondere mehrere Kamerasensoren (5) erfasst wird.
  7. Vorrichtung (2) zum Ermitteln eines Schläfrigkeitszustands eines Fahrers (3) eines Kraftfahrzeugs (1), mit einer Sensoreinrichtung (4) zum Erfassen von Bewegungen zumindest eines Augenlids eines Auges des Fahrers (3), und mit einer Sicherheitsvorrichtung (8), die in Abhängigkeit von den erfassten Bewegungen einen Schläfrigkeitszustand eines Fahrers (3) bestimmt und bei Erfassen eines kritischen Schläfrigkeitszustands wenigstens eine Sicherheitsmaßnahme einleitet, gekennzeichnet durch ein Steuergerät (7), das speziell dazu hergerichtet ist, bei bestimmungsgemäßem Gebrauch das Verfahren nach einem der Ansprüche 1 bis 6 durchzuführen.
DE102015218306.8A 2015-09-23 2015-09-23 Verfahren und Vorrichtung zum Ermitteln eines Schläfrigkeitszustands eines Fahrers Pending DE102015218306A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102015218306.8A DE102015218306A1 (de) 2015-09-23 2015-09-23 Verfahren und Vorrichtung zum Ermitteln eines Schläfrigkeitszustands eines Fahrers
US15/267,343 US10023199B2 (en) 2015-09-23 2016-09-16 Method and device for ascertaining a state of drowsiness of a driver
JP2016183803A JP2017079055A (ja) 2015-09-23 2016-09-21 ドライバの眠気状態を検出するための方法及び装置
CN201610840391.7A CN107028587B (zh) 2015-09-23 2016-09-22 用于求取驾驶员的困倦状态的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015218306.8A DE102015218306A1 (de) 2015-09-23 2015-09-23 Verfahren und Vorrichtung zum Ermitteln eines Schläfrigkeitszustands eines Fahrers

Publications (1)

Publication Number Publication Date
DE102015218306A1 true DE102015218306A1 (de) 2017-03-23

Family

ID=58224630

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015218306.8A Pending DE102015218306A1 (de) 2015-09-23 2015-09-23 Verfahren und Vorrichtung zum Ermitteln eines Schläfrigkeitszustands eines Fahrers

Country Status (4)

Country Link
US (1) US10023199B2 (de)
JP (1) JP2017079055A (de)
CN (1) CN107028587B (de)
DE (1) DE102015218306A1 (de)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015200697A1 (de) * 2015-01-19 2016-07-21 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen von Sekundenschlaf eines Fahrers eines Fahrzeugs
CN110168610B (zh) * 2017-01-17 2023-07-21 三菱电机株式会社 眼睑检测装置、瞌睡判定装置、及眼睑检测方法
CN110268455B (zh) * 2017-02-15 2022-12-09 三菱电机株式会社 驾驶状态判定装置及驾驶状态判定方法
JP7189564B2 (ja) * 2017-12-20 2022-12-14 日本電気株式会社 眠気推定装置、眠気推定方法、および眠気推定プログラム
US11315361B2 (en) * 2018-04-11 2022-04-26 Mitsubishi Electric Corporation Occupant state determining device, warning output control device, and occupant state determining method
WO2020031586A1 (ja) * 2018-08-10 2020-02-13 古野電気株式会社 船舶操縦支援システム、船舶制御装置、船舶制御方法、及びプログラム
AU2021100637B4 (en) * 2018-10-23 2022-11-10 Sdip Holdings Pty Ltd Blepharometric monitoring system for a vehicle which provides user-customised analysis
EP3870048A4 (de) * 2018-10-23 2022-12-07 Sdip Holdings Pty Ltd Vorrichtungen und verarbeitungssysteme, die so konfiguriert sind, dass sie eine physiologische ereignisvorhersage basierend auf der analyse blepharometrischer daten ermöglichen
SE543249C2 (en) * 2018-12-12 2020-11-03 Lincoding Ab Alcolock device using mapping gaze and motion parameters

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040233061A1 (en) 2001-11-08 2004-11-25 Murray Johns Alertness monitor
US20080218359A1 (en) * 2007-03-08 2008-09-11 Denso Corporation Drowsiness determination apparatus, program, and method
US20080238694A1 (en) * 2007-03-26 2008-10-02 Denso Corporation Drowsiness alarm apparatus and program
US20090268022A1 (en) * 2008-04-23 2009-10-29 Toyota Jidosha Kabushiki Kaisha Wakefulness level estimation apparatus
US20120002843A1 (en) * 2009-03-19 2012-01-05 Denso Corporation Drowsiness assessment device and program

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001010368A (ja) * 1999-06-17 2001-01-16 Hyundai Motor Co Ltd 居眠り運転警報システムの居眠り運転判断方法
US6346887B1 (en) * 1999-09-14 2002-02-12 The United States Of America As Represented By The Secretary Of The Navy Eye activity monitor
JP2003022500A (ja) * 2001-07-09 2003-01-24 Mitsubishi Motors Corp ドライバーの覚醒度検出装置
RU2423070C2 (ru) * 2005-03-04 2011-07-10 Слип Диагностикс Пти.Лтд Измерение бдительности
JP4331197B2 (ja) * 2006-11-06 2009-09-16 トヨタ自動車株式会社 眼開度検出装置及び方法
US7839292B2 (en) * 2007-04-11 2010-11-23 Nec Laboratories America, Inc. Real-time driving danger level prediction
JP2009219555A (ja) * 2008-03-13 2009-10-01 Toyota Motor Corp 眠気検知装置、運転支援装置、眠気検知方法
US8570176B2 (en) * 2008-05-28 2013-10-29 7352867 Canada Inc. Method and device for the detection of microsleep events
EP2237237B1 (de) * 2009-03-30 2013-03-20 Tobii Technology AB Augenschließungserkennung mit strukturierter Beleuchtung
US9198575B1 (en) * 2011-02-15 2015-12-01 Guardvant, Inc. System and method for determining a level of operator fatigue
US9292471B2 (en) * 2011-02-18 2016-03-22 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
EP2885150B1 (de) * 2012-08-20 2019-01-02 Veoneer Sweden AB Lidschlagverarbeitung zur erkennung von schläfrigkeit
JP6210287B2 (ja) * 2012-11-16 2017-10-11 豊田合成株式会社 運転者用警告装置
US8981942B2 (en) * 2012-12-17 2015-03-17 State Farm Mutual Automobile Insurance Company System and method to monitor and reduce vehicle operator impairment
JP6497158B2 (ja) * 2014-05-16 2019-04-10 株式会社リコー 表示装置、移動体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040233061A1 (en) 2001-11-08 2004-11-25 Murray Johns Alertness monitor
US20080218359A1 (en) * 2007-03-08 2008-09-11 Denso Corporation Drowsiness determination apparatus, program, and method
US20080238694A1 (en) * 2007-03-26 2008-10-02 Denso Corporation Drowsiness alarm apparatus and program
US20090268022A1 (en) * 2008-04-23 2009-10-29 Toyota Jidosha Kabushiki Kaisha Wakefulness level estimation apparatus
US20120002843A1 (en) * 2009-03-19 2012-01-05 Denso Corporation Drowsiness assessment device and program

Also Published As

Publication number Publication date
CN107028587A (zh) 2017-08-11
CN107028587B (zh) 2021-01-26
US20170080947A1 (en) 2017-03-23
US10023199B2 (en) 2018-07-17
JP2017079055A (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
DE102015218306A1 (de) Verfahren und Vorrichtung zum Ermitteln eines Schläfrigkeitszustands eines Fahrers
DE102014220759B4 (de) Überwachung eines Aufmerksamkeitsgrads eines Fahrers eines Fahrzeugs
EP3248179B1 (de) Verfahren und vorrichtung zum erkennen von sekundenschlaf eines fahrers eines fahrzeugs
EP3405375B1 (de) Verfahren zur klassifikation von fahrerbewegungen
DE102004036119B4 (de) Fahrerassistenzsystem zur Müdigkeitserkennung bzw. Aufmerksamkeitsbeurteilung eines Fahrzeugführers
DE102014216208A1 (de) Verfahren und eine Vorrichtung zum Bestimmen einer Reaktionszeit eines Fahrzeugführers
DE112016007124T5 (de) Verfahren und Vorrichtungen zur Überwachung eines Aktivitätsniveaus eines Fahrers
DE102015001686B4 (de) Verfahren und Vorrichtung zur Erkennung einer Reaktionsfähigkeit eines Fahrers beim automatisierten Fahren
DE102012000629A1 (de) Verfahren, Vorrichtung und Mobilgerät zur Müdigkeitserkennung eines Fahrers eines Fahrzeugs
EP0952039B1 (de) Vorrichtung zur Einschlafwarnung eines Kraftfahrzeugführers
DE102016108475A1 (de) Einschlaferfassungsvorrichtung
DE102015206209A1 (de) Verfahren zur Bestimmung einer die Aufmerksamkeit eines Fahrzeugführers abbildenden Maßzahl und Vorrichtung zur Aufmerksamkeitsüberwachung eines Fahrzeugführers
DE102014216201A1 (de) Fahrerassistenzsystem mit Müdigkeitserkennung und Verfahren zur Prädiktion eines Müdigkeitsgrads
DE102014215461B4 (de) Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs, insbesondere Eisenbahnfahrzeugs
DE102019003557A1 (de) Verfahren zum Betrieb eines Fahrzeugs
DE102013002686B4 (de) Verfahren zum Betreiben eines Kraftwagens sowie Kraftwagen
DE102017216328B3 (de) Verfahren zum Überwachen eines Aufmerksamkeitszustandes einer Person, Verarbeitungseinrichtung, Speichermedium, und Kraftfahrzeug
DE102016223794B4 (de) Verfahren und System zum Bewerten einer Akzeptanz mindestens eines Fahrerassistenzsystems eines autonom fahrenden Kraftfahrzeugs
DE102016210014B4 (de) Überwachungsvorrichtung, Fahrzeugsteuervorrichtung und Überwachungsverfahren
WO2020224985A1 (de) Verfahren zum durchführen eines rangiervorgangs eines kraftfahrzeugs mit aufmerksamkeitsbeurteilung eines nutzers sowie rangierassistenzsystem für ein kraftfahrzeug
DE102015225109A1 (de) Verfahren und Vorrichtung zum Klassieren von Augenöffnungsdaten zumindest eines Auges eines Insassen eines Fahrzeugs und Verfahren und Vorrichtung zum Erfassen einer Schläfrigkeit und/oder eines Sekundenschlafes eines Insassen eines Fahrzeugs
DE102018206237A1 (de) Verfahren und Vorrichtung zur Müdigkeitserkennung einer Person
DE102015224889A1 (de) Verfahren zur Müdigkeitsermittlung
EP3310248B1 (de) Verfahren und vorrichtung zum unterscheiden von blinzelereignissen und instrumentenblicken unter verwendung einer augenöffnungsweite
DE102010034599A1 (de) Verfahren zur Erfassung des Benutzerprofils zur Müdigkeitserkennung eines Fahrzeugfahrers

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed