-
Die Erfindung betrifft ein Verfahren zum Überwachen eines Aufmerksamkeitszustandes einer Person, vorzugsweise während die Person ein Gerät oder eine Maschine betreibt, beispielsweise während die Person ein Kraftfahrzeug betreibt. Ein Aufmerksamkeitszustand kann auch, bei geringer Aufmerksamkeit, einen Zustand einer Müdigkeit beschreiben, weswegen ein Überwachen des Aufmerksamkeitszustandes auch ein Überwachen eines Müdigkeitszustandes umfasst und beide Begriffe miteinander austauschbar sind.
-
Eine möglichst genaue Bestimmung der Müdigkeit einer Person, beispielsweise einer Fahrermüdigkeit, ist für eine Müdigkeitserkennung der substanzielle Bestandteil für eine Funktionsapplikation und deren Absicherung. Bisherige Verfahren sind aber sowohl kostenals auch zeitintensiv und müssen durch geschultes Personal durchgeführt werden.
-
Bei bisherigen Methoden und Skalen zur Müdigkeitsbewertungen von Personen, beispielsweise durch die sogenannte HSC-Skala („Karolinska Sleepiness Scale“) wird die Müdigkeit von Personen entweder durch die direkte Beobachtung oder durch die Begutachtung von Videoaufzeichnungen der zu bewertenden Personen bestimmt. Für diese Bewertung sind zwingend speziell geschulte Bewerber einzusetzen. Die Bewertung der Müdigkeit beruht auf einer Vielzahl von physiologischen Indikatoren. Diese Indikatoren werden in festgelegten Intervallen systematisch beobachtet und diese Beobachtungen anschließend unter Berücksichtigung des persönlichen Eindrucks des Bewerbers zu einem Müdigkeitslevel kumuliert.
-
Trotz der systematischen Beobachtung und Zusammenführung der Müdigkeitsindikatoren findet diese nur durch subjektive Bewertung und Betrachtung statt. Demzufolge besteht die letztendlich getroffene Bewertung der Müdigkeit zu einem nicht unerheblichen Teil aus der Intuition des Bewerters. Diese Intuition muss durch aufwendige Schulungen dahingehend geschult werden, dass dennoch verlässliche Ergebnisse erzielt werden. Trotzdem können zu einem betrachteten Bewertungspunkt durch unterschiedliche Bewerter unterschiedliche Müdigkeitsstufen vergeben werden. Grenzen diese Stufen direkt aneinander, kann es aufgrund der subjektiven Bewertung der Auswertung der Indikatoren dazu kommen, dass keine eindeutige Zuordnung des betrachteten Zeitpunktes zu einer Müdigkeitsstufe möglich ist.
-
Die
US 7,791,491 B2 beschreibt ein Verfahren und ein Gerät zum Messen einer Schläfrigkeit eines Fahrzeugführers, wobei ein Verhältnis einer Amplitude zu einer Geschwindigkeit eines Lidschlags beim Blinzeln und eine Dauer des Öffnen und Schließen des Augenlids gemessen wird.
-
Die
DE 10 2015 001 686 B4 beschreibt ein Verfahren zum Erkennen einer Reaktionsfähigkeit eines Fahrers, wobei mittels Kamerabeobachtung des Fahrers eine Reaktionsfähigkeit gemessen wird, und eine zweite Bewertung der Reaktionsfähigkeit mittels Erkennung der Bedienung einer Bedieneinrichtung durch den Fahrer. Hierzu wird ein Blinzeln erkannt.
-
Aus der
DE 196 21 435 A1 ist ein System zum Überwachen der Augen einer Person mit einer Schnittstelle bekannt, die zur Gewinnung von Bildern von der Person und zur Bereitstellung einer Rückkopplung zu der Person dient, und mit einem Prozessor für die Analyse der Bilder. Hierbei wird über eine Augenerkennung ein Schlafverhalten analysiert.
-
Die
US 2014/0210625 A1 beschreibt ein System zum Auslösen eines Events mit einer Schnittstelle und einem Prozessor. Die Schnittstelle ist dazu eingerichtet, Gesichts-Erfassungs-Daten und Sensordaten zu empfangen.
-
Die
US 2014/0139655 A1 bezieht sich auf ein Kraffahrzeug-Telematik-Gerät zur Überwachung eines Fahrers zum Verhindern eines Unfalls durch Müdigkeit und Ablenkungszustände.
-
Die im Stand der Technik beschriebenen Verfahren messen entweder einen augenbasierten Indikator, was jedoch zu keinem Ergebnis führt, falls der Fahrer eine Sonnenbrille trägt. Insbesondere bei Lidschlüssen gibt es hohe interindividuelle Unterschiede. Generell sind Augenparameter, beispielsweise Lidschlüsse und halb geöffnete Augen durch menschliche Bewerter schwer unterscheidbar. Ebenso können abstammungsbedingte Unterschiede körperlicher Merkmale, beispielsweise unterschiedliche Augenformen von kaukasischen und asiatischen Personen, nicht berücksichtigt oder falsch interpretiert werden, wodurch unter Umständen Fehlinterpretationen passieren können.
-
Eine der Erfindung zu Grunde liegende Aufgabe ist das Verbessern einer Zuverlässigkeit einer Müdigkeitsbestimmung.
-
Die gestellte Aufgabe wird durch das erfindungsgemäße Verfahren und die erfindungsgemäßen Vorrichtungen gemäß der nebengeordneten Patentansprüche gelöst. Vorteilhafte Weiterbildungen sind durch die Unteransprüche gegeben.
-
Die Erfindung basiert auf der Idee, die Müdigkeit einer Person anhand von mehr als einem Müdigkeitsindikator durchzuführen, wobei mindestens einer der Müdigkeitsindikatoren ein nicht-augenbasierter Müdigkeitsindikator ist. Die Müdigkeitsindikatoren werden quantifiziert und anhand festgestellter Häufigkeiten der festgestellten Müdigkeitsindikatoren wird ein Personenzustandsmodell bereitgestellt, anhand dessen ein Grad einer aktuellen Müdigkeit und/oder Aufmerksamkeit der Person ermittelt wird. Durch eine solche, quantifizierte Betrachtung und Auswertung der Müdigkeitsindikatoren wird eine automatisierte Bestimmung eines Müdigkeitslevel zu, also eines Grads einer aktuellen Müdigkeit, möglich. Dadurch wird ein Aufwand der Müdigkeitsbestimmung in der Nachbearbeitung, also dem Post-Processing, deutlich gesenkt, und gleichzeitig wird eine Verwendung in einem Onlineverfahren zu Müdigkeitsbestimmung ermöglicht, vorzugsweise bei Verwendung einer Fahrerbeobachtungskamera.
-
Das erfindungsgemäße Verfahren zum Überwachen eines Aufmerksamkeitszustandes einer Person weist zunächst den durch eine Sensoreinrichtung durchgeführten Schritt auf, wobei durch die Sensoreinrichtung ein Erfassen von mindestens zehn Körperausdrucksmerkmalen der Person erfolgt, wobei mindestens eines der Körperausdrucksmerkmale ein nicht-augenbasiertes Körperausdrucksmerkmal ist.
-
Als Sensoreinrichtung wird ein Gerät oder eine Gerätekomponente zum Erfassen einer vorzugsweise optischen Eigenschaft der Umgebung verstanden, wobei die Sensoreinrichtung hierzu mindestens einen Sensor aufweist. Vorzugsweise kann die Sensoreinrichtung zum Beispiel eine Fahrerbeobachtungskamera aufweisen, die dazu ausgestaltet und eingerichtet ist, Körperausdrucksmerkmale des beispielhaften Fahrers zu erfassen.
-
Als Körperausdruck werden dabei eine oder mehrere Körperbewegungen und/oder Körperzustände verstanden, beispielsweise eine Gestik, Mimik, Körpersprache, und Körperhaltung eines Ausdrucksbereichs wie beispielsweise eine Augenpartie, der Gliedmaßen oder der Augen. Als Körperausdrucksmerkmal wird dabei eine konkrete Körperbewegung des Ausdrucksbereichs oder Körperhaltung oder Körperdynamik verstanden, beispielsweise ein Blinzeln, ein Zucken des Körpers bei Erschrecken oder ein Grad einer Augenöffnung.
-
Das Verfahren weist weiterhin die folgenden, durch eine Verarbeitungseinrichtung durchgeführten Schritte auf. Als Verarbeitungseinrichtung wird ein Gerät oder eine Gerätekomponente zum Empfangen und Auswerten von Signalen, insbesondere der Signale aus der Sensoreinrichtung, und zum Erzeugen von Steuersignalen verstanden. Die Verarbeitungseinrichtung kann vorzugsweise als Verarbeitungssteuergerät, als Steuerchip, als Software oder Computerprogrammprodukt ausgestaltet sein.
-
Anhand des jeweiligen erfassten Körperausdrucksmerkmals erfolgt ein Feststellen eines jeweiligen Müdigkeitsindikators, wobei als Müdigkeitsindikator ein Indikator verstanden wird, der einen eine Müdigkeit implizierenden Zustand der Person beschreibt, beispielsweise ein Schließen der Augenlider für beispielsweise mehr als zwei Sekunden oder ein nach vorne Fallen des Kopfes.
-
Es folgt ein Feststellen einer jeweiligen Häufigkeit, mit der jeder der festgestellten Müdigkeitsindikatoren auftritt. Anhand der festgestellten Häufigkeiten der festgestellten Müdigkeitsindikatoren erfolgt ein Bereitstellen eines Personenzustandsmodells, das die festgestellten Häufigkeiten und die festgestellten Müdigkeitsindikatoren der Person beschreibt. Das Personenzustandsmodell ist ein digitales Model und repräsentiert also ein Gesamtbild des Personenzustands. Anhand des bereitgestellten Personenzustandsmodells erfolgt ein Ermitteln eines Grads einer aktuellen Müdigkeit und/oder Aufmerksamkeit der Person. Mit anderen Worten erfolgt anhand des bereitgestellten Personenzustandsmodells eine Bewertung der Gesamtsituation in Bezug auf eine Müdigkeit und/oder Aufmerksamkeit der Person. Optional oder alternativ kann anhand des bereitgestellten Personenzustandsmodells ein Prädizieren eines Grads einer aktuellen Müdigkeit und/oder Aufmerksamkeit der Person erfolgen. Die Gesamtsituation kann auch als „Gesamtbild“ oder als „Summenscore“ bezeichnet werden.
-
Es ergeben sich die oben genannten Vorteile. Weiterhin wird eine stabilere, deterministische Bestimmung der Müdigkeit durch geschulte Bewerter ermöglicht. Das erfindungsgemäße Verfahren ermöglicht weiterhin eine automatisierte Bewertung der Müdigkeit im Post-Processing. Außerdem wird eine automatisierte Bewertung der Müdigkeit durch beispielsweise einen Online-Algorithmus möglich.
-
Eine Bewertung kann deswegen sehr viel schneller durchgeführt werden, wodurch beispielsweise bei einem Notfall auch sofort reagiert werden kann. Durch die Vielzahl an berücksichtigten Müdigkeitsindikatoren wird das Gesamtbild genauer, d.h. die Bewertung wird zuverlässiger.
-
Je mehr Körperausdrucksmerkmale erfasst werden und je mehr Müdigkeitsindikatoren dementsprechend vorliegen, desto genauer wird das Ergebnis und desto besser werden Fehlinterpretationen reduziert.
-
Gemäß einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens kann die Verarbeitungseinrichtung ein Erzeugen eines Ausgabesignals durchführen, wobei das Ausgabesignal den ermittelten Grad der aktuellen Müdigkeit und/oder der Aufmerksamkeit der Person beschreiben kann. Es kann dann ein Übertragen des erzeugten Ausgabesignals an eine Ausgabeeinrichtung erfolgen, also an ein Gerät oder eine Gerätekomponente zum Ausgeben des Ausgabesignals, das beispielsweise eine Bild-und/oder Tonsignal sein kann. Die Ausgabeeinrichtung kann vorzugsweise als Bildschirm und/oder Lautsprecher ausgestaltet sein. Durch diese Ausführungsform kann ein Ergebnis des erfindungsgemäßen Verfahrens an beispielsweise einen Benutzer ausgegeben werden, der beispielsweise einen Zugführer beim Steuern eines Zugs überwacht und beispielsweise in einem Notfall, falls beispielsweise der Zugführer einen hohen Grad an Müdigkeit zeigt und einzuschlafen droht, zum Beispiel schnell aufwecken und warnen. Hierdurch wird eine Sicherheit während eines Betriebs einer Maschine oder eines Geräts erhöht, im Falle des beispielhaften Zugführers also eine Fahrsicherheit.
-
Vorteilhaft wird eine Kodierung bzw. eine Beobachtung der Körperausdrucksmerkmale und/oder Müdigkeitsindikatoren erleichtert, und eine Standardisierung der Bewertung, sowie eine Reduzierung von Freiheitsgraden bei der subjektiven Einschätzung beispielsweise von Lidschlusslängen erleichtert, und Müdigkeit kann automatisch detektiert werden.
-
Vorzugsweise kann das bereitgestellte Personenzustandsmodell mindestens zwei vorgegebene Müdigkeitsstufen einer Müdigkeitsskala beschreiben, sowie die jeweiligen festgestellten Müdigkeitsindikatoren und deren festgestellten Häufigkeiten jeweils einer der vorgegebenen Müdigkeitsstufen zuordnen. Das Ermitteln des aktuellen Grads der Müdigkeit und/oder Aufmerksamkeit der Person kann dann durch ein Festlegen einer der vorgegebenen Müdigkeitsstufen als die den aktuellen Grad der Müdigkeit und/oder Aufmerksamkeit der Person repräsentierende Müdigkeitsstufe erfolgen. Hiermit wird die Bewertung noch übersichtlicher und der Zustand der überwachten Person kann besser und schneller eingeschätzt werden.
-
In einer Weiterbildung kann die Müdigkeitsskala in mindestens fünf, mindestens sechs, mindestens acht oder mindestens neun Müdigkeitsstufen unterteilt sein. Mit anderen Worten kann die Müdigkeitsskala mindestens fünf, mindestens sechs, mindestens acht oder mindestens neun Müdigkeitsstufen aufweisen. Beispielhaft kann die Müdigkeitsskala in fünf Kategorien „wach“, „leichte Müdigkeit“, „mittlere Müdigkeit“, „starke Müdigkeit“ und „Sekundenschlaf“ aufweisen. Optional kann eine zusätzliche Müdigkeitsstufe für nicht kodierbare, also nicht feststellbare Müdigkeitsindikatoren, vorgesehen sein. Weist die Müdigkeitsskala beispielsweise neun Müdigkeitsstufen auf, können beispielhaft einige der fünf oben genannten Kategorien mehrere Müdigkeitsstufen als Unterkategorien aufweisen. Dies macht eine Interpretation des Ergebnisses sehr viel einfacher und übersichtlicher. Vorzugsweise kann die Sensoreinrichtung mindestens 20, insbesondere mindestens 30 Körperausdrucksmerkmale erfassen und das Personenzustandsmodell kann mindestens 20, insbesondere mindestens 30 Müdigkeitsindikatoren beschreiben. Je mehr Körperausdrucksmerkmale erfasst werden und je mehr Müdigkeitsindikatoren dementsprechend vorliegen, desto genauer wird das Ergebnis und das du besser werden Fehlinterpretationen reduziert.
-
Vorzugsweise kann das Erfassen der mindestens zehn Körperausdrucksmerkmale erfolgen, während die Person ein Gerät oder eine Maschine betreibt, vorzugsweise während die Person ein Kraftfahrzeug betreibt. Hierdurch wird eine sogenannte Online-Bewertung ermöglicht, die insbesondere bei einem Notassistenten vorteilhaft eingesetzt werden kann.
-
Weist die Sensoreinrichtung einen Sensor zum Erfassen eines Bildes und/oder einer Bilderserie und/oder eines Videos auf, ist also die Sensoreinrichtung beispielsweise als Fahrerbeobachtungssystem mit einer Fahrerbeobachtungskamera ausgestaltet, und erfolgt das Feststellen der Häufigkeit, mit der jeder der Müdigkeitsindikatoren auftritt, durch eine Bildanalyse, so können beispielsweise in einem Kraftfahrzeug vorhandene Systeme für das erfindungsgemäße Verfahren genutzt werden. Außerdem wird der Fahrer durch das Erfassen der Körperausdrucksmerkmale nicht beeinträchtigt. Des Weiteren sind eine derart erfassbare Körpersprache und ein derart erfassbarer Körperausdruck essenzielle Bestandteile der menschlichen Kommunikation mit der Umwelt, durch die in geistiger und körperlicher Zustand durch die Person intuitiv ausgedrückt wird.
-
Vorzugsweise kann das erfasste Körperausdrucksmerkmal ein sichtbares Körperausdrucksmerkmal sein, vorzugsweise eine sichtbare Bewegung eines Körperteils und/oder eine Körperhaltung. Hierdurch werden die gleichen Vorteile noch weiter begünstigt.
-
Als zu erfassende Körperausdrucksmerkmale haben sich besonders die folgenden Körperausdrucksmerkmale bewährt, aus denen die Sensoreinrichtung mindestens zwei erfasst: Augenblinzeln und/oder Blickrichtung und/oder Blickwechsel und/oder Lidschluss und/oder Augenöffnungswinkel und/oder Augenrollen und/oder Sitzposition und/oder Gesichtsausdruck und/oder Mimik und/oder Gähnen und/oder Reiben und/oder Kratzen und/oder Kopflage und/oder Kopfhaltung und/oder Strecken des Körpers und/oder Räkeln des Körpers und/oder Kopfbewegung und/oder Körperbewegung und/oder Lenkradhaltung.
-
Als Müdigkeitsindikatoren haben sich besonders die folgenden Müdigkeitsindikatoren bewährt, von denen die Verarbeitungseinrichtung mindestens zwei feststellt: unauffälliges Blinzelverhalten und/oder kontinuierlicher Blickwechsel und/oder schneller Blickwechsel und/oder Augen ruhig und/oder schnelle Sakkaden und/oder verlangsamter Lidschluss und/oder langer oder sehr langer Lidschluss und/oder Lidschluss für zwei Sekunden oder länger und/oder Augen starren und/oder Augen halb geöffnet und/oder Wegrollen der Augen und/oder Sekundenschlaf und/oder aufrechte Sitzposition und/oder müder Gesichtsausdruck und/oder Gähnen und/oder Reiben oder Kratzen und/oder Gesicht Verziehen und/oder Kopf Schieflegen und/oder Abstützen und/oder Strecken des Körpers und/oder Räkeln des Körpers und/oder Kopfnicken und/oder Aufschrecken und/oder tiefes Einatmen und/oder bequeme Position im Sitz und/oder angelehnter Oberkörper und/oder Kopfschütteln und/oder Zurücksacken und/oder Kauen und/oder eine hektische Bewegung.
-
Um eine Aussagekraft eines Müdigkeitsindikators weiter zu erhöhen kann optional durch die Sensoreinrichtung und/oder die Verarbeitungseinrichtung ein Erfassen einer Dauer eines Anhaltens des Körperausdrucksmerkmals erfolgen, beispielsweise ein Erfassen einer Dauer eines Lidschluss oder einer Dauer des Schließvorganges des Lidschluss.
-
Das erfindungsgemäße Verfahren kann außerdem zum Beispiel bei der Schulung von menschlichen Bewertern eingesetzt werden, also bei Personen, die eine Bewertung von Körperausdrucksmerkmalen durchführen, bei dem subjektive Bewertungen durch die menschlichen Bewerter beispielsweise mit dem durch das erfindungsgemäße Verfahren bewertete und eingestufte Müdigkeitsindikatoren verglichen werden können. Optional kann beispielsweise eine zufällige Auswahl und Präsentation der Müdigkeitsindikatoren zum Testen erfolgen, beispielsweise aus einer Indikator-Datenbank. Optional kann ein Registrieren einer Antwort eines menschlichen Bewerters und ein automatisches Ermitteln, zum Beispiel berechnen, von Leistungsindices folgen, beispielsweise Prozentangaben der korrekten Antworten des menschlichen Bewerters. Hierzu kann beispielsweise eine Datenbank eine große Anzahl an Indikator-Videos aufweisen.
-
Die oben gestellte Aufgabe wird gelöst durch eine Verarbeitungseinrichtung, die dazu ausgelegt ist, die eine Verarbeitungseinrichtung betreffenden Verfahrensschritte eines Verfahrens nach einer der oben beschriebenen Ausführungsformen durchzuführen. Die Verarbeitungseinrichtung kann vorzugsweise als Verarbeitungssteuergerät oder als Steuerchip ausgestellt sein. Die Verarbeitungseinrichtung kann vorzugsweise eine Prozessoreinrichtung aufweisen, also ein Gerät oder ein Bauteil zur elektronischen Datenverarbeitung, wobei die optionale Prozessoreinrichtung mindestens einen Mikrokontroller und/oder mindestens einen Mikroprozessor aufweisen kann. Die Prozessoreinrichtung kann dazu eingerichtet sein, einen auf einem Datenspeicher abgelegten Programmcode auszuführen, wobei der Programmcode bei Ausführen durch die Prozessoreinrichtung die Verarbeitungseinrichtung dazu veranlassen kann, die eine Verarbeitungseinrichtung betreffenden Verfahrensschritte eines Verfahrens der oben beschriebenen Ausführungsformen durchzuführen.
-
Die oben gestellte Aufgabe wird gelöst durch ein Speichermedium mit einem Programmcode, der dazu eingerichtet ist, bei Ausführen durch eine Prozessoreinrichtung ein Verfahren nach einer der oben beschriebenen Ausführungsformen durchzuführen. Das Speichermedium kann beispielsweise als Speicherchip oder Speicherkarte ausgestaltet sein.
-
Die oben gestellte Aufgabe wird gelöst durch ein Kraftfahrzeug, vorzugsweise ein Kraftwagen wie beispielsweise ein Personenkraftwagen, das Kraftfahrzeug aufweisend eine Ausführungsform der erfindungsgemäßen Verarbeitungseinrichtung. Es ergeben sich die oben genannten Vorteile.
-
Das Kraftfahrzeug kann vorzugsweise eine Sensoreinrichtung aufweisen, die zum Erfassen von mindestens zehn Körperausdrucksmerkmale eines Benutzers des Kraftfahrzeugs ausgestaltet ist.
-
Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt die einzige Figur („Fig.“):
- eine schematische Darstellung zu einem Ausführungsbeispiel des erfindungsgemäßen Verfahrens.
-
Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
-
In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.
-
Die Figur veranschaulicht das Prinzip des erfindungsgemäßen Verfahrens anhand eines Ausführungsbeispiels. In dem Ausführungsbeispiel kann die Person 10, deren Aufmerksamkeitszustand überwacht werden soll, beispielsweise ein Fahrer eines Kraftfahrzeugs 12 sein. Alternativ kann die Person 10 zum Beispiel ein Zugführer sein, oder eine Person 10, die beispielsweise gerade eine Maschine bedient, beispielsweise eine Industriemaschine.
-
In dem Beispiel der Figur kann das Kraftfahrzeug 12 eine Verarbeitungseinrichtung 14 aufweisen, die beispielsweise als Steuergerät oder als Steuerchip eines Bordcomputers des Kraftfahrzeugs 12 ausgestaltet sein kann. Die Verarbeitungseinrichtung 14 kann vorzugsweise eine Prozessoreinrichtung 16 aufweisen, beispielsweise ein Chip mit mehreren Mikrokontrollern, und/oder ein Speichermedium 18, das beispielsweise als Festplatte oder Speicherkarte ausgestaltet sein kann, das optional einen Programmcode zum Durchführen des Verfahrens aufweisen kann.
-
Die Verarbeitungseinrichtung 14 muss nicht unbedingt ein Bestandteil oder Bauteil des Kraftfahrzeugs oder Geräts oder der Maschine sein, das/die von der Person 10 bedient wird. Die Figur zeigt alternativ zu der kraftfahrzeuginternen Verarbeitungseinrichtung 14 eine Verarbeitungseinrichtung 14 einer Servervorrichtung 20, wobei als Servervorrichtung 20 ein Computer oder ein Computerverbund verstanden wird, der vorzugsweise an im Internet betrieben werden kann. Die Servervorrichtung 20 kann beispielsweise als Datenserver oder Backend oder Daten-Cloud ausgestaltet sein. Die Servervorrichtung 20 kann beispielsweise ein Datenserver einer Überwachungszentrale sein.
-
Die Verarbeitungseinrichtung 14 kann über eine Datenkommunikationsverbindung 22 optional mit einer Ausgabeeinrichtung 24 verbunden sein. Die Datenkommunikationsverbindung 22 kann dabei beispielsweise eine drahtgebundene Datenkommunikationsverbindung 22 sein, beispielsweise ein Kabel oder ein Datenbus, oder eine drahtlose Datenkommunikationsverbindung 22, beispielsweise eine WLAN-Verbindung und/oder Internetverbindung und/oder Bluetooth-Verbindung. Die Ausgabeeinrichtung kann beispielsweise als Bildschirm eines PCs oder als Bildschirm beispielsweise eines Kombiinstruments oder eines Infotainmentsystems des beispielhaften Kraftfahrzeugs 12 ausgestaltet sein, und/oder einen Lautsprecher zum beispielsweise Ausgeben eines Warntons umfassen.
-
Die Figur zeigt weiterhin eine Sensoreinrichtung 26, die beispielsweise als Fahrerbeobachtungssystem mit einer Fahrerbeobachtungskamera des Kraftfahrzeugs 12 ausgestaltet sein kann. Eine solche Fahrerbeobachtungskamera kann beispielsweise eine Infrarot-Kamera und/oder optische Kamera sein. Alternativ oder zusätzlich kann die Sensoreinrichtung 26 beispielsweise eine Lichtschranke aufweisen und/oder zumindest einen Drucksensor in einem Schulterbereich eines Kraftfahrzeugsitzes, wodurch beispielsweise eine aufrechte Körperhaltung oder Sitzhaltung und/oder eine zusammengesunkene Körperhaltung oder Sitzhaltung erfasst werden können.
-
In einem ersten Verfahrensschritt S1 erfolgt ein Erfassen mindestens zweier Körperausdrucksmerkmale der Person, beispielsweise das Erfassen einer Körperhaltung oder einer Mimik eines Körperteils, und das Erfassen eines Lidschlusses. Das Erfassen der Körperausdrucksmerkmale (S1) erfolgt vorzugsweise während die Person 10 beispielhafte Kraftfahrzeug 12 führt. Das erfindungsgemäße Verfahren erfolgt also vorzugsweise im Rahmen einer Online-Überwachung.
-
Beispielsweise kann in Verarbeitungseinrichtung 14 vorgegeben sein, dass zum Beispiel ein vorgegebenes Set an Müdigkeitsindikatoren, beispielsweise während der beispielhaften Fahrt mit dem Kraftfahrzeug 12, überprüft werden soll. Ein solches beispielhaftes Set kann beispielsweise die folgenden Müdigkeitsindikatoren vorgeben: unauffälliges Blinzelverhalten, kontinuierliche Blickwechsel, aufrechte Sitzposition, schneller Blickwechsel, verlangsamter Lidschluss (0,5 Sekunden bis 1 Sekunde), müder Gesichtsausdruck, Gähnen, Reiben/Kratzen, Gesicht verziehen, Kopf schieflegen/abstürzen, langer Lidschluss (ca. 1 Sekunde), Augen starren, Augen halb geöffnet, Strecken/räkeln des Körpers, sehr lange Lidschluss (über 1 Sekunde), Wegrollen der Augen, Kopfnicken, Lidschluss (länger als 2 Sekunden) und aufschrecken. Besonders vorzugsweise können 30 Müdigkeitsindikatoren oder mehr überprüft werden.
-
Vorzugsweise können als Körperzustandsmerkmale zum Beispiel ein Aufschrecken und ein Kopfnicken erfasst werden. Alternativ können beispielsweise halbgeöffnete Augen, ein Aufschrecken, ein Wegrollen der Augen, ein Strecken und/oder Räkeln des Körpers, ein Kopf Schieflegen und/oder Abstützen und ein sehr langer Lidschluss erfasst werden (S1). In einem weiteren Beispiel können beispielsweise ein Aufschrecken, halbgeöffnete Augen, Starren der Augen, Gähnen und/oder tiefes Einatmen, Gesicht verziehen, Kopf Schieflegen und/oder Abstützen, ein Kopfnicken, ein langer Lidschluss, ein Lidschluss über zwei Sekunden und/oder Sekundenschlaf, ein müder Gesichtsausdruck, ein Reiben und/oder Kratzen, ein Strecken und/oder Räkeln, ein sehr langer Lidschluss und ein verlangsamter Lidschluss erfasst werden (S1). Alternativ können die Merkmale der zuletzt genannten Kombination an Körperausdrucksmerkmalen erfasst werden (S1), wobei anstatt des Erfassens starrender Augen ein Erfassen rollender Augen erfolgen kann.
-
Die erfassten Körperausdrucksmerkmale können beispielsweise durch die Sensoreinrichtung 26 und/oder die Verarbeitungseinrichtung 14 durch vorzugsweise eine Bildanalyse analysiert und erkannt werden. Entsprechende Bildanalysesoftwares und Algorithmen zur Gestenerkennung sind dem Fachmann aus dem Stand der Technik bekannt.
-
Im Beispiel der Figur ist als beispielhaftes augenbasiertes Körperausdrucksmerkmal ein geschlossenes Auge gezeigt, und als beispielhaftes nicht-augenbasiertes Körperausdrucksmerkmal ein Gähnen. Im Verfahrensschritt S2 wird anhand des geschlossenen Auges festgestellt, dass ein augenbasierter Müdigkeitsindikator vorliegt, der beispielsweise ein Indikator für eine mittlere oder starke Müdigkeit sein kann. Beispielsweise können in dem Speichermedium 18 digitale Übersetzungtabellen vorliegen, die zum Beispiel zu einer Vielzahl erfasster Körperausdrucksmerkmale jeweils zuordnen, ob es sich dabei um einen Müdigkeitsindikatoren handelt und/oder welcher Müdigkeitsstufe ein solcher Müdigkeitsindikator zugeordnet wird. Als nicht-augenbasierter Müdigkeitsindikator kann analog das Gähnen festgestellt werden (S2). In dem Speichermedium 18 kann, zum Quantifizieren der jeweiligen Müdigkeitsindikatoren, bei jedem erneuten Feststellen das Müdigkeitsindikators (S2) eine entsprechende Information hinterlegt werden, sodass zu jedem der Müdigkeitsindikatoren die jeweilige Häufigkeit festgestellt wird (S5). Optional kann eine entsprechende Dauer des entsprechenden Körperausdrucksmerkmals oder des Müdigkeitsindikators erfasst werden (S4), wozu die Verarbeitungseinrichtung 14 beispielsweise einen Zeitgeber aufweisen kann. Beispielsweise können so vier Lidschlüsse mit einer Dauer von weniger als 0,5 Sekunden, 10 Lidschlüsse mit einer Dauer von 0,5 Sekunden bis 1 Sekunde und ein Lidschluss mit einer Dauer von 1,1 bis 2 Sekunden festgestellt werden (S2, S4). Optional können beispielsweise drei Momente gezählt werden, in der die Person zum Beispiel gähnt.
-
Ein Blickwechsel kann beispielsweise mithilfe einer aus dem Stand der Technik bekannten Gestenerkennungssoftware und beispielsweise einer Sensoreinrichtung 26, die zum Beispiel zum Verfolgen der Augen ausgestaltet und eingerichtet sein kann, erfolgen. Dabei kann beispielsweise ein Blickwechsel auf ein Navigationssystem und/oder auf ein Kombiinstrument als „normal“ eingestuft werden, während beispielsweise ein Blickwechsel in einen Fußraum auf einen Beifahrersitz als Müdigkeitsindikator einer mittleren Müdigkeit festgelegt werden kann.
-
Die Müdigkeitsindikatoren Lidschluss (0,5 Sekunden bis eine Sekunde), Augen halb geöffnet, Augen starren (glasiger, leerer Blick) ohne Blinzeln (vorzugsweise > drei bis vier Sekunden), und Strecken/Räkeln des Körpers können zum Beispiel der Kategorie „mittlere Müdigkeit“ zugeordnet werden, die Müdigkeitsindikatoren sehr langer Lidschluss (ein bis zwei Sekunden), Wegrollen der Augen und Kopfnicken der Kategorie „starke Müdigkeit“. In einer Kategorie „sehr starke Müdigkeit“ können beispielsweise die Müdigkeitsindikatoren Lidschluss (≥ zwei Sekunden)/Sekundenschlaf und Aufschrecken zugeordnet sein.
-
Das Personenzustandsmodell, das anhand dieser Daten bereitgestellt wird (S6), kann beispielsweise sechs Kategorien beschreiben, beispielsweise eine erste Kategorie für nicht kodierbare Müdigkeitsindikatoren, also für Körperausdrucksmerkmale, die nicht einer der anderen Stufen oder Kategorien zugeordnet werden können, sowie die Kategorien „wach“, „leichte Müdigkeit“, die beispielsweise jeweils in zwei untergeordnete Müdigkeitsstufen unterteilt werden kann, „mittlere Müdigkeit“, die beispielsweise in drei Müdigkeitsstufen unterteilt werden kann, „starke Müdigkeit“, die beispielsweise in zwei Müdigkeitsstufen unterteilt werden kann, und „Sekundenschlaf“. Für die Kategorie „wach“ können beispielsweise folgende Müdigkeitsindikatoren als charakteristisch für diese Kategorie vorgegeben sein: schnelle Lidschlüsse (bis ca. 0,25 Sekunden), kontinuierlicher Blickwechsel, aufrechte Sitzposition, schnelle Blicke/schnelle Sakkaden, und Lenkradhaltung in einer „10 vor 2 Uhr“-Stellung. Für die Kategorie „leichte Müdigkeit“ können beispielsweise folgende Müdigkeitsindikatoren vorgesehen sein: „verlangsamter Lidschluss (kleiner 0,5 Sekunden) / auffälliges Blinzelverhalten, müder Gesichtsausdruck, Gähnen, Reiben/Katzen, Gesicht verziehen, und Kopf Schieflegen/Abstützen.
-
Im Verfahrensschritt S7 wird anhand des bereitgestellten Personenzustandsmodells der Grad der aktuellen Müdigkeit ermittelt. Hierdurch können beispielsweise die einzelnen Müdigkeitsindikatoren der der Kategorien oder Müdigkeitsstufen ausgewertet werden. Werden die einzelnen Müdigkeitsindikatoren aufgrund ihrer Häufigkeit innerhalb einer Kategorie beispielsweise unterschiedlichen Müdigkeitsstufen als Unterkategorien zugeordnet, kann beispielsweise die Gewichtung vorgegeben werden, gemäß dem beispielsweise die Müdigkeitsindikatoren bei der Gesamtbetrachtung aller Müdigkeitsindikatoren innerhalb einer Kategorie richtungsweisender oder charakteristischer sind als andere.
-
Werden beispielsweise innerhalb der Kategorie „leichte Müdigkeit“ die Häufigkeiten eines verlangsamten Lidschluss, eine Häufigkeit eines Gähnens und eine Häufigkeit eines Kopf Schieflegens/Kopf Abstützens einer ersten Müdigkeitsstufe zugeordnet, ein auffälliges Blinzelverhalten, ein müder Gesichtsausdruck und ein Gesicht Verziehen aufgrund der jeweiligen festgestellten Häufigkeit jedoch einer zweiten Müdigkeitsstufe der gleichen übergeordneten Kategorie, so kann durch die Gewichtung der zuletzt genannten Müdigkeitsindikatoren beispielsweise festgelegt sein, dass die aktuellen Müdigkeit derjenigen der zweiten Müdigkeitsstufe entsprechen kann. So können auch beispielsweise die Müdigkeitsindikatoren sehr langer Lidschluss (1 bis 2 Sekunden, Wegrollen der Augen und Kopfnicken ausschlaggebende Indikatoren für eine sehr starke Müdigkeit sein.
-
Durch die Auswertung der Körperausdrucksmerkmale und deren Häufigkeiten und/oder Dauer kann beispielhaft als aktueller Müdigkeitsgrad eine leichte Müdigkeit festgestellt werden (S8). Dieses Ergebnis kann beispielsweise für eine überwachende Person bestimmt sein, deren Aufgabe es beispielsweise sein kann, anhand der Befunde die Person 10 beispielsweise zu warnen und hierzu zum Beispiel eine Warnung zu veranlassen, um die Person 10 zur Aufmerksamkeit zu mahnen. Die Verarbeitungseinrichtung 14 kann ein Ausgabesignal erzeugen, beispielsweise ein Bildsignal, das den ermittelten Grad der aktuellen Müdigkeit beschreiben kann, und die dieses Ausgabesignal an die Ausgabeeinrichtung 24, beispielsweise den Bildschirm des Computers, übertragen (S10). Das beispielhafte Bildsignal kann durch die Ausgabeeinrichtung 24 ausgegeben werden (S11). Alternativ kann das erzeugte Ausgabesignal beispielsweise an die Ausgabeeinrichtung 24 des Kraftfahrzeugs 12 übertragen werden (S10), und diese Ausgabeeinrichtung 24 kann beispielsweise eine optische und/oder akustische Warnung ausgeben (S11).
-
Die Verarbeitungseinrichtung 14 kann, gemäß einem weiteren Ausführungsbeispiel, zum Beispiel als Mittel oder zum Beispiel Software-Tool zum Markieren und/oder automatischen Auszählen der Müdigkeitsindikatoren von beispielsweise Videosequenzen verwendet werden. Zusätzlich kann die Verarbeitungseinrichtung 14 beispielsweise vorsehen, mittels der Ausgabeeinrichtung 24 Videos der Sensoreinrichtung 26 abzuspielen. Dabei können beispielsweise Lidschlusslängen an Beginn und Ende markiert werden und daraus folgende Lidschluss-Klassen automatisch bestimmt werden. Aus den Häufigkeiten kann automatisch eine Feinabstufung für die mit Müdigkeitskodierung berechnet werden.
-
Die Ausführungsbeispiele veranschaulichen, wie durch die Erfindung eine quantifizierte und damit automatisierte Bewertung einer Müdigkeit einer Person 10 ermöglicht wird (S7). Hierzu kann beispielsweise ein Set von beispielsweise 30 Müdigkeitsindikatoren entwickelt werden, und ein Verfahren, mit dem sich aus der Beobachtung der Auftrittshäufigkeit der einzelnen Müdigkeitsindikatoren eine eindeutige Müdigkeitsstufe bestimmen lässt (S7), wird ermöglicht.
-
Gemäß einem weiteren Ausführungsbeispiel kann durch Auszählen von Auftrittshäufigkeiten vorher definierter Müdigkeitsindikatoren (S5) eine Müdigkeit bewertet werden (S7). Durch dieses Vorgehen werden weiche Faktoren, beispielsweise eine Intuition eines menschlichen Bewerters, aus dem Ergebnis eliminiert. Zusätzlich ermöglicht diese Methodik eine automatisierte Auswertung der Müdigkeit. Für eine Erkennung der Eingangsindikatoren, also das Erfassen der Körperausdrucksmerkmale (S7), und das Feststellen der Müdigkeitsindikatoren (S7), sowie das Feststellen der jeweiligen Häufigkeiten (S5), kann beispielsweise eine Kombination aus einem Sensor, der Verarbeitungseinrichtung 14, die vorzugsweise als Verarbeitungssteuergerät ausgestaltet sein kann, und beispielsweise einem Bildverarbeitungsalgorithmus verwendet werden.
-
Vorzugsweise kann eine Onlinebestimmung der Müdigkeit der Person 10 über eine vollständig automatisierte Erkennung und Auswertung der Müdigkeitsindikatoren erfolgen.
-
Die Erfindung kann vorzugsweise zur Müdigkeitserkennung, beispielsweise einer kamerabasierten Müdigkeitserkennung, einen Notassistenten und/oder weitere Systeme zur Fahrerzustandserkennung verwendet werden. Das erfindungsgemäße Verfahren und die erfindungsgemäßen Vorrichtungen können in sämtlichen Umfeldern verwendet werden, in denen eine Überwachung der Person 10, Beispielsweise eines Fahrers oder Maschinenführers oder Bedieners oder einer anderen Person 10, hinsichtlich Müdigkeit durch vorzugsweise eine kamerabasiertes System, eine Sicherheit erhöht werden. Die Person 10 kann gemäß einem weiteren Beispiel zum Beispiel ein Pilot, ein Zugführer oder eine Maschinenführer in der Industrie oder in einem Kraftwerk sein.
-
Gemäß einem weiteren Ausführungsbeispiel kann ein menschlicher Bewerter einen zu bewertenden Videoabschnitt betrachten und anhand in dem Videoabschnitt gezeigter Müdigkeitsindikatoren diese beispielsweise fünf Müdigkeitsstufen zuordnen. Die menschliche Bewertung kann den Videoabschnitt optional erneut betrachten und beispielsweise Lidschlüsse nach ihrer Länge und Häufigkeit auszählen. Entscheidend für eine finale Zuordnung zu einer Müdigkeitsstufe kann die Häufigkeit der Lidschlüsse in einer Lidschluss-Kategorie mit der großen Abschlussdauer sein.
-
Beispielsweise können 4 Lidschlüsse mit jeweils einer Dauer von weniger als 0,5 Sekunden gezählt werden, 10 Lidschlüsse (0,5 Sekunden bis 1 Sekunde), sowie ein Lidschluss mit einer Dauer von 1,1 Sekunden bis 2 Sekunden. Ein solcher Befund kann beispielsweise der Müdigkeitsstufe 6 zugeordnet werden.
-
Bei einem solchen System kann der mindestens eine zu bewertende Videoabschnitt in einer Nachbearbeitung durch die Verarbeitungseinrichtung 14, zum Beispiel schrittweise durch eine geeignete Softwarekomponente, auf einer geeigneten Hardware ausgewertet werden. Diese beispielhafte Softwarekomponenten können zum Beispiel die Länge und/oder Häufigkeit der erkannten Lidschlüsse bestimmen. Eine Bestimmung der Müdigkeitsstufe kann nach der oben genannten Regeln erfolgen.
-
Ein solches System kann diese Komponenten in einer automotivtauglichen Ausprägung enthalten, und kann zum Beispiel durch eine Vorrichtung zur Aufzeichnung des Fahrergesichts ergänzt werden. Dadurch ist dieses System in der Lage, die Bestimmung der Müdigkeitsstufe zur Fahrzeit direkt im Fahrzeug durchzuführen.
-
Bezugszeichenliste
-
- 10
- Person
- 12
- Kraftfahrzeug
- 14
- Verarbeitungseinrichtung
- 16
- Prozessoreinrichtung
- 18
- Speichermedium
- 20
- Servervorrichtung
- 22
- Datenkommunikationsverbindung
- 24
- Ausgabeeinrichtung
- 26
- Sensoreinrichtung
- S1 - S11
- Verfahrensschritte
