-
Die vorliegende Erfindung betrifft ein Verfahren zum Ermitteln einer Müdigkeit eines Fahrers eines Kraftfahrzeugs und ein Steuergerät, das ausgestaltet ist, das Verfahren auszuführen.
-
Eine Müdigkeit eines Kraftfahrzeugführers, insbesondere eines Fahrers eines Automobils, kann herkömmlich visuell oder nicht visuell bestimmt werden.
-
Nicht visuelle Ansätze umfassen beispielsweise eine Ermittlung der Müdigkeit auf Basis einer Analyse von Lenkbewegungen des Kraftfahrzeugführers, wie in
DE 10 2011 108 305 A1 beschrieben.
-
Die Ermittlung der Müdigkeit auf Basis der Lenkbewegungen ist jedoch bei einem signifikanten Anteil der Fahrer sehr ungenau.
-
Visuelle Ansätze umfassen insbesondere ein Erfassen und Analysieren eines Augenzustands, z.B. ob die Augen offen oder geschlossen sind, und/oder eines Pupillendurchmessers, wie in
WO 18149519 A1 beschrieben.
-
Visuelle Ansätze nutzen herkömmlich zum Erfassen und Analysieren des Augenzustands meist eine videobasierte Vorrichtung, die ein zum Kraftfahrzeugführer ausgerichtetes Kamerasystem und eine Bildverarbeitungseinheit zur hochfrequenten Ermittlung des Augenzustands des Fahrers aufweist.
-
Die visuellen Ansätze basieren dabei auf der Annahme, dass bei ermüdeten Kraftfahrzeugführern eine Lidschlagfrequenz größer ist und ein Lidschlag eine größere Zeitspanne in Anspruch nimmt als bei nicht ermüdeten Kraftfahrzeugführern.
-
Zum Stand der Technik zur Ermittlung der Müdigkeit aus der Augenzustandsanalyse gehören Anwendungen des PERCLOS Algorithmus, wie beispielsweise in
DE 29607558 U1 und
CN 104269028 A beschrieben, bei dem die Zeit des Augenschlusses über ein bestimmtes Zeitintervall summiert und prozentual berechnet wird (z.B. bei 16% der Messungen in den letzten 300 s waren die Augen des Fahrers geschlossen). Die ermittelten Prozentwerte korrelieren zu bestimmten Müdigkeitsstufen (z.B. 0-10% wach, 10-25% schläfrig etc).
-
Der PERCLOS Algorithmus weist jedoch ebenso wie die Ermittlung der Müdigkeit auf Basis der Lenkbewegungen eine beträchtliche Ungenauigkeit auf, da durch die einfache Summierung der Augenschlusszeiten nicht genau zwischen ermüdeten Fahrern, die eine niedrige Lidschlagfrequenz haben, und nicht ermüdeten Fahrern, die einen Lidschlag generell oder akut hochfrequenter ausführen (z.B. bei einer Blendwirkung durch die Sonne oder den Gegenverkehr), unterschieden werden kann.
-
Alternativ kann die Müdigkeit auf Basis der Lidschlagfrequenz, wie in
DE 10 2007 054 310 A1 beschrieben, oder die Lidschlagtätigkeit, wie in
DE 11 2010 005 290 T5 und
DE 10024227 A1 beschrieben, ermittelt werden. Dies basiert auf der Beobachtung, dass die Geschwindigkeit des Schließens der Augen während eines Lidschlages mit dem Müdigkeitsniveau invers korreliert.
-
Die auf der Lidschlagfrequenzanalyse basierten Ansätze weisen ebenfalls keine ausreichende Genauigkeit der Müdigkeitserkennung auf, da bei vielen ermüdeten Fahrern nur die Erhöhung der Dauer des Lidschlags und nicht zusätzlich die Lidschlagfrequenz beobachtet wird.
-
Die Analyse der Lidschlaggeschwindigkeit scheitert bei unterschiedlichen ethnischen Gruppen, die generell kleinere Normalaugenöffnungen aufweisen (z.B. bei asiatischen Fahrern), oder durch eine Blendwirkung durch die Sonne oder den Gegenverkehr bei allen Fahrern.
-
Ein weiteres bekanntes Verfahren basiert auf der Analyse des Pupillendurchmessers, wie in
DE 10 2017 202 659 A1 beschrieben.
-
Bei dem auf der Analyse des Pupillendurchmessers basierten Ansatz kommt der Nachteil hinzu, dass sowohl ermüdete als auch nicht ermüdete Fahrer am Tag, in der Nacht und bei Blendwirkung unterschiedliche Pupillendurchmesser aufweisen, die kaum zum Müdigkeitsniveau korrelieren.
-
Vor dem Hintergrund dieses Standes der Technik besteht die Aufgabe der vorliegenden Erfindung darin, eine Vorrichtung und ein Verfahren anzugeben, welche jeweils geeignet sind, zumindest die oben genannten Nachteile des Standes der Technik zu überwinden.
-
Gelöst wird die Aufgabe durch die Merkmale des unabhängigen Anspruchs. Die Unteransprüche haben bevorzugte Weiterbildungen der Erfindung zum Inhalt.
-
Danach wird die Aufgabe durch ein Verfahren zum Ermitteln einer Müdigkeit eines Fahrers eines Kraftfahrzeugs gelöst. Das Verfahren kann auch als Verfahren zur Ermittlung einer Müdigkeit einer Person auf Basis einer Lidschlaganalyse bezeichnet werden.
-
Das Verfahren umfasst einen Schritt eines Ermittelns eines durchschnittlichen Augenöffnungsmaßes eines geöffneten Auges des Fahrers, wobei das Augenöffnungsmaß einem Abstand zwischen einem oberen und einem unteren Augenlid des Auges entspricht.
-
Das durchschnittliche Augenöffnungsmaß bei offenem Augen kann auch als Normalöffnung bezeichnet werden. Zur Ermittlung bzw. Bestimmung der Normalöffnung kann das Augenöffnungsmaß über einen gewissen Zeitraum beobachtet werden, wobei in diesem Zeitraum mehrere Lidschlagvorgänge stattfinden. Bei einem Lidschlagvorgang erfolgt zunächst eine Schließbewegung, bei der das Augenöffnungsmaß abnimmt, und anschließend eine Öffnungsbewegung des Auges, bei der das Augenöffnungsmaß zunimmt. In einem Zeitraum zwischen den einzelnen Lidschlagvorgängen ist das Auge geöffnet und das Augenöffnungsmaß schwankt um einen Wert, der dem durchschnittlichen Augenöffnungsmaß bei offenem Augen entspricht. Zur Ermittlung des durchschnittlichen Augenöffnungsmaßes bei offenem Augen werden daher nur die Zeiträume berücksichtigt, in denen das Auge geöffnet ist, d.h. die Zeiträume zwischen den einzelnen Lidschlagvorgängen. Konkret kann dies bedeuten, dass die Lidschlagvorgänge aus den Messdaten des Augenmaßes herausgefiltert werden und basierend auf den restlichen Messdaten das durchschnittliche Augenöffnungsmaß bei offenem Augen berechnet wird. Das Herausfiltern der Lidschlagvorgänge aus den Messdaten kann beispielsweise basierend auf einer Steigung eines Verlaufs des Augenöffnungsmaßes über der Zeit erfolgen.
-
Das Verfahren umfasst ferner einen Schritt eines Ermittelns eines unteren und eines oberen Grenzwertes, wobei der untere und der obere Grenzwert jeweils einem Augenöffnungsmaß entsprechen, das kleiner als das ermittelte durchschnittliche Augenöffnungsmaß des geöffneten Auges ist.
-
Denkbar ist, dass der untere und der obere Grenzwert jeweils durch Multiplikation des ermittelten durchschnittlichen Augenöffnungsmaßes des geöffneten Auges (bzw. der Normalöffnung) mit einem vorbestimmten Prozentsatz ermittelt werden. Der untere Grenzwert ist kleiner als der obere Grenzwert.
-
Das Verfahren umfasst ferner einen Schritt eines Ermittelns einer durchschnittlichen Dauer eines Öffnungsvorgangs des Auges des Fahrers, wobei während des Öffnungsvorgangs das Augenöffnungsmaß zwischen dem unteren und dem oberen Grenzwert liegt.
-
Das heißt, zur Ermittlung der Dauer des Augenöffnungsvorgangs kann das Augenöffnungsmaß erfasst und basierend darauf eine Zeitspanne bzw. Dauer pro Lidschlag bestimmt werden, in der das Augenöffnungsmaß zwischen dem unteren und dem oberen Grenzwert liegt. Diese Zeitspanne kann für mehrere Lidschläge bestimmt werden. Die durchschnittliche Dauer, während der das Augenöffnungsmaß zwischen dem unteren und dem oberen Grenzwert liegt, kann durch Addition der Dauer pro Lidschlag der mehreren Lidschläge geteilt durch die Anzahl der mehreren Lidschläge ermittelt werden, um die durchschnittliche Öffnungsdauer zu erhalten.
-
Das Verfahren umfasst ferner einen Schritt eines Ermittelns der Müdigkeit des Fahrers basierend auf der ermittelten durchschnittlichen Dauer des Öffnungsvorgangs.
-
Denkbar ist, dass die Müdigkeit des Fahrers zu einer durchschnittlichen Dauer des Öffnungsvorgangs proportional ist.
-
Das Ermitteln des durchschnittlichen Augenöffnungsmaßes des geöffneten Auges bzw. der Normalöffnung kann während einem ersten vorbestimmten Zeitraum und das Ermitteln der durchschnittlichen Dauer des Öffnungsvorgangs kann während einem zweiten vorbestimmten, auf den ersten vorbestimmten Zeitraum folgenden Zeitraum erfolgen.
-
Während des Öffnungsvorgangs kann das Augenöffnungsmaß, das zwischen dem unteren und dem oberen Grenzwert liegt, größer werden.
-
Das heißt, es können bei dem Ermitteln der durchschnittlichen Dauer des Öffnungsvorgangs nur bzw. ausschließlich Zeiten während des Öffnens des Auges berücksichtigt werden, da sich nur hier der Abstand zwischen dem unteren und dem oberen Augenlid vergrößert (beim Schließvorgang des Auges wird dieser Abstand kleiner).
-
Das Ermitteln des durchschnittlichen Augenöffnungsmaßes des geöffneten Auges (bzw. der Normalöffnung) und/oder des Augenöffnungsmaßes zum Ermitteln der durchschnittlichen Dauer des Öffnungsvorgangs kann mittels eines Kamerasystems erfolgen.
-
Das heißt, es kann eine Kamera vorgesehen sein, die so ausgerichtet ist, dass sie das Auge des Fahrers erfasst. Basierend auf von der Kamera, insbesondere fortlaufend, erfassten Bilddaten kann, insbesondere mittels einer zur Kamera verbundenen Recheneinheit, das Augenöffnungsmaß bestimmt werden.
-
Das Ermitteln der Müdigkeit des Fahrers kann durch eine Zuordnung der durchschnittlichen Zeit des Augenöffnungsvorgangs zu vorbestimmten diskreten Müdigkeitsstufen und/oder zu einer Müdigkeits-Prozentskala erfolgen.
-
Denkbar ist beispielsweise, dass das Zuordnen basierend auf in einer Datenbank hinterlegten historischen Daten erfolgt. So kann beispielsweise im Vorfeld im Rahmen einer Studie ermittelt werden, in welche Müdigkeitsstufe der Karolinska-Müdigkeitsskala sich Fahrer beim Vorliegen welcher durchschnittliche Dauer des Öffnungsvorgangs einordnen, sodass dann beim Einsatz des Verfahrens im Kraftfahrzeug die Zuordnung basierend auf den mittels der Studie gewonnen Daten erfolgen kann.
-
Das Verfahren kann ferner ein Ausgeben eines Steuersignals zu dem Kraftfahrzeug in Abhängigkeit der ermittelten Müdigkeit des Fahrers umfassen.
-
Denkbar ist beispielsweise, dass das die Fahrgeschwindigkeit eines Kraftfahrzeugs mittels des Steuersignals begrenzt und/oder der Fahrer bezüglich seines Müdigkeitszustandes alarmiert wird, wenn ein vorbestimmter Müdigkeitsgrenzwert überschritten wird. Denkbar ist auch, zusätzlich oder alternativ, eine Aktivierung eines automatisierten Fahrens zu verhindern, wenn ein vorbestimmter Müdigkeitsgrenzwert überschritten wird.
-
Das oben Beschriebene kann mit anderen Worten für eine konkrete Ausgestaltung wie nachfolgend dargelegt zusammengefasst werden.
-
Denkbar ist, dass mittels eines Kamera- oder eines alternativen Systems zur hochfrequenten Erfassung eines Augenöffnungsmaßes eines Fahrers ein durchschnittliches Augenöffnungsmaß bei offenen Augen bzw. eine Normalöffnung des Auges des Fahrers bestimmt wird. Das durchschnittliche Augenöffnungsmaß eines offenen bzw. geöffneten Auges kann als der durchschnittliche Abstand (z.B. in mm) zwischen dem oberen und dem unteren Augenlid zwischen in einem bestimmten Zeitintervall erfolgenden Lidschlägen definiert werden.
-
Basierend auf dem bestimmten Augenöffnungsmaß kann eine Berechnung der Normalöffnung des Auges für ein Zeitintervall T1 (z.B. die letzten 20s) durch ein Herausfiltern des Augenöffnungsmaßes während der jeweiligen Lidschläge erfolgen. Die Normalöffnung kann also eine Berechnung eines Durchschnitts des Augenöffnungsmaßes nach dem Ausschluss der Lidschlagvorgänge aus den Messdaten umfassen. Die Normalöffnung kann als Referenz für die Berechnung der normierten Augenöffnungszeit verwendet werden (z.B. 100% oder 1.0)
-
Die Berechnung der normierten Augenöffnungszeit kann einer Zeit bzw. einem Zeitintervall entsprechen, in der bzw. dem das Augenöffnungsmaß nach dem Erreichen des Minimumpunktes (d.h. nach dem Schließen des Auges) zwischen einem niedrigen Referenzpunkt P1, z.B. 20% oder 0.2 der Normalöffnung, und einem höheren Referenzpunkt, z.B. 80% bzw. 0.8 der Normalöffnung, variiert.
-
Darauf basierend kann eine Berechnung eines Durchschnitts der normierten Augenöffnungszeiten in einem Zeitintervall T2 (z.B. bei den Lidschlagvorgängen innerhalb der letzten 90s) erfolgen.
-
Zum Bestimmen der Müdigkeit kann nun eine Korrelation der durchschnittlichen Zeit des Augenöffnungsvorgangs zu bestimmten diskreten Müdigkeitsstufen (z.B. 0.1s-0.3s wach, 0.3-0.5 leicht müde, 0.5-0.7s müde, 0.7.. schläfrig), zu der Karolinska-Müdigkeitsskala (0.1-0.2s - Stufe 1; 0.2-0.3 - Stufe 2, ... größer 1.0 - Stufe 10), oder zu einer Müdigkeits-Prozentskala (e. g. 0.1 s -0% müde, 1.3soder höher -100% müde) erfolgen.
-
Ferner wird ein Steuergerät für ein, insbesondere automatisiertes, Kraftfahrzeug bereitgestellt, wobei das Steuergerät ausgestaltet ist, das oben beschriebene Verfahren zumindest teilweise auszuführen.
-
Das oben mit Bezug zum Verfahren Beschriebene gilt analog auch für das Steuergerät und umgekehrt.
-
Nachfolgend wird eine Ausführungsform mit Bezug zu 1 bis 3 beschrieben.
- 1 zeigt schematisch ein Ablaufdiagramm eines Verfahrens zum Ermitteln einer Müdigkeit eines Fahrers eines Kraftfahrzeugs.
- 2 zeigt schematisch einen Verlauf eines Augenöffnungsmaßes bei einem Lidschlag bei einem nicht ermüdeten Fahrer.
- 3 zeigt schematisch einen Verlauf eines Augenöffnungsmaßes bei einem Lidschlag bei einem ermüdeten Fahrer.
-
Wie 1 zu entnehmen ist, weist das Verfahren zum Ermitteln einer Müdigkeit eines Fahrers eines Kraftfahrzeugs im Wesentlichen fünf Schritte S1 - S5 auf.
-
Das Verfahren kann von einem nicht dargestellten Steuergerät ausgeführt werden, das beispielsweise in einem automatisierten Automobil verbaut ist. Dazu kann das Steuergerät eine Recheneinheit aufweisen und zu einer (Video-) Kamera verbunden sein, die so in den Fahrzeuginnenraum gerichtet und ausgestaltet ist, dass sie ein Auge des Fahrers erfasst.
-
Das Verfahren basiert auf einer Analyse eines Verlaufs eines Augenöffnungsmaßes a bei einem Lidschlag des Fahrers, der auch als Blinzelvorgang bezeichnet werden kann. Das Augenöffnungsmaß a entspricht einem Abstand zwischen einem oberen und einem unteren Augenlid des Auges.
-
In 2 ist ein solcher Verlauf des Augenöffnungsmaßes a (vertikale Achse) über einer Zeit t (horizontale Achse) beispielhaft für einen nicht ermüdeten Fahrer und in 3 für einen ermüdeten Fahrer jeweils für einen Lidschlag dargestellt.
-
In einem ersten Schritt S1 des Verfahrens wird zunächst ein durchschnittliches Augenöffnungsmaß a_ref des offenen Auges des Fahrers in einem gegebenen Zeitintervall bestimmt.
-
In einem zweiten Schritt S2 des Verfahrens erfolgt ein Ermitteln eines unteren Grenzwert a_min und eines oberen Grenzwertes a_max (s. 2 und 3), wobei der untere und der obere Grenzwert a_min, a_max jeweils einem Augenöffnungsmaß a entsprechen, das kleiner als das ermittelte durchschnittliche Augenöffnungsmaß a_ref ist.
-
Der untere Grenzwert a_min kann beispielsweise 20% des durchschnittlichen Augenöffnungsmaßes a_ref und der obere Grenzwert a_max kann beispielsweise 80% des durchschnittlichen Augenöffnungsmaßes a_ref entsprechen.
-
In einem dritten Schritt S3 des Verfahrens erfolgt ein Ermitteln einer durchschnittlichen Dauer eines Öffnungsvorgangs des Auges des Fahrers, wobei dazu ausschließlich die Dauer t1, t2 berücksichtigt wird, während der das Augenöffnungsmaß a zwischen dem unteren und dem oberen Grenzwert a_min, a_max liegt und gleichzeitig größer wird.
-
Wie aus einer Zusammenschau von 2 und 3 erkennbar ist, nimmt dabei die Dauer t2 des Öffnungsvorgangs bei einem ermüdeten Fahrer im Vergleich zu der Dauer t1 bei einem nicht ermüdeten Fahrer zu, d.h. der Öffnungsvorgang dauert bei einem ermüdeten Fahrer länger als bei einem nicht ermüdeten bzw. wachen Fahrer.
-
In einem vierten Schritt S4 des Verfahrens erfolgt dann ein Ermitteln der Müdigkeit des Fahrers basierend auf der ermittelten durchschnittlichen Dauer des Öffnungsvorgangs.
-
Genauer gesagt erfolgt das Ermitteln der Müdigkeit des Fahrers durch eine Zuordnung der durchschnittlichen Zeit des Augenöffnungsvorgangs zu bestimmten diskreten Müdigkeitsstufen, insbesondere der Karolinska-Müdigkeitsskala, und/oder zu einer Müdigkeits-Prozentskala.
-
Das Verfahren kann ferner einen optionalen fünften Schritt S5 umfassen, bei dem von der Steuereinheit ein Steuersignal zu dem Kraftfahrzeug in Abhängigkeit der ermittelten Müdigkeit des Fahrers ausgegeben wird.
-
Das Ermitteln des durchschnittlichen maximalen Augenöffnungsmaßes a_ref im ersten Schritt S1 kann über einen ersten Zeitraum und das Ermitteln der durchschnittlichen Dauer des Öffnungsvorgangs des Auges des Fahrers im dritten Schritt S3 kann über einen zweiten Zeitraum erfolgen, wobei der zweite Zeitraum dem ersten Zeitraum nachgelagert sein kann.
-
Bezugszeichenliste
-
- a
- Augenöffnungsmaß in mm
- a_ref
- durchschnittliches Augenöffnungsmaß des offenen Auges bzw. Normalöffnung
- a_max
- oberer Grenzwert
- a_min
- unterer Grenzwert
- S1-S5
- Schritte des Verfahrens
- t
- Zeit in Sekunden
- t_1
- Dauer des Öffnungsvorgangs bei einem nicht ermüdeten Fahrer
- t_2
- Dauer des Öffnungsvorgangs bei einem ermüdeten Fahrer
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102011108305 A1 [0003]
- WO 18149519 A1 [0005]
- DE 29607558 U1 [0008]
- CN 104269028 A [0008]
- DE 102007054310 A1 [0010]
- DE 112010005290 T5 [0010]
- DE 10024227 A1 [0010]
- DE 102017202659 A1 [0013]
