-
Die vorliegende Erfindung betrifft ein Verfahren zur Müdigkeitserkennung einer Person, insbesondere des Fahrers eines Fahrzeugs. Die vorliegende Erfindung betrifft weiterhin eine Vorrichtung zur Durchführung des Verfahrens und ein Fahrzeug, das eingerichtet ist, ein solches Verfahren auszuführen oder eine solche Vorrichtung aufweist.
-
Eine Ermüdung infolge von Schlafmangel oder auch monotonen Tätigkeiten wie Langstreckenfahrten kann beim Führen eines Kraftfahrzeuges, aber auch bei anderen verantwortungsvollen Tätigkeiten wie beispielsweise dem Fliegen eines Flugzeugs oder Fahren eines Zuges, durch die deutlich verlängerte Reaktionszeit zu einer Gefährdung der ermüdeten Personen oder auch anderen Personen im Umfeld führen. Es ist daher wichtig, die Anzeichen beginnender Müdigkeit zu erkennen. Werden diese Anzeichen ignoriert, so kann die ermittelte Person in einen so genannten Sekundenschlaf fallen. Auch wenn dieser nur wenige Sekunden dauert, birgt dieses ein hohes Gefährdungspotenzial, da während dieser Zeit nicht auf plötzlich auftretende Gefahrsituationen reagiert werden kann.
-
Mittlerweile sind im Fahrzeugbereich verschiedenartige Fahrerassistenzsysteme basierend auf unterschiedlichen technischen Ansätzen bekannt, die den Fahrer rechtzeitig warnen. So können die Lenkbewegungen beispielsweise mittels eines Lenkwinkelsensors beobachtet und analysiert werden. Dass der Fahrer müde wird, kann die zugehörige Elektronik daran erkennen, dass dieser dann öfter kleine Lenkfehler macht und versucht, die Lenkfehler abrupt zu korrigieren. Zusätzlich kann auch die Fahrtdauer, das Blinkverhalten, die Betätigung der Pedale, die Tageszeit oder die Geschwindigkeit des Fahrzeugs ausgewertet werden. Wird die Ermüdung des Fahrers erkannt, so erfolgt eine Warnung, beispielsweise durch eine Anzeige im Cockpit, die den Fahrer zum Einlegen einer Fahrpause auffordert.
-
Ebenfalls können zur Müdigkeitserkennung die Fahrbahnmarkierungen mit einer Videokamera erfasst und die Einhaltung der Spur zwischen den Fahrbahnmarkierungen ausgewertet werden um so zu erkennen, wenn der Fahrer mit dem Fahrzeug in der Fahrerspur oder zwischen den Fahrspuren hin- und herpendelt.
-
Einen weiteren Ansatz wird der Grad der Wachheit des Fahrers mittels einer Überwachung der Augenaktivität ermittelt. Hierzu werden die Augen des Fahrers mit einer im Innenraum des Fahrzeugs angeordneten Kamera erfasst wobei mittels einer Bildauswertungssoftware das Bild der Kamera ausgewertet wird und erkannt wird ob der Fahrer ermüdet ist.
-
Ein Verfahren und eine Vorrichtung zur Überwachung der Augen einer Person, insbesondere einem Fahrer eines Fahrzeugs, für die Erfassung eines Schläfrigkeitszustands dieser Person ist aus der
DE 196 21 435 A1 bekannt. Mit einer Kamera werden Bilder der Person generiert die mittels eines Prozessors analysiert werden. Der Prozessor wandelt eine Bildsequenz in ein eindimensionales Signal um, indem relevante Merkmale aus den Bildern extrahiert werden. Hierfür erfolgt eine Augenlokalisierung, Augenverfolgung und Erzeugung eines Augenbewegungssignals, wobei das System die relativ hohe Horizontalkontrastdichte der Augenregion ausnutzt, um die Augenpositionen in einem Graustufenbild eines menschlichen Gesichts zu bestimmen. Die Analyse des erzeugten Signals ermöglicht dann die Schläfrigkeit der Person zu erkennen.
-
Es ist eine Aufgabe der Erfindung, ein verbessertes Verfahren zur Müdigkeitserkennung einer Person, insbesondere eines Fahrers eines Fahrzeugs, zur Verfügung zu stellen.
-
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1, sowie durch eine entsprechende Vorrichtung gemäß Anspruch 11 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
-
Bei dem erfindungsgemäßen Verfahren zur Müdigkeitserkennung einer Person wird die Person mittels eines Bildsensors mit einer Vielzahl von Pixeln optisch erfasst. Es wird mindestens ein Augenbereich der Person ermittelt. Es werden zeitlich aufeinanderfolgende Intensitätswerte der Pixel erfasst und jeweils ein asynchroner Ereigniswert generiert, wenn ausgehend von einem früher erfassten Intensitätswert eines Pixels der aktuell erfasste Intensitätswert dieses Pixels einen vordefinierten Schwellwert über- oder unterschreitet. Die Anzahl der generierten asynchronen Ereigniswerte für die Pixel in dem mindestens einen Augenbereich werden ermittelt und die ermittelte Anzahl und/oder der Zeitverlauf der ermittelten Anzahl der generierten asynchronen Ereigniswerte zur Müdigkeitserkennung verwendet.
-
Die vom Stand der Technik bekannte Anwendung einer Bildanalyse zur Müdigkeitserkennung erfordert das gesamte erfasste Bild oder zumindest einen Großteil hiervon zu verarbeiten und damit eine Vielzahl von Bildpunkten auszuwerten. Daher ist die Bildwiederholungsrate, mit der die Bilder erfasst und analysiert werden, zumindest beim Einsatz herkömmlicher Bildanalyse-Hard-und Software begrenzt. Die erfindungsgemäße Generierung der asynchrone Ereigniswerte kann dagegen mit einer deutlich höheren Wiederholrate erfolgen. Damit kann die Qualität der Müdigkeitserkennung gegenüber bekannten Verfahren deutlich erhöht werden.
-
Gemäß einer Ausführungsform der Erfindung wird aus dem Zeitverlauf der ermittelten Anzahl der generierten asynchronen Ereigniswerte ein Lidschlag-Muster ermittelt. Da die Lidschlag-Muster sich je nach Wachheitsgrad unterscheiden, können diese gut zur Müdigkeitserkennung herangezogen werden, insbesondere da sie durch die hohe Wiederholrate der generierten asynchronen Ereigniswerte sehr genau erfasst und gut unterschieden werden können. Im Gegensatz zur Verwendung konventioneller Kameras wird das Lidschlagmuster so viel genauer ermittelt und dadurch die Qualität der Müdigkeitserkennung deutlich erhöht. Insbesondere kann durch die genaue Bestimmung des Lidschlag-Musters eine verlässliche Müdigkeitserkennung bereits nach Auswertung eines einzelnen Lidschlag-Musters, und damit schneller und früher als bei bekannten Verfahren, erfolgen.
-
Vorteilhafterweise werden hierbei einer oder mehrere der folgenden Parameter des ermittelten Lidschlag-Musters zur Müdigkeitserkennung ausgewertet:
- - Amplituden bei Augen „zu“ und „auf“,
- - Dauer von Augen „zu“ und „auf“,
- - Lidschlag-Dauer,
- - Intervalldauer zwischen zwei Lidschlägen.
-
Dies ermöglicht besonders einfach die erfassten Lidschlag-Muster zu klassifizieren oder mit früher erfassten Lidschlag-Muster zu vergleichen.
-
Gemäß einer Ausführungsform der Erfindung werden mit Hilfe eines Machine-Learning-Algorithmus (z.B. selbstlernenden Algorithmus) in den asynchronen Ereigniswerten Lidschlag-Muster erkannt und klassifiziert.
-
Vorzugsweise kann die Anzahl der generierten asynchronen Ereigniswerte auf die Anzahl der Pixel in dem mindestens einen Augenbereich normiert werden.
-
Vorteilhafterweise können für die Pixel des Bildsensors jeweils Bildpunkte erzeugt werden und durch eine Bildanalyse der Bildpunkte der mindestens eine Augenbereich ermittelt werden.
-
Ebenso können vorteilhafterweise in einem Zeitfenster die für den Erfassungsbereich des Sensors generierten asynchronen Ereigniswerte akkumuliert werden und
- - mittels der generierten asynchronen Ereigniswerte zunächst ein Gesichtsbereich der Person ermittelt und daraufhin mittels des ermittelten Gesichtsbereichs der mindestens eine Augenbereich ermittelt werden; oder
- - aus dem Muster der generierten asynchronen Ereigniswerte der mindestens eine Augenbereich direkt ermittelt werden.
-
Vorteilhafterweise werden mittels durch den Bildsensor erzeugter Pixel-Polarisationswerte für die einzelnen Pixel nur die Ereigniswerte ausgewertet, die durch eine vertikale Bewegung verursacht wurden.
-
Gemäß einer Ausführungsform der Erfindung wird die Müdigkeitserkennung für den Fahrer eines Kraftfahrzeugs durchgeführt, wobei bei einer erkannten Ermüdung des Fahrers eine Maßnahme zur Gefahrvermeidung ergriffen wird.
-
Vorteilhafterweise wird als Maßnahme zur Gefahrvermeidung ein akustisches, optisches oder haptisches Warnsignal ausgegeben.
-
Entsprechend umfasst eine erfindungsgemäße Vorrichtung zur Müdigkeitserkennung einer Person:
- - eine Bildaufnahmeeinheit zur optischen Erfassung der Person mit einem Bildsensor mit einer Vielzahl von Pixeln, die zeitlich aufeinanderfolgende Intensitätswerte der Pixel erfasst und jeweils einen asynchronen Ereigniswert generiert, wenn ausgehend von einem früher erfassten Intensitätswert eines Pixels der aktuell erfasste Intensitätswert dieses Pixelseinen vordefinierten Schwellwert über- oder unterschreitet;
- - eine Auswerte- und Steuereinheit, die sowohl mindestens einen Augenbereich als auch die Anzahl der generierten asynchronen Ereigniswerte für die Pixel in dem mindestens einen Augenbereich ermittelt und die ermittelte Anzahl und/oder den Zeitverlauf der ermittelten Anzahl der generierten asynchronen Ereigniswerte zur Müdigkeitserkennung auswertet.
-
Gemäß einer Ausführungsform der Erfindung ist die Bildaufnahmeeinheit eine Kamera mit einem neuromorphen asynchronen Bildsensor.
-
Vorteilhafterweise steuert die Auswerte- und Steuereinheit bei einer erkannten Ermüdung der Person eine Warneinrichtung zur Ausgabe eines Warnsignals an.
-
Gemäß einer Ausführungsform der Erfindung erzeugt die Bildaufnahmeeinheit für die Pixel des Bildsensors jeweils Bildpunkte, wobei eine Bildanalyseeinheit, vorgesehen ist, welche durch eine Bildanalyse der Bildpunkte den mindestens einen Augenbereich ermittelt.
-
Gemäß einer weiteren Ausführungsform der Erfindung akkumuliert die Auswerte- und Steuereinheit in einem Zeitfenster die für den Erfassungsbereich des Sensors generierten asynchronen Ereigniswerte und ermittelt
- - mittels der generierten asynchronen Ereigniswerte zunächst einen Gesichtsbereich der Person und daraufhin mittels des ermittelten Gesichtsbereichs den Augenbereich; oder
- - direkt aus dem Muster der generierten asynchronen Ereigniswerte den Augenbereich.
-
Vorzugsweise wird das erfindungsgemäße Verfahren oder die erfindungsgemäße Vorrichtung in einem Kraftfahrzeug eingesetzt.
-
Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den Ansprüchen in Verbindung mit den Figuren ersichtlich.
- 1 zeigt schematisch das erfindungsgemäße Verfahren zur Müdigkeitserkennung einer Person;
- 2 zeigt detektierte Gesichts- und Augenbereiche mit aktiven Pixeln vor, während und nach einem Lidschlag sowie die sich aus den erfassten aktiven Pixeln ergebende Meßkurve für die Lidschlagaktivität;
- 3 zeigt im Vergleich je eine Meßkurve für die Lidschlagaktivität einer nicht ermüdeten (a) und einer ermüdeten Person (b);
- 4 zeigt schematisch ein Blockschaltbild einer erfindungsgemäßen Vorrichtung mit Ermittlung der Augenbereiche durch ein Bildanalyseverfahren; und
- 5 zeigt schematisch ein Blockschaltbild einer erfindungsgemäßen Vorrichtung mit Ermittlung der Augenbereiche mittels durch Neuromorphe Kamera generierten Ereigniswerten.
-
Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung, wie er in den Ansprüchen definiert ist, zu verlassen.
-
1 zeigt schematisch das erfindungsgemäße Verfahren zur Müdigkeitserkennung einer Person, dass insbesondere für den Fahrer eines Fahrzeugs angewendet werden kann. Die Müdigkeitserkennung erfolgt hierbei mittels einer Messung der Lidschlag-Aktivitäten dieser Person. Bei einem Lidschlag, oder Blinzeln, handelt es sich um ein schnelles, im Abstand von einigen Sekunden meist unwillkürliches Schließen und Öffnen der Augenlider, das zwar in erster Linie der Aufrechterhaltung des Tränenfilms als dauerhafter Benetzung der Hornhaut mit Tränenflüssigkeit dient um so das Auge vor Austrocknung zu schützen, sich aber in charakteristischerweise bei einer Ermüdung der Person verändert und damit auch zur Müdigkeitserkennung herangezogen werden kann.
-
Mithilfe einer Bildaufnahmeeinheit, beispielsweise einer im Armaturenbrett, dem oberen Bereich der Mittelkonsole oder im Rückspiegel eines Fahrzeugs verbauten neuromorphen Kamera, wird gemäß Verfahrensschritt 1 die Person optisch erfasst. Die Bildaufnahmeeinheit ist hierbei so angeordnet, dass sich bei einer vorgegebenen Position der Person, beispielsweise einem auf dem Fahrersitz eines Fahrzeugs befindlichen Fahrer, die Augen der Person im Erfassungsbereich befinden.
-
Die tatsächlichen Positionen der Augen der überwachten Person werden in einem Verfahrensschritt 2 ermittelt. Hierfür können von der Bildaufnahmeeinheit Ereigniswerte (englisch: Events) erzeugt und ausgewertet werden. Zeitlich aufeinanderfolgende Intensitätswerte der verschiedenen Pixel werden dabei separat erfasst, aber zunächst nicht ausgelesen. Für jeden einzelnen Pixel erkennt dann eine Elektronik der Bildaufnahmeeinheit, wenn der Intensitätswert dieses Pixels einen zuvor festgelegten Schwellenwert oberhalb oder unterhalb eines zuletzt ausgegebenen Intensitätswertes erreicht, und gibt dann einen Ereigniswert aus. Auf diese Weise weist jeder Bildpunkt eine eigene Abtastung in Abhängigkeit von den Änderungen des Lichts, welches der zugehörige Pixel des Sensors der Bildaufnahmeeinheit empfängt, auf.
-
Hierbei erfolgt keine Ausgabe kompletter Bilder, die bei den Bildwiederholraten konventioneller Videokameras durch einige zehn Millisekunden getrennt sind, sondern es werden vielmehr mit einer deutlich höheren Rate Ereigniswerte erzeugt, allerdings nur für die Pixel, an denen deutliche Veränderungen der Intensitätswerte vorliegen. Je nach Beleuchtung und Konzeption der verwendeten Kamera sind Datenerfassungs- und Auslesezeiten im Bereich einiger zehn Mikrosekunden oder sogar darunter möglich. Durch eine Auswertung der erzeugten Ereigniswerte kann dann die Position der Augen der überwachten Person entweder direkt oder über eine vorab erfolgende Ermittlung des Gesichtsbereichs der Person ermittelt werden.
-
Ebenso kann hierfür die Bildaufnahmeeinheit aber auch, zusätzlich zu der Generierung asynchroner Ereigniswerte, entsprechend einer konventionellen Videokamera komplette Bilder für den gesamten Erfassungsbereich des verwendeten Bildsensors mit einer Vielzahl von Bildpunkten pro Zeile und einer Vielzahl von Zeilen mit einer festen Bildwiederholrate generieren., wobei für jedes dieser Bilder für alle Bildpunkte ein (im Falle einer Schwarzweißdarstellung) oder mehrere Intensitätswerte (im Falle einer Farbdarstellung) ermittelt und ausgegeben werden. Die Bildwiederholrate kann hierbei beispielsweise 20 Hz, 24 Hz, 25 Hz, 30 Hz 50 Hz oder 60 Hz betragen.
-
In diesem Fall werden die erfassten Bilder dann durch geeignete Bildanalyseverfahren analysiert um die Position der Augen der überwachten Personen zu ermitteln. Auch hier kann zunächst in dem Bild der Bereich ermittelt werden, in dem das Gesicht der Person abgebildet wird, um dann in diesem ermittelten Gesichtsbereich basierend auf den anatomischen Proportionen eines menschlichen Gesichts die Augenbereiche leichter ermitteln zu können.
-
Nachdem die Augenbereiche ermittelt worden sind, können dann mit geeigneten Algorithmen zur Augenverfolgung Bewegungen des Kopfes, die unabhängig von einem Lidschlag sind, aber ohne entsprechende Kompensation zu einer Verfälschung der Messung der Lidschlag-Aktivitäten führen könnten, eliminiert werden.
-
Bei unveränderter Position des Kopfes, gegebenenfalls nach der erwähnten Kompensation, und gleichbleibender Beleuchtung bleiben die einzelnen Intensitätswerte der Pixel aufeinanderfolgende Bilder im Augenbereich im Wesentlichen gleich so lange die überwachte Person die Augen nicht bewegt. Schließt die Person jedoch die Augen aufgrund eines Lidschlag, so verändern sich die Intensitätswerte der Pixel im Augenbereich aufgrund der unterschiedlichen Farbe bzw. Helligkeit von Iris und insbesondere Pupille und der sie umgebenden weißlichen Lederhaut gegenüber der Haut der Augenlider deutlich, was zu einer merklichen Zunahme der erzeugten Ereigniswerte führt.
-
Um dieses für die Müdigkeitserkennung auszunutzen werden gemäß Verfahrensschritt 3 wie bereits oben beschrieben für den ermittelten Augenbereich zeitlich aufeinanderfolgende Intensitätswerte der verschiedenen Pixel separat erfasst und dann in Verfahrensschritt 4 bei Über- oder Unterschreiten vorgegebener Schwellenwerte für die einzelnen Pixel jeweils Ereigniswerte ausgegeben. Um dieses für die Müdigkeitserkennung auszunutzen wird dann in Verfahrensschritt 5 die Anzahl der asynchron erzeugten Ereigniswerte im Augenbereich ermittelt, die dann gegebenenfalls noch auf die Anzahl der Pixel in dem ermittelten Augenbereich normiert werden. Damit können dann die Lidschlagbewegungen der überwachten Person hochgenau erfasst und das Bewegungsmuster während eines Lidschlag im Detail vermessen werden.
-
In Verfahrensschritt 6 wird die Anzahl der asynchron erzeugten Ereigniswerte dann zur Müdigkeitserkennung ausgewertet. So kann insbesondere aus der Anzahl der asynchron erzeugten Ereigniswerte für verschiedene Zeitpunkte während des Lidschlags, und damit der Anzahl der Pixel im Augenbereich bei denen eine Bewegung erfolgte, der genaue zeitliche Verlauf des Lidschlag-Musters bestimmt und ausgewertet werden. Da diese Lidschlag-Muster in Abhängigkeit von der Wachheit bzw. Müdigkeit der überwachten Person variieren, können diese zu Müdigkeitserkennung herangezogen werden. Je nach vorliegendem Lidschlag-Muster kann hierbei einer von mehreren Müdigkeits- bzw. Schläfrigkeitsgraden bestimmt werden.
-
Wird eine Ermüdung der überwachten Person erkannt, so wird in Verfahrensschritt 7 eine Maßnahme zur Gefahrvermeidung ergriffen. Insbesondere kann ein akustisches, optisches oder haptisches Warnsignal ausgegeben werden. So kann ein Warnton ertönen oder mittels einer Sprachausgabe die Person aufgefordert werden die gegenwärtige Tätigkeit zu unterbrechen, beispielsweise kann der Fahrer eines Fahrzeugs aufgefordert werden eine Raststätte anzufahren. Ebenso kann ein Warnsymbol oder ein entsprechender Schriftzug optisch wiedergegeben werden, beispielsweise bei einem Fahrzeug durch eine Anzeige im Cockpit oder Head-up-Display. Ein haptisches Warnsignal kann in einem Fahrzeug beispielsweise ausgegeben werden in dem das Lenkrad oder der Fahrersitz zur Vibration gebracht wird. Sollte auf ein solches Warnsignal nicht reagiert werden, so können auch weiterführende Maßnahmen zur Gefahrvermeidung ergriffen werden, wie beispielsweise bei einem Fahrzeug automatisch in einen autonomen Fahrmodus zu wechseln oder das Fahrzeug automatisch abzubremsen.
-
Ein Beispiel für detektierte Gesichts- und Augenbereiche mit aktiven Pixeln vor, während und nach einem Lidschlag sowie die sich aus den erfassten aktiven Pixeln ergebende Meßkurve für die Lidschlagaktivität ist zur Veranschaulichung in 2 dargestellt. Das durch die Bildaufnahmeeinheit erzeugte Bild zeigt das Gesicht der beobachteten Person. Durch ein Bildanalyseverfahren wird der Gesichtsbereich 8 und die Augenbereiche 9 ermittelt. Während eines Lidschlag werden in den Augenbereichen, verursacht durch die Bewegung der Augenlider, Veränderung der Intensitätswerte erfasst, die jeweils zur Erzeugung eines asynchronen Ereigniswerts führen und hier je nach Veränderung mit nicht gefüllten bzw. gefüllten „o“ kenntlich gemacht sind.
-
Die Anzahl der generierten asynchronen Ereigniswerte für die Pixel in dem Augenbereich variiert hierbei während des Lidschlag wie in der darunter dargestellten Meßkurve gezeigt. Vor Beginn und nach Beendigung des Lidschlags werden idealerweise keinerlei Ereigniswerte erzeugt. Folgt nun ein Lidschlag, so steigt die Anzahl der generierten asynchronen Ereigniswerte zunächst steil an, bis die Kurve bei vollständig geschlossenem Auge einen Maximalwert erreicht. Wird im Anschluss während des Lidschlag das Auge wieder geöffnet, so fällt die Anzahl der Ereigniswerte zunächst ab, steigt dann nochmals zu einer Maximalamplitude bei geöffnetem Auge an, bis dann nach vollständiger Beendigung des Lidschlages aufgrund des sich nicht mehr weiter bewegenden Augenliedes keine Ereigniswerte mehr erzeugt werden. Die jeweiligen Maximalamplituden bei geschlossenem und geöffnetem Auge, die zeitliche Dauer dazwischen, die zeitliche Dauer vom Beginn des Lidschlags bis zum vollständigen Schließen des Auges, sowie die sich aus diesen beiden Zeiträumen als Summe ergebende Lidschlag-Dauer können nun als Parameter herangezogen werden um den Zeitverlauf des Lidschlags zu klassifizieren und basierend darauf auf die Ermüdung der Person zu schließen.
-
Dieses ist möglich, da sich die Lidschlagaktivität einer nicht ermüdeten und einer ermüdeten Person charakteristisch unterscheiden, wie in 3 (a) bzw. (b) dargestellt. Wie im Vergleich der beiden Meßkurven ersichtlich ist, sind bei einer müden Person (b) die erfassten Maximalamplituden gegenüber den entsprechenden Maximalamplituden bei einer wachen Person (a) geringer. Weiterhin nimmt bei einer müden Person die Lidschlag-Dauer zu und der Abstand zum nächsten Lidschlag ab. Dieses entspricht der Beobachtung, dass bei einer Ermüdung der einzelne Lidschlag länger dauert, da sich die Augenlider langsamer bewegen und die Augen länger geschlossen bleiben, und auch die Lidschläge in geringeren Abständen erfolgen.
-
Um eine möglichst genaue Klassifizierung zu erreichen werden vorzugsweise mehrere der oben genannten Parameter ausgewertet. Wird beispielsweise nur der zeitliche Abstand aufeinanderfolgender Lidschläge ausgewertet, so kann eine Verringerung des zeitlichen Abstands zwar auf eine Ermüdung hindeuten. Ein kurzfristig häufigeres Blinzeln kann aber beispielsweise ebenso erfolgen, wenn ein Fremdkörper in das Auge gelangt ist und durch den Lidschlag aus diesem entfernt wird oder eine Blendung erfolgt. Im Gegensatz zu einer Ermüdung wird bei diesen Fällen die Dauer der einzelnen Lidschläge aber nicht zunehmen, sondern eher abnehmen. Werden daher sowohl der zeitliche Abstand aufeinanderfolgende Lidschläge als auch die Dauer der einzelnen Lidschläge ausgewertet, kann sicherer auf einer Ermüdung geschlossen werden.
-
Weiterhin kann die Genauigkeit der Müdigkeitserkennung erhöht werden, indem das individuelle Lidschlag-Muster eines Nutzers erlernt wird. Hierbei kann zu bestimmten Zeitpunkten, bei denen von der Wachheit des Nutzers ausgegangen werden kann, beispielsweise zu bestimmten Tageszeiten oder bei Antritt einer Fahrt, zunächst das Lidschlag-Muster dieses Nutzers ohne Müdigkeit erfasst werden. Wird dann später ein demgegenüber verändertes Lidschlag-Muster erfasst, so kann durch einen Vergleich mit dem ursprünglich erlernten Lidschlag-Muster überprüft werden ob Veränderungen vorliegen die auf eine Ermüdung schließen lassen. Ebenso können Informationen, die auf andere Weise gewonnen wurden und auf eine Ermüdung der Person schließen lassen, zur Klassifizierung herangezogen werden und ein zu diesem Zeitpunkt erfasstes Lidschlag-Muster einer Ermüdung zuordnen. So können bei einem Fahrzeug beispielsweise charakteristische Lenkbewegungen ein Indiz für eine Ermüdung sein, so das entsprechende Signale von einem Spurhalteassistenzsystem für die Klassifizierung des Lidschlag Musters herangezogen werden können.
-
Da weiterhin das Lidschlagmuster sowohl bei Wachheit als auch bei Müdigkeit individuell verschieden ist und somit von der beobachteten Person abhängt, kann die jeweilige Person, wie beispielsweise der Fahrer eines Fahrzeugs, mit gutem Vertrauensgrad identifiziert werden und die Assistenzfunktion personalisiert werden indem z.B. eine Anpassung der Schwellwerte erfolgt.
-
Die hochaufgelöste Vermessung der Lidschlag-Aktivität ermöglicht eine genaue Ermittlung der in den 2 und 3 dargestellten charakteristischen Kurvenformen eines Lidschlages und damit eine Unterscheidung von einer Veränderung der Intensitätswerte durch sich verändernde Lichtverhältnisse, beispielsweise durch Reflexionen aus dem Fahrzeugumfeld, Änderung der Lichtverhältnisse bei dem Einfahren in einem Tunnel oder Änderung der Witterungsverhältnisse oder Straßenbeleuchtung.
-
Um die Sicherheit, dass die Änderung der Intensitätswerte auf einer Bewegung durch einen Lidschlag und nicht etwa auf kurzfristig veränderten Lichtverhältnissen beruht, kann weiterhin vorgesehen sein, eine Auswertung nur dann vorzunehmen, wenn eine Vielzahl asynchroner Ereigniswerte im Augenbereich, nicht aber außerhalb dieses Augenbereiches erfasst werden und/oder wenn Ereignisse nur durch eine vertikale Bewegung verursacht sind, was mittels der Pixel-Polarisation erkannt werden kann. Hierfür liefert der Bildsensor auch die Pixel-Polarisation „ON“ (d.h. für das Pixel wechselt der Zustand von passiv auf aktiv entsprechend einer positiven Intensitätsänderung) und „OFF“ (d.h. für das Pixel wechselt der Zustand von aktiv auf passiv oder entsprechend einer negativen Intensitätsänderung). Diese Information wird zur Ermittlung von Bewegungsrichtung verwendet, wie z.B. der vertikalen Bewegung im Fall der Augenlid-Bewegung. Dadurch können asynchrone Ereignisse, die nur durch eine Augenlidbewegung generiert wurden, aus allen von der Kamera gelieferten Ereignissen im Augenbereich herausgefiltert werden, so dass Lidschläge deutlich robuster erfasst werden und die Qualität der Müdigkeitserkennung signifikant erhöht wird.
-
Ebenso kann eine gleichmäßige und konstante/kontinuierliche nahinfrarote (NIR) Beleuchtung, insbesondere im Dunkeln, mit an den sichtbaren Bereich unmittelbar anschließender kurzwelliger Infrarotstrahlung durch NIR-LEDs erfolgen, ohne dass dieses störend ist oder blenden kann. Da neuromorphe Bildsensoren aber einen sehr hohen Dynamikbereich (> 120dB) besitzen können, können die Augenbewegung auch bei Dunkelheit ohne zusätzliche Beleuchtung sehr zuverlässig erfasst werden kann.
-
4 zeigt schematisch ein Blockschaltbild einer ersten erfindungsgemäßen Vorrichtung. Eine Bildaufnahmeeinheit 10 in Form einer Kamera mit einem neuromorphen asynchronen Bildsensor 11 erfasst hierbei eine nicht dargestellte Person. Der Bildsensor 11 weist hierbei eine Vielzahl von Pixeln auf die einzeln auslesen werden können. Eine erste Bildverarbeitungseinheit 12 wandelt das optisch erfasste Bild der Person in Bilder mit einer Vielzahl von Bildpunkten um. Weiterhin ist eine zweite Bildverarbeitungseinheit 13 vorgesehen, die mittels Pegelübergangsdetektoren für jedes der Pixel erkennt, wenn die Intensitätswerte einen zuvor festgelegten Schwellenwert über- oder unterschreitet und daraufhin für diesen Bildpunkt einen asynchronen Ereigniswert generiert.
-
Die von der ersten Bildverarbeitungseinheit 12 erzeugten Bildsignale werden einer Bildanalyseeinheit 14 zugeführt, die durch eine Bildanalyse der Bildpunkte die Positionen der Augenbereiche der abgebildeten Person ermittelt und einer Auswerte- und Steuereinheit 15 eine Information über die ermittelten Positionen zuführt. Die Auswerte- und Steuereinheit 15 nutzt diese Information um die Anzahl der generierten asynchronen Ereigniswerte in den Augenbereichen zu bestimmen und hiermit Lidschläge zu erkennen und die Muster der erkannten Lidschläge zur Müdigkeitserkennung auszuwerten. Ergibt die Auswertung, dass eine Ermüdung der überwachten Person vorliegt, so steuert die Auswerte- und Steuereinheit 15 eine Warneinrichtung 16 an, die ein akustisches Warnsignal über einen Lautsprecher, beispielsweise einer Infotainmentanlage eines Fahrzeugs ausgibt.
-
5 zeigt schematisch ein Blockschaltbild einer zweiten erfindungsgemäßen Vorrichtung, bei der die Ermittlung der Augenbereiche nicht mit Hilfe einer Bildanalyseeinheit, sondern unmittelbar mittels der Ereigniswerte erfolgt. Die neuromorphe Kamera 10 führt hierbei die asynchronen Ereigniswerte wiederum einer Auswerte- und Steuereinheit 15 zu, welche die folgenden Verarbeitungseinheiten aufweist. So werden in einer Einheit 17 alle innerhalb eines Zeitfensters, beispielsweise über eine Zeitdauer von 50 Millisekunden, generierten Ereigniswerte akkumuliert. Das Ergebnis wird dann einem Augen-/Gesichtsdetektor 18 zugeführt, der wie bereits oben erwähnt, hieraus die Augenbereiche ermittelt. Eine Information über die Position dieser Augenbereiche wird dann einer Einheit 19 zur Berechnung der Ereigniswerte innerhalb des Augenbereichs zugeführt, die aus den ihr zugeführten Ereigniswerten diejenigen innerhalb des Augenbereichs ermittelt. Der zeitliche Verlauf dieser Anzahl wird dann in einer Mustererkennungseinheit 20 ausgewertet um basierend auf dem vorliegenden Lidschlag-Muster den aktuellen Müdigkeits- bzw. Schläfrigkeitsgrad zu bestimmen und ggfs. Maßnahmen zur Gefahrvermeidung einzuleiten. Die Einheit 17 arbeitet somit in einem deutlich niedrigeren Takt (z.B. 50ms) als die Einheit 19 (z.B. einige ms).
-
Die Erfindung kann zur Müdigkeitserkennung des Fahrers eines Fahrzeugs, aber auch zur Müdigkeitserkennung von Personen in beliebigen anderen Bereichen eingesetzt werden.
-
Bezugszeichenliste
-
- 1
- Verfahrensschritt mit Erzeugung eines Bildsignals einer Person
- 2
- Verfahrensschritt mit Bildanalyse zur Ermittlung des Augenbereichs
- 3
- Verfahrensschritt mit Erfassung zeitlich aufeinanderfolgender Intensitätswerte
- 4
- Verfahrensschritt mit Generierung asynchroner Ereigniswerte
- 5
- Verfahrensschritt mit Ermittlung der Anzahl asynchroner Ereigniswerte
- 6
- Verfahrensschritt mit Müdigkeitserkennung
- 7
- Verfahrensschritt mit Ergreifung einer Maßnahme zur Gefahrvermeidung
- 8
- Gesichtsbereich
- 9
- Augenbereiche
- 10
- Bildaufnahmeeinheit
- 11
- Sensor
- 12
- erste Bildverarbeitungseinheit
- 13
- zweite Bildverarbeitungseinheit
- 14
- Bildanalyseeinheit
- 15
- Auswerte- und Steuereinheit
- 16
- Warneinrichtung
- 17
- Einheit zur Akkumulation der Ereigniswerte innerhalb eines Zeitfensters
- 18
- Ereigniswertbasierter Augen-/Gesichtsdetektor
- 19
- Einheit zur Berechnung der Ereigniswerte innerhalb des Augenbereichs
- 20
- Mustererkennungseinheit
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
