DE102021123849A1

DE102021123849A1 - Verfahren und Überwachungseinrichtung zum Bestimmen eines Augenzustands einer Person und Kraftfahrzeug

Info

Publication number: DE102021123849A1
Application number: DE102021123849.8A
Authority: DE
Inventors: Dorin Aiteanu
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2021-09-15
Filing date: 2021-09-15
Publication date: 2023-03-16
Also published as: CN117957588A; WO2023041316A1

Abstract

Die Erfindung betrifft ein Verfahren und eine Überwachungseinrichtung (18) zum Bestimmen eines binären Augenzustands einer Person (12). Dabei wird in einem zeitlichen Verlauf eines kamerabasiert bestimmten Lidabstands (a) eine monoton fallende Flanke (32) mit wenigstens einer vorgegebenen Minimalhöhe (40) bestimmt. Weiter wird ein aktueller Transitionsschwellenwert (toc) für einen Wechsel zwischen offenem und geschlossenem Auge bestimmt als vorgegebener Anteilswert eines Abstands zwischen einem Durchschnittswert (42) mehrerer Anfangspunkte (30) fallender Flanken (32) und einem Durchschnittswert (44) mehrerer zugehöriger Endpunkte (34). Das Auge wird als geschlossen erkannt, wenn der aktuelle Lidabstand (a) kleiner als der aktuelle Transitionsschwellenwert (toc) ist. Ab dem letzten Endpunkt (34) wird eine monoton steigende Flanke (36) im Lidabstandsverlauf (26), die wenigstens eine vorgegebene minimale Höhe (46) aufweist, bestimmt. Das Auge wird dann als offen erkannt, wenn ein Ende (38) der aktuellen steigenden Flanke (36) erreicht ist. Die Erfindung betrifft weiter ein entsprechend eingerichtetes Kraftfahrzeug (10).

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Überwachungseinrichtung zum Überwachen oder Bestimmen eines binären Augenzustands einer Person. Dies bedeutet also, dass erkannt oder ermittelt werden kann, ob wenigstens ein Auge der Person entweder offen oder geschlossen ist. Dabei können auch Lidstellungen zwischen einem vollständigen Öffnen und einem vollständigen Schließen dementsprechend eindeutig zugeordnet, also entweder als offen oder als geschlossen definiert oder bestimmt werden.
Bei der Person kann es sich insbesondere um eine Bedienperson einer technischen Einrichtung, insbesondere einen Fahrer oder Fahrzeuginsassen eines Fahrzeugs handeln. Ebenso kann die vorliegende Erfindung aber in anderen Bereichen oder Situationen angewendet werden bzw. anwendbar sein. Allgemein kann basierend auf dem bestimmten Augenzustand beispielsweise eine Aufmerksamkeit oder Müdigkeit der Person bestimmt oder bewertet werden.
Die Erkennung der Aufmerksamkeit oder Müdigkeit eines Kraftfahrzeugführers oder eines Berliners einer technischen Einrichtung oder eines Systems kann eine verbesserte Sicherheit ermöglichen, beispielsweise durch in Abhängigkeit davon automatisch eingeleitete Maßnahmen. Dazu gibt es bereits verschiedene Ansätze, die jedoch noch keine optimale Genauigkeit, Zuverlässigkeit und Robustheit der Erkennung des Augenzustands bzw. Augenöffnungszustands, insbesondere bei Vorliegen von Störfaktoren, ermöglichen. So schlägt beispielsweise die US 2020 / 0 026 938 A1 eine Vorrichtung zum Erkennen eines Insassenzustands vor. Die dortige Vorrichtung umfasst eine Lidöffnungserkennungseinheit zum Erkennen einer Lidöffnung eines Fahrers eines Fahrzeugs, eines Maximalwerts der Lidöffnung und eines Minimalwerts der Lidöffnung. Die Vorrichtung umfasst weiter eine Augenzustandsbestimmungseinheit zum Bestimmen, dass das Auge in einem offenen Zustand ist, wenn die Lidöffnung größer als ein vorgegebener Schwellenwert wird. Die Vorrichtung umfasst weiter eine Schwellenwertrücksetzeinheit zum Zurücksetzen des Schwellenwertes auf einen Wert zwischen dem Maximalwert und dem Minimalwert der Lidöffnung, wenn der Maximalwert für eine vorgegebene Zeit nicht größer als der Schwellenwert geworden ist oder wenn der Minimalwert für eine vorgegebene Zeit nicht kleiner als der Schwellenwert geworden ist. Dies kann jedoch fehleranfällig sein, insbesondere gegenüber Veränderungen oder Variationen einer Blickrichtung des Fahrers in Fahrzeughochrichtung oder gegenüber Intensitätsschwankungen einer Beleuchtung.
Als weiteren Ansatz beschreibt die DE 196 14 975 C2 ein Gesichtsbildverarbeitungssystem. Darin ist eine Bewertungsfunktions-Berechnungsvorrichtung zum Berechnen einer Bewertungsfunktion und eine Vorrichtung zum Beurteilen des geöffneten oder geschlossenen Zustands eines Auges zum Beurteilen anhand der Bewertungsfunktion, ob das Auge geöffnet oder geschlossen ist, vorgesehen. Die Bewertungsfunktions-Berechnungsvorrichtung berechnet dabei zum einen eine Formfunktion, die die Krümmung des Auges in einem zugehörigen Ortsbereich darstellt, und zum anderen auf Grundlage dieser Formfunktion die Bewertungsfunktion. Damit soll eine genaue Augenerfassung ermöglicht werden.
Als weiteren Ansatz beschreibt die EPR 3 268 942 B1 ein Verfahren zum Erkennen eines Müdigkeits- und/oder Schlafzustands eines Fahrers eines Fahrzeugs. Dabei werden ein erstes und ein zweites Augenöffnungssignal eingelesen, die jeweils einen Augenöffnungsgrad oder ein davon abgeleitetes Signal für eines der beiden Augen des Fahrers repräsentieren. Die Augenöffnungssignale werden als gültig erkannt, wenn sie einem jeweiligen Kriterium entsprechen. Der Müdigkeits- und/oder Schlafzustand des Fahrers wird dann unter Verwendung des als gültig erkannten ersten Augenöffnungssignals und des als gültig erkannten zweiten Augenöffnungssignals bestimmt.
Aufgabe der vorliegenden Erfindung ist es, eine besonders robuste Bestimmung eines Augenzustands einer Person zu ermöglichen.
Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst. Mögliche Ausgestaltungen und Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Patentansprüchen, in der Beschreibung und in den Figuren offenbart.
Das erfindungsgemäße Verfahren dient wie eingangs angegeben zum Bestimmen eines binären Augenzustands einer Person und umfasst mehrere Verfahrensschritte, die insbesondere automatisch oder teilautomatisch ausgeführt werden können. In einem Verfahrensschritt des erfindungsgemäßen Verfahrens werden mittels einer Kamera Kameradaten, welche die jeweilige Person abbilden, erfasst. Dies kann beispielsweise bedeuten oder umfassen, dass kontinuierlich oder mit einer vorgegebenen Frequenz oder Frame- bzw. Bildwiederholrate eine Bildsequenz oder ein Videostrom aufgenommen wird. Ebenso kann das Erfassen der Kameradaten im vorliegenden Sinne bedeuten oder umfassen, dass die Kameradaten, also eine entsprechende Bildsequenz oder ein entsprechender Videostrom oder dergleichen, aus einem Datenspeicher oder über eine Datenschnittstelle abgerufen oder empfangen werden, beispielsweise von einer zur Ausführung des Verfahrens eingerichteten Überwachungseinrichtung. Anhand der Kameradaten wird ein zeitlicher Verlauf eines Lidabstands der Person, also eines Abstands zwischen einem unteren Augenlid und dem zugehörigen oberen Augenlid der Person, bestimmt. Mit anderen Worten wird in den Kameradaten oder anhand der Kameradaten also für unterschiedliche Aufnahmezeitpunkte jeweils der Lidabstand, also eine Augenöffnungsweite der Person bestimmt, beispielsweise mittels einer automatischen Bildverarbeitung, Objekt- oder Merkmalserkennung oder dergleichen.
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens werden in dem zeitlichen Verlauf des Lidabstands eine zu einem Augenschließen korrespondierende monoton fallende Flanke, die wenigstens eine vorgegebene minimale Höhe aufweist, und deren Endpunkt, ab oder bei dem der Lidabstand erstmals seit Beginn der jeweiligen fallenden Flanke wieder größer wird, bestimmt, also jeweils sofern vorhanden erkannt oder ermittelt. Dass die fallende Flanke wenigstens die minimale Höhe aufweist oder erreicht, kann insbesondere bedeuten, dass sich entlang oder im Verlauf der fallenden Flanke der Lidabstand wenigstens um einen vorgegebenen Betrag oder um ein vorgegebenes Maß verkleinert. In einem Graphen oder Diagramm, in dem auf einer X-Achse die Zeit und auf der Y-Achse der Lidabstand aufgetragen sind, kann die minimale Höhe also als minimale Veränderung in Y-in Richtung aufgefasst werden. Die für die fallende Flanke vorgegebene minimale Höhe kann auch als mcd (englisch: „minimal closing distance“) bezeichnet werden. Beispielsweise kann die vorgegebene minimale Höhe 5 mm betragen. Dieser Wert kann beispielsweise experimentell ermittelt und/oder modelliert oder durch eine Anpassung an aufgenommene Daten ermittelt werden, sodass je nach Anwendung ebenso andere Werte möglich sind.
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird dynamisch jeweils ein aktueller Transitionsschwellenwert bestimmt, der angibt, ab oder bei welchem Lidabstand ein Wechsel zwischen einem offenen Auge und einem geschlossenen Auge, also einem offenen und einem geschlossenen Augenzustand, stattfindet oder gegeben ist. Der Transitionsschwellenwert wird dabei bestimmt als vorgegebener Anteilswert eines Abstands von einem Durchschnittswert mehrerer Endpunkte vorangegangener fallender Flanken zu einem Durchschnittswert mehrerer Anfangspunkte vorangegangener fallender Flanken bzw. der mehreren vorangegangenen fallenden Flanken. Der Transitionsschwellenwert kann mit anderen Worten also bestimmt werden als Summe aus dem Durchschnittswert der mehrerer Endpunkte und einem vorgegebenen Teil der Differenz zwischen diesem Durchschnittswert und dem Durchschnittswert der mehreren Anfangspunkte. Die Durchschnittswerte können insbesondere gleitende, also über ein gleitendes Zeit- oder Datenfenster, das sich jeweils vom aktuellen Zeitpunkt in vorgegebener Weise in die Vergangenheit erstreckt, bestimmte, Durchschnittswerte sein. Die mehreren vorangegangenen fallenden Flanken können insbesondere während der jeweiligen aktuellen Betriebszeit oder Anwendung des Verfahrens aufgetretene oder erkannte fallenden Flanken sein oder umfassen.
Zum Bestimmen des Transitionsschwellenwertes kann also ein entsprechender Prozentsatz oder eine prozentuale Konstante p vorgegeben sein. Der Lidabstand muss dann wenigstens einen entsprechenden Anteil oder Prozentwert auf dem Weg von dem Durchschnittswert der Endpunkte zu dem Durchschnittswert der Anfangspunkte erreicht haben. Der Transitionsschwellenwert toc (englisch: „transition open closed“) kann also ausgedrückt werden als toc = a₀ + p*(a₁ - a₀), wobei a₀ der Durchschnittswert der Endpunkte, a₁ der Durchschnittswert der Anfangspunkte und p der vorgegebene Anteilswert sind. Der Anteilswert p kann beispielsweise als p = 0,3 oder p = 30 % vorgegeben sein, wobei aber ebenso andere Werte möglich sind, um eine das Verfahren an verschiedene Situationen, Gegebenheiten oder Anforderungen anzupassen.
Der Transitionsschwellenwertes kann dynamisch, beispielsweise für jede oder nach jeder neu erkannten fallenden Flanke, die wenigstens die vorgegebene minimale Höhe aufweist, neu bestimmt oder neu berechnet werden. Die Durchschnittswerte können beispielsweise bei oder mit jedem neu bestimmten Lidabstand neu bestimmt, berechnet oder angepasst werden. Somit können sich also sowohl der Transitionsschwellenwert als auch die Durchschnittswerte während der kontinuierlichen Anwendung des Verfahrens bzw. im kontinuierlichen Betrieb der zur Ausführung des Verfahrens eingerichteten Überwachungseinrichtung dynamisch verändern. Dadurch kann auf eine Veränderung einer Situation, äußerer Umstände oder Gegebenheiten und/oder Verhaltensweisen oder Zustände der Person automatisch reagiert werden, ohne dass diese Veränderungen explizit erkannt oder modelliert werden müssten. Beispielsweise kann eine zunehmende Müdigkeit oder eine erhöhte frontale Sonneneinstrahlung zu einer Verringerung des Durchschnittswerts der Anfangspunkte führen.
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird das jeweilige Auge als geschlossen erkannt, wenn oder sobald der aktuelle Lidabstand kleiner als der aktuelle, also zuletzt bestimmte, Transitionsschwellenwert ist, insbesondere jeweils ab dem Zeitpunkt, ab dem dies der Fall ist. Es kann dann also ein entsprechender Augenzustand als „geschlossenen“ ausgegeben oder gesetzt werden.
In einem weiteren Verfahrensschritt wird ab dem jeweils letzten, also zuletzt bestimmten, Endpunkt der bzw. einer fallenden Flanke in dem Verlauf des Lidabstands jeweils eine nächste zu einem Augenöffnen des jeweiligen Auges der Person korrespondierende monoton steigende Flanke, die wenigstens eine minimale Höhe aufweist, bestimmt. Analog zu der fallenden Flanke kann die monoton steigende Flanke also ein Abschnitt des Verlaufs des Lidabstands sein, in dem der Lidabstand größer wird oder gleichbleibt, wobei sich im Verlauf oder entlang der steigenden Flanke wenigstens eine der vorgegebenen minimalen Höhe entsprechende Vergrößerung des Lidabstands ergeben muss. Die für die steigende Flanke vorgegebene minimale Höhe kann auch als mod (englisch: „minimal opening distance“) bezeichnet werden. Beispielsweise kann die minimale Höhe mod für die steigende Flanke als mod = 4 mm vorgegeben sein. Ebenso können andere Werte vorgegeben sein, um das Verfahren bzw. dessen Parameter situations- oder bedarfsgerecht anzupassen. Als mögliche Anfangspunkte der oder einer monoton steigenden Flanke können der jeweils letzte bestimmte Endpunkt, also der Endpunkt der jeweils letzten erkannten fallenden Flanke, die wenigstens die dafür vorgegebene minimale Höhe aufweist, oder zeitlich danach liegende, also später bestimmte Punkte im Verlauf des Lidabstands in Betracht gezogen werden. Beispielsweise kann die steigende Flanke zu einem nach dem letzten Endpunkt liegenden Zeitpunkt beginnen, wenn es ab dem letzten Endpunkt zu einer Fluktuation des Lidabstands kommt oder gekommen ist, die nicht die für die steigende Flanke vorgegebene minimale Höhe, also Lidabstandsveränderung erreicht.
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird das jeweilige Auge der Person als offen erkannt, wenn oder sobald ein Ende der steigenden Flanke erkannt bzw. erreicht ist, ab dem der Lidabstand erstmalig seit Beginn der jeweiligen steigenden Flanke wieder kleiner wird. Es kann dann also ein entsprechender Augenzustand als „offen“ ausgegeben oder gesetzt werden. Bis zu diesem Zeitpunkt kann der Augenzustand jeweils als „geschlossen“ gesetzt bleiben. Dies kann insbesondere unabhängig von dem aktuellen, also jeweils zuletzt bestimmten Transitionsschwellenwert der Fall sein, also unabhängig davon, ob der aktuelle Lidabstand zeitweise oder dauerhaft größer oder kleiner als der aktuelle Transitionsschwellenwert ist oder war.
Die vorliegende Erfindung beruht auf der Erkenntnis, dass durch die dynamische Bestimmung oder Erkennung der Transitionen, also der Wechsel des Augenzustands von offen bzw. geöffnet zu geschlossen und umgekehrt eine im Vergleich zu herkömmlichen Verfahren verbesserte Robustheit bezüglich einer Vielzahl von Störfaktoren erreicht werden kann. Damit kann das erfindungsgemäße Verfahren eine Bestimmung oder Überwachung des Augenzustands mit genügend großer Genauigkeit, Zuverlässigkeit und Robustheit ermöglichen, um beispielsweise für ein entsprechendes Fahrassistenzsystem eines Kraftfahrzeugs oder dergleichen eingesetzt zu werden. So kann das erfindungsgemäße Verfahren eine Erkennung oder Bestimmung des Augenzustands ermöglichen, die robust gegenüber einer veränderten Blickrichtung oder Kopfbewegungen der Person, insbesondere in Fahrzeughochrichtung, gegenüber Veränderungen einer Beleuchtung, gegenüber unterschiedlichen Augen- oder Lidformen oder Lidanordnungen, beispielsweise zwischen verschiedenen ethnischen Gruppen, gegenüber einem Zwinkern und/oder dergleichen mehr ist. Ebenso ist das erfindungsgemäße Verfahren vorteilhaft nicht auf eine Erkennung und Interpretation eines Gesichtsausdrucks der jeweiligen Person angewiesen, was bei bisherigen Verfahren ebenfalls zu einer mangelnden Genauigkeit, Zuverlässigkeit oder Robustheit, beispielsweise aufgrund einer fehleranfälligen Interpretation, führen kann.
In einer möglichen Ausgestaltung der vorliegenden Erfindung wird jeweils als möglicher Anfangspunkt einer bzw. der fallenden Flanke der jeweils letzte, also jüngste Punkt in dem zeitlichen Verlauf des Lidabstands bestimmt, ab welchem die erste Ableitung des zeitlichen Verlaufs des Lidabstands bis zum jeweils aktuellen Zeitpunkt oder bis zum Erreichen des Endpunkts der jeweiligen fallenden Flanke nur noch Werte von kleiner oder gleich null annimmt. Mit anderen Worten wird hier also die Bedingung vorgegeben bzw. ausgewertet, dass die fallende Flanke so lang oder so groß wie möglich sein soll und der Lidabstand, also die Augenöffnung entlang oder während der fallenden Flanke nur sinkt oder konstant bleibt, aber nicht steigt. Dies stellt eine besonders einfach umzusetzende Möglichkeit zum Bestimmen der fallenden Flanken in dem zeitlichen Verlauf des Lidabstands dar. Sobald die erste Ableitung einen Wert über null annimmt, kann der letzte vorherige Punkt, also der letzte Punkt, an dem jeweils für die erste Ableitung ein Wert von kleiner oder gleich null bestimmt wurde, als Endpunkt der jeweiligen fallenden Flanke bestimmt oder erkannt werden. Darauf basierend kann dann die Höhe der jeweiligen fallenden Flanke bestimmt und mit der vorgegebenen minimalen Höhe verglichen werden. Ist die Höhe der jeweiligen fallenden Flanke kleiner als die vorgegebene minimale Höhe, so kann diese fallende Flanke als nicht aussagekräftig oder als nicht valide für einen Wechsel des Augenzustands gewertet und daher verworfen werden. Es kann dann der nächste Punkt als nächster möglicher Anfangspunkt einer fallenden Flanke überprüft werden. Dabei können insbesondere nur Punkte nach dem jeweils zuletzt bestimmten möglichen Endpunkt einer fallenden Flanke berücksichtigt werden. Dies kann eine besonders effiziente Ermittlung fallender Flanken in dem zeitlichen Verlauf des Lidabstands ermöglichen.
In einer möglichen Weiterbildung der vorliegenden Erfindung wird der mögliche Anfangspunkt einer fallenden Flanke als solcher validiert und weiterverwendet, wenn die dort beginnende fallende Flanke wenigstens die vorgegebene minimale Höhe erreicht, und anderenfalls, falls also der Lidabstand vor dem Erreichen der minimalen Höhe wieder steigt, verworfen. Dann kann die Suche nach dem jeweils nächsten möglichen Anfangspunkt einer fallenden Flanke wieder aufgenommen bzw. das Bestimmen und Validieren oder Verwerfen jeweils für den nächsten infrage kommenden möglichen Anfangspunkt durchgeführt oder fortgesetzt werden. Durch das hier vorgeschlagene Validieren des Anfangspunktes, letztlich also das Abgleichen der tatsächlichen Höhe der jeweiligen fallenden Flanke mit der dafür vorgegebenen minimalen Höhe, können nicht eindeutige oder nicht aussagekräftige Lidbewegungen herausgefiltert werden. Dadurch kann erreicht oder sichergestellt werden, dass das erfindungsgemäße Verfahren stets robust verlässliche Aussagen zum Augenzustand liefert. Durch das Verwerfen möglicher Anfangspunkt im Falle entsprechend geringerer tatsächlicher Flankenhöhen kann vorteilhaft ein Datenverarbeitungsaufwand reduziert oder begrenzt werden und somit das Verfahren letztlich besonders effizient durchgeführt werden.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung werden die Durchschnittswerte jeweils aus den entsprechenden n letzten Punkten oder aus den entsprechenden Punkten der jeweils letzten m Sekunden des zeitlichen Verlaufs des Lidabstands bestimmt, wobei n oder m vorgegebene Zahlen sind. Mit anderen Worten werden also zum Bestimmen des jeweils aktuellen Durchschnittswerts der Anfangspunkte die n letzten Anfangspunkte oder die in den letzten m Sekunden bestimmten Anfangspunkte bzw. deren Werte verwendet, also gemittelt. Analog dazu werden zum Bestimmen des jeweils aktuellen Durchschnittswerts der Endpunkte die n letzten Endpunkte oder die in den letzten m Sekunden bestimmten Endpunkte bzw. deren Werte verwendet, also gemittelt. Mit anderen Worten kann also das genannte gleitende Fenster für das Bestimmen der Durchschnittswerte zeitlich oder durch eine vorgegebene Anzahl von Punkten definiert sein. Dabei können insbesondere nur Anfangs- bzw. Endpunkte valider fallender Flanken verwendet oder berücksichtigt werden, also solcher fallender Flanken, deren Größe oder Höhe wenigstens der vorgegebenen fallenden Minimalhöhe entspricht, für die also eine Differenz des Lidabstands in ihrem Anfangspunkt und des Lidabstands in ihrem Endpunkt wenigstens der vorgegebenen fallenden Minimalhöhe entspricht. Die Durchschnittwerte werden dann also nicht notwendiger aus sämtlichen gemessenen Lidabständen bestimmt. Das Bestimmen der Durchschnittswerte über die jeweils letzten m Sekunden kann eine im Allgemeinen robuste und praktikable Möglichkeit darstellen, die Durchschnittswerte zu bestimmen. Das Bestimmen der Durchschnittswerte anhand der jeweils n letzten entsprechenden Punkte kann eine besonders zuverlässige und robuste Bestimmung der Durchschnittswerte auch in Extremfällen ermöglichen, also beispielsweise dann, wenn die Person eine besonders geringe Blinzel- oder Augenschließfrequenz hat. Zudem kann die Verwendung der jeweils n letzten entsprechenden Punkte eine in unterschiedlichen Zeiträumen konsistente Bestimmung der Durchschnittswerte ermöglichen, die jeweils mit einem im Vorhinein definierten oder bekannten Datenverarbeitungsaufwand durchgeführt werden kann, was gegebenenfalls eine entsprechende Hardware- und/oder Softwareoptimierung ermöglichen kann.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird für den Fall, dass kein aktueller Durchschnittswert vorliegt oder bestimmt werden kann, stattdessen ein entsprechender vorgegebener Standardwert verwendet. Ein solcher Standardwert kann beispielsweise ein im Vorhinein bestimmter statistischer Mittelwert einer Vielzahl unterschiedlicher Personen, Zeiten und/oder Situationen sein. Die Verwendung eines solchen vorgegebenen Standardwertes kann eine besonders robuste Anwendung des erfindungsgemäßen Verfahrens ermöglichen. So kann das Verfahren beispielsweise auch dann fehlerfrei angewendet werden, wenn keine oder nicht genügend vorangegangene Daten während der aktuellen Betriebszeit aufgenommen wurden und/oder beispielsweise die jüngsten vorliegenden oder bestimmbaren Durchschnittswerte zu alt, also beispielsweise älter als ein vorgegebenes Maximalalter sind. Derartige besonders alte, also weit zurückliegend bestimmte Durchschnittswerte können gegebenenfalls unzuverlässig oder nicht mehr relevant oder situationsgerecht sein, da sie beispielsweise für eine andere Person bestimmt und/oder unter signifikant anderen Umgebungsbedingungen und/oder Zuständen der Person zustande gekommen sein können.
In einer möglichen Weiterbildung der vorliegenden Erfindung ist es vorgesehen, dass die jeweilige Person, beispielsweise vor oder zu Beginn des Verfahrens, identifiziert wird. Falls zu der jeweiligen identifizierten Person bereits ein Datensatz vorhanden ist, also vorliegt, wird als der Standardwert ein in diesem Datensatz hinterlegter personenindividueller historischer Gesamtwert aus in der Vergangenheit für die identifizierten Person bestimmten entsprechenden Punkten, also Anfangs- oder Endpunkten, oder Durchschnittswerten verwendet. In diesen historischen Gesamtwert können alle zu der Person bestimmten entsprechenden Punkte oder Werte einfließen oder solche Punkte oder Werte, die in einem vorgegebenen, insbesondere gleitenden, Zeitfenster bestimmt wurden oder eine vorgegebene Anzahl der zuletzt für die jeweilige Person bestimmten Punkte oder Werte. Der historische Gesamtwert kann dann beispielsweise ein, möglicherweise - etwa mit einem jeweiligen Alter oder einer jeweiligen Konfidenz der Punkte oder Werte - gewichteter, Mittelwert dieser Punkte oder Werte sein. Dadurch kann das Verfahren also auch dann, wenn kein aktueller Durchschnittswert vorliegt oder bestimmt werden kann, besonders robust und dabei gleichzeitig besonders genau und zuverlässig durchgeführt werden, da die jeweiligen Standardwerte personenindividuell sind, also beispielsweise individuelle Eigenschaften der jeweiligen Person berücksichtigen. Dies ermöglicht eine besonders genaue, robuste und zuverlässige Bestimmung des Augenzustands. Dazu können im jeweils laufenden Verfahren, also während der jeweils aktuellen Anwendung oder Ausführung des Verfahrens die bestimmten Anfangs- oder Endpunkte bzw. deren Werte und/oder die bestimmten Durchschnittswerte zu der jeweiligen identifizierten Person, also in dem oder einem entsprechenden Datensatz, gespeichert und/oder der dort bereits hinterlegte personenindividuelle historische Gesamtwert darauf basierend angepasst, also aktualisiert werden. Somit kann die vorliegende Erfindung besonders genau, zuverlässig und robust für unterschiedliche Personen angewendet werden, also beispielsweise dann, wenn das entsprechende Fahrzeug oder die entsprechende technische Einrichtung von unterschiedlichen Personen verwendet oder bedient wird. Falls zu einer identifizierten Person noch kein Datensatz vorhanden ist und/oder falls die jeweilige Person nicht identifiziert werden kann, kann ein vorgegebener allgemeiner Standardwert verwendet werden.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird zu Beginn des Verfahrens und/oder nach einer Unterbrechung im bestimmten oder bestimmbaren zeitlichen Verlauf des Lidabstands der Augenzustand anhand eines vorgegebenen Standardschwellenwertes für den Lidabstand initialisiert bzw. reinitialisiert. Ein solcher Standardschwellenwert kann beispielsweise als absoluter oder - insbesondere für den Fall einer Unterbrechung - als relativer Wert vorgegeben sein. In letzterem Fall kann beispielsweise ein Prozentsatz oder Prozentwert der Differenz zwischen vorher oder zuletzt bestimmten Anfangs- und Endpunkten vorgegeben sein, beispielsweise 0,7 bzw. 70 % oder dergleichen. Der Standardschwellenwert kann dann der Summe aus dem Lidabstand in dem letzten bestimmten Endpunkt und dem vorgegebenen Prozentsatz oder Prozentwert der Differenz davon zu dem Lidabstand in dem zugehörigen Anfangspunkt entsprechen. Ebenso kann beispielsweise der oder ein Prozentsatz oder Prozentwert für den Lidabstand in dem letzten bestimmten Anfangspunkt vorgegeben sein. Der Standardschwellenwert kann dann dem entsprechenden Anteil des Lidabstands in dem letzten Anfangspunkt entsprechen. Eine Unterbrechung im Verlauf des Lidabstands kann beispielsweise dadurch bedingt sein, dass das jeweilige Auge oder die Augen der Person zeitweise außerhalb eines Erfassungs- oder Aufnahmebereich ist der Kamera waren. Dies kann beispielsweise durch eine zu starke Neigung oder Drehung des Kopfes der Person oder durch eine Verdeckung der Augen durch einen Gegenstand, eine Hand oder dergleichen passieren. Der Augenzustand kann dann oberhalb davon, wenn also der aktuelle Abstand größer als der Standardschwellenwert ist, als „offen“ und unterhalb davon, wenn also der aktuelle Lidabstand kleiner als der Ständerschwellenwert ist, als „geschlossen“ bestimmt, gesetzt und/oder ausgegeben werden. Dies ermöglicht eine besonders robuste und schnelle anfängliche Ausführung bzw. Fortsetzung des Verfahrens. Insbesondere kann die Problematik vermieden werden, dass andernfalls zu Beginn des Verfahrens oder nach einer Unterbrechung im zeitlichen Verlauf des Lidabstands mehrere Minuten vergehen können, bis genügend Daten verfügbar sind, um das Verfahren wie beschrieben durchzuführen, in dieser Zeit der Augenzustand somit nicht bekannt wäre und somit eine darauf basierende Funktion gegebenenfalls nicht ausgeführt werden könnte.
Wie im Zusammenhang mit den Durchschnittswerten beschrieben, kann ebenso der Standardschwellenwert personenindividuell bestimmt oder angepasst werden. Es kann also beispielsweise ein historischer Gesamtwert, also ein basierend auf allen oder für einen vorgegebenen Zeitraum für die jeweilige Person verfügbaren Daten oder aus den letzten entsprechenden X Daten, die für die jeweilige Person bestimmt wurden, bestimmter Wert, verwendet werden, wobei X eine vorgegebene Zahl oder Größe sein kann. Ein solcher Wert kann beispielsweise als, möglicherweise mit einem vorgegebenen Korrektur- oder Anpassungsfaktor modifizierter oder gewichteter, Mittelwert aller der entsprechenden bestimmten Lidabstände bestimmt werden. Ebenso kann der historische Gesamtwert beispielsweise als Mittelwert der entsprechenden in der Vergangenheit für die jeweilige Person bestimmten Transitionsschwellenwerte bestimmt werden. Der historische Gesamtwert kann in dem entsprechenden personenindividuellen Datensatz gespeichert oder hinterlegt sein. Im laufenden Verfahren, also in der jeweils aktuellen Anwendung des Verfahrens, kann dieser historische Gesamtwert dann als Standardschwellenwert für die Initialisierung zu Beginn des Verfahrens oder für die Reinitialisierung nach einer Unterbrechung verwendet werden, falls die Person vor oder zu Beginn des Verfahrens und/oder nach der Unterbrechung identifiziert, also wiedererkannt wurde. Dies kann eine besonders genaue und zuverlässige Anwendung des erfindungsgemäßen Verfahrens ermöglichen.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird für jedes in den Kameradaten abgebildete Auge der jeweiligen Person ein individueller Augenzustand bestimmt. Für die jeweilige Person wird dann jeweils ein offener Gesamtaugenzustand bestimmt, falls für mindestens ein Auge ein offener individueller Augenzustand oder Einzelaugenzustand bestimmt wurde. Für die jeweilige Person wird ein geschlossener Gesamtaugenzustand bestimmt, falls für jedes Auge der Person im Erfassungs- oder Aufnahmebereich der Kamera, also für jedes in den Kameradaten abgebildete Auge der Person, ein geschlossener individueller Augenzustand oder Einzelaugenzustand bestimmt wurde. Der so bestimmte Gesamtaugenzustand kann dann für weitere Maßnahmen, Anwendungen oder Systeme beispielsweise als Output der zur Durchführung des erfindungsgemäßen Verfahrens eingerichteten Überwachungseinrichtung, bereitgestellt oder ausgegeben werden. Die individuellen Augenzustände bzw. Einzelaugenzustände können dabei wie im Zusammenhang mit den übrigen Ausgestaltungen des erfindungsgemäßen Verfahrens beschrieben bestimmt werden. Die hier vorgeschlagene Ausgestaltung der vorliegenden Erfindung kann eine besonders zuverlässige und robuste Verwendung des Augenzustands für weitere Maßnahmen oder für andere Systeme oder Einrichtungen ermöglichen. So kann der Gesamtaugenzustand beispielsweise auch dann bestimmt bzw. ausgegeben oder bereitgestellt werden, wenn die Person ihren Kopf derart bewegt, dass zu verschiedenen Zeitpunkten zeit- oder wechselweise nur ein Auge, nur das andere Auge oder beide Augen im Erfassungs- oder Aufnahmebereich der Kamera sind bzw. in den Kameradaten abgebildet oder erkannt werden. Dabei kann die hier vorgeschlagene Bestimmung des offenen Gesamtaugenzustands letztlich in der Praxis bzw. für die Sicherheit nicht relevante Fehlerkennungen eines Augenschließens oder von Schließungen nur genau eines Auges der Person herausfiltern bzw. unberücksichtigt lassen. Dadurch kann beispielsweise eine entsprechende false-positive-Rate bzw. eine entsprechende letztlich unnötige oder unangemessene automatische Ausführung von für einen geschlossenen Augenzustand vorgegebenen Maßnahmen vermieden werden. Beispielsweise kann die Person bei voller Aufmerksamkeit, also ohne dass eine sicherheitsrelevante Müdigkeit oder Ablenkung der Person vorliegt, bewusst mit genau einem Auge blinzeln, beispielsweise im Rahmen einer non-verbalen Kommunikation oder dergleichen. In solchen Fällen ist gegebenenfalls die Aufmerksamkeit oder Wachheit der Person nicht eingeschränkt, sodass auch nicht in entsprechender Weise automatisch reagiert werden sollte.
Ein weiterer Aspekt der vorliegenden Erfindung ist eine Überwachungseinrichtung zum Überwachen oder Bestimmen eines Augenzustands einer Person. Die erfindungsgemäße Überwachungseinrichtung weist eine Eingangsschnittstelle zum Erfassen von Kameradaten, welche die jeweilige Person, insbesondere deren Augenpartie, abbilden, eine Prozessoreinrichtung, also beispielsweise einen Mikrochip, Mikroprozessor oder Mikrocontroller, und einen damit gekoppelten computerlesbaren Datenspeicher auf. Die erfindungsgemäße Überwachungseinrichtung ist dabei zum, insbesondere automatischen oder teilautomatischen, Ausführen wenigstens einer Variante oder Ausführungsform des erfindungsgemäßen Verfahrens eingerichtet. Dazu kann in dem Datenspeicher ein entsprechendes Betriebs- oder Computerprogramm hinterlegt oder gespeichert sein, welches das entsprechende Verfahren bzw. dessen Maßnahmen, Abläufe oder Verfahrensschritte codiert oder implementiert und durch die Prozessoreinrichtung ausführbar ist, um das entsprechende Verfahren auszuführen oder dessen Ausführung zu veranlassen. Die erfindungsgemäße Überwachungseinrichtung kann insbesondere die im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Überwachungseinrichtung sein oder dieser entsprechen. Dementsprechend kann die erfindungsgemäße Überwachungseinrichtung einige oder alle der im Zusammenhang mit dem erfindungsgemäßen Verfahren genannten Eigenschaften und/oder Merkmale aufweisen. Die erfindungsgemäße Überwachungseinrichtung kann weiter eine Ausgangsschnittstelle zum Ausgeben eines bestimmten Augenzustands oder eines entsprechenden Daten- oder Steuersignals aufweisen. Die erfindungsgemäße Überwachungseinrichtung kann ebenso eine mit der Eingangsschnittstelle gekoppelte Kamera zum Aufnehmen der Kameradaten aufweisen.
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Kraftfahrzeug, das eine Kamera und eine erfindungsgemäße Überwachungseinrichtung aufweist. Die Kamera ist dabei zum Aufnehmen eines Fahrzeuginsassen in oder an dem Kraftfahrzeug angeordnet und in einen Fahrzeuginsassenraum ausgerichtet. Die Kamera kann eine von der Überwachungseinrichtung separate, aber über eine Datenverbindung mit deren Eingangsschnittstelle verbundene Einrichtung oder ein Teil der Überwachungseinrichtung sein. Das erfindungsgemäße Kraftfahrzeug kann insbesondere das im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Kraftfahrzeug sein. Dementsprechend kann das erfindungsgemäße Kraftfahrzeug einige oder alle der im Zusammenhang mit dem erfindungsgemäßen Verfahren und/oder im Zusammenhang mit der erfindungsgemäßen Überwachungseinrichtung genannten Eigenschaften und/oder Merkmale aufweisen.
Das erfindungsgemäße Kraftfahrzeug kann beispielsweise ein Fahrerassistenzsystem aufweisen, das den von der Überwachungseinrichtung bestimmten Augenzustand als Input oder Eingangsgröße verwenden kann. Damit kann beispielsweise der Augenzustand bzw. dessen Bestimmung oder Erkennung zur Aktivierung eines Nothalteassistenten, also einer Nothaltefunktion des Kraftfahrzeugs verwendet werden. Eine solche Funktion erfordert eine besonders hohe Zuverlässigkeit und Robustheit der Bestimmung des Augenzustands, um falsche Auslösungen zu vermeiden aber gleichzeitig im Ernstfall, beispielsweise bei Bewusstlosigkeit oder einem Einschlafen der Person, möglichst schnell reagieren, also beispielsweise das Kraftfahrzeug zum Stillstand bringen oder in einen sicheren Zustand versetzen zu können. Ebenso kann durch das Fahrassistenzsystem beispielsweise anhand des bestimmten Augenzustands eine Fahreraufmerksamkeit, also einen Aufmerksamkeitsgrad oder Aufmerksamkeitszustand des jeweiligen Fahrzeuginsassen, bestimmt werden. Dabei können durch die Anwendung des erfindungsgemäßen Verfahrens zum Bestimmen des Augenzustands, beispielsweise im Vergleich zu herkömmlichen Verfahren, viele falsche Erkennungen vermieden werden, die herkömmlich etwa durch eine Variation der Blickrichtung oder durch eine Blendwirkung durch Gegenverkehr oder Sonneneinstrahlung entstehen können. Ebenso kann durch das Fahrerassistenzsystem basierend auf dem bestimmten Augenzustand eine Fahrermüdigkeit, also ein Müdigkeits- oder Wachheitszustand des jeweiligen Fahrzeuginsassen, erkannt oder bestimmt werden, beispielsweise mittels eines PERCLOS -Algorithmus. Dies ist umso genauer möglich, je genauer, zuverlässiger und robuster die Zeitpunkte des Augenschließens bestimmt werden können, was durch die Anwendung des erfindungsgemäßen Verfahrens ermöglicht oder unterstützt wird.
Weitere Merkmale der Erfindung können sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
Die Zeichnung zeigt in:

1 eine ausschnittweise schematische Darstellung eines Kraftfahrzeugs mit einer Kamera und einer Einrichtung zum Bestimmen eines Augenzustands eines Fahrzeuginsassen;
2 eine erste schematische Diagrammdarstellung zur Veranschaulichung der Bestimmung des Augenzustands anhand eines zeitlichen Verlaufs eines Lidabstands des Fahrzeuginsassen; und
3 eine zweite schematische Diagrammdarstellung zur Veranschaulichung der Bestimmung des Augenzustands anhand eines weiteren zeitlichen Verlaufs eines Lidabstands des Fahrzeuginsassen.

In den Figuren sind gleiche und funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
1 zeigt eine ausschnittweise schematische Seitendarstellung eines Kraftfahrzeugs 10, das hier von einem Fahrer 12 gesteuert wird. Für ein sicheres Steuern des Kraftfahrzeugs 10 darf der Fahrer 12 nicht unaufmerksam oder zu müde sein, was sich beispielsweise anhand seines Augenzustands ableiten lässt. Das Kraftfahrzeug 10 ist hier zum Erkennen oder Bestimmen dieses Augenzustands des Fahrers 12 eingerichtet.
Dazu weist das Kraftfahrzeug 10 eine Kamera 14 auf, die so angeordnet ist, dass ihr Erfassungs- oder Aufnahmebereich 16 auf den Fahrer 12, insbesondere eine Augenpartie des Fahrers 12, ausgerichtet ist. Weiter weist das Kraftfahrzeug 10 eine entsprechende Überwachungseinrichtung 18 auf, die mit der Kamera 14 verbunden ist. Die Überwachungseinrichtung 18 weist eine Eingangsschnittstelle 20 auf, über welche von der Kamera 14 aufgenommene Kameradaten erfasst werden können. Weiter weist die Überwachungseinrichtung 18 einen Prozessor 22 und einen Datenspeicher 24 auf. Damit ist die Überwachungseinrichtung 18 zum Ausführen eines vorgegebenen Verfahrens zum Bestimmen des Augenzustands des Fahrers 12 eingerichtet.
Ein solches Verfahren wird nachfolgend unter Bezugnahme auf die Figuren beispielhaft erläutert. Dazu zeigen 2 und 3 jeweils eine beispielhafte schematische Diagrammdarstellung, wobei auf einer jeweiligen Abszissenachse die Zeit und auf einer jeweiligen Ordinatenachse ein Lidabstand a aufgetragen sind.
In dem Verfahren wird der Fahrer 12 mittels der Kamera 14 aufgenommen. Entsprechende Kameradaten werden durch die Überwachungseinrichtung 18 zum Bestimmen des momentanen, also jeweils aktuellen Lidabstands a verarbeitet oder ausgewertet. Dies kann kontinuierlich oder regelmäßig, beispielsweise während eines Fahrbetriebs des Kraftfahrzeugs 10 erfolgen. Somit ergibt sich ein zeitlicher Lidabstandsverlauf 26. Beispiele für solche möglichen zeitlichen Lidabstandsverläufe 26 sind in 2 und 3 als entsprechende Diagrammkurven dargestellt. Da sich Augenlider zwangsläufig kontinuierlich bewegen, sind einzelne Punkte entlang des Lidabstandsverlauf 26, die jeweils eine konkrete Bestimmung oder Messung des Lidabstands a repräsentieren, hier vereinfacht durch gerade Linien verbunden.
In den dargestellten Lidabstandsverläufen 26 gibt es jeweils initial bis zu einem ersten Zeitpunkt t₁ mehrere Offenpunkte 28, die einen zu einem geöffneten Auge, also einem offenen Augenzustand korrespondierenden Lidabstand a angeben oder anzeigen. Da der Fahrer 12 seine Augen nicht beliebig lange offenhalten kann, stellt einer der offenen Punkte 28 einen Anfangspunkt 30 einer sich anschließenden monoton fallenden Flanke 32 dar. Entlang dieser fallenden Flanke 32 verringert sich der Lidabstand a monoton. Die fallende Flanke 32 endet an einem Endpunkt 34, ab welchem der Lidabstand a wieder ansteigt. An den jeweiligen Endpunkt 34 schließt sich also eine steigende Flanke 36 an. Diese steigende Flanke 36 reicht hier bis zu einem Ende 38, ab dem der Lidabstand a erstmals seit einem Anfang oder Beginn der jeweiligen steigenden Flanke 36, hier also ab oder seit dem Endpunkt 34, wieder kleiner wird. Beispielhaft schließen sich hier an das jeweilige Ende 38 der steigenden Flanke 36 weitere Offenpunkte 28 an.
Zum Erkennen einer bzw. der fallenden Flanke 32 kann nach einem Umspringen der ersten Ableitung des Lidabstandsverlaufs 26 an einem jeweils aktuellen Offenpunkt 28 von positiv zu negativ dieser Offenpunkt 28 als möglicher Anfangspunkt 30 einer entsprechenden Flanke betrachtet werden. Mit dem Verfügbarwerden weiterer Punkte oder Messwerte des Lidabstandsverlaufs 26 kann dann jeweils überprüft werden, ob die erste Ableitung des Lidabstandsverlaufs 26 ab dem jeweiligen betrachteten Offenpunkt 28 nur negative Werte oder Nullwerte hat, der Lidabstand a also nur sinkt oder konstant bleibt. Der entsprechende Offenpunkt 28 wird dann als tatsächlicher Anfangspunkt 30 validiert und weiter im entsprechenden Algorithmus verwendet, wenn die dort beginnende fallende Flanke 32 wenigstens eine vorgegebene minimale Höhe oder Differenz von beispielsweise mcd = 5 mm in Bezug auf den Lidabstand a am jeweiligen Anfangspunkt 30 aufweist. Dies ist hier durch eine entsprechende fallende Minimalhöhe 40 repräsentiert. Es ist erkennbar, dass die Differenz des Lidabstands a zwischen dem Anfangspunkt 30 und dem Endpunkt 34 größer ist als die fallende Minimalhöhe 40. Damit wird also die fallende Flanke 32 als solche bestätigt. Würde stattdessen der Lidabstand a bzw. also der Lidabstandsverlauf 26 vor dem Erreichen der vorgegebenen fallenden Minimalhöhe 40 bezüglich des Anfangspunkts 30 wieder ansteigen, so würde der entsprechende Offenpunkt 28 als möglicher Anfangspunkt 30 verworfen und die jeweilige fallende Flanke 32 als nicht-relevante oder nicht aussagekräftige Fluktuation betrachtet und die Suche nach einem tatsächlichen Anfangspunkt 30, an dem eine entsprechend große absteigende Flanke 32 ansetzt oder beginnt, fortgesetzt oder wieder aufgenommen werden.
Da vorliegend die fallende Flanke 32 größer oder höher als die fallende Minimalhöhe 40 ist, wird die Suche nach dem Endpunkt 34 dieser fallenden Flanke 32 gestartet. Dazu wird als Endpunkt 34 der fallenden Flanke 32 ein Punkt in dem Lidabstandsverlauf 26 bestimmt, ab dem der Lidabstand a bzw. der Lidabstandsverlauf 26 erstmalig seit Beginn der fallenden Flanke 32, also ab deren Anfangspunkt 30, wieder steigt. Der Endpunkt 34 stellt also jeweils ein lokales Minimum des Lidabstandsverlaufs 26 dar.
Für den Wechsel des Augenzustands wird hier eine dynamische Schwelle einer entsprechenden Transition verwendet. Dazu wird ein jeweils aktueller Transitionsschwellenwert toc, der hier beispielhaft angedeutet ist, berechnet oder bestimmt. Dazu wird eine vorgegebene Anzahl der letzten erkannten Anfangspunkte 30 vorangegangener fallender Flanken 32 gemittelt, um einen oberen Durchschnitt 42 zu bestimmen und eine vorgegebene Anzahl der korrespondierenden letzten erkannten Endpunkte 34 der vorangegangenen fallenden Flanken 32 gemittelt, um einen unteren Durchschnitt 44 des Lidabstands a zu ermitteln. Es sind hier rein schematisch und beispielhaft jeweils aktuelle Werte des oberen Durchschnitts 42 und des unteren Durchschnitts 44 angedeutet. Dass diese hier beispielhaft oberhalb bzw. unterhalb der dargestellten Punkte des Lidabstandsverlaufs 26 liegen, ist dadurch bedingt, dass der Lidabstandverlauf 26 zu früheren, hier nicht dargestellten Zeitpunkten entsprechend größer bzw. kleiner als die hier dargestellten Punkte, also der hier dargestellte Ausschnitt des zeitlichen Lidabstandsverlaufs 26 war. Alternativ können die in einem vorgegebenen, sich vom aktuellen Zeitpunkt in die Vergangenheit erstreckenden Zeitfenster erkannten Anfangspunkte 30 bzw. die darin erkannten Endpunkte 34 zum Bestimmen des aktuellen oberen Durchschnitts 42 bzw. des aktuellen unteren Durchschnitts 44 gemittelt werden.
Der Transitionsschwellenwert toc wird dann mittels einer vorgegebenen prozentualen Konstante p berechnet, sodass er zwischen dem oberen Durchschnitt 42 und dem unteren Durchschnitt 44 liegt, beispielsweise gemäß „unterer Durchschnitt 44“ + p*(„oberer Durchschnitt 42“ - „unterer Durchschnitt 44“).
Eine Transition des Augenzustands von offen zu geschlossen wird dann erkannt, wenn der aktuelle Anfangspunkt 30 als solcher validiert, also die vorgegebene fallenden Minimalhöhe 40 durch die aktuelle fallende Flanke 32 erreicht oder überschritten wurde, und der aktuelle Lidabstand a den Transitionsschwellenwert toc unterschreitet, was hier zum Zeitpunkt t₁ der Fall ist. Ab diesem Zeitpunkt bzw. dem darauffolgenden nächsten Punkt, für den der Lidabstand a als unterhalb des Transitionsschwellenwertes toc liegend bestimmt wurde, wird der Augenzustand dann als „geschlossen“ bestimmt oder ausgegeben.
Anschließend wird die jeweils nachfolgende steigende Flanke 36 erkannt. Als erster möglicher Startpunkt oder Beginn der steigenden Flanke 36 wird der Endpunkt 34 der vorangegangenen fallenden Flanke 32 verwendet oder in Betracht gezogen. Als Ende 38 der steigenden Flanke 36 wird derjenige Punkt des Lidabstandsverlaufs 26 bestimmt oder erkannt, welcher der letzte Punkt in dem Lidabstandsverlauf 26 vor einem erstmaligen Absinken des Lidabstands a seit dem Beginn der jeweils aktuellen steigenden Flanke 36, hier also seit dem Endpunkt 34, ist. Dabei muss zudem die Bedingung erfüllt sein, dass eine Größe oder Höhe der steigenden Flanke 36 wenigstens eine vorgegebene steigende Minimalhöhe 46 erreicht. Diese steigende Minimalhöhe 46 kann beispielsweise als mod = 4 mm in Bezug auf den Beginn der jeweiligen steigenden Flanke 36, hier also beispielhaft auf den Endpunkt 34, vorgegeben sein. Beginnt der Lidabstand a bereits vor Erreichen der steigenden Minimalhöhe 46 wieder zu fallen, so kann der jeweilige in Betracht gezogene Beginn einer bzw. der steigenden Flanke 36 verworfen und ein neuer Beginn einer bzw. der steigenden Flanke 36 gesucht werden.
Im vorliegenden Beispiel wird eine Transition des Augenzustands von geschlossen zu offen zum Zeitpunkt der Erkennung des Endes 38 der aktuellen steigenden Flanke 36 erkannt. Es wird also, sobald einen Punkt des Lidabstandsverlauf 26 als Ende 38 der jeweils aktuellen steigenden Flanke 36 erkannt wurde, der Augenzustand als „offen“ erkannt, gesetzt oder ausgegeben. Dies ist hier zum oder ab einem zweiten Zeitpunkt t₂ der Fall.
Die fallende Minimalhöhe 40 und die steigende Minimalhöhe 46 können gleich oder unterschiedlich sein. Experimentell hat sich bisher gezeigt, dass es günstig sein kann, die fallende Minimalhöhe 40 größer als die steigende Minimalhöhe 46 anzusetzen oder vorzugeben.
In 3 ist ein weiteres Beispiel eines möglichen Lidabstandsverlaufs 26 dargestellt, der sich beispielsweise nach dem in 2 dargestellten Lidabstandsverlauf 26 für den Fahrer 12 ergeben kann. Anders als bei dem in 2 dargestellten Beispiel des Lidabstandsverlaufs 26 ist hier der Lidabstand a vor einem durch die fallende Flanke 32 und die anschließende steigende Flanke 36 repräsentierten Blinzeln des Fahrers 12 geringer ist als nach dem Blinzeln. Dies kann beispielsweise durch eine Veränderung einer Blickrichtung oder Kopfneigung des Fahrers 12 in Fahrzeughochrichtung bedingt oder verursacht sein. Zudem kann hier der Endpunkt 34 bei einem geringeren Lidabstand a liegen, sodass auch der Transitionsschwellenwert toc entsprechend niedriger als bei dem in 2 gezeigten Beispiel sein kann. Dies verdeutlicht, dass der Transitionsschwellenwert toc während des Verfahrens, also über mehrere Transitionen des Augenzustands hinweg jeweils neu bestimmt, also dynamisch nachgeführt oder angepasst wird.
Kommt es, beispielsweise durch eine Kopfbewegung des Fahrers 12, durch eine Unterbrechung des bestimmten oder bestimmbaren Lidabstandsverlaufs 26, also einer Erkennung des Lidabstands a, kann der binäre Augenzustand mittels einer weiteren vorgegebenen Konstante r reinitialisiert werden, sobald der Lidabstand a wieder erkannt oder bestimmt werden kann. Die Konstante r kann beispielsweise als r = 0,7 oder als r = 70 % vorgegeben sein, wobei ebenso andere Werte möglich sein können. Bei diesem Initialisieren oder Reinitialisieren, kann der Augenzustand beispielsweise für a > a₀ + r*(a₁ - a₀) als offen und sonst als geschlossen bestimmt oder ausgegeben werden, wobei a₀ hier dem unteren Durchschnitt 44 und a₁ dem oberen Durchschnitt 42 entsprechen kann. Sollten keine bzw. keine aktuellen Werte für a₀ und a₁ vorliegen, so können entsprechende vorgegebene Standardwerte verwendet werden, beispielsweise a₀ = 3 mm und a₁ = 11 mm oder dergleichen. Diese Standardwerte können generisch oder personenindividuell für den jeweiligen identifizierten Fahrer 12 vorgegeben oder bestimmt sein.
Insgesamt zeigen die beschriebenen Beispiele wie ein Verfahren und eine Vorrichtung zur Ermittlung des binären Augenzustandes einer Person besonders robust realisiert werden können.
Bezugszeichenliste

10: Kraftfahrzeug
12: Fahrer
14: Kamera
16: Aufnahmebereich
18: Überwachungseinrichtung
20: Eingangsschnittstelle
22: Prozessor
24: Datenspeicher
26: Lidabstandsverlauf
28: Offenpunkte
30: Anfangspunkt
32: fallende Flanke
34: Endpunkt
36: steigende Flanke
38: Ende
40: fallende Minimalhöhe
42: oberer Durchschnitt
44: unterer Durchschnitt
46: steigende Minimalhöhe
a: Lidabstand
t: Zeit
t1: erster Zeitpunkt
t2: zweiter Zeitpunkt
toc: Transitionsschwellenwert

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 20200026938 A1 [0003]
DE 19614975 C2 [0004]

Claims

Verfahren zum Bestimmen eines binären Augenzustands einer Person (12), in dem - mittels einer Kamera (14) Kameradaten, welche die Person (12) abbilden, erfasst werden und anhand daran ein zeitlicher Verlauf eines Lidabstands (a) zwischen einem unteren Augenlid und dem zugehörigen oberen Augenlid der Person (12) bestimmt wird, - in dem zeitlichen Verlauf (26) des Lidabstands (a) eine zu einem Augenschließen korrespondierende monoton fallende Flanke (32), die wenigstens eine vorgegebene minimale Höhe (40) aufweist, und deren Endpunkt (34), ab dem der Lidabstand (a) erstmalig seit Beginn der jeweiligen fallenden Flanke (32) wieder größer wird, bestimmt werden, -jeweils ein aktueller Transitionsschwellenwert (toc), der angibt, bei welchem Lidabstand (a) ein Wechsel zwischen offenem Auge und geschlossenem Auge stattfindet, bestimmt wird als Summe aus einem Durchschnittswert (44) mehrerer Endpunkte (34) vorangegangener fallender Flanken (32) und einem vorgegebener Anteilswert einer Differenz zwischen diesem Durchschnittswert (44) und einem Durchschnittswert (42) mehrerer Anfangspunkte (32) der vorangegangenen fallenden Flanken (32), - sobald der aktuelle Lidabstand (a) entlang der fallenden Flanke (32) erstmalig den aktuellen Transitionsschwellenwert (toc) unterschreitet das Auge als geschlossen erkannt wird, - ab dem jeweils letzten Endpunkt (34) in dem Verlauf (26) des Lidabstands (a) jeweils eine nächste zu einem Augenöffnen korrespondierende monoton steigende Flanke (36), die wenigstens eine vorgegebene minimale Höhe (46) aufweist, bestimmt wird, und - das Auge als offen erkannt wird, wenn ein Ende (38) der steigenden Flanke (36) erreicht ist, ab dem der Lidabstand (a) erstmalig seit Beginn der jeweiligen steigenden Flanke (36) wieder kleiner wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass jeweils als möglicher Anfangspunkt (28, 20) einer fallenden Flanke (32) der jeweils letzte Punkt (30) in dem zeitlichen Verlauf (26) des Lidabstands (a) bestimmt wird, ab welchem die erste Ableitung des zeitlichen Verlaufs (26) des Lidabstands (a) bis zum jeweils aktuellen Zeitpunkt nur noch Werte von kleiner oder gleich Null annimmt.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der mögliche Anfangspunkt (30) als solcher validiert und weiterverwendet wird, wenn die dort beginnende fallende Flanke (32) wenigstens die vorgegebene minimale Höhe (40) erreicht, und andernfalls verworfen wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Durchschnittswerte (42, 44) jeweils aus den entsprechenden n letzten Punkten (30, 34) oder aus den entsprechenden Punkten (30, 34) der jeweils letzten m Sekunden des zeitlichen Verlaufs (26) des Lidabstands (a) bestimmt werden, wobei n oder m vorgegebene Zahlen sind.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass falls kein aktueller Durchschnittswert (42, 44) bestimmt werden kann, stattdessen ein entsprechender vorgegebener Standardwert verwendet wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die jeweilige Person (12) identifiziert wird und, falls zu der identifizierten Person (12) bereits Datensatz vorhanden ist, als der Standardwert ein in dem Datensatz hinterlegter personenindividueller historischer Gesamtmittelwert aus in der Vergangenheit für die identifizierte Person (12) bestimmten entsprechenden Punkten (30, 34) oder Durchschnittswerten (42, 44) verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zu Beginn des Verfahrens und/oder nach einer Unterbrechung im bestimmten zeitlichen Verlauf (26) des Lidabstands (a) der Augenzustand anhand eines vorgegebenen Standardschwellenwertes für den Lidabstand (a) initialisiert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für jedes in den Kameradaten abgebildete Auge der Person (12) ein individueller Augenzustand bestimmt wird und für die Person (12) - ein offener Gesamtaugenzustand bestimmt wird, falls für wenigstens ein Auge ein offener individueller Augenzustand bestimmt wurde, und - ein geschlossener Gesamtaugenzustand bestimmt wird, falls für jedes Auge der Person (12) im Aufnahmebereich der Kamera (14) ein geschlossener individueller Augenzustand bestimmt wurde.
Überwachungseinrichtung (18) zum Bestimmen eines Augenzustands einer Person (12), aufweisend eine Eingangsschnittstelle (20) zum Erfassen von Kameradaten, welche die jeweilige Person (12) abbilden, eine Prozessoreinrichtung (22) und einen damit gekoppelten Datenspeicher (24), wobei die Überwachungseinrichtung (18) zum Ausführen eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist.
Kraftfahrzeug (10), aufweisend eine Kamera (14), die zum Aufnehmen eines Fahrzeuginsassen (12) in einen Fahrzeuginsassenraum ausgerichtet ist, und eine Überwachungseinrichtung (18) nach Anspruch 9.