DE102008007152B4 - Verfahren zur Parametrisierung des Augenöffnungsgrades eines Fahrers eines Kraftfahrzeugs - Google Patents

Abstract

Verfahren zur Parametrisierung des von einem Lidschlusssensor bestimmten zeitlichen Augenöffnungsgrades eines Fahrers eines Kraftfahrzeugs mit den Schritten:
- Detektieren von Lidschlägen des Fahrers aus dem Signal des Augenöffnungsgrads mittels einer adaptiven Raumschwelle, wobei die adaptive Raumschwelle durch einen gleitenden Mittelwert des Augenöffnungsgradsignals besteht, und wobei neue Werte mit großen Differenzen zum aktuellen gleitenden Mittelwert über eine Dämpfungsfunktion geringer gewichtet in die Mittelwertbildung eingehen als neue Werte mit geringeren Differenzen zum aktuellen gleitenden Mittelwert,
- Markieren der detektierten Lidschläge als vermutete Lidschläge,
- Bestimmen vorgegebener Lidschlagparameter aus den vermuteten Lidschlägen,
- Fusionierung korrespondierender vermuteter Lidschläge aus linkem und rechtem Auge zu einem finalen Lidschlag, wobei die Fusionierung korrespondierender Lidschläge auf der Ebene der Lidschlagparameter erfolgt und ein finaler Lidschlag entweder aus dem rechten oder linken Auge stammt, und
- Berechnen statistischer Kennwerte aus den Parametern finaler Lidschläge.

Description

• Die Erfindung betrifft ein Verfahren zur Parametrisierung des Augenöffnungsgrades von Lidschlägen eines Fahrers eines Kraftfahrzeugs, so dass die parametrisierten Daten als Grundlage zur weiteren Bearbeitung bei der Bestimmung des Fahrerzustandes dienen können.
• Die Müdigkeit eines Führers eines Kraftfahrzeugs und die dadurch begründete verringerte Aufmerksamkeit, verringerte Reaktionsbereitschaft oder gar ein Einschlafen des Fahrers während einer Fahrt bildet eine der zentralen Unfallursachen im Straßenverkehr. So werden je nach Studie bei der statistischen Analyse aus der Unfallforschung 5 % bis 25 % der Fahrzeugunfälle auf Müdigkeit zurückgeführt. Müdigkeitsunfälle führen darüber hinaus tendenziell zu einem höheren Verletzungsgrad.
• Dies führt zur Entwicklung von insbesondere in Fahrerassistenzsystemen eines Kraftfahrzeugs eingesetzten Verfahren und Vorrichtungen zur Detektion und Bewertung des Fahrerzustands sowie zur nachfolgenden Ausgabe einer Warnung oder sonstigem aktivem Eingreifen in das Fahrtgeschehen.
• Aus der DE 10 2004 022 581 A1 ist ein Fahrerassistenzsystem bekannt, bei dem aus einer Vielzahl von Daten Parameter abgeleitet werden, mit deren Hilfe die Ermüdung eines Fahrzugführers beschrieben und/oder klassifiziert werden kann. Als Datenquellen kommen dabei erstens physiologische und behavoriale Daten des Fahrzeugführers, zweitens Fahrleistungs- und Fahrzeugdaten und drittens Umfelddaten in Betracht. Zu den physiologischen und behavorialen Daten gehören u.a. Augendaten, Lidschlussdaten, Blickrichtungsdaten, Hautwiderstandsdaten, Hirnaktivität, Pulsfrequenz, Mimikdaten etc. Zu den Fahrleistungs- und Fahrzeugdaten gehören Parameter wie beispielsweise der Lenkwinkel und dessen zeitliche Änderung , der Gierwinkel und dessen zeitliche Änderung, die Geschwindigkeit des Fahrzeugs, sowie die Stellung von Gas- und/oder Bremspedal. Ferner gehören zu den Umfelddaten Parameter wie Fahrspur, Fahrbahn, Licht- und Witterungsverhältnisse, Jahreszeit und Uhrzeit, usw. Dabei werden sinnvollerweise nicht alle diese Parameter im Fahrzeug erfasst.
• Die Druckschrift US 2006/0204042 A1 offenbart ein Verfahren und ein System zum Monitoren eines Auges einer Person, um das Schließen des Auges zu detektieren. Dabei umfasst das System eine Videokamera, die zum Generieren von Bildern des Gesichts der Person geeignet ist. Weiterhin umfasst das System einen Videoprozessor zum Bearbeiten der von der Videokamera generierten Bilder. Mittels eines Kantendetektors werden Kanten des Auges in den Bild ermittelt, aus denen horizontale erste und zweite Linien erzeugt werden, die die Augenkanten repräsentieren. Aus dem Abstand zwischen den beiden Linien wird der Zustand des Auges ermittelt, d.h. der Öffnungsgrad.
• Die Druckschrift JP 11066304 A beschreibt eine Vorrichtung zum Erzeugen eines Gesichtsbildes, aus dem stabil und verlässlich das Öffnen und Schließen von Augen über eine lange Zeit detektiert wird, selbst wenn der Abstand zwischen der fotografierten Person und der Kamera bzw. die Richtung des Gesichts sich ändert.
• Die Druckschrift US 2003/0169907 A1 beschreibt ein Verfahren zur Bestimmung der Blickrichtung einer Person mit den Schritten: (a) Erfassen mindestens eines Abbildes der Person und Bestimmung des Ausrichtwinkels des Kopfes der Person, (b) Verwenden des Ausrichtwinkels des Kopfes, um eine erwartete Augenposition der Person zu lokalisieren, und (c) analysieren der erwarteten Augen Position, um zumindest ein Auge der Personen zu lokalisieren und Beobachten der Lokalisation des Auges, um die Blickrichtung zu bestimmen.
• Die Druckschrift WO 2006/092022 A1 offenbart ein Verfahren zum Bestimmen der Schläfrigkeit insbesondere eines Kraftfahrzeugführers. Dabei wird das Verhältnis von Lidschlussamplitude zu Lidschlussgeschwindigkeit sowie die Dauer des Öffnen und Schließens eines Auges ermittelt. Aus dem Verhältnis der Lidschlussamplitude zu Lidschlussgeschwindigkeit wird auf die Schläfrigkeit des Fahrers geschlossen.
• Die Druckschrift US 6 078 857 A beschreibt eine Vorrichtung zur Bestimmung eines Veränderungsmusters, welches zur Bestimmung eines Fahrerverhaltens geeignet ist, mittels eines neutralen Netzwerks und Fuzzy-Interferenzen.
• Die Druckschrift US 5 805 720 A offenbart ein System zum Verarbeiten eines Gesichtsabbildes eines Fahrers eines Kraftfahrzeugs, wobei aus den Zuständen „Offen‟ und „Geschlossen“ der Augen des Fahrers auf dessen Müdigkeit oder Schläfrigkeit geschlossen wird.
• Allgemein gilt, dass bei derartigen System die Daten der verschiedenen Sensorsysteme zur Detektion des Fahrerzustandes und zur Vorhersage von Einschlafereignissen algorithmisch aufbereitet werden, wobei verschiedene Methoden zur Mustererkennung und Algorithmusentwicklung verwendet werden. Beispielsweise wird die multiple Regression zur Vorhersage einer kontinuierlichen Größe wie dem Müdigkeitsgrad oder die logistische Regression zur Bestimmung der Einschlafwahrscheinlichkeit verwendet. Andere Herangehensweisen sind die Anwendung eines C5-Entscheidungsbaums oder die Grenzwertanalyse, bei der die gleichzeitige Überschreitung von Schwellwerten vorgegebener Parameter einen kritischen Zustand bestimmen.
• Als besonders aussagekräftig zur Detektion der Fitness bzw. der Müdigkeit eines Fahrers eines Kraftfahrzeugs erweisen sich beobachtbare Augendaten. Dies sind beispielsweise Lidschlag und Lidschlagdauer, Anzahl der Lidschläge pro Minute und Ableitungen davon wie die Lidschlussgeschwindigkeit. Allerdings ist eine genaue Prognose der Müdigkeit des Fahrers aus den Lidschlussdaten schwierig.
• Es ist daher eine Aufgabe der Erfindung die Augendaten so aufzubereiten, dass sie zur Müdigkeitsprognose des Fahrers eines Kraftfahrzeugs eingesetzt werden können.
• Diese Aufgabe wird durch eine Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Bevorzugte Ausführungsformen der Erfindung sind Gegenstand der Unteransprüche.
• Das erfindungsgemäße Verfahren zur Parametrisierung des von einem Lidschlusssensor bestimmten zeitlichen Augenöffnungsgrades eines Fahrers eines Kraftfahrzeugs weist die folgenden Schritte auf:
• - Detektieren von Lidschlägen des Fahrers aus dem zeitlichen Signal des Augenöffnungsgrades mittels einer adaptiven Raumschwelle, wobei die adaptive Raumschwelle durch einen gleitenden Mittelwert des Augenöffnungsgradsignals besteht, und wobei neue Werte mit großen Differenzen zum aktuellen gleitenden Mittelwert über eine Dämpfungsfunktion geringer gewichtet in die Mittelwertbildung eingehen als neue Werte mit geringeren Differenzen zum aktuellen gleitenden Mittelwert,
• - Markieren der detektierten Lidschläge als vermutete Lidschläge,
• - Bestimmen vorgegebener Lidschlagparameter aus den vermuteten Lidschlägen,
• - Fusionierung von vermuteten Lidschlägen aus linkem und rechtem Auge zu einem finalen Lidschlag, wobei die Fusionierung korrespondierender Lidschläge auf der Ebene der Lidschlagparameter erfolgt und ein finaler Lidschlag entweder aus dem rechten oder linken Auge stammt,
• - Berechnung statistischer Kennwerte aus den Parametern finaler Lidschläge.
• Dabei wird ein vermuteter Lidschlag eines rechten oder linken Auges auch als Event oder Lidschlagevent bezeichnet, um auszudrücken, dass ein gemessenes Event noch nicht als Lidschlag verifiziert wurde.
• Vorzugsweise wird das zeitliche Signal des Augenöffnungsgrades vor dem Lidschlag-Detektionsschritt einer Filterung und Glättung unterzogen. Dabei können insbesondere die von dem Sensor als invalide markierten Werte zusammen mit weiteren Ausreißern gelöscht werden, und das Signalrauschen kann über eine Glättungsfunktion gedämpft werden.
• Vorzugsweise wird im Detektionsschritt dann ein Lidschlag vermutet, wenn die Differenz zwischen dem Signal des Augenöffnungsgrads und der adaptiven Raumschwelle größer als ein vorgegebenes Maß ist. So kann das vorgegebene Maß beispielsweise darin bestehen, dass ein Lidschlag immer dann vermutet wird, wenn eine in der Amplitude um 20% verminderte adaptive Raumschwelle vom eigentlichen Signal des Augenöffnungsgrads unterschritten wird.
• Als bevorzugte Lidschlagparameter werden der Beginn des Lidschlusses, das Ende des Lidschlusses, der Beginn des Lidöffnens und das Ende des Lidöffnens bestimmt. Ferner können für die Lidschlussphase und für die Lidöffnungsphase jeweils die Maximalgeschwindigkeit des Lides bestimmt werden, die Ladschlagdauer geschätzt werden, und als weiterer Parameter kann ein Maß für die Güte des Signals ermittelt werden.
• Es wird als adaptive Raumschwelle ein gleitender Mittelwert des Augenöffnungsgradsignals verwendet, wobei neue Signalwerte mit großen Differenzen zum aktuellen gleitenden Mittelwert über eine Dämpfungsfunktion geringer gewichtet in die im Mittelwertbildung eingehen können als neue Werte mit geringen Differenzen zum aktuellen gleitenden Mittelwert. Vorzugsweise kann die adaptive Raumschwelle mittels eines Ringpuffers mit einer vorgegebenen Länge berechnet werden.
• Ferner erfolgt die Fusionierung korrespondierender vermuteter Lidschläge auf der Ebene der Lidschlagparameter. Indem nicht auf Signal- sondern auf Parameterebene zusammengeführt wird, wird erreicht, dass der Informationsgehalt durch Mittelung über die Signalverläufe nicht beeinträchtigt wird.
• Ein finaler Lidschlag stammt entweder aus dem rechten oder dem linken Auge, d.h., die Fusionierung führt zu keiner Zusammenfassung der Parametern des linken und des rechten Auges, sondern es wird aus korrespondierenden Lidschlägen jeweils derjenige Lidschlag mit dem besseren Parametersatz für die weitere Verarbeitung verwendet.
• Weiter bevorzugt ist, dass aus den Parametern der finalen Lidschläge oder der finalen Lidschlagevents statistische Kennwerte berechnet werden, insbesondere kann für jeden Lidschlagparameter eines finalen Lidschlags die statistischen Kennwerte Mittelwert, Maximum und Minimum, sowie Standardabweichung berechnet werden. Um eine Aussage über den zeitlichen Verlauf der finalen Lidschläge treffen zu können, werden die statistischen Kennwerte für jeden finalen Lidschlag über die statistischen Kennwerte aller diejenigen finalen Lidschläge berechnet, die innerhalb eines vorbestimmten Zeitfensters liegen. Ein derartiges Zeitfenster kann beispielsweise ein 60 Sekunden-Intervall sein.
• Eine bevorzugte Ausführungsform der Erfindung wird nachfolgend anhand der Zeichnungen dargestellt, dabei zeigt
• 1 eine schematische Darstellung eines Systems zur Bestimmung des Aktivitätsmusters eines Fahrers eines Kraftfahrzeugs,
• 2 eine Darstellung des zeitlichen Signal des Augenöffnungsgrads sowie der adaptiven Raumschwelle mit Unterschreitung,
• 3 die Parametrisierung eines Lidschlags,
• 4 die Berechnung der Kennwerte finaler Lidschläge innerhalb eines vorgegebenen Zeitfensters,
• 5 die Integration zweier Eventlisten für linkes und rechtes Auge in vorgegebene Matrizen, und
• 6 ein Beispiel einer Dämpfungsfunktion zur Berechnung der adaptiven Raumschwelle.
• 1 verdeutlicht in Form eines Blockschaltbilds die Funktionsweise eines Systems zur Bestimmung eines Aktivitätsmusters eines Fahrers eines Kraftfahrzeugs, wie es beispielsweise in Fahrerassistenzsystemen eingesetzt werden soll. Die Daten eines Lidschlußsensors 1 werden einer Parametrisierung 2 zugeführt, die Gegenstand dieser Erfindung ist. Eine geeignete Parametrisierung ist notwendig, um die Daten auswerten zu können. Die nunmehr parametrisierten Daten werden dann von einer Prognoseeinheit 3 ausgewertet. Aufgrund der Auswertung entscheidet ein weiteres Modul Warnentscheidung 4, ob eine Warnung über ein HMI 5 (Human-Maschine-Interface) dem Fahrer zugeführt wird.
• Der Lidschlusssensor 1 liefert den Verlauf des Augenöffnungsgrads in Millimetern als Funktion der Zeit sowie einen situativen Statuswert. Der situative Statuswert hilft zu differenzieren, ob sich eine Person im Bereich des Sensors befindet, ob ihre Augen gerade geschlossen sind oder ob sich der Kopf aus dem Erfassungsbereich für die Augen heraus bewegt hat. Die gemessenen Daten des Lidschlusssensors 1 müssen vor der eigentlichen Nutzung noch aufbereitet werden. Dies geschieht im Funktionsbereich der Parametrisierung.
• Die Parametrisierung der Daten des Augenöffnungsgrads über die Zeit ist eine aufwendige Prozedur und lässt sich in mehrere Teilschritte zerlegen, die sukzessiv durchlaufen werden. Am Anfang steht die Filterung und Glättung des Rohsignals. Dabei werden die von dem Sensor als invalide markierten Werte zusammen mit gegebenenfalls weiteren Ausreißern gelöscht. Weiterhin wird das Signalrauschen über eine Glättungsfunktion gedämpft. Danach wird auf dem so aufbereiteten Signal nach Lidschlägen gesucht, wobei als Detektionsprinzip der Lidschläge eine adaptive Raumschwelle berechnet wird, die aus einem gleitenden Mittelwert des Signals besteht, wobei neue Werte mit großen Differenzen zum aktuell gleitenden Mittelwert über eine Dämpfungsfunktion geringer gewichtet in die Mittelwertbildung eingehen, als es neue Werte mit geringen Differenzen tun. Ein Lidschlag wird immer dann vermutet, wenn eine in der Amplitude vorgegebenes Maß, insbesondere 20%, verminderte adaptive Raumschwelle vom eigentlichen Signal des Augenöffnungsgrads unterschritten wird. Derartige Unterschreitungen der adaptiven Raumschwelle werden durch das Setzen eines Unterschreitungs-Flag im Zeitverlauf markiert.
• Dieser Zusammenhang ist in 2 dargestellt, die den Augenöffnungsgrad A eines Auges, beispielsweise in mm, als Funktion der Zeit t darstellt. Der zeitliche Verlauf des Augenöffnungsgrades A ist hier im Beispiel durch die das Messsignal darstellende Kurve S wiedergegeben. Weiterhin zeigt Kurve R1 die aus den Augenöffnungsgradsignalen der Kurve S errechnete adaptive Raumschwelle und Kurve R2 zeigt die um 20% abgesenkte und als untere Schwelle zur Detektion eines Lidschlags verwendete abgesenkte Raumschwelle. Deutlich zu erkennen ist der Signalverlauf in a, der die untere Schwelle deutlich unterschreitet, so dass ein als grauer Kasten dargestelltes Unterscheidungs-Flag gesetzt wird. Gleiches gilt für die Lidschlagvermutungen b und c. Die so in 2 markierten Zeitverläufe, d.h. vermutete Lidschläge, wird im nächsten Schritt der Verarbeitung eine Parametrisierung vorgenommen, d.h., es wird der Versuch unternommen, die detektierten Lidschlagkandidaten a, b, c hinsichtlich einer Gruppe von Eigenschaften zu beschreiben. Die Beschreibung dieser Eigenschaften eines Lidschlags ist die eigentliche Aufgabe der Parametrisierung. Zur Unterscheidung von validierten Lidschlägen, werden die Signalverläufe in a, b, c, d.h. die Lidschlagvermutungen, auch als Events oder Lidschlagevents bezeichnet.
• 3 zeigt den Signalverlauf für rechtes SR und linkes Auge SL und einen parametrisierten Lidschlag. Die gepunkteten Linien in der nach rechts im Bild zum Lidschlag verschobenen Absenkung zeigen den Verlauf der um 20% verminderten adaptiven Raumschwellen R2R und R2L. Beginn und Ende des Lidschlags sind mit vertikalen Linien markiert und sind in 3 mit BS (Beginn des Schließens) und EÖ (Ende des Öffnens) bezeichnet. Sie werden über streng monoton steigende Signalverläufe um das lokale Minimum herum ermittelt. Die zwei inneren Marker entsprechen dem Ende des Schließens ES und den Beginn des Öffnens BÖ und spiegeln als Dauer die Verzögerungszeit wieder, in der das Auge geschlossen bleibt. Ende des Schließens ES und Beginn des Öffnens BÖ werden um das lokale Minimum zwischen Beginn des Schließens BS und Ende des Öffnens EÖ gesucht. Dabei werden entweder über ein Absinken der Geschwindigkeit des Signalverlaufs oder durch eine Raumschwelle, die durch das lokale Minimum plus einem konstanten Wert definiert wird, die Zeitpunkte für das Ende des Schließens und den Beginn des Öffnens bestimmt.
• Eine Vielzahl von weiteren Parametern kann nach der Bestimmung der vier charakterisierenden Zeitpunkte, wie in 3 dargestellt, bestimmt werden. Als Beispiel werden für die Phase des Schließens und die Phase des Öffnens Maximalgeschwindigkeiten des Lids bestimmt und die Lidschlagdauer geschätzt. Zur Schätzung wird die Dauer zwischen den zwei Orten maximaler Geschwindigkeit verwendet, wodurch die Lidschlagdauer unterschätzt wird, sowie die Zeit zwischen Beginn des Schließens und Ende des Öffnens verwendet, die eine tatsächliche Lidschlussdauer überschätzt. Ferner werden Amplituden für das Schließen und Öffnen im Bezug zum lokalen Minimum bestimmt.
• Weiterhin wird ein Maß für die vorhandene Signalgüte ermittelt. So werden beispielsweise die Ausdehnung der größten Datenlücke und der Abstand zum letzten validen Messzeitpunkt vor dem Beginn des Lidschlags ermittelt, um eine Bewertung der Parametrisierungsgüte zu berechnen. Eine Bewertungheuristik vergibt für Abweichungen von Normgrößen auf viele der erhobenen Eigenschaften eines detektierten Lidschlags einen Abzug der Signalgüte. Geht man beispielsweise von einem initialen Konfidenzwert, d.h. Gütewert, von 100 Punkten aus, so kann von diesem Konfidenzwert für abweichende Eigenschaften summativ Strafpunkte abgezogen werden, um ein realistisches Maß für die Signalgüte zu erhalten.
• Die bewerteten Lidschläge stammen aus den Signalverläufen für linkes SL und rechtes Auge SR und werden innerhalb des Parametrisierungsblocks 2 der 1 als weiteren Schritt der Datenaufbereitung monokularisiert. Die Monokularisierung verbindet korrespondierende Lidschläge aus linkem und rechtem Auge zu einem finalen Lidschlag, der auch als finales Lidschlagevent bezeichnet wird. Dadurch, dass die Signale auf Parameterebene zusammen geführt werden, und nicht auf Signalebene, wird eine Verminderung des Informationsgehalts durch Mittelung der Signalverläufe vermieden. Dabei wird nach einer Entscheidungsregel, die später beschrieben werden wird, für den besser parametrisierten Datensatz eines korrespondierenden Lidschlagpaars entschieden.
• Liegt allerdings kein korrespondierendes Lidschlagpaar vor, sondern nur ein monokular parametrisierter Lidschlag, geht dieser mit einem weiteren Abschlag auf seinen Konfidenzwert, d.h., der Messgüte, in die Liste der finalen Lidschläge ein. Nur finale Lidschläge, die eine vorgegebene Konfidenz, beispielsweise hier mit einem Wert von 40 oder mehr Punkten, werden als valide Lidschläge oder finale Lidschlagevents klassifiziert und in der weiteren Berechnung verwendet.
• Schließlich werden für den Funktionsbereich des Prognoseblocks 3 der 1 aus den Parametern der finalen Lidschläge statistische Kennwerte berechnet. Durch die Bildung von statistischen Kennwerten können verschiedene Aspekte von Veränderungen über die Zeit abgebildet werden. Voraussetzung dafür ist ein Zeitfenster, welches aggregiert werden kann. Daher werden für jeden aktuellen finalen Lidschlag die Kennwerte über alle finalen Lidschlagevents berechnet, die innerhalb eines in der Vergangenheit reichendes Zeitfensters vorgegebener Länge, beispielsweise von 60 Sekunden, liegen.
• In 4 ist schematisch dargestellt, wie ausgehend von dem aktuellen finalen Lidschlag Fl_a die in dem Zeitintervall Z von beispielsweise 60 Sekunden zurückliegenden vier weiteren finalen Events Fl_a-1 , Fl_a-2 , Fl_a-3 zur Berechnung der Kennwerte verwendet werden. Eine derartige Vorgehensweise wird auch als Moving Window bezüglich der Kennwertbildung bezeichnet.
• Die so parametrisierten finalen Lidschläge mit ihren Kennwerten bilden einen Datenraum, auf dem die Funktionseinheit Prognose 3 mit ihren Algorithmen zugreift. Da dies nicht Gegenstand dieser Erfindung ist, wird darauf an dieser Stelle nicht eingegangen.
• Bei der bereits angesprochenen Monokularisierung von Lidschlägen handelt es sich um eine Fusionierung binokularer Lidschläge zu einem repräsentativen oder finalen Lidschlag. Dabei liegen Anfangs- und Endzeitpunkte, eine Konfidenzschätzung der Messgüte, Amplituden und Dauern für Lidschläge aus linkem und rechtem Auge vor. Die Schwierigkeit der Monokularisierung der Lidschläge besteht in der eindeutigen Zuordnung von korrespondierenden Lidschlägen des rechten und des linken Auges, deren Anfangs- und Endzeiten von einander abweichen.
• Ziel der Integration ist die Entscheidung, welche Lidschlagevents in die endgültige Eventliste eingehen. Diese Events der endgültigen Eventliste werden als finale Events oder finale Lidschläge bezeichnet und stammen jeweils entweder aus dem linken oder rechten Auge. Die unabhängig voneinander erstellten Eventlisten aus den Daten und Parametern des linken und rechten Auges werden unter folgenden Annahmen zusammengefügt:
1. 1. Events, die in den Messwerten beider Augen gepaart auftreten, haben eine höhere Messgüte als Events, die nur in einem Signal zu finden sind.
2. 2. Bei der Entscheidung zwischen gepaarten Events mit unterschiedlicher Messgüte wird das Event mit der höheren Messgüte gewählt, also entweder linkes oder rechtes Auge.
3. 3. Bei der Entscheidung zwischen gepaarten Events mit gleicher Messgüte wird das Event mit der deutlichen Amplitude gewählt.
4. 4. Bei der Entscheidung zwischen gepaarten Events mit gleicher Messgüte und gleicher Amplitude wird zufällig entschieden.
5. 5. Überlappungen von Events in der zusammengeführten gemeinsamen Eventliste widersprechen einer eindeutigen Zuordnung und werden über die Messgüte gefiltert.
• Die Integration der beiden oben angesprochenen Eventlisten erfolgt über zwei Matrizen mit gleicher Dimension der erzeugten Eventlisten hinsichtlich der Zeilen und je drei Spalten, wie dies in 5 dargestellt ist. Die Bezeichnungen der zwei Matrizen in 5 sind repoint und lipoint. Für die Matrize repoint wird geprüft, welcher Startzeilen von Events aus den Daten des linken Auges innerhalb der Dauer eines Events aus den Daten des rechten Auges liegen. Der Index des so gefundenen Events (Lidschlags links) wird in die erste Spalte von repoint geschrieben. Gleichzeitig wird der korrespondierende Index der Events rechts in die zweite Spalte von lipoint geschrieben. Der soeben beschriebene Prozess bildet ausgehend von den Daten des rechten Auges, innerhalb der eigenen Dauern liegende Events des linken Auges auf die Matrix repoint ab. Gleiches wird dann auch mit lipoint ausgehend von den Daten des linken Auges durchgeführt.
• Liegen bei einer der beiden Abbildungsprozesse für lipoint und repoint mehrere Events des einen Auges innerhalb der Dauer eines Events des anderen Auges, greift eine Sonderregelung. Die jeweilige Matrix, von der ausgegangen wird, bekommt für nicht eindeutig zuweisende korrespondierende Events ein Flag in die erste Spalte geschrieben, hier im Beispiel NaN und die Liste der beginnenden Events innerhalb der Dauer des anderen Auges werden in der anderen Matrix mit dem aktuellen Index markiert, aber zusätzlich über die dritte Spalte der Matrix ausgestrichen. Damit wird verhindert, dass fragmentierte Minievents als nicht gepaarte Einzelevents in die finale Liste übernommen werden. Nur das umfassende Event soll fortgeschrieben werden.
• Aus den Matrizen lipoint und repoint wird eine weitere Matrix aufgespannt, die wiederum drei Spalten aufweist. Sie dient als eine Art Schnittdefinition, anhand derer die resultierende gemeinsame Eventliste zusammengestellt wird. Die erste Spalte trägt die Information, aus welcher der zwei Eventlisten ein finales Element stammt. In der zweiten Spalte steht der ursprüngliche Index eines finalen Events. In der dritten Spalte steht nun, ob das finale Event gepaart aufgetreten ist.
• Um die Schnittinformation zu erstellen, werden lipoint und repoint nacheinander auf der neuen Matrix abgebildet, indem bei gepaart vorliegenden Events dasjenige Event mit der höheren Konfidenz oder bei ungepaart vorliegenden Events eben dieses eingeht. Da die Matrizen lipoint und repoint teilweise redundante Information enthalten, wird jedes übertragene Event in lipoint und gegebenenfalls in repoint ausgestrichen, wobei Ausstreichen hier meint, dass eine 1 in die entsprechende Spalte 3 geschrieben wird. Es werden folglich nur Events in die Schnittliste übertragen, deren Flag in Spalte 3 nicht auf 1 gesetzt wurde. Die gemeinsame Eventliste wird dann aus den unabhängigen Eventlisten für rechte und linke Augen anhand der erstellten Schnittinformation zusammengestellt. Die bereits geschätzte Messgüte wird für nicht gepaarte Events noch einmal um ein vorgegebenes Maß, vorzugsweise 10 Punkte, nach unten korrigiert. Abschließend werden die in der finalen Gesamtliste verbliebenen Überschneidungen von Events korrigiert, indem das Event mit einem geringeren Wert der geschätzten Messgüte oder einer geringeren Dauer über eine deutliche Absenkung in besagter Messgüte einer nachgeschalteten Filterung erliegt.
• Im folgende wird die bereits im Vorgegangenen angesprochene adaptive Raumschwelle genauer beschrieben. In der konkreten Ausführungsform wird die adaptive Raumschwelle über einen kleinen Ringpuffer von 50 Werten berechnet, wobei andere Längen des Ringpuffers möglich sind. Dabei wird jeder neue Wert des Ausgangssignals nach einer Anlaufphase mit zunehmender Differenz zum aktuellen Schwellenwert um eine Dämpfungsfunktion vermindert in den Ringpuffer eingeht. Die adaptive Raumschwelle ist der Mittelwert der durch die Dämpfungsfunktion behandelten Werte des Ringpuffers. In der Anlaufphase der ersten 50 Werte füllt sich der Ringpuffer und überschreibt erst nach der kompletten Befüllung das älteste Datum mit dem jeweils aktuell eingehenden gedämpften neuen Wert. Die Modifikation des Ausgangssignals über die quadratische Dämpfungsfunktion bleibt hinsichtlich ihrer ursprünglichen Ausrichtung durch den Multiplikator Richtung, der den Wert +1 oder -1 haben kann, erhalten.
• Die 6 zeigt ein Beispiel einer Dämpfungsfunktion. Auf der X-Achse sind die Differenzen zwischen neuem Wert und Raumschwelle aufgezeichnet. Auf der Y-Achse ist die Größe aufgezeichnet, um die der neue Wert vermindert in den Ringpuffer und damit in die Berechnung der Raumschwelle eingeht. Bei Differenzen > 10 mm wird dafür gesorgt, dass sich die Dämpfungsfunktion nicht in ihr Gegenteil verkehrt und den resultierenden Wert gegen seine ursprüngliche Richtung auslenkt.
• Die Berechnung erfolgt auf folgende Weise: $$Ringpuffe{r}_{aktuell}=neuerWert+Richtung\cdot Dämpfung$$

  

  $$Dämpfung=\frac{{\left(adaptativeRaumschwelle-neuerWert\right)}^2}{10};\text{ mindestens jedoch }\mathrm{0,1}$$

  
• Es ergibt sich eine adaptive Raumschwelle wie folgt: $$adaptativeRaumschwelle=\frac{{\displaystyle \sum _{x=1}^{50}Ringpuffer\left(x\right)}}{50}$$

  
• Der so entstehende gedämpfte gleitende Mittelwert von 50 Werten über das Ausgangssignal passt sich auf diese Weise dynamisch an einen sich durch die Blickhöhe des Fahrers ändernden Augenöffnungsgrad an. Signal-Artefakte, wie beispielsweise Mess- und Quantifizierungsrauschen werden über diese Mittelung unterdrückt.
• Zur Detektion von Lidschlägen wird die adaptive Raumschwelle um 20% Punkte abgesenkt. Die abgesenkte adaptive Raumschwelle verläuft unterhalb des Augengradöffnungssignals und wird nur innerhalb von Lidschlägen vom Ausgangssignal unterschritten.
• Bezugszeichenliste

1

Lidschlusssensor

2

Parametrisierung

3

Prognose

4

Wamentscheidung

5

HMI (Human Maschine Interface)

A

Augenöffnungsgrad

R1

adaptive Raumschwelle

R2

abgesenkte adaptive Raumschwelle

S

Signalverlauf des Augenöffnungsgrades

SL

Signalverlauf linkes Auge

SR

Signalverlauf rechtes Auge

R2L

abgesenkte adaptive Raumschwelle linkes Auge

R2R

abgesenkte adaptive Raumschwelle rechtes Auge

BS

Beginn des Schließens

ES

Ende des Schließens

BÖ

Beginn des Öffnens

EÖ

Ende des Öffnens

Z

Zeitfenster

Fla

aktuelles finales Lidschlagevent

FLa-1

erstes vorheriges Lidschlagevent

FLa-2

zweites vorheriges Lidschlagevent

Fla-3

drittes vorheriges Lidschlagevent

lipoint

Matrix

repoint

Matrix

Claims (6)

1. Verfahren zur Parametrisierung des von einem Lidschlusssensor bestimmten zeitlichen Augenöffnungsgrades eines Fahrers eines Kraftfahrzeugs mit den Schritten: - Detektieren von Lidschlägen des Fahrers aus dem Signal des Augenöffnungsgrads mittels einer adaptiven Raumschwelle, wobei die adaptive Raumschwelle durch einen gleitenden Mittelwert des Augenöffnungsgradsignals besteht, und wobei neue Werte mit großen Differenzen zum aktuellen gleitenden Mittelwert über eine Dämpfungsfunktion geringer gewichtet in die Mittelwertbildung eingehen als neue Werte mit geringeren Differenzen zum aktuellen gleitenden Mittelwert, - Markieren der detektierten Lidschläge als vermutete Lidschläge, - Bestimmen vorgegebener Lidschlagparameter aus den vermuteten Lidschlägen, - Fusionierung korrespondierender vermuteter Lidschläge aus linkem und rechtem Auge zu einem finalen Lidschlag, wobei die Fusionierung korrespondierender Lidschläge auf der Ebene der Lidschlagparameter erfolgt und ein finaler Lidschlag entweder aus dem rechten oder linken Auge stammt, und - Berechnen statistischer Kennwerte aus den Parametern finaler Lidschläge.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Signal des Augenöffnungsgrades als Funktion der Zeit vor dem Schritt Detektieren von Lidschlägen einer Filterung und Glättung unterzogen wird.
3. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass im Detektionsschritt ein Lidschlag vermutet wird, wenn die Differenz zwischen dem Signal des Augenöffnungsgrades und der adaptiven Raumschwelle größer als ein vorgegebenes Maß ist.
4. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass als Lidschlagparameter zumindest der Beginn des Lidschlusses, das Ende des Lidschlusses, der Beginn des Lidöffnens und das Ende des Lidöffnens bestimmt werden.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass für die Lidschlussphase und für die Lidöffnungsphase jeweils die Maximalgeschwindigkeit des Lides bestimmt, die Lidschlagdauer geschätzt und ein Maß für die Güte des Signals ermittelt wird.
6. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die adaptive Raumschwelle mittels eines Ringpuffers mit einer vorgegebenen Länge berechnet wird. 7. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass für jeden Lidschlagparameter eines finalen Lidschlages die statistischen Kennwerte Mittelwert, Maximum, Minimum und Standardabweichung berechnet werden. 8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass für jeden finalen Lidschlag die statistischen Kennwerte über alle diejenigen finalen Lidschläge berechnet werden, die innerhalb eines vorbestimmten Zeitfensters liegen.

Images