DE102008007149B4

DE102008007149B4 - Verfahren und Vorrichtung zum Erzeugen, Steuern und Auslösen eines Warnsignals in einem Kraftfahrzeug

Info

Publication number: DE102008007149B4
Application number: DE102008007149.8A
Authority: DE
Inventors: Torsten Karnahl; Hartwig Distler; Thorb Baumgarten
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2007-03-30
Filing date: 2008-01-31
Publication date: 2019-05-02
Anticipated expiration: 2028-02-01
Also published as: DE102008007149A1

Abstract

Verfahren zum Erzeugen, Steuern und Auslösen eines Warnsignals in einem Kraftfahrzeug zur Gewährleistung der Aufmerksamkeit des Fahrers mit den folgenden Schritten:
- Bestimmen einer ersten Aufmerksamkeitsgröße des Fahrers mittels einer ersten Analyse des Lidschlages des Fahrers, wobei die erste Analyse des Lidschlages das zeitliche Verhalten des Augenöffnungsgrades des Fahrers betrifft,
- Bestimmen einer zweiten Aufmerksamkeitsgröße des Fahrers mittels einer zweiten Analyse des Lidschlages des Fahrers, wobei die zweite Analyse des Lidschlages die Schließdauer der Augenlider des Fahrers bestimmt,
- Bestimmen eines Aktivitätsmusters des Fahrers anhand von Fahr- und Fahrzeugdaten und Klassifizieren des Fahrerzustands mittels des Aktivitätsmusters in aktiv oder inaktiv,
- Lancieren einer Warnung als Funktion der ersten Aufmerksamkeitsgröße,
- Lancieren einer Warnung als Funktion der zweiten Aufmerksamkeitsgröße,
- Auslösen der lancierten Warnung, wenn mittels des Aktivitätsmusters der Fahrer als inaktiv klassifiziert ist, und Unterdrücken der lancierten Warnung, wenn der Fahrer als aktiv klassifiziert ist.

Description

Die Erfindung betrifft ein Verfahren zum Erzeugen, Steuern und Auslösen eines Warnsignals in einem Kraftfahrzeug zur Gewährleistung der Aufmerksamkeit des Fahrers sowie eine entsprechende Vorrichtung.
Die Müdigkeit eines Führers eines Kraftfahrzeugs und die dadurch begründete verringerte Aufmerksamkeit, verringerte Reaktionsbereitschaft oder gar ein Einschlafen des Fahrers während einer Fahrt bildet eine der zentralen Unfallursachen im Straßenverkehr. So werden je nach Studie bei der statistischen Analyse aus der Unfallforschung 5 % bis 25 % der Fahrzeugunfälle auf Müdigkeit zurückgeführt. Müdigkeitsunfälle führen darüber hinaus tendenziell zu einem höheren Verletzungsgrad.
Dies führt zur Entwicklung von Verfahren und Vorrichtungen zur Detektion und Bewertung des Fahrerzustands sowie zur nachfolgenden Ausgabe einer Warnung oder sonstigem aktivem Eingreifen in das Fahrtgeschehen.
Aus der DE 10 2004 022 581 A1 ist ein Fahrerassistenzsystem bekannt, bei dem aus einer Vielzahl von Daten Parameter abgeleitet werden, mit deren Hilfe die Ermüdung eines Fahrzugführers beschrieben und/oder klassifiziert werden kann. Als Datenquellen kommen dabei erstens physiologische und behavioriale Daten des Fahrzeugführers, zweitens Fahrleistungs- und Fahrzeugdaten und drittens Umfelddaten in Betracht. Zu den physiologischen und behaviorialen Daten gehören u.a. Augendaten, Lidschlussdaten, Blickrichtungsdaten, Hautwiderstandsdaten, Hirnaktivität, Pulsfrequenz, Mimikdaten etc. Zu den Fahrleistungs- und Fahrzeugdaten gehören Parameter wie beispielsweise der Lenkwinkel und dessen zeitliche Änderung , der Gierwinkel und dessen zeitliche Änderung, die Geschwindigkeit des Fahrzeugs, sowie die Stellung von Gas- und/oder Bremspedal. Ferner gehören zu den Umfelddaten Parameter wie Fahrspur, Fahrbahn, Licht- und Witterungsverhältnisse, Jahreszeit und Uhrzeit, usw. Dabei werden sinnvollerweise nicht alle diese Parameter im Fahrzeug erfasst.
Die Druckschrift DE 101 51 015 A1 betrifft ein Verfahren und eine Vorrichtung zur Aufmerksamkeitskontrolle eines Kraftfahrzeugführers, umfassend mindestens eine Einrichtung zur Erfassung einer dem Aufmerksamkeitszustand des Kraftfahrzeugführers repräsentierenden Messgröße, wobei bei Überschreitung eines festgelegten Schwellwertes mindestens ein Signalgeber zur Warnung des Kraftfahrzeugführers aktivierbar ist, wobei die Vorrichtung mindestens einen weiteren Sensor zur Erfassung von Fahrbetriebsparametern und/oder eine weitere Einrichtung zur Erfassung einer weiteren den Aufmerksamkeitszustand des Kraftfahrzeugführers repräsentierenden Messgröße umfasst, wobei aufgrund der Messergebnisse des Sensors und/oder der weiteren Einrichtung der Schwellwert der ersten Einrichtung veränderbar ist und/oder die Messergebnisse der ersten und zweiten Einrichtung zur Erfassung einer den Aufmerksamkeitszustand des Kraftfahrzeugführers repräsentierenden Messgröße zu einem Signal verknüpfbar sind.
Die Druckschrift DE 103 52 967 A1 betrifft ein Fahrerassistenzsystem zur Unterstützung der Spurhaltung, bei dem das Fahrerassistenzsystem bei einer bevorstehenden Gefahrensituation eine Warnung einleitet, das dadurch gekennzeichnet ist, dass für die Unterdrückung der Warnung und/oder für die Festlegung der Art der Unterdrückung der Warnung zumindest ein aktueller Fahrzeugzustand berücksichtigt wird.
Die Druckschrift JP 11066304 A beschreibt eine Vorrichtung zum Erzeugen eines Gesichtsbildes, aus dem stabil und verlässlich das Öffnen und Schließen von Augen über eine lange Zeit detektiert wird, selbst wenn der Abstand zwischen der fotografierten Person und der Kamera bzw. die Richtung des Gesichts sich ändert.
Die Druckschrift US 2006/0204042 A1 offenbart ein Verfahren und ein System zum Monitoren eines Auges, um das Schließen des Auges zu detektieren. Dabei umfasst das System eine Videokamera, die zum Generieren von geeignet ist. Weiterhin umfasst das System einen Videoprozessor zum bearbeiten der von der Videokamera generierten Bilder. Mittels eines Kantendetektors werden Kanten des Auges in den Bild ermittelt, aus denen horizontale erste und zweite Linien erzeugt werden, die die Augenkanten repräsentieren. Aus dem Abstand zwischen den beiden Linien wird der Zustand des Auges ermittelt, d.h. der Öffnungsgrad.
Die Druckschrift DE 10 2004 022 581 A1 beschreibt ein Fahrerassistenzsystem, das zur Darstellung einer ermittelten Zustandsinformation, die den Fitnessgrad oder die Müdigkeit des Fahrers angibt, vorgesehen ist, wobei die Darstellung bevorzugt in einer insbesondere farbigen Balkendarstellung erfolgt. Die Information über den Zustand des Fahrers wird anhand einer geeigneten Gewichtung der den Zustand des Fahrers beschreibenden Parameter abgeleitet. Zur Unterstützung der Regeneration des Fahrers ist eine Kurzschlaffunktionalität vorgesehen, die den Fahrer beim Einlegen kurzer Schlafpausen unterstützt.
Die Druckschrift US 4 725 824 A beschreibt ein System zum Warnen eines Arbeiters vor dem Einschlafen. Dabei ermittelt das System ein Parametermuster oder Parameterbereich aus einer Vielzahl von Augenblinken im wachen Zustand und ermittelt Abweichungen von den bekannten Mustern, um ein Warnsignal zu erzeugen.
Die Druckschrift WO 2006/092022 A1 offenbart ein Verfahren zum Bestimmen der Schläfrigkeit insbesondere eines Kraftfahrzeugführers. Dabei wird das Verhältnis von Lidschlussamplitude zu Lidschlussgeschwindigkeit sowie die Dauer des Öffnen und Schließens eines Auges ermittelt. Aus dem Verhältnis der Lidschlussamplitude zu Lidschlussgeschwindigkeit wird auf die Schläfrigkeit des Fahrers geschlossen.
Allgemein gilt, dass bei derartigen System die Daten der verschiedenen Sensorsysteme zur Detektion des Fahrerzustandes und zur Vorhersage von Einschlafereignissen algorithmisch aufbereitet werden, wobei verschiedene Methoden zur Mustererkennung und Algorithmusentwicklung verwendet werden. Beispielsweise wird die multiple Regression zur Vorhersage einer kontinuierlichen Größe wie dem Müdigkeitsgrad oder die logistische Regression zur Bestimmung der Einschlafwahrscheinlichkeit verwendet. Andere Herangehensweisen sind die Anwendung eines C5-Entscheidungsbaums oder die Grenzwertanalyse, bei der die gleichzeitige Überschreitung von Schwellwerten vorgegebener Parameter einen kritischen Zustand bestimmen.
Als besonders aussagekräftig zur Detektion der Fitness bzw. der Müdigkeit eines Fahrers eines Kraftfahrzeugs erweisen sich beobachtbare Augendaten. Dies sind beispielsweise Lidschlag und Lidschlagdauer, Anzahl der Lidschläge pro Minute und Ableitungen davon wie die Lidschlussgeschwindigkeit. Allerdings ist eine genaue Prognose der Müdigkeit des Fahrers aus den Lidschlussdaten schwierig.
Der Erfindung liegt daher die Aufgabe zugrunde ein Verfahren und eine Vorrichtung zum Erzeugen, Steuern und Auslösen von Warnungen zur Gewährleistung der Aufmerksamkeit des Fahrers eines Kraftfahrzeugs zu schaffen, das mittels eines geeigneten Warnkonzepts die Möglichkeit von Falschwarnungen verringert.
Die Aufgabe wird durch eine Verfahren mit den Merkmalen des Anspruchs 1 sowie durch eine Vorrichtung mit den Merkmalen des Anspruchs 12 gelöst. Bevorzugte Ausführungsformen der Erfindung sind Gegenstand der Unteransprüche.
Das erfindungsgemäße Verfahren zum Erzeugen, Steuern und Auslösen eines Warnsignals in einem Kraftfahrzeug zur Gewährleistung der Aufmerksamkeit des Fahrers weist die folgenden Schritte auf:

- Bestimmen eines ersten Aufmerksamkeitsgröße des Fahrers mittels einer ersten Analyse des Lidschlages des Fahrers, wobei die erste Analyse des Liedschlages das zeitliche Verhalten des Augenöffnungsgrades des Fahrers betrifft,
- Bestimmen eines zweiten Aufmerksamkeitsgröße des Fahrers mittels einer zweiten Analyse des Lidschlages des Fahrers, wobei die zweite Analyse des Liedschlages die Schließdauer der Augenlider des Fahrers bestimmt
- Bestimmen eines Aktivitätsmusters des Fahrers anhand von Fahr- und Fahrzeugdaten und Klassifizieren des Fahrerzustands mittels des Aktivitätsmusters in aktiv oder inaktiv,
- Lancieren einer Warnung als Funktion der ersten Aufmerksamkeitsgröße,
- Lancieren einer Warnung als Funktion der zweiten Aufmerksamkeitsgröße,
- Auslösen der lancierten Warnung, wenn mittels des Aktivitätsmusters der Fahrer als inaktiv klassifiziert ist, und Unterdrücken der lancierten Warnung, wenn der Fahrer als aktiv klassifiziert ist.

Dabei wird vorzugsweise aus dem zeitlichen Verhalten des Augenöffnungsgrades des Fahrers ein Fitnesswert des Fahrers als erste Aufmerksamkeitgröße bestimmt wird.
Wenn dann der Fitnesswert vorbestimmte Schwellen unterschreitet, wird vorzugsweise eine Warnung lanciert. Insbesondere kann eine vorbestimmte Anzahl von Fitnessschwellen verwendet werden, wobei eine Warnung lanciert wird, wenn eine der vorbestimmten Schwellen unterschritten wird.
Vorzugsweise wird beim Unterschreiten einer Schwelle durch einen Fitnesswert diese Schwelle solange für weitere Warnungslancierungen blockiert, bis der Fitnesswert wieder größer ist als die Schwelle plus einen vorgegebenen Hysteresewert. Weiter bevorzugt wird, dass die Blockierung nach einer vorbestimmte Zeit aufgehoben wird.
Vorzugsweise wird eine Warnung lanciert, wenn die Augen des Fahrers für eine vorbestimmte Zeit geschlossen bleiben.
Vorzugsweise wird das Aktivitätsmuster des Fahrers eines Kraftfahrzeugs mit den folgenden Schritten bestimmt:

- Vergleichen ausgewählter Parameterwerte von im Fahrzeug vorliegenden Fahrzeug-Daten mit jeweiligen vorbestimmten Schwellwerten,
- Klassifizieren des Zustands des Fahrers als aktiv, wenn der Vergleich für einen Parameterwert positiv ist, und
- Klassifizieren des Zustands des Fahrers als passiv, wenn der Vergleich für alle ausgewählten Parameterwerte negativ ist.

Vorzugsweise gehören die Fahrzeug-Daten einer oder mehrerer der Kategorien Fahrzeug-Parameter, Fahrzeug-Steuerung und Verkehrssicherheit/Bedienung von Komfort-Elementen an. Dabei werden weiter bevorzugt für die Parameterwerte Daten aus zwei aufeinanderfolgenden Zeitschritten verwendet und insbesondere können die Schwellwerte konfigurierbar sein.
Die erfindungsgemäße Vorrichtung zum erzeugen, Steuern und Auslösen eines Warnsignals in einem Kraftfahrzeug zur Gewährleistung der Aufmerksamkeit des Fahrers, wobei die Vorrichtung zur Durchführung des im vorangegangenen erläuterten Verfahrens eingerichtet und ausgelegt ist, umfasst:

- einer Sensorik-Einrichtung, die Daten eines Lidschlußsensors und den Fahrzeugbereich betreffende Daten bereitstellt,
- einer Prognoseeinrichtung zur Berechnung der ersten Aufmerksamkeitsgröße aus den Daten des Lidschlußsensors,
- einer Echtzeiteinrichtung zur Berechnung der zweiten Aufmerksamkeitsgröße aus den Daten des Lidschlußsensors,
- einer Kontrolleinrichtung zur Berechnung des Aktivitätsmusters aus Daten, die den Fahrzeugbereich betreffen, und
- einer Warnentscheidungseinrichtung, die aus der ersten Aufmerksamkeitsgröße, der zweiten Aufmerksamkeitsgröße und dem Aktivitätsmuster über das Auslösen einer Warnung entscheidet, und
- einer Warneinrichtung, die eine Warnung aufgrund der Entscheidung der Warnentscheidungseinrichtung generiert.

Vorzugsweise liefert der Lidschlußsensor als Daten den Augenöffnungsgrad des Fahrers und einen situativen Statuswert, wobei der situative Statuswert Informationen darüber liefert, ob sich der Fahrer im Bereich des Sensors befindet, ob die Augen gerade geschlossen sind oder ob sich der Kopf des Fahrers aus dem Erfassungsbereich des Sensors heraus bewegt.
Insbesondere können die den Fahrzeugbereich betreffenden Daten auf einem CAN-Bus des Fahrzeugs vorliegen und von der Sensoreinrichtung gelesen werden.
Vorzugsweise werden die Daten der Sensoreinrichtung einer Parametrisierung in einer Parametrisierungseinrichtung unterzogen. Dabei werden weiter bevorzugt die Daten des Lidschlußsensors, in der Parametrisiereinrichtung einer Filterung und einer Glättung unterzogen. Aus den gefilterten und geglätteten Daten des Lidschlußsensors wird vorzugsweise mittels einer adaptiven Raumschwelle ein Lidschlag ermittelt, wobei ein Lidschlag immer dann vermutet wird, wenn das ermittelte Augenöffnungssignal die adaptive Raumschwelle um einen vorbestimmten Prozentbetrag unterschreitet.
Vorzugsweise wird in der Prognoseeinrichtung aus den Lidschlag-Daten der Parametrisierungseinrichtung die Wahrscheinlichkeit eines Einschlafereignisses des Fahrers für einen vorbestimmten Zeitraum bestimmt, wobei die Wahrscheinlichkeit eines Einschlafereignisses vorzugsweise mittels einer logistischen Regression und eines Entscheidungsbaumes, die beide mittels einer weiteren Regression zusammengeführt werden, bestimmt wird.
Weiter bevorzugt wird in der Echtzeiteinrichtung der Statuswert des Lidschlußsensors, der für geschlossenen Augen ausgegeben wird, zur Ermittlung überlanger Lidschlüsse ausgewertet.
Schließlich gibt die Warneinrichtung vorzugsweise eine akustische und/oder eine haptische Warnung an den Fahrer ab.
Bevorzugte Ausführungsformen der Erfindung werden nachfolgend anhand der Zeichnungen erläutert. Dabei zeigt

1 ein Blockdiagramm des erfindungsgemäßen Verfahrens,
2 den Verlauf des Fitnesswertes als Funktion der Zeit zur Illustration des Warnschwellenkonzepts,
3 die erfindungsgemäße Vorrichtung in Blockdiagrammdarstellung,
4 den Augenöffnungsgrad als Funktion der Zeit,
5 die Parametrisierung eines Lidschlages, und
6 die zeitliche Aggregation zur Bestimmung des aktuellen finalen Lidschlages.

Das beschriebene Verfahren dient dem Erzeugen, der Kontrolle und dem Auslösen von Warnungen zur Gewährleistung der Aufmerksamkeit des Fahrers eines Fahrzeuges. Dabei wird der Grad der Aufmerksamkeit des Fahrers in zweierlei Hinsicht, nämlich in einer kurzfristigen und einer langfristigen Ausrichtung, ermittelt. Die kurzfristige Ausrichtung führt zum sofortigen Lancieren einer Warnung, während das Lancieren der Warnung in der langfristigen Ausrichtung über ein mehrstufiges Schwellverfahren erzeugt wird.
Der Begriff „Lancieren einer Warnung“ bedeutet in diesem Zusammenhang, dass eine Warnung aktiviert wird, aber erst nach vollständigem Durchlauf des Verfahrens kommt es zur Freigabe und zum Ausführen der Warnung, sofern noch alle weiteren Kriterien erfüllt wurden.
Das Auslösen einer lancierten Warnungen wird durch mehrere Mechanismen kontrolliert, in deren Verlauf sich die möglichen Urheber von Warnungen gegenseitig kontrollieren und beeinflussen.
Das Auslösen von Warnungen wird des weiteren durch eine Bewertung der Aktivität des Fahrers kontrolliert. Die Bewertung der Aktivität des Fahrers erfolgt auf der Basis von Fahr- und Fahrzeugdaten. Wird der Zustand des Fahrers als „aktiv“ eingestuft, werden lancierte Warnungen unterdrückt.
Wie bereits oben erwähnt, beinhaltet das Verfahren sowohl kurzfristig („akut“) als auch langfristig angelegte Warnungen des Fahrers. Die „kurzfristigen“ Warnungen ermöglichen eine „Akutwarnung“ des Fahrers, wenn es zu einem plötzlichen Abfall der Aufmerksamkeit kommt, während die langfristigen Verfahren den langfristigen Verlauf des Aufmerksamkeitszustandes des Fahrers beurteilen. Bei entsprechenden Absinken der Aufmerksamkeit kommt es zum Lancieren von Warnungen in einem mehrstufigen Warnkonzept.
Als Ausgangspunkt zum Erzeugen der Warnung dienen drei, kontinuierlich aktualisierte Datensätze unterschiedlicher Herkunft:

A Anhand von Eigenschaften bzw. dem zeitlichen Verhalten des Augenöffnungsgrades wird ein Fitnesswert des Fahrers im Bereich von 0 (sehr müde) bis 100% (hellwach) berechnet. Dieser Wert dient der langfristigen Vorhersage der Aufmerksamkeit des Fahrers. Unterschreitet der Fitnesswert bestimmte Schwellen, wird eine Warnung lanciert.
B Bleiben bei der Bestimmung des Augenöffnungsgrades die Augen für einen Zeitraum von mehr als 2 Sekunden geschlossen, wird sofort eine Warnung lanciert. Dieser Wert dient somit der kurzfristigen Vorhersage/Beobachtung der Aufmerksamkeit des Fahrers.
C Fahrer-Aktivitätsmuster: Anhand von Fahr- und Fahrzeugdaten (siehe auch Erfindungsmeldung „Aktivitätsmuster“) wird das Aktivitätsniveau des Fahrers in einem dichotomen Verfahren - Fahrer aktiv oder Fahrer inaktiv - bestimmt.

Die Datensätze A und B sind in der Lage, Warnungen zu lancieren. Der Datensatz C sowie zusätzliche, im weiteren Verlauf beschriebene Verfahren, bestimmen dann letztendlich, ob eine Warnung nur lanciert, oder auch ausgelöst wird.
Das Zusammenspiel der Datensätze in Form einer schematischen Darstellung des Verfahrens zeigt 1. In Block 1 wird ein Fitnesswert eines Fahrers eines Kraftfahrzeugs bestimmt. Dieser Fitnesswert wird in einem Warnschwellenentscheider 2 hinsichtlich vorgegebener Warnschwellen untersucht und in Block 3 erfolgt eine fitnessinterne Kontrolle des Lancierens einer Warnung mittels Hysterese, Refraktärperiode und des Aufhebens von Langzeitblockaden. Die Blöcke 1, 2 und 3 betreffen daher ausschließlich den Datensatz A.
Die Generierung und Lancierung einer kurzfristigen Warnung wird in Block 4 durchgeführt und betrifft den Datensatz B.
Die den Fitnesswert betreffenden lancierten lancierten Warnungen sowie die den Akutwert betreffenden lancierten Warnungen gelangen in ein erstes Warnmodul 5. Hier erfolgt eine gegenseitige Kontrolle der Akutwarnungen und der Fitness-basierten Warnungen zur Freigabe des Lancierens einer Warnung aus dem Warnmodul 1.
Die lancierte Warnung des Warnmoduls 1 wird in ein zweites Warnmodul 7 eingebracht. In einem Modul 6 wird ein Fahreraktivitätsmuster aus im Fahrzeug vorhandenen Daten erzeugt und das Fahreraktivitätsmuster wird ebenfalls in das zweite Warnmodul 7 eingegeben. Das Modul 6 betrifft folglich den Datensatz C.
Im zweiten Warnmodul 7 werden vom ersten Warnmodul 1 lancierte Warnungen durch das Fahreraktivitätsmuster kontrolliert. Wird der Zustand des Fahrers als „aktiv“ bewertet, wird eine lancierte Warnung unterdrückt. Wird der Zustand des Fahrers dagegen als „inaktiv“ bewertet, so wird eine lancierte Warnung ausgelöst und es wird eine Warnung im Modul 8 ausgeführt.
Im Folgenden wird das Lancieren einer Warnung durch den Fitnesswert des Fahrers beschrieben, wobei der auf der Basis des Augenöffnungsgrades berechnete Fitness-Wert (langfristig) in einem mehrstufigen Verfahren zum Lancieren einer Warnung führt.
2 zeigt exemplarisch einen Verlauf der Fitness eines Fahrers eines Kraftfahrzeugs als Funktion der Zeit, wobei ein Parameter „Fitness“ in % über der Zeit t in ms dargestellt ist. Zum Lancieren einer Warnung werden vorzugsweise drei Schwellwerte festgelegt. Eine andere Anzahl von Schwellwerten ist möglich. Unterschreitet der Fitnesswert einen der Schwellwerte, kommt es zum Lancieren einer Warnung. Beispielhaft sind die folgenden drei Warnschwellen definiert:

S1 50% Fitness

S2 30% Fitness

S3 10% Fitness
Kommt es durch Unterschreiten einer Schwelle S1, S2, S3 durch den Fitness-Wert zum Lancieren einer Warnung, wird diese Warnschwelle blockiert, bis der Fitness-Wert sich wieder um einen bestimmten Betrag erholt hat. Diese Sperre dient dazu, wiederholte Warnungen bei kurzzeitigen Schwankungen um einen Fitnesswert zu vermeiden. Bevor die Sperre für die betreffende Warnschwelle aufgehoben wird, muss sich der Fitness-Wert in einem Hysterese-Verfahren erholen. Eine Freigabe einer gesperrten Schwelle für Warnungen erfolgt dann, wenn: $Fitness-Wert > (Warn-Schwellwert + Hysteresewert)$
Die Warnschwellen sowie der Betrag des Hysteresewertes sind für alle Warnschwellen S1, S2, S3 konfigurierbar.
Wird beispielsweise bei 50% Fitness eine Warnung lanciert und der Hysteresewerte beträgt 20 Einheiten, muss sich der Fitnesswert auf einen Wert größer als 70% erholen, bevor bei Unterschreiten von 50% erneut eine Warnung ausgelöst werden kann.
Um schnell aufeinander folgende Warnungen zu vermeiden, die sich aufgrund der multiplen Warnschwellen ergeben, werden nach dem Lancieren einer Warnung alle weiteren Warnungen für einen bestimmten Zeitraum blockiert. Dieser Zeitraum ist konfigurierbar.
Als Beispiel: Durch Unterschreiten der 50% Schwelle wurde eine Warnung ausgelöst. 10 Sekunden später unterschreitet der Fitness-Wert die 30% Schwelle. Die Blockadedauer (Refraktär-periode) für Warnungen beträgt 20 Sekunden. Damit wird das Lancieren dieser Warnung blockiert.
Pendelt sich der Fitness-Wert nach dem Unterschreiten einer Schwelle für lange Zeit auf einen Wert ein, würde dies zur Folge haben, dass trotz eines niedrigen Fitness-Wertes keine Warnung ausgelöst würde. Um dies zu vermeiden, wird die Warnblockade eines Fitness-Wertes nach einer bestimmten, konfigurierbaren Zeitdauer aufgehoben, auch wenn der Fitness-Wert nicht die Hysterese-Bedingung erfüllt. Wird eine Warnblockade auf diese Weise aufgehoben, werden auch alle „darüber“ liegenden Warnblockaden aufgehoben.
Als Beispiel: Warnblockade der Schwellen 50% und 30% ist aktiv. Der Fitness-Wert pendelt sich für über 10 Minuten im Bereich um 20% ein. Es kommt zum Aufheben der Warnblockade. Es werden die Warnblockaden für 30% und 50% aufgehoben. Eine eventuelle Warnblockade bei 10% wird in diesem Fall nicht aufgehoben.
Eine durch das im weiteren Verlauf beschriebene Verfahren zur Akut-Warnung ausgelöste Warnung führt ebenfalls für eine (konfigurierbare) Dauer zur Blockade von Warnungen, die durch das Fitness-Modul lanciert werden. Umgekehrt führen Warnungen, die via Fitness-Bewertung lanciert und ausgelöst wurden zur Blockade von Akutwarnungen in einem bestimmten Zeitraum.
Der letzte Kontrollmechanismus besteht in der Bewertung der Aktivität des Fahrers im Fahreraktivitätsmodul 6. Wird der Zustand des Fahrers aufgrund der Auswertung der Fahr- und Fahrzeug-Daten als „aktiv“ bewertet werden Warnungen, die durch das Fitness-Modul lanciert werden, blockiert.
Im Folgenden wird das Lancieren einer Akut-Warnung im Modul 4 beschrieben. Bleiben die Augen des Fahrers für eine bestimmte, konfigurierbare Dauer geschlossen, kommt es zum Lancieren einer Akut-Warnung. Die Akutwarnung wird nur dann ausgeführt, wenn die Warnung im ersten oder zweiten Warnmodul 5, 7 nicht durch

• eine kurz zuvor auf der Basis des Fitness-Wertes ausgelöste Warnung oder
• durch das Fahreraktivitätsmuster blockiert wurde.

Verknüpfung zwischen Ursprung der Warnung und Warntyp
Das vorliegende Warnkonzept fuhrt im Informationsfluss Informationen zum Urheber der Warnungen mit. Je nach Urheber der Warnung können unterschiedliche Warntypen (z.B. Warnkaskade mit zunehmender Intensität der Warnung bei den Warnschwellen)
Das nachfolgend ausführlicher beschriebene Verfahren zur Bestimmung des Fahreraktivitätsmusters im Modul 6 ermöglicht auf der Basis von Daten, die auf dem Fahrzeug-CAN-BUS vorliegen, Aussagen über das Aktivitätsniveau - aktiv oder inaktiv - des Fahrers. Zur Ermittlung der Fahreraktivität werden mehrere, ausgewählte Parameterwerte des CAN-BUS-Systems mit konfigurierbaren Schwellwerten verglichen. Übersteigt mindestens ein betrachteter Parameterwert den für diesen Parameter definierten Schwellwert bzw. erfüllt der Parameter ein Kriterium, wird der Zustand des Fahrers als „aktiv“ eingestuft. Das hier vorgestellte Verfahren liefert ein dichotomes Ergebnis:

• Fahrer aktiv oder
• Fahrer nicht aktiv

Zur Bewertung der Fahreraktivität werden die eingehenden Parameterwerte nicht verknüpft, sondern individuell betrachtet. Die Eingangsparameter des Verfahrens verteilen sich über unterschiedliche Kategorien, um ein vollständiges Bild der Fahreraktivität zu erhalten. Im Verfahren kommen keine zusätzlichen - nicht bereits im System verfügbaren - Meßsysteme zur Anwendung.
Wie im Vorangegangenen beschrieben wird zur Aufmerksamkeitskontrolle des Fahrers mittels eines Systems, welches die Eigenschaften des Augenöffnungsgrades des Fahrers analysiert, das Aufmerksamkeitsniveau des Fahrers bewertet bzw. vorhergesagt. Unterschreitet die Aufmerksamkeit eine definierte Schwelle, wird der Fahrer gewarnt. Zur Bestimmung des Augenöffnungsgrades des Fahrers wertet das System die bildhaften Informationen des Kopfbereiches des Fahrers, die durch ein Kamerasystem zur Verfügung gestellt werden, aus. Phasen hoher Fahreraktivität (Abbiegen, Überholen, Kurvenfahrten, Bedienung von Fahrzeug- Elementen) zeichnen sich durch eine Zunahme der Häufigkeit und Amplitude von Kopf-, Augen-, Hand- und Armbewegungen aus. Dies führt im kamerabasierten System zur Analyse des Augenöffnungsgrades zu einer Zunahme von Datenausfällen und fehlerbehafteten Daten, was wiederum eine mögliche Zunahme der Fehlalarme bedingt. Da anzunehmen ist, dass das Aufmerksamkeitsniveau des Fahrers während aktiver Phasen kritische Werte nicht unterschreitet, werden während und kurz nach „aktiven“ Phasen des Fahrers, die durch das hier vorgestellte Verfahren ermittelt werden, Warnungen, die über den Augenöffnungsgrad lanciert wurden, im zweiten Warnmodul 7 unterdrückt.
Die Berechnung der Fahreraktivität erfolgt auf der Basis von Fahrzeug-Daten, die über das CANBUS System abgegriffen werden können. Um ein möglichst vollständiges Bild der Fahreraktivität zu erhalten, werden unterschiedliche Kategorien von Fahrzeug-Parametern ausgewertet:

Kategorie 1 Fahrzeug-Parameter

Kategorie 2 Fahrzeug-Steuerung

Kategorie 3 Verkehrssicherheit, Bedienung von Komfort-Elementen
Die in Kategorie 1 angesiedelten Fahrzeug-Parameter spiegeln dynamische Zustände des Fahrzeuges wieder auf die der Fahrer nur indirekten Einfluss ausüben kann, deren Werteentwicklung sich jedoch an Aktionen des Fahrers orientiert. Im vorliegenden Verfahren werden die folgenden Parameterwerte des CAN-BUS-Systems eingelesen:

1.1 Status ABS
1.2 Status ESP
1.3 Rückfahrscheinwerfer
1.4 Status Bremslicht
1.5 Linearbeschleunigung
1.6 Lateralbeschleunigung

Die Kategorie 2 angesiedelten Parameter der Fahrzeug-Steuerung zeichnen sich dadurch aus, dass die hier reflektierte Aktion des Fahrers sich indirekt in den Fahrzeug-Parametern widerspiegelt. Folgende Parameter dieser Kategorie werden zur Ermittlung der Fahreraktivität eingelesen:

2.1 Zündungsstatus
2.2 Status Scheibenwischer
2.3 Status Kupplung
2.4 Absolutwert des Lenkwinkels
2.5 Absolutwert der Lenkwinkelgeschwindigkeit
2.6 Absolutwert der Gaspedalstellung
2.7 Absolutwert der Gaspedaländerung in einer Sekunde

Die die Kategorie 3 betreffenden Parameter Verkehrssicherheit und Bedienung von Komfort-Elementen beinhaltet das Aktivieren und Deaktivieren von Systemen durch den Fahrer via Bedienelementen. Ziel der Kontrolle dieser Systeme ist die Gewährleistung der Verkehrssicherheit sowie unter Umständen das Optimieren des Fahrkomforts. Folgende Parameter dieser Kategorie werden zur Ermittlung der Fahreraktivität eingelesen:

3.1. Linker Blinker
3.2. Rechter Blinker
3.3 Warnblinker
3.4 Status Abblendlicht
3.5 Status Fernlicht
3.6 Status Nebellicht
3.7 Status Nebelschlussleuchte

Zur Berechnung / Bewertung der Fahreraktivität werden die oben aufgeführten Parameter vom CANBUS des Fahrzeuges eingelesen und in einem lokalen Datenpuffer abgelegt. Um eine Bewertung der Fahreraktivität vornehmen zu können, müssen Daten aus zwei aufeinanderfolgenden Zeitschritten „t-1“ und „t“ vorliegen. Die zuletzt eingelesenen Daten liegen im Puffer „t“ vor, die zuvor eingelesenen Daten im Puffer „t-1“. Nach der Durchführung der Berechnung des Aktivitätsmusters werden die Daten des Puffers „t“ in den Puffer „t-1“ verschoben. Der nächste, nachfolgende neue Datensatz wird wiederum in den Puffer „t“ eingelesen.
Die Bewertung der Fahreraktivität erfolgt für jeden der zuvor aufgeführten Fahrparameter einzeln. Erfüllt mindestens ein Parameter das an ihn gestellte Kriterium (s.u.), wird der Zustand des Fahrers als „aktiv“ bewertet. Erfüllt keiner der Parameter sein Kriterium wird der Zustand des Fahrers als „inaktiv“ bewertet. Das Verfahren liefert somit eine dichotome Aussage über die Fahreraktivität.
Zur Bewertung, ob ein Parameter das Kriterium der Aktivität erfüllt, wird je nach Kategorie und Typ des Parameters unterschiedlich verfahren. In diesem Zusammenhang wird zwischen „diskreten“ und „analogen“ Parametern unterschieden.
Diskrete Parameter zeichnen sich durch eine Statusänderung aus, die durch den Fahrer ausgelöst wird, z.B. „Blinker An“.
Folgende Parameter werden nach dem „diskreten Muster“ behandelt:

• Zündung
• Blinker links
• Blinker rechts
• Warnblinker
• Rückfahrlicht
• Abblendlicht
• Fernlicht
• Nebellicht
• Nebelschlussleuchte
• Scheibenwischer
• Status Kupplung
• Status ABS
• Status ESP
• Status Bremslicht

Hinsichtlich dieser Parameter gelten folgende Regelungen für das Aktivitätsmuster:

• Zündung: Jegliche Änderung des Status der Zündung führt zu einer Warnunterdrückung
• Blinker links: Nur das Einschalten des Blinkers führt zu einer Warnunterdrückung
• Blinker rechts: Nur das Einschalten des Blinkers führt zu einer Warnunterdrückung
• Warnblinker: Die Warnunterdrückung erfolgt bei Änderung des Status des Warnblinkers
• Rückfahrlicht: Warnunterdrückung erfolgt, wenn das Rückfahrtlicht eingeschaltet ist
• Abblendlicht: Warnunterdrückung erfolgt bei einer Statusänderung des Abblendlichtes
• Fernlicht: Warnunterdrückung erfolgt bei einer Statusänderung des Fernlichtes
• Nebellicht: Warnunterdrückung erfolgt bei einer Statusänderung des Nebellichtes
• Nebelschlussleuchte: Warnunterdrückung erfolgt bei einer Statusänderung der Nebelschlussleuchte
• Scheibenwischer: Warnunterdrückung erfolgt bei einer Statusänderung des Scheibenwischers:
• Status Kupplung: Warnunterdrückung erfolgt bei einer Statusänderung der Kupplung (O oder 1)
• Status ABS: Warnunterdrückung erfolgt bei einer Statusänderung von ABS
• Status ESP: Warnunterdrückung erfolgt bei einer Statusänderung von ESP
• Status Bremslicht: Warnunterdrückung erfolgt bei aktivem Bremslicht

„Analoge“ Parametern sind dadurch gekennzeichnet, dass diese Parameter keinen Status beschreiben, sondern das Verhalten des Fahrzeuges bzw. des Fahrers dynamisch unter Verwendung physikalischer Messgrößen beschreiben. Folgende Parameter des vorgestellten Verfahrens zur Erkennung der Fahreraktivität werden als „analoge“ Parameter klassifiziert:

• Linear-Beschleunigung (m/s²)
• Lateral-Beschleunigung (m/s²)
• Lenkwinkel (Grad)
• Lenkwinkelgeschwindigkeit (Grad/s)
• Gaspedal-Stellung (%)
• Geschwindigkeit der Änderung der Gaspedalstellung (%)

Zur Bestimmung der Fahreraktivität werden die Werte dieser Parameter mit konfigurierbaren Grenzwerten verglichen. Zu jedem Parameter gehört ein eigener Satz Grenzwerte. Durch die Möglichkeit der Konfiguration der Grenzwerte kann die Sensitivität der Erkennung des Fahreraktivitätsmusters eingestellt werden.
Der Wert eines jeden „analogen“ Parameters wird mit den jeweiligen Grenzwerten des Parameters verglichen. Übersteigt der Wert eines „analogen“ Parameters seinen Grenzwert wird der Zustand des Fahrers als „aktiv“ bewertet.
Im Zusammenhang mit der Auswertung der analogen Parameter finden nur Daten aus dem Puffer „t“ Anwendung. Daten des Puffers „t-1“ dienen nur zur Berechnung von Änderungen (z.B. Geschwindigkeiten) sofern diese nicht direkt auf dem CANBUS vorliegen.
Folgende Vorgehensweise wird bei den analogen Parametern verfolgt:

Linear-Beschleunigung: Es wird ein positiver und ein negativer Grenzwert definiert. Ist der aktuelle Wert der Linear-Beschleunigung größer als der positive oder kleiner als der negative Wert, wird der Zustand des Fahrers als aktiv bewertet.
Lateral-Beschleunigung: Es werden ein positiver und ein negativer Grenzwert definiert. Ist der aktuelle Wert der Lateral-Beschleunigung größer als der positive oder kleiner als der negative Wert, wird der Zustand des Fahrers als aktiv bewertet.
Absoluter Wert des Lenkwinkel: Zunächst wird der absolute Wert des Lenkwinkels (vorzeichenfrei) berechnet. Dieser Wert wird mit einem Grenzwert verglichen. Ist der absolute Wert größer als der Grenzwert, wird der Zustand des Fahrers als aktiv bewertet.
Absoluter Wert der Lenkwinkelaeschwindigkeit: Es wird der absolute Wert der Lenkwinkelgeschwindigkeit (vorzeichenfrei) berechnet. Dieser Wert wird mit einem Grenzwert verglichen. Ist der absolute Wert größer als der Grenzwert, wird der Zustand des Fahrers als aktiv bewertet.
Gaspedalstellung: Der Wert der Gaspedalstellung (0..100%) wird mit einem konfigurierbaren Grenzwert Wert verglichen. Ist der Wert größer als der Grenzwert, wird der Zustand des Fahrers als aktiv bewertet.
Gaspedalgeschwindigkeit: Der Absolut-Wert der Gaspedalgeschwindigkeit in „%/s“ wird mit einem konfigurierbaren Grenzwert Wert verglichen. Ist der Wert größer als der Grenzwert, wird der Zustand des Fahrers als aktiv bewertet.

Die Datenspeicher der Puffer „t“ und „t-1“ sind mit einem Zeitstempel versehen. Somit ermöglicht das Verfahren des Weiteren eine Definition des Zeitraumes über welchen die Änderungen der Aktivität stattgefunden haben.
Die Eingangsparameter des Verfahrens können je nach Bedarf erweitert werden.
3 zeigt in schematischer Darstellung einer bevorzugten Ausführungsform der erfindungsgemäßen Vorrichtung, welche eine Kombination aus Hard- und Software ist, und es ermöglicht, Variationen des Fahrerzustandes im Realfahrzeug automatisiert zu verfolgen und bei ungünstiger Prognose Gegenmaßnahmen in Form von aktivierenden Warnungen zu lancieren.
Die Vorrichtung umfasst die Funktionsbereiche Sensor 10, Parametrisierung 13, Prognose 14, Echtzeit 18, Kontrolle 20, Warnentscheidung 22 und HMI 26, die im Folgenden beschrieben werden.
Für den Bereich Sensor 10 gibt es mit den Daten aus dem Lidschlusssensor 11 und den Nachrichten des Fahrzeugdatensensors 12 zwei unterschiedliche Eingangsqualitäten. Der Lidschlusssensor 11 liefert den Augenöffnungsgrad über die Zeit in Millimetern und einen situativen Statuswert. Der Statuswert hilft differenzieren, ob sich eine Person im Bereich des Sensors befindet, ob ihre Augen gerade geschlossen sind oder ob sich der Kopf aus dem Erfassungsbereich für die Augen herausbewegt hat.
Als Fahrparameter bzw. Fahrzeugdaten des Fahrzeugdatensensors 12 wird eine Untergruppe aus ereignis- und zeitgesteuerten Nachrichten verstanden, die für eine weitere Datenaufbereitung vom CAN-Bus gelesen wird. Hier geht es um einzelne Ereignisse wie das setzen des Blinkers, Gangwechsel, Zündung oder Verläufe der Geschwindigkeit, der Querbeschleunigung oder Ähnliches.
Beide Eingangsqualitäten müssen vor der eigentlichen Nutzung zuerst noch verdichtet und aufbereitet werden. Dies geschieht im Funktionsbereich der Parametrisierung 13.
Der Funktionsbereich der Parametrisierung 13 wird in der 3 nicht weiter untersetzt. Die Parametrisierung des Augenöffnungsgrades ist eine sehr aufwendige Prozedur und wird hier nur hinsichtlich ihrer zugrundelegenden Prinzipien beschrieben.
Dabei zeigt 4 den Signalverlauf S des Augenöffnungsgrades A als Funktion der Zeit t, wobei die Parametrisierung des Augenöffnungsgrades sich in mehrere Teilschritte zerlegen lässt, die sukzessiv durchlaufen werden. Am Anfang steht die Filterung und Glättung des Rohsignals. Dabei werden die von dem Sensor als invalide markierte Werte zusammen mit weiteren Ausreißern gelöscht. Das Signalrauschen wird über eine Glättungsfunktion gedämpft. Auf dem aufbereiteten Signal wird nach Lidschlägen gesucht. Als Detektionsprinzip von Lidschlägen wird eine adaptive Raumschwelle R1 berechnet, die aus einer Art von gleitendem Mittelwert besteht, wobei neue Werte mit großen Differenzen zum aktuell gleitenden Mittelwert über eine Dämpfungsfunktion geringer gewichtet in die Mittelwertbildung eingehen, als es neue Werte mit geringen Differenzen tun. Ein Lidschlag wird immer dann vermutet, wenn eine in der Amplitude um 20% verminderte adaptive Raumschwelle R2 vom eigentlichen Signal S des Augenöffnungsgrades unterschritten wird. Derartige Unterschreitungen der adaptiven Raumschwelle werden durch das Setzen eines Unterschreitungsflags a, b, c im Zeitverlauf markiert.
Für die markierten Zeitverläufe wird im nächsten Schritt der Verarbeitung versucht, die detektierten Lidschlagkandidaten hinsichtlich einer Gruppe von Eigenschaften zu beschreiben. Die Beschreibung der Eigenschaften eines Lidschlages ist die eigentliche Aufgabe der Parametrisierung.
5 zeigt den Signalverlauf für rechtes und linkes Auge SR, SL und einen parametrisierten Lidschlag. Die gepunkteten Linien mit der nach rechts im Bild zum Lidschlag verschobenen Absenkung zeigen den Verlauf der um 20% verminderten adaptiven Raumschwellen R2R, R2L. Beginn und Ende des Lidschlages sind mit vertikalen Linien markiert. Sie werden über streng monoton steigende Signalverläufe um das lokale Minimum herum ermittelt. Die zwei inneren Marker entsprechen dem Ende des Schließens ES und dem Beginn des Öffnens BÖ und spiegeln als Dauer die Verzögerungszeit wider, in der das Auge geschlossen bleibt. Ende des Schließens ES und Beginn des Öffnens BÖ werden um das lokale Minimum zwischen Beginn des Schließens BS und Ende des Öffnens EÖ gesucht. Dabei werden entweder über ein Absinken der Geschwindigkeit des Signalverlaufes oder durch eine Raumschwelle die durch das lokale Minimum plus einem konstanten Wert definiert wird, die Zeitpunkte für das Ende des Schließens und den Beginn des Öffnens bestimmt.
Eine Vielzahl von weiteren Parametern kann nach der Bestimmung der vier charakterisierenden Zeitpunkte bestimmt werden. Als Beispiel wird für die Phase des Schließens und für die Phase des Öffnens Maximalgeschwindigkeiten bestimmt und die Lidschlagdauer geschätzt. Die Dauer zwischen den zwei Orten maximaler Geschwindigkeit wird als ShutZ bezeichnet und unterschätzt die Lidschlagdauer wohingegen mit BlinkZ die Zeit zwischen Beginn des Schließens und Ende des Öffnens bezeichnet wird, die eine tatsächliche Lidschlussdauer eher überschätzt. Amplituden fürs Schließen und Öffnen werden im Bezug zum lokalen Minimum bestimmt und als Clamp und Opamp geführt.
Über eine Reihe von Maßen wird die vorhandene Signalgüte erhoben. So werden zum Beispiel die Ausdehnung der größten Datenlücke oder der Abstand zum letzten validen Messzeitpunkt vor dem Beginn des Liedschlages ermittelt, um eine Bewertung der Parametrisierungsgüte zu berechnen. Eine Bewertungsheuristik vergibt für Abweichungen von Normgrößen auf vielen der erhobenen Eigenschaften eines detektierten Lidschlages einen Abzug der Signalgüte. Von einen Initialen Konfidenzwert von 100 Punkten werden für abweichende Eigenschaften summativ Strafpunkte abgezogen.
Die bewerteten Lidschläge stammen aus den Signalverläufen für linkes und rechtes Auge und werden als weiteren Schritt der Datenaufbereitung monokularisiert. Die Monokularisierung verbindet korrespondierende Lidschläge aus linken und rechten Auge zu einem finalen Lidschlagevent. Um den Informationsgehalt durch Mittelung der Signalverläufe nicht abzuflachen, wird nicht auf Signal, sondern auf Parameterebene zusammengeführt. Dabei wird nach einer Entscheidungsregel für den besser parametrisierten Datensatz eines korrespondierenden Lidschlagpaares entschieden. Liegt kein korrespondierendes Lidschlagpaar vor, sondern nur ein monokular parametrisierter Lidschlag, geht dieser mit einem weiteren Abschlag auf seinen Konfidenzwert in die Liste der finalen Lidschläge ein. Finale Lidschlage, die eine Konfidenz von 40 und mehr Punkten aufweisen, werden als valide Lidschläge klassifiziert und gehen in die weiteren Berechnungen ein.
Für den Funktionsbereich der Prognose 14 (siehe 3) werden aus den Parametern finaler Lidschläge statistische Kennwerte berechnet. Durch die Bildung von statistischen Kennwerten können verschiede Aspekte von Veränderungen über die Zeit abgebildet werden. Vorraussetzung ist ein Zeitfenster, über welches aggregiert werden kann. Für jeden aktuellen finalen Lidschlag werden Kennwerte über alle finalen Events gerechnet, die innerhalb eines eine Minute in die Vergangenheit reichendes Zeitfenster liegen. verdeutlicht den Ansatz der moving-window-Technik für das aktuelle finale Event und vier weitere finale Events über die dann zusammen Kennwerte berechnet werden. Als statistische Kennwerte werden Mittelwert, Minimum, Maximum und die Standardabweichung für jeden Parameter gerechnet.
Dies ist beispielhaft in 6 dargestellt. Innerhalb eines Zeitfensters Z, welches vom aktuellen finalen Lidschlag Fla in die Vergangenheit zurückreicht, liegen vier weitere vorherige Lidschläge Fla-1 bis Fla-4, über die die oben erwähnten statistischen Kennwerte ermittelt werden.
Der Pool an Parameter mal Kennwert Daten pro finalen Lidschlag ergibt einen Datenraum auf dem die Funktionseinheit Prognose 14 mit ihren Algorithmen zugreift.
Die zwei verbleibenden Prozesse für den Funktionsbereich Parametrisierung 13, die Aufbereitung der Statuswerte des Lidschlusssensors und das Filtern relevanter Fahrdaten geht direkt in die korrespondierenden Funktionsbereiche Echtzeit 18 und Kontrolle 20 über.
Die Prognose 14 basiert auf den Kennwerten der parametrisierten finalen Lidschlagevents innerhalb eines rückwärts gerichteten Zeitfensters von einer Minute. Dabei werden auf zwei unterschiedlichen Gruppen von Kennwerten Prognosen über die Wahrscheinlichkeit eines Einschlafereignisses in den nächsten fünf Minuten erstellt. Zwei unterschiedliche Verfahren werden zur Vorhersage herangezogen. Die Logistische Regression 15 bezieht die Kennwerte als Linearkombination ein, wobei jeder Kennwert mit einem eigenen Gewicht multipliziert eingeht. Die so erhaltenen Werte werden durch die logistische Verteilungsfunktion zwischen Null und Eins normiert. Mit dem Entscheidungsbaum 16 als zweites Verfahren werden nichtlineare Zusammenhänge abgebildet. Die Werte der Prognose sind beim Entscheidungsbaum entweder Null oder Eins. Um die zwei Prognosen zusammen zu führen verknüpft eine weitere Logistische Regression 17 die Ausgaben der vorangeschalteten Verfahren. Der finale Wert des Verknüpfungsalgorithmus liegt wieder durch die Transformation zwischen Null und Eins und wird in 3 1 im Funktionsbereich Warnentscheidung 22 als Final Fitness 23 bezeichnet.
Für den Funktionsbereich Echtzeit 18 wird in einer Detektion überlanger Lidschlüsse 19 der Statuswert des Lidschlusssensors ausgewertet. Dabei wird nach dem Statuswert gesucht, der für geschlossene Augen ausgegeben wird. Sobald dieser Wert das erste Mal ausgegeben wurde, wird ein Zähler gestartet, der die Unveränderlichkeit des ausgegebenen Statuswertes zählt und überwacht. Wird innerhalb einer definierten Zeit kein anderer Statuswert als der für geschlossene Augen ausgegeben, wird eine Warnung lanciert. Weicht der ausgegebene Wert innerhalb der definierten Zeit ab, wird der Zähler zurückgesetzt. Damit wird der Statuswert des Lidschlusssensors zur Detektion überlanger Lidschlüsse 19 genutzt.
Die lancierten Warnungen über die Funktionseinheiten Prognose 14 und Echtzeit 18 sind fehleranfällig. Eine schlechte Datengrundlage aus dem Lidschlusssensor 11 oder interindividuelle Unterschiede der Augenmotorik und im gezeigten Verhalten von Fahrern kann zu Fehlalarmen führen. Um Fehlalarme zu vermeiden, wird eine lancierte Warnung mit der Fahreraktivität verglichen. Das Vorhandensein einer Phase der Inaktivität ist die notwendige, eine lancierte Warnung aus den Funktionsbereichen Prognose oder Echtzeit die hinreichende Bedingung für die tatsächliche Umsetzung der Warnung. Die Bewertung der Aktivität eines Fahrers erfolgt über das Auftreten von Aktionen, die sich aus ereignis- oder zeitgesteuerten Nachrichten zusammensetzen. Die zeitgesteuerten Nachrichten müssen Abslolute- oder Differenzschwellen verletzen, um als eine Fahraktion gewertet zu werden. Als Beispiel wird für die Lateral-Beschleunigung durch das Verletzen von zwei Differenzschwellen eine Beschleunigungs- und eine Bremsaktion identifiziert. Für jede identifizierte Aktion wird eine Warnunterdrückung von meist 3000 Millisekunden aktiviert oder aufgefrischt, sodass lancierte Warnungen innerhalb dieser Phase der Aktivität nicht tatsächlich erfolgen.
Eine aus den Augendaten prognostizierte Einschlafwahrscheinlichkeit muss zeitlich mit einer Phase geringer Aktivierung im Fahrverhalten zusammenfallen, damit eine aus dem Prognose- oder Echtzeitmodul lancierte Warnung auch tatsächlich erfolgt. Die Prognose ist gegenüber dem Echtzeitmodul eine Art Frühwarnsystem, welches darauf trainiert wurde fünf Minuten vor einem Einschlafereignis eine Warnung zu lancieren. Das Echtzeitmodul 18 reagiert mit einer minimalen Latenz auf überlange Lidschlüsse 19 und lanciert eine Warnung in ein Warnkonzept 24 , wenn über einen kritischen Zeitraum hinaus, geschlossene Augen detektiert werden. Das Aktivitätsmuster 21 unterdrückt je nach protokollierten Aktivitäten des Fahrers in einem Filter 25 gegebenenfalls lancierte Warnungen. Befindet sich der Fahrer in einer Phase der Inaktivität werden lancierte Warnungen durchgelassen.
Die Verbindung zwischen Final Fitness 23 und einer lancierten Warnung erfolgt über das Warnkonzept 24. Das Warnkonzept 24 steuert und kontrolliert den zeitlichen Verlauf der ausgegebenen Bewertungen zum Fahrerzustand. Warnungen werden für das Unterschreiten von drei Schwellen der Finalen Fitness lanciert. Dabei wird kontrolliert, dass bei einem Überspringen mehrerer Schwellen nur eine Warnung lanciert, oder das beim Schwingen der Finalen Fitness 23 um einen Schwellenwert nicht ständig eine Warnung lanciert wird. Über einen Hysteresewert wird sichergestellt, das ein wiederholtes Unterschreiten einer Warnschwelle nur erfolgen kann, wenn die Final Fitness sich mindestens um 10% erholt hat. Um einen sinnvollen Mindestabstand lancierter Warnungen einzuhalten, wird nach erfolgter Warnung jegliche Folgewarnung für 20 Sekunden unterdrückt. Die drei Warnschwelle von fünfzig, dreißig und zehn Prozent ermöglichen wiederholte Warnungen, wenn die Final Fitness weiter sinkt.
Lancierte Warnungen, die das Aktivitätsmuster 21 im Filter 25 nicht unterdrückt, werden dem Fahrer über eine HMI 26 (Human-Maschine-Interface) akustisch oder haptisch zückgemeldet. Für die akustische Warnung ertönt ein Telefonklingeln und für die haptische Warnung wird ein Gurtstraffer aktiviert und spannt den Gurt mit einer mittleren Kraft.
Bezugszeichenliste

1: Fitnesswert
2: Warnschwellenentscheider
3: Fitnessinterne Kontrolle
4: Akutwert
5: erstes Wammodul
6: Fahreraktivitätsmuster
7: zweites Wammodul
8: Warnung
S1: Schwelle
S2: Schwelle
S3: Schwelle
t: Zeit
10: Sensor
11: Lidkantensensor
12: Fahrzeugdatensensor
13: Parametrisierung
14: Prognose
15: Logistische Regression
16: Entscheidungsbaum
17: Logistische Regression
18: Echtzeit
19: Detektion überlanger Lidschlüsse
20: Kontrolle
21: Aktivitätsmuster
22: Wamentscheidung
23: Finaler Fitnesswert
24: Warnkonzept
25: Filter
26: HMI
A: Augenöffnungsgrad
S: Signalverlauf des Augenöffnungsgrades
R1: Raumschwelle
R2: abgesenkte Raumschwelle
a: Flag
b: Flag
c: Flag
SL: Signal linkes Auge
SR: Signal rechtes Auge
R2L: abgesenkte Raumschwelle links
R2R: abgesenkte Raumschwelle rechts
BS: Beginn Schließen
ES: Ende Schließen
BÖ: Beginn Öffnen
EÖ: Ende Öffnen
Z: Zeitfenster
FLa: aktueller finaler Lidschlag
FLa-1: vorhergehender finaler Lidschlag
FLa-4: viertletzter vorhergehender Lidschlag

Claims

Verfahren zum Erzeugen, Steuern und Auslösen eines Warnsignals in einem Kraftfahrzeug zur Gewährleistung der Aufmerksamkeit des Fahrers mit den folgenden Schritten: - Bestimmen einer ersten Aufmerksamkeitsgröße des Fahrers mittels einer ersten Analyse des Lidschlages des Fahrers, wobei die erste Analyse des Lidschlages das zeitliche Verhalten des Augenöffnungsgrades des Fahrers betrifft, - Bestimmen einer zweiten Aufmerksamkeitsgröße des Fahrers mittels einer zweiten Analyse des Lidschlages des Fahrers, wobei die zweite Analyse des Lidschlages die Schließdauer der Augenlider des Fahrers bestimmt, - Bestimmen eines Aktivitätsmusters des Fahrers anhand von Fahr- und Fahrzeugdaten und Klassifizieren des Fahrerzustands mittels des Aktivitätsmusters in aktiv oder inaktiv, - Lancieren einer Warnung als Funktion der ersten Aufmerksamkeitsgröße, - Lancieren einer Warnung als Funktion der zweiten Aufmerksamkeitsgröße, - Auslösen der lancierten Warnung, wenn mittels des Aktivitätsmusters der Fahrer als inaktiv klassifiziert ist, und Unterdrücken der lancierten Warnung, wenn der Fahrer als aktiv klassifiziert ist.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass aus dem zeitlichen Verhalten des Augenöffnungsgrades des Fahrers ein Fitnesswert des Fahrers als erste Aufmerksamkeitsgröße bestimmt wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass eine Warnung lanciert wird, wenn der Fitnesswert vorbestimmte Schwellen unterschreitet.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass eine vorbestimmte Anzahl von Fitnessschwellen verwendet wird, wobei eine Warnung lanciert wird, wenn eine der vorbestimmten Schwellen unterschritten wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass beim Unterschreiten einer Schwelle durch einen Fitnesswert diese Schwelle solange für weitere Warnungslancierungen blockiert wird, bis der Fitnesswert wieder größer ist als die Schwelle plus einen vorgegebenen Hysteresewert.
Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass die Blockierung nach einer vorbestimmte Zeit aufgehoben wird.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass eine Warnung lanciert wird, wenn die Augen des Fahrers für eine vorbestimmte Zeit geschlossen bleiben.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Bestimmung des Aktivitätsmusters eines Fahrers eines Kraftfahrzeugs die folgenden Schritte aufweist: - Vergleichen ausgewählter Parameterwerte von im Fahrzeug vorliegenden Fahrzeug-Daten mit jeweiligen vorbestimmten Schwellwerten, - Klassifizieren des Zustands des Fahrers als aktiv, wenn der Vergleich für einen Parameterwert positiv ist, und - Klassifizieren des Zustands des Fahrers als inaktiv, wenn der Vergleich für alle ausgewählten Parameterwerte negativ ist.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Fahrzeug-Daten einer oder mehreren der Kategorien Fahrzeug-Parameter, Fahrzeug-Steuerung und Verkehrssicherheit/Bedienung von Komfort-Elementen angehören.
Verfahren nach einem der Ansprüche 8 oder 9, dadurch gekennzeichnet, dass für die Parameterwerte Daten aus zwei aufeinanderfolgenden Zeitschritten verwendet werden.
Verfahren nach einem der Ansprüche 8 bis 10. dadurch gekennzeichnet, dass die Schwellwerte konfigurierbar sind.
Vorrichtung zum Erzeugen, Steuern und Auslösen eines Warnsignals in einem Kraftfahrzeug zur Gewährleistung der Aufmerksamkeit des Fahrers, wobei die Vorrichtung zur Durchführung des Verfahrens nach einem der vorangegangenen Ansprüche eingerichtet und ausgelegt ist, mit - einer Sensorik-Einrichtung, die Daten eines Lidschlußsensors und den Fahrzeugbereich betreffende Daten bereitstellt, - einer Prognoseeinrichtung zur Berechnung der ersten Aufmerksamkeitsgröße aus den Daten des Lidschlußsensors, - einer Echtzeiteinrichtung zur Berechnung der zweiten Aufmerksamkeitsgröße aus den Daten des Lidschlußsensors, - einer Kontrolleinrichtung zur Berechnung des Aktivitätsmusters aus Daten, die den Fahrzeugbereich betreffen, und - einer Warnentscheidungseinrichtung, die aus der ersten Aufmerksamkeitsgröße, der zweiten Aufmerksamkeitsgröße und dem Aktivitätsmuster über das Auslösen einer Warnung entscheidet, und - einer Warneinrichtung, die aufgrund der Entscheidung der Warnentscheidungseinrichtung eine Warnung generiert.
Vorrichtung nach Anspruch 12, dadurch gekennzeichnet, dass der Lidschlußsensor den Augenöffnungsgrad des Fahrers und einen situativen Statuswert als Daten liefert, wobei der Statuswert Informationen darüber liefert, ob sich der Fahrer im Bereich des Sensors befindet, ob die Augen gerade geschlossen sind oder ob sich der Kopf des Fahrers aus dem Erfassungsbereich des Sensors heraus bewegt.
Vorrichtung nach einem der Ansprüche 12 oder 13, dadurch gekennzeichnet, dass die den Fahrzeugbereich betreffenden Daten auf einem CAN-Bus des Fahrzeugs vorliegen und von der Sensoreinrichtung gelesen werden.
Vorrichtung nach einem der Ansprüche 12 bis 14, dadurch gekennzeichnet, dass die Daten der Sensoreinrichtung einer Parametrisierung in einer Parametrisierungseinrichtung unterzogen werden.
Vorrichtung nach Anspruch 15, dadurch gekennzeichnet, dass die Daten des Lidschlußsensors in der Parametrisierungseinrichtung einer Filterung und einer Glättung unterzogen werden.
Vorrichtung nach Anspruch 16, dadurch gekennzeichnet, dass aus den gefilterten und geglätteten Daten des Lidschlußsensors mittels einer adaptiven Raumschwelle ein Lidschlag ermittelt wird, wobei ein Lidschlag immer dann vermutet wird, wenn das ermittelte Augenöffnungssignal die adaptive Raumschwelle um einen vorbestimmten Prozentbetrag unterschreitet.
Vorrichtung nach einem der Ansprüche 12 bis 16, dadurch gekennzeichnet, dass in der Prognoseeinrichtung aus den Lidschlag-Daten der Parametrisierungseinrichtung die Wahrscheinlichkeit eines Einschlafereignisses des Fahrers für einen vorbestimmten Zeitraum bestimmt wird,
Vorrichtung nach Anspruch 18, dadurch gekennzeichnet, dass in der Prognoseeinrichtung die Wahrscheinlichkeit eines Einschlafereignisses mittels einer logistischen Regression und eines Entscheidungsbaumes, die beide mittels einer weiteren Regression zusammengeführt werden, bestimmt wird.
Vorrichtung nach einem der Ansprüche 12 bis 19, dadurch gekennzeichnet, dass in der Echtzeiteinrichtung der Statuswert des Lidschlußsensors, der für geschlossene Augen ausgegeben wird, zur Ermittlung überlanger Lidschlüsse ausgewertet wird.
Vorrichtung nach einem der Ansprüche 12 bis 20, dadurch gekennzeichnet, dass die Warneinrichtung eine akustische und/oder eine haptische Warnung an den Fahrer abgibt.