DE19715519A1

DE19715519A1 - Gerät zur Schätzung des Schläfrigkeitsgrades des Fahrers eines Fahrzeugs

Info

Publication number: DE19715519A1
Application number: DE19715519A
Authority: DE
Inventors: Sae Kumakura; Toru Hara; Yoshihiro Goi
Original assignee: Mitsubishi Motors Corp
Current assignee: Mitsubishi Motors Corp
Priority date: 1996-04-12
Filing date: 1997-04-14
Publication date: 1997-11-06
Also published as: KR970069637A; JP3183161B2; JPH09277849A; KR100296534B1; US5786765A; FR2747346A1; FR2747346B1

Description

HINTERGRUND DER ERFINDUNG Erfindungsgebiet

Die vorliegende Erfindung betrifft ein Gerät zur Schätzung des Schläfrigkeitsgrades des Fahrers eines Fahrzeugs in Übereinstimmung mit dem Blinzeln des Fahrers.

Beschreibung des Standes der Technik

In jüngster Zeit wurden verschiedene Geräte entwickelt, die den Schläfrigkeitsgrad eines Autofahrers schätzen und einen Alarm auslösen, wenn sich der Schläfrigkeitsgrad erhöht. Diese Geräte ermöglichen es dem Fahrer, die nötige Aufmerksamkeit für ein sicheres Fahren beizubehalten. Das Prinzip eines Gerätes zum Schätzen des Schläfrigkeitsgrades beruht auf dem Blinzeln der Augen des Fahrers. Beispielsweise zählt ein in der japanischen Patentanmeldung KOKAI, Veröffentlichungsnummer 61-175129 beschriebenes Gerät die Anzahl der Blinzelvorgänge der Augen des Fahrers für jede Zeiteinheit und unterscheidet durch das Ergebnis der Zählung einen Anstieg im Schläfrigkeitsgrad des Fahrers. Ein in der japanischen Patentanmeldung KOKAI, Veröffentlichungsnummer 6-270711 beschriebenes Gerät erfaßt eine Veränderung in der Form der Pupillenfläche des Fahrers und schätzt seinen Schläfrigkeitsgrad in Übereinstimmung mit der Dauer des Augenblinzelns und der mit der Veränderung verbundenen Häufigkeit der Blinzelvorgänge. Die Dauer des Augenblinzelns wird durch das Zeitintervall zwischen dem Beginn und der Beendigung eines jeden Augenblinzelns bestimmt. Ein in der japanischen Patentanmeldung KOKAI, Veröffentlichungsnummer 7-156682 offenbartes Gerät schätzt den Schläfrigkeitsgrad des Fahrers aus dem integrierten Wert der Blinzeldauer des Fahrers für jede Zeiteinheit.

Es gibt Unterschiede in der Blinzeldauer und Häufigkeit des Blinzelns zwischen den einzelnen Personen. Außerdem verändern sich in vielen Fällen die Blinzeldauer und die Häufigkeit des Blinzelns einer Einzelperson unabhängig vom Schläfrigkeitsgrad des einzelnen fortwährend. Entsprechend ist es schwierig, aus dem Ergebnis des einfachen Vergleichs zwischen den vorbestimmten Bezugswerten und der Häufigkeit des Blinzelns - d. h. die Anzahl der Blinzelvorgänge pro Zeiteinheit - und/oder die Blinzeldauer den Schläfrigkeitsgrad des einzelnen genau zu unterscheiden. Mit anderen Worten sind die Blinzeldauer und die Häufigkeit des Blinzelns beträchtlichen Schwankungen zwischen einzelnen Personen unterworfen und verändern sich jederzeit. Wenn sie mit den Bezugswerten, die einheitlich gesetzt sind, verglichen werden, kann der Schläfrigkeitsgrad des Fahrers nicht mit zufriedenstellender Genauigkeit geschätzt werden.

ZUSAMMENFASSUNG DER ERFINDUNG

Die Aufgabe der vorliegenden Erfindung besteht darin, ein Gerät bereitzustellen, das es ermöglicht, den Schläfrigkeitsgrad eines Fahrers in Übereinstimmung mit einer Blinzeldauer des Auges des Fahrers genau zu schätzen und zu unterscheiden, nachdem Unterschiede in der Art des Blinzelns zwischen einzelnen Personen aufgefangen worden sind.

Die obige Aufgabe wird durch ein Schätzungsgerät gemäß der vorliegenden Erfindung erfüllt, das folgendes umfaßt: ein Bildaufzeichnungsmittel zum Aufzeichnen von Bildern eines Gesichtsbereichs eines Autofahrers einschließlich eines Auges des Fahrers; ein Erfassungsmittel zum Erfassen einer während eines Blinzelns des Auges verstrichenen Zeit als Blinzeldauer in Übereinstimmung mit den Bilddaten für den Gesichtsbereich, die durch das Bildaufzeichnungsmittel erhalten werden; ein Erhaltemittel zum Erhalten der Häufigkeitsverteilung der Blinzeldauer, die während einer ersten vorbestimmten Zeitspanne nach dem Starten des Fahrbetriebs des Fahrzeugs erfaßt wird; ein Setzmittel zum Setzen eines Schwellenwertes, der dazu verwendet wird, das langsame Blinzeln des Auges in Übereinstimmung mit der Häufigkeitsverteilung zu extrahieren; ein Berechnungsmittel zum Berechnen eines Auftrittsverhältnisses des langsamen Blinzelns während jeder zweiten vorbestimmten Zeitspanne nach einer Beendigung der ersten vorbestimmten Zeitspanne, wobei das Auftrittsverhältnis durch folgendes dargestellt wird: das Verhältnis der Anzahl der Blinzelvorgänge mit einer Dauer, deren Werte nicht geringer als der Schwellenwert sind, in Bezug auf eine Gesamtanzahl des Augenblinzelvorgänge während der zweiten vorbestimmten Zeitspanne; und ein Unterscheidungsmittel zum Unterscheiden des Schläfrigkeitsgrades des Fahrers in Übereinstimmung mit dem berechneten Auftrittsverhältnis.

In Übereinstimmung mit dem oben beschriebenen erfindungsgemäßen Schätzungsgerät wird die Häufigkeitsverteilung der Blinzeldauer des Fahrers selbst zunächst während der ersten vorbestimmten Zeitspanne im Anfangsstadium des Fahrbetriebs erhalten, und der Schwellenwert für die Unterscheidung des langsamen Blinzelns wird in Übereinstimmung mit dieser Häufigkeitsverteilung gesetzt. Daher kann der auf diese Weise gesetzte Schwellenwert nicht durch die Unterschiede zwischen einzelnen Personen beeinflußt werden, und er ist fahrertypisch. Solchermaßen stellt das Auftrittsverhältnis des langsamen Blinzelns, das als Ergebnis des Vergleichs zwischen dem Schwellenwert und der Blinzeldauer des Fahrers erhalten wird, genau den Schläfrigkeitsgrad des Fahrers selbst dar. In diesem Fall sollte die erste vorbestimmte Zeitspanne vorzugsweise länger als die zweite vorbestimmte Zeitspanne sein.

Da der Schwellenwert jedesmal aktualisiert wird, wenn der Fahrer zu fahren beginnt, kann er darüber hinaus nicht durch die physische Verfassung des Fahrers beeinflußt werden.

Spezifisch das Setzmittel zum Setzen des Schwellenwertes folgendes umfassen: ein Mittel zum Erhalten eines normalen Wertbereichs der Blinzeldauer aus der Häufigkeitsverteilung; ein Mittel zum Berechnen eines Medianwertes im normalen Wertbereich; und ein Mittel, das als Schwellenwert einen Wert ausgibt, der erhalten wird, indem eine vorbestimmte Zeit, die in Übereinstimmung mit dem normalen Wertbereich gesetzt wird, zum Medianwert addiert wird. In diesem Fall wird der Schwellenwert in Übereinstimmung mit dem normalen Wertbereich des Blinzelns des Fahrers gesetzt, so daß das langsame Blinzeln seines Auges genauer erfaßt werden kann.

Genauer gesagt, kann der normale Wertbereich als die Differenz zwischen zwei Blinzeldauer mit einer Bezugshäufigkeit in der Häufigkeitsverteilung der Blinzeldauer definiert sein. In diesem Fall wird die Bezugshäufigkeit erhalten, indem der Modus der Häufigkeitsverteilung mit einem ersten vorbestimmten Verhältnis multipliziert wird. Darüber hinaus kann die zum Medianwert addierte vorbestimmte Zeit als ein Wert bestimmt werden, der erhalten wird, indem die Zeitspanne des normalen Wertbereichs mit einem zweiten vorbestimmten Verhältnis multipliziert wird.

Das Mittel zum Unterscheiden des Schläfrigkeitsgrades des Fahrers kann einen Unterscheidungsabschnitt zum Ausgeben des Ergebnisses der Berechnung einschließen, wenn das berechnete Auftrittsverhältnis nicht niedriger als ein vorbestimmter Entscheidungswert ist, und ein Alarmmittel zur Übermittlung eines Alarms an den Fahrer, wenn das Ergebnis empfangen wird, das vom Unterscheidungsabschnitt ausgegeben wird. Wenn der Schläfrigkeitsgrad des Fahrers ansteigt, kann der Fahrer in diesem Fall durch den Alarm geweckt werden und dadurch in der Lage sein, das Fahrzeug sicher zu fahren.

Das Schätzungsgerät kann des weiteren ein Anzeigemittel umfassen, um das berechnete Auftrittsverhältnis. In diesem Fall kann der Fahrer seinen eigenen Schläfrigkeitsgrad erkennen, bevor der Alarm ausgelöst wird.

Das Erfassungsmittel zum Erfassen der Blinzeldauer kann ein Speichermittel einschließen, um die vom Bildaufzeichnungsmittel erhaltenen Bilddaten sequentiell zu speichern, und einen Bildverarbeitungsabschnitt, um einen Bereich einschließlich des Auges des Fahrers aus den Bilddaten im Speichermittel auf der Grundlage von Zeit-Folgen zu extrahieren, wobei die jeweiligen Zeiten eines Beginns des Augenblinzelns und einer Beendigung des Augenblinzelns aus den extrahierten Daten einzeln festgelegt und die Zeitspanne zwischen den Start- und Beendigungszeiten der Blinzeldauer erfaßt werden.

KURZE BESCHREIBUNG DER ZEICHNUNGEN

Die vorliegende Erfindung wird aus der nachstehenden detaillierten Beschreibung sowie aus den begleitenden Zeichnungen, die nur zur Veranschaulichung aufgeführt werden, besser verständlich, die solchermaßen die vorliegende Erfindung nicht einschränken und worin:

Fig. 1 eine Ansicht ist, die den Aufbau einer Anordnung eines Schätzungsgeräts in Übereinstimmung mit einer Ausführungs form der vorliegenden Erfindung zeigt;

Fig. 2 ein Blockdiagramm ist, das eine funktionelle Anordnung des Schätzungsgeräts der Fig. 1 zeigt;

Fig. 3 ein Graph ist, der die Häufigkeitsverteilungen der Blinzeldauer zeigt, die bei hohen und niedrigen Schläfrigkeits graden erhalten werden;

Fig. 4 ein Graph ist, der das Verhältnis zwischen einer Häufigkeitsverteilung der Blinzeldauer eines Fahrers im Anfangs stadium des Fahrbetriebs und einem in Übereinstimmung mit dieser Häufigkeitsverteilung gesetzten Schwellenwert Ts zeigt;

Fig. 5 ein Graph ist, der die Korrelationen zwischen Simulationsergebnissen und tatsächlichen Schläfrigkeitsgraden zeigt, die unter Verwendung einer Schnittrate (X%) und eines Verschiebungsverhältnisses (Y%) als Parameter zum Setzen des Schwellenwertes erhalten werden; und

Fig. 6 ein Flußdiagramm ist, das eine Reihe von Verfahren zum Schätzen des Schläfrigkeitsgrades des Fahrers zeigt.

DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN

Unter Bezugnahme auf Fig. 1 wird schematisch ein Gerät zum Schätzen des Schläfrigkeitsgrades eines Fahrers D zusammen mit einem Fahrzeugs 1 gezeigt. Das Schätzungsgerät umfaßt eine Aufnahmekamera 2, eine Anzeigevorrichtung 3 und einen Lautsprecher 4, die beispielsweise in einer Instrumententafel am Fahrersitz des Fahrzeugs eingebaut sind. Die Aufnahmekamera 2 zeichnet das Gesicht des Fahrers D auf, und zwar insbesondere die Augenbereiche, und die Anzeigeeinheit (eine Multiplex-Information-Anzeigevorrichtung) 3 versorgt den Fahrer D mit Bildern, die verschiedene Teile der Information anzeigen. Der Lautsprecher 4 gibt Sprachnachrichten, Alarme, etc. aus.

Das Schätzungsgerät zeichnet mittels der Aufnahmekamera 2 zunächst Bilder vom Gesicht des Fahrers auf und erfaßt aus den Bildern des Gesichts das Augenblinzeln des Fahrers D. Danach schätzt das Schätzungsgerät den Schläfrigkeitsgrad des Fahrers D aus der erforderlichen Zeit für jedes erfaßte Blinzeln - d. h. die Blinzeldauer. Wenn aus diesem Schätzungsergebnis gefolgert wird, daß der Schläfrigkeitsgrad des Fahrers D ansteigt, zeigt die Anzeigevorrichtung 3 des Geräts eine Meldung in dieser Hinsicht an, während der Lautsprecher 4 einen Alarm erklingen läßt, der die Aufmerksamkeit des Fahrers weckt.

Wie in Fig. 1 gezeigt, umfaßt das Schätzungsgerät einen Bild-Speicher/Verarbeitungsabschnitt 10, einen Abschnitt 20 zum Berechnen der normalen Blinzeldauer des Fahrers D als einen Schwellenwert, und einen Abschnitt 30 zum Berechnen der Häufigkeit des Blinzelns, das längere Dauer als die normale Blinzeldauer aufweist - d. h. das Auftrittsverhältnis des langsamen Blinzelns. Das Schätzungsgerät umfaßt des weiteren einen Abschnitt 40 zum Anzeigen des Auftrittsverhältnisses, einen Abschnitt 50 zum Ausgeben von Alarmen und einen Steuerabschnitt 80 zum Steuern des allgemeinen Betriebs der Abschnitte 10, 20, 30, 40 und 50, indem Timer 60 und 70 verwendet werden. Jeder dieser Abschnitte besteht aus einer elektronischen Steuereinheit (ECU = Electronic Control Unit), die beispielsweise einen Mikroprozessor einschließt.

Unter Bezugnahme auf das funktionelle Blockdiagramm von Fig. 2 wird eine spezifischere Anordnung des Schätzungsgeräts gezeigt. Die Bilder des Gesichtes des Fahrers D, die durch die Aufnahmekamera 2 aufgezeichnet werden, werden an den Eingang des Bildspeicher-Verarbeitungsabschnitts 10 angelegt.

Der Bildspeicher/Verarbeitungsabschnitt 10 umfaßt eine Speichervorrichtung, um die Eingabebilder sequentiell zu speichern, und eine Bildverarbeitungseinheit zum Verarbeiten der Daten für die in der Speichervorrichtung gespeicherten Eingabebilder. Genauer gesagt extrahiert die Bildspeicher/ Verarbeitungseinheit 10 zunächst die Zeitfolge-Daten für Bereiche einschließlich des Auges des Fahrers aus den Eingangsbildern und erfaßt die Bewegung (Schließen und Öffnen) seiner Augenlider - d. h. das Blinzeln des Auges des Fahrers - aus den extrahierten Daten. Jedesmal, wenn der Fahrer D blinzelt, erfaßt die Bildspeicher/Verarbeitungseinheit 10 das Zeitintervall, das von dem Moment ab verstreicht, da die Augenlider des Fahrers geschlossen werden, bis sie ganz geöffnet sind, d. h. die Blinzeldauer für jedes Blinzeln. Die auf diese Art und Weise erfaßte Blinzeldauer wird vom Bildspeicher/ Verarbeitungsabschnitt 10 an den Abschnitt 20 zum Berechnen einer normalen Blinzeldauer des Fahrers abgegeben.

Der Berechnungsabschnitt 20 umfaßt einen Speicher 21 und eine Berechnungseinheit 22. Der Speicher 21 wird sequentiell gespeichert, wobei die Blinzeldauer für eine vorbestimmte anfängliche Fahrdauer nach Aufnahme des Fahrbetriebes von Seiten des Fahrers vom Bildspeicher/Verarbeitungsabschnitt 10 ausgegeben werden. Die Berechnungseinheit 22 erhält die Häufigkeitsverteilung der Blinzeldauer von den im Speicher 21 gespeicherten Daten und bestimmt in Übereinstimmung mit dieser Häufigkeitsverteilung die normale Blinzeldauer und setzt einen Schwellenwert, zu bestimmen, ob eine Blinzeldauer - d. h. das Blinzeln des Fahrers - lang ist oder nicht.

Der Berechnungsabschnitt 30 zum Berechnen des Auftrittsver hältnisses des langsamen Blinzelns umfaßt Zähler 31 und 33, eine Unterscheidungseinheit 32 und eine Berechnungseinheit 34. Der Zähler 31 berechnet die ausgegebenen Blinzeldauer vom Bildspeicher/Verarbeitungsabschnitt 10, d. h. die Gesamtzahl der Blinzelvorgänge (Cb) des Fahrer D während einer vorbestimmte Zeitspanne.

In der Unterscheidungseinheit 32 werden die vom Bildspeicher/Verarbeitungsabschnitt 10 ausgegebenen Blinzeldauer mit dem vorbestimmten Schwellenwert verglichen. Auf der Grundlage des Vergleichsergebnisses werden Erfassungssignale nur dann ausgegeben, wenn die Werte der Blinzeldauer größer als der Schwellenwert sind. Der nächste Zähler 33 rechnet die Anzahl der von der Unterscheidungseinheit 32 ausgegebenen Erfassungssignale (Cs) aus. Auf der Grundlage des Ergebnisses der Zählung in den Zählern 31 und 33 wird ein Auftrittsverhältnis LBR (= Cs/Cb) der Ausgabesignale (Cs) in Bezug auf die Gesamtzahl der Blinzelvorgänge (Cb) berechnet. Das Auftrittsverhältnis LBR wird vom Berechnungsabschnitt 30 (Berechnungseinheit 34) dem Anzeige-Steuerabschnitt 40 der Anzeigevorrichtung 3 und dem Alarm-Ausgabeabschnitt 50 zugeführt. Der Anzeige-Steuerabschnitt 40 bewirkt, daß das Auftrittsverhältnis LBR beispielsweise in Form eines Balkendiagramms auf dem Bildschirm der Anzeigevorrichtung 3 angezeigt wird.

Der Alarm-Ausgabeabschnitt 50 umfaßt eine Unterscheidungs einheit 51 und eine Alarmeinheit 52. Die Unterscheidungseinheit 51 wird dazu verwendet, den Schläfrigkeitsgrad des Fahrers D in Übereinstimmung mit dem Auftrittsverhältnis LBR zu schätzen, und bestimmt, ob der Schläfrigkeitsgrad ansteigt oder nicht. Wenn die Unterscheidungseinheit 51 bestimmt, daß der Schläfrigkeits grad des Fahrers D ansteigt, bewirkt die Alarmeinheit 52, daß der Lautsprecher 4 einen Alarmton bzw. eine Sprachmeldung ausgibt, um die Aufmerksamkeit des Fahrers zu wecken.

Der vorstehend erwähnte Berechnungsabschnitt 20 setzt den Schwellenwert auf der Grundlage der normalen Blinzeldauer des Fahrers D auf die folgende Art und Weise.

Bevor das Setzen des Schwellenwertes erklärt wird, wird zunächst das grundlegende technische Konzept der vorliegenden Erfindung beschrieben. Es bestehen zwar Unterschiede in der Blinzeldauer von einzelnen Personen. Jedoch bemerkten die Erfinder eine allgemeine Neigung zur Verlängerung der Blinzeldauer, wenn der Schläfrigkeitsgrad eines blinzelnden Fahrers größer wird. Unter Bezugnahme auf Fig. 3 werden eine Häufigkeitsverteilung α der Blinzeldauer eines weniger schläfri gen blinzelnden Fahrers und eine Häufigkeitsverteilung β der Blinzeldauer eines schläfrigeren blinzelnden Fahrers gezeigt. Wie aus Fig. 3 ersichtlich, ist die Häufigkeitsverteilung α auf einen Bereich mit kürzerer Dauer und die Häufigkeitsverteilung β auf einen Bereich mit längerer Dauer konzentriert. Dies zeigt, daß sich die normale Blinzeldauer (Häufigkeits-Durchschnitt) von a auf b in der Fig. 3 verändert, wenn der Schläfrigkeitsgrad des Blinzelnden zunimmt. Es sollte klar sein, daß sich die Form der Häufigkeitsverteilung ihrerseits ebenfalls im allgemeinen ändert.

Entsprechend kann z. B. eine bestimmte durch γ dargestellte Zeit in der Häufigkeitsverteilung β der Fig. 3 einheitlich als Schwellenwert gesetzt werden. Wenn der Wert der Blinzeldauer eines gewissen blinzelnden Fahrers größer als der Schwellenwert ist, kann in diesem Fall geschlußfolgert werden, daß der Schläfrigkeitsgrad des Blinzelnden groß ist. Im allgemeinen gibt es jedoch wesentliche Unterschiede in der Form der Häufigkeitsverteilung der Blinzeldauer von einzelnen Personen und dem Veränderungsvorgang von der Häufigkeitsverteilung α in die Verteilung β. Es ist daher nicht einfach, durch den zuvor erwähnten Schwellenwert zu bestimmen, ob die Verlängerung der Blinzeldauer auf den Anstieg des Schläfrigkeitsgrades zurückgeführt werden kann oder nicht. Mit anderen Worten sollte ein Schwellenwert für die Unterscheidung des Anstiegs des Schläfrigkeitsgrades der einzelnen Personen in Übereinstimmung mit der Häufigkeitsverteilung α der Blinzeldauer bei niedriger Schläfrigkeit gesetzt werden.

Beim Starten des Fahrbetriebs des Fahrzeugs 1 nimmt man an, daß der Fahrer D wach genug ist. Im Anfangsstadium des Fahrbetriebs ist sich der Fahrer D seines gegenwärtigen Startens bzw. seines erfolgten Startes vollkommen bewußt, so daß sein Schläfrigkeitsgrad niedrig genug ist. Aufgrund der Eintönigkeit bzw. der Gewohnheit bzw. der Anstrengung beim Fahren kann jedoch der Fahrer D nicht so wach wie in der anfänglichen Fahrzeit gehalten werden. Es kann deshalb angenommen werden, daß der Schläfrigkeitsgrad des Fahrers D mit zunehmender Fahrzeit steigt.

Wenn die Blinzel-Charakteristik des Fahrers D beim Starten des Fahrbetriebs - d. h. die dem Fahrer eigene normale Blinzeldauer - untersucht werden kann, kann somit der Schwellenwert für die Entscheidung über den Anstieg des Schläfrigkeitsgrades des Fahrers in Übereinstimmung mit der normalen Blinzeldauer genau gesetzt werden. Der auf diese Weise gesetzte Schwellenwert kann nicht durch Unterschiede zwischen einzelnen Personen beeinflußt werden.

Unter Bezugnahme auf Fig. 4 wird eine Häufigkeitsverteilung α1 der Blinzeldauer einer sehr wachen Person gezeigt. Es ist offensichtlich, daß die normale Blinzeldauer, die aus der Häufigkeitsverteilung α1 erhalten wird, genug kürzer als die Blinzeldauer bei niedriger Schläfrigkeit ist.

Der für die Entscheidung über den Anstieg des Schläfrigkeitsgrades verwendete Schwellenwert kann in Übereinstimmung mit der Häufigkeitsverteilung α1 auf die folgende Art und Weise gesetzt werden.

Im vorhergehenden Berechnungsabschnitt 20 wird zunächst der Spitzenwert bzw. Modus der Häufigkeitsverteilung α1 der Fig. 4 extrahiert. Danach erhält man einen normale Wertbereich, indem die Häufigkeitsverteilung α1 bei X% des Modus geschnitten wird, wobei "X%" als Schnittrate definiert wird. Eine Zeitspanne A für den normalen Wertbereich entspricht dem normalen Wertbereich der Blinzeldauer einer Person im Anfangsstadium des Fahrbetriebs und ist der einzelnen Person eigen.

Dann wird im Berechnungsabschnitt 20 der Medianwert im normalen Wertbereich bzw. in der normalen Zeitspanne A als Bezugs-Blinzeldauer Tc berechnet, und ein Wert, den man erhält, indem eine vorbestimmte Zeit B zu der Bezugsdauer Tc addiert wird - d. h. ein Wert, den man erhält, indem die Bezugsdauer Tc in der Anstiegsrichtung durch eine vorbestimmte Zeit verschoben wird - wird als Schwellenwert Ts gesetzt. Dieser Schwellenwert Ts wird schließlich dazu verwendet, den Anstieg des Schläfrigkeitsgrades zu bestimmen. Die vorbestimmte Zeit B wird auf Y% der Zeitspanne A gesetzt, wobei "Y%" als "Verschiebungsverhältnis" definiert wird. Entsprechend wird der Schwellenwert Ts gemäß der folgenden Gleichung berechnet:

Ts = Tc + A·Y/100

Unter Bezugnahme auf Fig. 5 werden Korrelationen zwischen Simulationsergebnissen der Entscheidung über den Anstieg des Schläfrigkeitsgrades unter Verwendung des Schwellenwertes Ts und tatsächlichen Entscheidungsergebnissen über den Anstieg des Schläfrigkeitsgrades, die man dem Gesichtsausdruck entnimmt, dargestellt, wobei die zuvor erwähnte Schnittrate (X%) und das zuvor erwähnte Verschiebungsverhältnis (Y%) als Parameter verwendet werden. Wie aus Fig. 5 ersichtlich, nimmt der Koeffizient der Korrelation zwischen den Simulationsergebnissen und den tatsächlichen Ergebnissen seinen Maximalwert an, wenn die Schnittrate und das Verschiebungsverhältnis jeweils 40% und 70% betragen. Während die Testergebnisse der Fig. 5 die Durchschnittswerte für eine Mehrzahl von Testpersonen anzeigt, wird bestätigt, daß die Testergebnisse für die einzelnen Testpersonen dieselbe Tendenz wie die Testergebnisse der Fig. 5 aufweisen. Unter Bezugnahme auf die Testergebnisse einer jeden einzelnen Testperson, ist der Korrelationskoeffizient zwischen den Simulationsergebnissen und den tatsächlichen Ergebnissen am höchsten, wenn die Schnittrate und das Verschiebungsverhältnis bei oder in der Nähe der zuvor erwähnten Werten liegen.

Angesichts dieser Umstände wird gemäß der vorliegenden Erfindung der Schläfrigkeitsgrad des Fahrers D auf der Grundlage der Blinzeldauer des Fahrers und des Schwellenwertes Ts mittels des zuvor erwähnten Schätzungsgeräts geschätzt. Insbesondere wird der Schläfrigkeitsgrad des Fahrers D gemäß der in Fig. 6 gezeigten Verfahren geschätzt.

Zunächst aktiviert der allgemeine Steuerabschnitt 80 den Timer 60, wenn der Fahrbetrieb beginnt. Der Timer 60 mißt die Fahrzeit Tk, die nach dem Start des Fahrbetriebs verstrichen ist (Schritt S1). Die Schritte S3 und S4 werden wiederholt ausgeführt, bis das Ergebnis in Schritt S2 während der Zeitmessung mittels des Timers 60 JA wird - d. h. 10 Minuten lang nach dem Start des Fahrbetriebs. Wenn dies erfolgt ist, berechnet der Bildspeicher/Verarbeitungsabschnitt 10 eine Blinzeldauer τ des Fahrerauges jedesmal, wenn das Blinzeln erfaßt wird, und die berechnete Blinzeldauer τ wird dann anschließend im Speicher 21 des Berechnungsabschnitts 20 gespeichert. Solchermaßen sammelt der Speicher 21 Daten für die Blinzeldauer τ innerhalb von 10 Minuten nach dem Starten des Fahrbetriebs. Die Datensammlung für die Blinzeldauer τ kann anstelle der verstrichenen Fahrzeit in Übereinstimmung mit der Blinzelanzahl gesteuert werden. Die Blinzeldauer τ können beispielsweise solange gesammelt werden, bis der Fahrer D 100 Mal geblinzelt hat, nachdem der Fahrbetrieb gestartet wurde. So kann die Datensammlung für die Blinzeldauer τ entweder durch die Zeit oder gemäß der Blinzelanzahl gesteuert werden.

Wenn das Ergebnis in Schritt S2 JA wird, wird die Berechnungseinheit 22 des Berechnungsabschnitts 20 aktiviert. Die Berechnungseinheit 22 erhält die Häufigkeitsverteilung der Blinzeldauer τ aus den im Speicher 21 gespeicherten Daten. Diese Häufigkeitsverteilung stellt die Häufigkeitsverteilung der Blinzeldauer dar, die man erhält, wenn der Fahrer D beim Starten des Fahrbetriebs sehr wach ist. In der Berechnungseinheit 22 wird danach der zuvor erwähnte Schwellenwert Ts in Übereinstimmung mit der Häufigkeitsverteilung der Blinzeldauer gesetzt (Schritt S5). Dieser Schwellenwert Ts wird gemäß der zuvor erwähnten Gleichung berechnet, nachdem der normale Wertbereich bzw. die Zeitspanne A und die Bezugs-Blinzeldauer Tc in Übereinstimmung mit der Häufigkeitsverteilung der Blinzeldauer berechnet worden sind.

Wenn der Schwellenwert Ts für die Blinzeldauer τ auf diese Weise gesetzt wird, wird dann der Berechnungsabschnitt 30 aktiviert. In diesem Berechnungsabschnitt 30 werden zunächst Werte im Timer 70 und in den Zählern 31 und 33 initialisiert, woraufhin der Timer 70 damit beginnt, die verstrichene Zeit zu messen (Schritt S6).

Im Bildspeicher/Verarbeitungsabschnitt 10 wird das Blinzeln des Fahrers D auf die zuvor erwähnte Art und Weise überwacht. Wenn der Fahrer D blinzelt, wird die gegenwärtige Blinzeldauer τ berechnet (Schritt S7) und der Wert Cb im Zähler 31 um 1 inkrementiert (Schritt S8).

Danach wird die gegenwärtige Blinzeldauer τ mit dem Schwellenwert Ts verglichen (Schritt S9). Wenn der Vergleich anzeigt, daß der Wert der Blinzeldauer τ nicht kleiner als der Schwellenwert Ts ist - d. h. wenn das Ergebnis in Schritt S9 JA lautet -, wird der Wert Cs im Zähler 33 um 1 inkrementiert (Schritt S10). Wenn das Ergebnis im Schritt S9 NEIN lautet, wird andererseits Schritt S10 übersprungen und Schritt S11, der nächste Schritt, ausgeführt.

In Schritt S11 wird bestimmt, ob durch eine vom Timer 70 gemessene Zeit TM 1 Minute oder mehr erreicht ist oder nicht. Wenn das Ergebnis in Schritt S11 NEIN lautet, werden Schritt S7 und die nachfolgenden Schritte wiederholt ausgeführt.

Wenn das Ergebnis in Schritt S11 JA wird, zeigt der Wert Cb im Zähler 31 folglich die Gesamtzahl der Blinzelvorgänge des Fahrer D an, bevor die gemessene Zeit TM 1 Minute erreicht, während der Wert Cs im Zähler 33 die Anzahl der Blinzelvorgänge mit der Dauer τ (bzw. die Anzahl der langsamen Blinzelvorgänge) anzeigt, deren Werte unter jenen aller anderen Blinzeldauer nicht kleiner als der Schwellenwert Ts sind. Auch in diesem Fall kann anstelle der gemessenen Zeit TM die Anzahl der langsamen Blinzelvorgänge Cs, die beobachtet werden, bevor die Gesamtzahl der Blinzelvorgänge Cb 100 erreicht, berechnet werden.

Danach wird die Berechnungseinheit 34 aktiviert und das Verhältnis LBR der Anzahl langsamen Blinzelvorgänge Cs in Bezug auf die Gesamtanzahl der Blinzelvorgänge Cb berechnet (Schritt S12). Das berechnete Verhältnis LBR wird in einem Balkendiagramm im Anzeige-Steuerabschnitt 40 verarbeitet und dann auf der Anzeigevorrichtung 3 angezeigt (Schritt S13).

Danach vergleicht die Unterscheidungseinheit 51 des Alarm-Ausgabeabschnitts 50 das Verhältnis LBR mit einem vorbestimmten Entscheidungsniveau K (Schritt S14). Wenn der Vergleich zeigt, daß das Verhältnis LBR nicht niedriger als das Entscheidungsniveau K ist - d. h. wenn das Ergebnis in Schritt S14 JA lautet - und schlußfolgert wird, daß die Häufigkeit des langsamen Blinzelns bzw. der Schläfrigkeitsgrad des Fahrers D hoch ist, löst die Alarmeinheit 52 einen Alarm aus (Schritt S15). Dieser Alarm ist nicht auf einen Alarmton oder eine Sprachmeldung des Lautsprechers 4 beschränkt und kann eine Alarmmeldung sein, die anstelle des Balkendiagramms für das Verhältnis LBR auf der Anzeigevorrichtung 3 angezeigt wird. In diesem Fall fordert die Alarmbotschaft den Fahrer D visuell auf, sich auf das Fahren seines Fahrzeugs zu konzentrieren.

Die Verfahren der Schritte S6 bis S15 werden unter der Steuerung des Timers 70 wiederholt ausgeführt. Insbesondere wird für jede vorgegebene Zeit TM das Verhältnis LBR erhalten, in Form eines Balkendiagramms angezeigt und zur selben Zeit bestimmt. Auf der Grundlage des Ergebnisses dieser Bestimmung wird sofort ein Alarm ausgelöst, wenn ein Anstieg des Schläfrigkeitsgrades des Fahrers D erfaßt wird.

Gemäß dem Schätzungsgerät der vorliegenden Erfindung wird, wie oben beschrieben, der Schwellenwert Ts in Übereinstimmung mit der Häufigkeitsverteilung der Blinzeldauer des Fahrers D gesetzt, die beim Starten des Fahrbetriebs erhalten wird. Unter Verwendung dieses Schwellenwertes Ts kann daher genau bestimmt werden, ob die Blinzeldauer des Fahrers D länger als gewöhnlich sind oder nicht, ohne durch die Unterschiede zwischen einzelnen Personen eine Beeinflussung zu erfahren.

Da der Anstieg des Schläfrigkeitsgrades durch das Verhältnis LBR der Anzahl langsamen Blinzelvorgänge Cs in Bezug auf die Gesamtzahl der Blinzelvorgänge Cb innerhalb einer vorgegebenen Zeit bestimmt wird, ist die Zuverlässigkeit dieser Bestimmung groß genug. Darüber hinaus wird die Bestimmung des Anstiegs des Schläfrigkeitsgrades durch ein ziemlich einfaches Verfahren, wie zuvor erwähnt, durchgeführt, so daß das Schätzungsgerät mit Leichtigkeit verwirklicht werden kann.

Die vorliegende Erfindung ist nicht auf die oben beschriebene Ausführungsform beschränkt. Beim Setzen des Schwellenwertes Ts können beispielsweise die zuvor erwähnte Schnittrate (X%) und das Verschiebungsverhältnis (Y%) je nach erforderlicher Schätzungsgenauigkeit des Schläfrigkeitsgrades für das Schätzungsgerät passend gesetzt werden. Natürlich kann der Schwellenwert Ts durch einen anderen Algorithmus auf der Grundlage der Häufigkeitsverteilung der Blinzeldauer gesetzt werden. Beim Starten des Fahrbetriebs können darüber hinaus die Zeitspannen zum Erhalten der Häufigkeitsverteilung α1 der Blinzeldauer und das Verhältnis LBR in Übereinstimmung mit den Geräte-Spezifikationen ebenfalls passend gesetzt werden.

Als Beispiel für eine praktische Anwendung kann das berechnete Verhältnis LBR des weiteren in Form eines Balkendiagramms auf der Grundlage einer Zeitfolge derart angezeigt werden, daß der Fahrer D die Veränderung des Verhältnisses LBR für eine vorbestimmte Zeitspanne erkennen kann.

Wenn der Anstieg des Schläfrigkeitsgrades erfaßt wird, kann eine automatische Geschwindigkeitsabnahme-Steuerung zur Betätigung des Bremssystems des Fahrzeugs 1 aktiviert oder ein automatischer Betriebsmodus einschließlich einer Erkennungs steuerung der Straßen-Trennstreifen und einer Abstandssteuerung zum Abstand-Halten des Wagens gestartet werden. Auf diese Weise kann das sichere Fahren des Fahrzeugs 1 solange beibehalten werden, bis der Fahrer D vollständig wach wird. Des weiteren ist das Schätzungsgerät der Erfindung auch auf Fahrgäste im Fahrzeug, die nicht der Fahrer sind, anwendbar und kann den Anstieg ihres Schläfrigkeitsgrades auf ähnliche Weise unterscheiden. Außerdem ist offensichtlich, daß verschiedene Veränderungen und Modifikationen der vorliegenden Erfindung von einem Fachmann durchgeführt werden können, ohne sich vom Schutzumfang und Geist der Erfindung zu lösen.

Claims

1. Ein Gerät zum Schätzen eines Schläfrigkeitsgrades eines Fahrers (D) eines Fahrzeug (1), das folgendes umfaßt: ein Bildaufzeichnungsmittel (2) zum Aufzeichnen von Bildern eines Gesichtsbereichs des Fahrers (D) einschließlich eines Auges des Fahrers, und ein Schätzungsmittel zum Erfassen des Blinzelns des Auges des Fahrers aus Bilddaten, die mittels des Bildaufzeich nungsmittels (2) erhalten werden und zum Schätzen des Schläfrigkeitsgrades des Fahrers (D) auf der Grundlage des erfaßten Blinzelns, dadurch gekennzeichnet, daß das Schätzungsmittel folgendes umfaßt:
ein Erfassungsmittel (10, 20) zum Erfassen einer verstri chenen Zeit während eines Augenblinzelns als Blinzeldauer (τ) in Übereinstimmung mit den Bilddaten für den Gesichtsbereich, der durch das Bildaufzeichnungsmittel (2) erhalten werden;
ein Erhaltemittel (21) zum Erhalten einer Häufigkeitsver teilung (α1) der Blinzeldauer (τ), die während einer ersten vorbestimmten Zeitspanne nach einem Start des Fahrbetriebs des Fahrzeugs (1) erfaßt werden;
ein Setzmittel (22) zum Setzen eines Schwellenwertes (Ts) in Übereinstimmung mit der Häufigkeitsverteilung (α1), der dazu verwendet wird, das langsame Blinzeln des Auges zu extrahieren;
ein Berechnungsmittel (30) zum Berechnen eines Auftrittsverhältnisses (LBR) des langsamen Blinzelns während jeder zweiten vorbestimmten Zeitspanne nach einer Beendigung der ersten vorbestimmten Zeitspanne, wobei das Auftrittsverhältnis (LBR) durch das Verhältnis einer Anzahl (Cs) der Blinzelvorgänge mit einer Dauer (τ) dargestellt wird, deren Werte nicht kleiner als der Schwellenwert (Ts) sind, in Bezug auf eine Gesamtzahl (Cb) der Blinzeldauer (τ) während der zweiten vorbestimmten Zeitspanne; und
ein Unterscheidungsmittel (50) zum Unterscheiden des Schläfrigkeitsgrades des Fahrers (D) in Übereinstimmung mit dem berechneten Auftrittsverhältnis (LBR).

2. Das Gerät nach Anspruch 1, dadurch gekennzeichnet, daß das Setzmittel (22) ein Mittel zum Erhalten eines normalen Wertbereiches aus der Häufigkeitsverteilung (α1), ein Mittel zum Berechnen des Medianwertes (Tc) im normalen Wertbereich, und ein Mittel einschließt, das als Schwellenwert (Ts) einen Wert ausgibt, der erhalten wird, indem eine vorbestimmte Zeit (B), die in Übereinstimmung mit dem normalen Wertbereich gesetzt wird, zum Medianwert (Tc) addiert wird.

3. Das Gerät nach Anspruch 2, dadurch gekennzeichnet, daß der normale Wertbereich als Unterschied zwischen zwei Blinzeldauer (τ) mit einer gleichen Häufigkeit in der Häufigkeitsverteilung definiert wird, und dadurch daß dieselbe Häufigkeit ein Wert ist, der erhalten wird, indem ein Modus der Häufigkeitsverteilung mit einem ersten vorbestimmten Verhältnis (X) multipliziert wird.

4. Das Gerät nach Anspruch 2, dadurch gekennzeichnet, daß die vorbestimmte Zeit (B) als ein Wert definiert ist, der erhalten wird, indem eine Zeitspanne (A) des normalen Wertbereiches mit einem zweiten vorbestimmten Verhältnis (Y) multipliziert wird.

5. Das Gerät nach Anspruch 3, dadurch gekennzeichnet, daß die vorbestimmte Zeit (B) als ein Wert definiert ist, der erhalten wird, indem eine Zeitspanne (A) des normalen Wertbereiches mit einem zweiten vorbestimmten Verhältnis (Y) multipliziert wird.

6. Das Gerät nach Anspruch 1, dadurch gekennzeichnet, daß das Unterscheidungsmittel (50) einen Unterscheidungsabschnitt (51) umfaßt, der ein Ergebnis der Berechnung ausgibt, wenn das berechnete Auftrittsverhältnis (LBR) nicht niedriger als ein vorbestimmter Entscheidungswert (K) ist, und ein Alarmmittel (52) umfaßt, das beim Empfang des Ergebnisses, das vom Unterscheidungsabschnitt (51) ausgegeben wird, einen Alarm an den Fahrer (D) übermittelt.

7. Das Gerät nach Anspruch 1, dadurch gekennzeichnet, daß das Gerät des weiteren ein Anzeigemittel (3) zum Anzeigen des berechneten Auftrittsverhältnisses (LBR) umfaßt.

8. Das Gerät nach Anspruch 1, dadurch gekennzeichnet, daß das Erfassungsmittel ein Speichermittel (10) einschließt, um sequentiell die Bilddaten zu speichern, die vom Bildaufzeichnungsmittel (2) erhalten werden, und ein Bildverarbeitungsmittel (10) einschließt, um den Bereich einschließlich des Auges des Fahrers aus den Bilddaten im Speichermittel (10) auf einer Zeitfolge-Grundlage zu extrahieren, wobei die jeweiligen Zeiten eines Beginns des Augenblinzelns und einer Beendigung des Augenblinzelns aus den extrahierten Daten einzeln festgelegt werden, und ein Zeitintervall zwischen den Start- und Beendigungszeiten als Blinzeldauer (τ) erfaßt wird.

9. Das Gerät nach Anspruch 1, dadurch gekennzeichnet, daß die erste vorbestimmte Zeitspanne kürzer als die zweite vorbestimmte Zeitspanne ist.

10. Ein Gerät zum Schätzen eines Schläfrigkeitsgrades einer Person, das folgendes umfaßt:
eine Bildaufzeichnungseinheit, die zumindest Bilder eines Auges der Person aufzeichnet;
eine Erfassungseinheit, die aus den aufgezeichneten Bildern eine während eines einzelnen Augenblinzelns verstrichene Zeit als eine Blinzeldauer erfaßt;
eine Erhalteeinheit, die eine Häufigkeitsverteilung der Blinzeldauer während einer ersten vorbestimmten Zeitspanne erhält;
eine Setzeinheit, die einen Schwellenwert auf der Grundlage der Häufigkeitsverteilung zum Extrahieren des langsamen Augenblinzelns setzt;
eine Berechnungseinheit, die in jeder zweiten vorbestimmten Zeitspanne nach einer Beendigung der ersten vorbestimmten Zeitspanne ein Auftrittsverhältnis des langsamen Augenblinzelns berechnet, wobei das Auftrittsverhältnis durch ein Verhältnis einer Anzahl von Blinzelvorgänge mit einer Dauer dargestellt wird, deren Werte nicht kleiner als der Schwellenwert sind, in Bezug auf eine Gesamtzahl der Augenblinzelvorgänge während der zweiten vorbestimmten Zeitspanne; und
eine Unterscheidungseinheit, die den Schläfrigkeitsgrad des Fahrers auf der Grundlage des berechneten Auftrittsverhältnisses unterscheidet.

11. Ein Verfahren zum Schätzen eines Schläfrigkeitsgrad einer Person, das folgendes umfaßt:
das Aufzeichnen von Bildern eines Auges der Person;
das Erfassen aus den aufgezeichneten Bildern einer während eines einzelnen Augenblinzelns verstrichenen Zeit als Blin zeldauer;
das Erhalten einer Häufigkeitsverteilung der Blinzeldauer während einer ersten vorbestimmten Zeitspanne;
das Setzen eines Schwellenwertes auf der Grundlage der Häufigkeitsverteilung zum Extrahieren des langsamen Blinzelns des Auges;
das Berechnen eines Auftrittsverhältnisses des langsamen Blinzelns, und zwar jede zweite vorbestimmte Zeitspanne nach einer Beendigung der ersten vorbestimmten Zeitspanne, wobei das Auftrittsverhältnis durch ein Verhältnis einer Anzahl der Blinzelvorgänge mit einer Dauer dargestellt wird, deren Werte nicht kleiner als der Schwellenwert sind, in Bezug auf eine Gesamtzahl der Augenblinzelvorgänge während der zweiten vorbestimmten Zeitspanne; und
das Unterscheiden des Schläfrigkeitsgrades des Fahrers auf der Grundlage des berechneten Auftrittsverhältnisses.

12. Das Verfahren nach Anspruch 11, worin der Setzschritt folgendes umfaßt:
das Erhalten eines normalen Wertbereiches von der Häufigkeitsverteilung,
das Berechnen eines Medianwertes im normalen Wertbereich, und
das Ausgeben eines Wertes als Schwellenwert, der erhalten wird, indem eine vorbestimmte Zeit, die in Übereinstimmung mit dem normalen Wertbereich gesetzt wird, zum Medianwert addiert wird.

13. Das Verfahren nach Anspruch 11, worin der Unterschei dungsschritt folgendes einschließt:
das Ausgeben eines Ergebnisses der Berechnung, wenn das be rechnete Auftrittsverhältnis nicht kleiner als ein vorbestimmter Entscheidungswert ist, und
das Ausgeben eines Alarms an die Person, wenn das vom Unterscheidungsabschnitt ausgegebene Ergebnis empfangen wird.