DE10024227A1 - Verfahren und Einrichtung zur elektronischen Überwachung des Aufmerksamkeitsgrades - Google Patents

Abstract

Die Erfindung betrifft Verfahren sowie Einrichtung zur elektronischen Überwachung des Aufmerksamkeitsgrades eines Kraftfahrzeugführers durch elektronische Überwachung der Augen oder Augenpartie gemäß Oberbegriff der Patentansprüche 1, 2 und 7. DOLLAR A Um hierbei zu erreichen, daß durch Unaufmerksamkeit und nicht nur durch Schläfrigkeit entstehende Verkehrssituationen beherrschbar bleiben, insbesondere dann, wenn sich das Fahrzeug in einer mit kurzen Abständen zum vorausfahrenden Fahrzeug bewegenden Kolonne mitbewegt, ist erfindungsgemäß vorgeschlagen, daß bei entsprechender Registrierung von Müdigkeit die Geschwindigkeit automatisch reduziert wird.

Description

Die Erfindung betrifft Verfahren zur elektronischen Überwachung des Aufmerksamkeitsgrades oder der Augen und/oder Augenlidtätigkeit bei Kraftfahrzeugführern, sowie eine entsprechende Einrichtung zur elektronischen Überwachung der Augenpartie eines Kraftfahrzeugführers während des Fahrbetriebes, gemäß Oberbegriff der Patentansprüche 1, 2 und 7.

Verfahren und Einrichtungen dieser Art sind im Stand der Technik bereits als solches bekannt.

So ist aus der DE 196 21 435 A1 eine Vorrichtung zur Überwachung der Augen für die Erfassung eines Schläfrigkeitszustandes eines Kraftfahrzeugführers bekannt. Eine Kamera nimmt dabei die Augen des Fahrers auf und wertet die Bewegung der Augen als solches aus. Unter Zuhilfenahme bestimmter Auswertekriterien wird dann ein Schläfrigkeitszustand aus der Bewertung der Augen und der Lidtätigkeit hergeleitet. Im wesentlichen steht hierbei die Fokussierung auf die Augen bzw. auf die besagte Augenpartie und die nachführende Betriebsweise der Kamera im Vordergrund. Bei einer entsprechenden Bewertung einer Schläfrigkeit wird dann ein Warnsignal generiert.

Aus der DE 296 07 558 ist eine Überwachung der Dauer des Augenlidschlusses bekannt, bei welcher bei Überschreitung einer bestimmten Lidschlußdauer ein Alarmsignal ausgelöst wird.

Aus der DE 197 15 519 A1 ist ein Gerät zur Einschätzung des Schläfrigkeitsgrades des Fahrers eines Fahrzeuges bekannt. Ausgewertet werden die Häufigkeitsverteilung von Augenblinzeln, die Dauer der Blinzelvorgänge, und der Anteil der langsamen Blinzelvorgänge, gemessen an der Gesamtzahl der Blinzelvorgänge der Augenlider. Hierzu werden statistische Verfahren verwendet, die nach Häufungsgesetzmäßigkeiten und auf entsprechende Verteilungskurven hin stochastische Werte ermitteln. Aus diesen werden dann entsprechende logische Kriterien hergeleitet, die auf einen Schläfrigkeitszustand des Kraftfahrzeugführers schließen sollen. Auch hierbei wird bei entsprechender Auswertung eines Schläfrigkeitszustandes ein Alarmsignal generiert.

Aus der DE 295 04 973 U1 ist ein sogenannter Einschlafwächter mit der Überwachung der Wärmeabstrahlung des offenen und geschlossenen Auges angegeben. Der Reflexionsgrad der Augenoberfläche, oder der Anspannungszustand des Augenmuskels beeinflussen die Wärmeabstrahlung der Augenoberfläche. Aus einer Bewertung dieser Situation wird in gleichem Maße eine Bewertung des Schläfrigkeitszustandes des Fahrers hergeleitet und sodann wird ein entsprechendes Alarmsignal generiert.

Alle genannten Verfahren bewerten gleichermaßen den Schläfrigkeitszustand eines Kraftfahrzeugführers aus deren Augentätigkeit bzw. Lidtätigkeit.

Hierbei wird aus den besagten Parametern, wie Lidschlußdauer und Wärmeabstrahlungsgrad, aus dem indirekt auch ermittelt werden kann, ob das Augenlid geschlossen oder geöffnet ist, ausschließlich nur die Schläfrigkeit bestimmt.

Nachteilig ist hierbei, daß nicht alle Situationen gleichermaßen auf diese Weise erfaßbar sind. Es ergibt sich, daß die Lidschlußtätigkeit alleine und ein ggf. erhöhtes Blinzeln auch andere Ursachen haben kann, als die der Schläfrigkeit.

Im übrigen ist die Generierung ausschließlich eines Alarmsignales keine hohe Gewährleistung dafür, daß durch Schläfrigkeit bereits entstandene kritische Verkehrssituationen schnellstmöglich korrigierbar sind. Vielmehr kann die Auslösung ausschließlich eines Alarmsignales auch gefährliche Schreckzustände für den Fahrzeugführer und der mitgeführten Insassen bewirken.

Der Erfindung liegt somit die Aufgabe zugrunde, Verfahren und Einrichtung dieser Art dahingehend zu verbessern, daß durch Unaufmerksamkeit und nicht nur durch Schläfrigkeit entstehende Verkehrssituationen beherrschbar bleiben, insbesondere dann, wenn sich das Fahrzeug in einer mit kurzen Abständen zum vorausfahrenden Fahrzeug bewegenden Kolonne mitbewegt.

Die gestellte Aufgabe ist bei einem Verfahren der gattungsgemäßen Art erfindungsgemäß durch die kennzeichnenden Merkmale des Patentanspruches 1 gelöst.

Bei einem weiteren Verfahren der gattungsgemäßen Art, welches inhaltlich und funktionell bezüglich seiner Gattung gleichbedeutend mit dem erstgenannten Verfahren ist, ist die gestellte Aufgabe durch die kennzeichnenden Merkmaie des Patentanspruches 2 erfindungsgemäß gelöst.

Weitere vorteilhafte Ausgestaltungen der genannten erfindungsgemäßen Verfahren sind durch die nachfolgenden abhängigen Ansprüche 3-6 angegeben.

Im Hinblick auf eine erfindungsgemäße Einrichtung ist die gestellte Aufgabe erfindungsgemäß durch die kennzeichnenden Merkmale des Patentanspruches 7 gelöst.

Weitere vorteilhafte Ausgestaltungen der erfindungsgemäßen Einrichtung sind in den abhängigen übrigen Ansprüchen angegeben.

Das Wesen der verfahrensgemäßen Erfindung nach Anspruch 1 ist, daß bei Überwachung des augen- oder -lidtätigkeitsbezogenen Aufmerksamkeitsgrades und bei entsprechender Registrierung von Schläfrigkeit die Geschwindigkeit automatisch reduziert wird. Dabei wird gegenüber dem Stand der Technik nunmehr zusätzlich eine Sicherheitsreserve eingebaut, dadurch daß ein Eingriff auf den aktiven Fahrbetrieb in Abhängigkeit zur Registrierung eines solchen geminderten Aufmerksamkeitszustandes bewirkt wird. Es bleibt somit, gegenüber dem Stand der Technik, nicht nur bei der Auslösung eines Alarmsignales, sondern in Abhängigkeit des registrierten Schläfrigkeitszustandes wird auch die Geschwindigkeit automatisch reduziert.

Kern der Erfindung gemäß Verfahren nach Anspruch 2 ist, daß eine ADR-geregelte automatisch gesteuerte Kolonnen- oder Staufahrt als zusätzlicher Parameter für die Aufmerksamkeit und/oder die Blickrichtung des Kraftfahrzeugführers durch elektro­ optische Augen- und/oder Lidbeobachtung bewertet wird. In diesem Falle wird die sozusagen beschriebene Augentätigkeitsbeobachtung als weiterer Parameter in eine ADR-Regelung eingebunden. Dies kann, wie in Anspruch 1 beispielsweise die Konsequenz haben, daß zusätzlich zum ausgelösten Alarmsignal auch die Geschwindigkeit reduziert wird, obwohl die automatische Distanzregelung (ADR) eine höhere Geschwindigkeit zuließe. Ein weiterer wesentlicher Aspekt gemäß dem Verfahren nach Anspruch 2 ist, daß sich die elektronische bzw. opto-elektronische Augenbeobachtung nicht nur auf die Augenlidtätigkeit beschränkt, sondern daß hierüber auch die Blickrichtung ermittelt wird. Auch dies ist wieder in Verbindung mit der genannten ADR-Regelung zu sehen. Damit soll verhindert werden, daß eine automatische Distanzregelung, welches auf die Erfassung des voranfahrenden Fahrzeuges ausgerichtet ist, einem Fahrzeug bereitwillig folgt, selbst wenn dieses beispielsweise unbeabsichtigt die Fahrspur verläßt bzw. ggf. droht, einen Unfall zu erleiden.

Die korrigierende Erfassung der Blickrichtung des Kraftfahrzeugführers greift hier in der richtigen Weise ein und gleicht diesen Mangel aus bzw. behebt diesen.

In weiterer vorteilhafter Ausgestaltung ist angegeben, und dies bezieht sich sowohl auf ein Verfahren nach Anspruch 1, als auch auf ein Verfahren nach Anspruch 2, daß ein entsprechender Eingriff auf die elektronische Gaspedalbetätigung und/oder die elektronische oder elektrische Bremse und/oder eine elektronische oder elektrische Lenkbetätigung erfolgt. Auf diese Weise werden die genannten Verfahren in ihrer Wirkungsweise so komfortabel, daß ein Fahrzeugführer ggf. durch Korrektur oder entsprechende Blickrichtung und Blickrichtungsauswertung das Fahrzeug selbsttätig steuern kann.

In weiterer vorteilhafter Ausgestaltung ist angegeben, daß die Beobachtung der Augen des Kraftfahrzeugführers permanent erfolgt oder aber bei elektronischer Stauerkennung selbsttätig erst aktiv wird. Dies hat funktionell dann den Vorteil, daß das System sozusagen als Stauassistent dienen kann und insbesondere der monotonen, einschläfernden Betriebsweise des Fahrzeuges im. Staubetrieb entgegenwirkt, und die Sicherheit erheblich erhöht.

In weiterer vorteilhafter Ausgestaltung der erfindungsgemäßen Verfahren ist angegeben, daß beim Folgefahren, in Situationen, bei welchen der Vordermann die Fahrbahn aus Unaufmerksamkeit oder aus technischen Mängeln oder situationswidrig verläßt, ein automatisches Nachfolgen des betreffenden Fahrzeuges dadurch unterdrückt wird, daß der geradeaus gerichtete Blick des Kraftfahrzeugführers korrigierend mitbewertet wird. Dadurch wird in funktionaler Zugehörigkeit aller einzelnen Maßnahmen zusammen eine komfortable und sichere Verkehrsführung auch in Stausituationen ermöglicht.

In weiterer vorteilhafter Ausgestaltung ist angegeben, daß der elektronisch erfaßte Blick des Kraftfahrzeugführers in ein Autopilotsteuerungssystem des Kraftfahrzeuges miteinbezogen wird.

Die Einbeziehung in ein Autopilotsystem bedeutet, daß die Betätigung der Bremse sowie des Gaspedals, ggf. auch die Lenkbetätigung in Verbindung mit einem Navigationssystem weitestgehend automatisiert ist. Die zusätzliche Auswertung der Blickrichtung des Kraftfahrzeugführers, oder die Registrierung eines Schläfrigkeitszustandes gehen somit als weitere sicherheitsrelevante Größen mit ein, wobei im Autopilotsystem sodann gewisse Fahrparameter, zu denen beispielsweise auch die Geschwindigkeit gehört, deutlich herabgesetzt werden, um die durch eine temporäre Schläfrigkeit entstehenden Ausfälle erwartbarer Kraftfahrzeugführereingriffe ausgeglichen werden. Damit werden verlorene Sicherheitsreserven wieder aufgebaut.

Gemäß der genannten Einrichtung, besteht der Kern der Erfindung darin, daß die Erfassung der Müdigkeit und/oder der Blickrichtung durch eine Kamera mit nachgeschalteter Mustervergleichsauswerteeinheit erfolgt. Gegenüber dem im Stand der Technik eingangs bereits geschilderten Anordnungen werden hier Mustervergleichsverfahren oder Mustervergleichsauswerteverfahren angewendet. Hierbei werden in einer entsprechenden Speichereinheit Muster hinterlegt, die als solches jedoch auch adaptiv hinterlegt sein können, so daß das System von den nachfolgenden Benutzern und deren Augentätigkeit lernen kann, und hierüber Muster im Speicher angelegt. Eine entsprechende Auswerteeinheit dieser Art der Kamera nachzuschalten hat auch den Vorteil, daß aufwendige Rechenverfahren als solches entfallen und mittels einer Rechnereinheit lediglich die Mustervergleiche durchgeführt werden. Bestimmte Muster oder Musterkombinationen repräsentieren dabei akute Schläfrigkeit oder Müdigkeit.

In weiterer vorteilhafter Ausgestaltung ist angegeben, daß die Kamera eine automatisch nachführende Kamera ist. Hierzu werden unterschiedlich große Personen als Kraftfahrzeugführer berücksichtigt, so daß die Kamera bzw. das Kameraobjektiv auf die jeweilige Augenpartie fokussierend automatisch nachführt.

In weiterer vorteilhafter Ausgestaltung der erfindungsgemäßen Einrichtung ist angegeben, daß elektronische Bildauswertemittel der Kamera nachgeschaltet sind. Darüber hinausgehend ist angegeben, daß über die Bildauswertemittel auch eine elektronische Nachführung des die Augenpartie des Kraftfahrzeugführers enthaltenden Bildausschnittes realisierbar ist. Mit Hilfe dieser elektronischen Bildauswertemittel ist es nun möglich, daß das Objektiv durchaus mit entsprechender Brennweite einen entsprechend großen Blickwinkel summatorisch erfaßt, daß jedoch durch elektronische Nachbearbeitung der Bildauswertung auf gewisse Winkelbereiche oder erfaßte Teilbereiche fokussierbar ist. Auf diese Weise ist die Kamera elektronisch nachführbar, indem sozusagen bestimmte Bildpunktsegmente unterschiedlich sensitiv so ausgewertet werden, daß dies einer mechanischen Kameranachführung nahekommt.

Mit einer Bildauswertung dieser Art kann dann die Kamera als solches und deren Objektiv auch feststehend sein.

Zur entsprechend schnellen Bildauswertung sind die Bildauswertemittel elektronisch mit einem bordeigenen Kraftfahrzeugrechner zur insgesamten Verkehrs- und/oder Betriebsauswertung logisch verbunden. Auf diese Weise können auch übrige Fahrdaten in diesen zentralen bordeigenen Kraftfahrzeugrechner mitberücksichtigt werden und somit Gesamtsituationen erfaßt werden. Auf diese Weise ist durch Bewertung von Gesamtsituationen auch eine entsprechend komplexere Reaktionsmöglichkeit gegeben.

Die Erfindung ist in der Zeichnung dargestellt und nachfolgend näher beschrieben.

Es zeigt:

Fig. 1 Sicht auf Kameraanordnung im Kraftfahrzeug.

Fig. 2 Logische Zusammenwirkung der einzelnen erfindungsgemäßen Elemente.

Fig. 1 zeigt eine entsprechende erfindungsgemäße Anordnung in seiner Betriebsweise, aus der Sicht in ein Kraftfahrzeug von hinten. Der Kraftfahrzeugführer 2 hat dabei ordnungsgemäß den Fahrzeugsitz eingenommen und betreibt das Kraftfahrzeug im aktiven Fahrbetrieb. Er blickt dabei möglichst oder weitestgehend geradeaus durch die Frontscheibe 1. Mittig oberhalb ist an ansonsten gewöhnlicher Stelle der Spiegel 11 angeordnet, wobei in das Gehäuse des Spiegels 11 eine Kamera 10 mitintegriert ist. Somit ist kein zusätzlicher Bauraum für die Kamera notwendig, weil diese ansonsten sichtverdeckend oder störend oder ggf. sogar ablenkend wäre.

Durch die Kamera 10 bzw. das Objektiv der Kamera wird nun das Gesichtsfeld des Kraftfahrzeugführers 2 beobachtet. Dabei kann die Kamera und das nachfolgende elektronische System entweder permanent aktiv sein oder aber, appliziert auf die besagten Stau- und/oder Kolonnenfahrten, lediglich nur dann aktiviert sein, wenn die besagten Situationen eintreten. Hierzu verfügt das Fahrzeug noch über weitergehende Sensorik und ggf. über ein automatisches Distanzregelsystem.

Fig. 2 zeigt die logische Verknüpfung aller notwendigen vorrichtungsgemäßen Einzelelemente zur Durchführung der erfindungsgemäßen Verfahren. Ausgehend von einer Kamera 10 werden die Bilddaten von einer Bildauswerteeinheit 12 bearbeitet. Innerhalb der Bildauswerteeinheit werden Mustervergleichsverfahren in der eingangs bereits beschriebenen Weise durchgeführt. Hierzu werden sog. Fuzzy-Verfahren eingesetzt.

Die Anwendung von sog. Fuzzy-Verfahren innerhalb der Bildauswerteeinheit 12 setzt natürlich voraus, daß entsprechend organisierte Feldspeicher mit Mustern angelegt sind. Diese können entweder bei Fahrzeugherstellung bereits als Grundmuster hinterlegt sein und ggf. im weiteren Fahrbetrieb durch die Fahrzeugführer, die ein entsprechendes Fahrzeug betätigen bzw. bewegen, auch adaptiv erweitert werden.

Die Daten der Bildauswerteeinheit 12 werden von einem Kraftfahrzeugrechner 13 nachfolgend und weitergehend ausgewertet. Innerhalb des Kraftfahrzeugrechners 13 werden dann kumulativ ggf. auch weitere Sensordaten oder übrige Daten mitbewertet, wozu beispielsweise Sensoren 14 zur allgemeinen Verkehrserfassung oder -überwachung eingesetzt werden. Dies können Abstandssensoren etc. sein.

Weiterhin ist der Kraftfahrzeugrechner 13 in logischer und informationstechnischer bidirektionaler Verbindung mit einem Navigationssystem 15 verschaltet, was ebenfalls bordeigen ist. Über dieses Navigationssystem werden auch ortsbezogene Datenerfassungen und -korrelationen möglich. So kann auch bei Wiederbefahrung bestimmter Strecken aus gewissen Situationen gelernt werden, ggf. sogar staubefallene Strecken als solches mit einer höheren Aktivierungsbereitschaft des Systemes gekennzeichnet werden.

Die Ausgangsgrößen des Kraftfahrzeugrechners sind sodann die Stellgrößen, um das entsprechend bildausgewertete und vom Kraftfahrzeugrechner weiterhin bewertete situationsgerechte Verhalten sodann auch auf eine automatische Betriebseingriffnahme durchzusteuern. Hierbei können bei vollautomatisch und somit autopilotmäßig gesteuerten Fahrzeugen nicht nur einzelne Eingriffnahmen erfolgen, sondern es kann auch eine kumulative Eingriffnahme auf elektrische Gasbetätigung 16, auf die elektrische Bremsbetätigung 17 und die elektrische Lenkbetätigung 18 Einfluß genommen werden. Die Einflußnahme kann dabei weder jeweils einzeln oder auch summatorisch, d. h. im Sinne des genannten Autopilotsystemes vorgenommen werden. Der Kraftfahrzeugführer ist damit in der Lage auch bei zukünftig gegebenenfalls autopilotmäßig gesteuerten Kraftfahrzeugen mit seinem Blick und ggf. einer Blickrichtungskorrektur oder Blickrichtungsänderung korrigierend auf den Fahrbetrieb Einfluß zu nehmen. Somit grenzen sich die erfindungsgemäßen Verfahren sowie auch die erfindungsgemäße Einrichtung bei weitem von dem ab, was im eingangs genannten Stand der Technik geleistet wird.

Claims (11)

1. Verfahren zur elektronischen Überwachung des Aufmerksamkeitsgrades eines Kraftfahrzeugführers durch elektronische Überwachung der Augen und/oder der Augenlidtätigkeit, wobei bei elektronischer Registrierung von Müdigkeit ein Alarmsignal generiert wird, dadurch gekennzeichnet, daß bei entsprechender Registrierung von Müdigkeit die Geschwindigkeit automatisch reduziert wird.

2. Verfahren zur Überwachung der Augen und/oder Augenlidtätigkeit bei Kraftfahrzeugführern, dadurch gekennzeichnet, daß eine ADR-geregelte automatisch gesteuerte Kolonnen- oder Staufahrt als zusätzlichen Parameter die Aufmerksamkeit und/oder die Blickrichtung des Kraftfahrzeugführers durch elektrooptische Augen- und/oder Lidbeobachtung bewertet.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß ein entsprechender Eingriff auf die elektronische Gaspedalbetätigung und/oder auf die elektrische, elektronische Bremse und/oder auf eine elektrische, elektronische Lenkbetätigung erfolgt.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Beobachtung der Augen oder der Augenpartie des Kraftfahrzeugführers permanent aktiv ist, oder nur temporär bei elektronischer Stauerkennung.

5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß beim Folgefahren in Situationen, bei welchen der Vordermann die Fahrbahn in Unaufmerksamkeit oder aus technischen Mängeln oder situationswidrig verläßt, ein automatisches Nachfolgen dieses betreffenden Fahrzeuges dadurch unterdrückt wird, daß der geradeaus gerichtete Blick des Kraftfahrzeugführers korrigierend mitbewertet wird.

6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß der elektronisch erfaßte Blick des Kraftfahrzeugführers in ein Autopilotsteuerungssystem des Kraftfahrzeuges miteinbezogen wird.

7. Einrichtung zur elektronischen Überwachung der Augenpartie eines Kraftfahrzeugführers während des Fahrbetriebs, dadurch gekennzeichnet, daß die Müdigkeit und/oder Blickrichtung durch eine Kamera (10) mit nachgeschalteter Bildauswerteeinheit (12) nach Mustervergleichsverfahren erfaßbar ist.

8. Einrichtung nach Anspruch 7, dadurch gekennzeichnet, daß die Kamera (10) eine automatisch nachführende Kamera ist.

9. Einrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß elektronische Sensoren (14) zur Erfassung von Betriebs- oder Verkehrsparametern und die Bildauswertung der Bildauswerteeinheit (12) in einem Kraftfahrzeugrechner (13) zusammengefasst bewertbar sind.

10. Einrichtung nach Anspruch 9, dadurch gekennzeichnet, daß über die Bildauswertemittel eine elektronische Nachführung des die Augenpartie des Kraftfahrzeugführers enthaltenden Bildausschnittes durchführbar ist.

11. Einrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Bildauswertemittel elektronisch mit einem bordeigenen Kraftfahrzeugrechner (13) zur insgesamten Verkehrs- und/oder Betriebsauswertung logisch verbunden sind, und daß über den Kraftfahrzeugrechner (13) in entsprechender Weise die Betätigung des elektrischen Gaspedales (16), und/oder der elektrischen Bremse (17), und/oder der elektrischen Lenkbetätigung erfolgt.