DE112010003914T5

DE112010003914T5 - Verfahren und Vorrichtung zur Erkennung von Müdigkeit am Steuer sowie ein Fahrzeug

Info

Publication number: DE112010003914T5
Application number: DE112010003914T
Authority: DE
Inventors: Zejun Wu; Ruzhong Cheng; Yong Dai; Yunli Qing
Original assignee: Shenzhen Safdao Technology Corp Ltd
Current assignee: Shenzhen Safdao Technology Corp Ltd
Priority date: 2009-10-30
Filing date: 2010-10-28
Publication date: 2012-11-22
Also published as: KR20120076384A; GB2487888A; RU2519964C2; GB201209532D0; US8891824B2; GB2487888B; US20120219189A1; CN101692980A; WO2011050734A1; KR101396851B1; RU2012122205A; CN101692980B

Abstract

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erkennung von Müdigkeit am Steuer, bei dem eine Ermittlung einer Oberlidlinie durch Auswerten eines Augenbildes eines Autofahrers im Bereich des Augenbilds mit Hilfe einer rechteckigen Merkmalsvorlage, eine Erkennung einer geschlossenen Stellung der Augen anhand einer Krümmung oder eines für die Krümmung charakteristischen Werts der Oberlidlinie und eine Erkennung von Müdigkeit des Autofahrers auf der Basis einer statistischen Auswertung der geschlossenen Stellung der Augen vorgesehen sind. Erfindungsgemäß wird die geschlossene Stellung der Augen vorteilhafterweise an der Form des Oberlids erkannt, da die Oberlidlinie einen großen relativen Kontrast zeigt und weniger störungsanfällig, insbesondere weniger abhängig von der Mimik ist. Dadurch wird die Genauigkeit bei der Erkennung erhöht.

Description

Gebiet der Erfindung
Die vorliegende Erfindung betrifft die Sicherheitstechnik für Kraftfahrzeuge, insbesondere die Technik zur Überwachung von Müdigkeit am Steuer.
Technischer Hintergrund
Die heutige Entwicklung der modernen Sicherheitstechnik im Fahrzeugbereich zielt vor allem auf die aktive Sicherheit, d. h. mögliche Gefahren werden durch eine Überwachung des Autofahrers, des Fahrzeuges bzw. der Umgebung frühzeitig erkannt und entsprechende Maßnahmen getroffen. Als Beispiel dafür sei insbesondere die Vorwarntechnik vor Müdigkeit am Steuer zu erwähnen. Müdigkeit am Steuer schränkt die Wahrnehmungsfähigkeit des Autofahrers gegenüber der Umgebung zu einem gewissen Grad ein, verschlechtert sein Urteils- und Fahrzeugsteuervermögen und kann im schlimmsten Fall zu Verkehrsunfällen führen. Aus diesem Grund sind eine Echtzeitüberwachung der Aufmerksamkeit eines Autofahrers und entsprechende Vorwarnung sinnvoll, weil dadurch mit z. B. Müdigkeit am Steuer verbundene Gefahren zuverlässig verringert werden, um die persönliche Sicherheit des Autofahrers selbst sowie weiterer Personen in seiner Umgebung zu gewährleisten.
Bei der Vorwarntechnik vor Müdigkeit am Steuer mit den Augen eines Autofahrers als Untersuchungsobjekt wird die Aufmerksamkeit des Autofahrers insbesondere durch eine Erfassung der Augenzustände des Autofahrers beurteilt. Dabei werden üblicherweise mittels einer Kamera Bilder des Gesichts und der Augen aufgenommen, die dann ausgewertet und modelliert werden, um den Zustand der Augen zu ermitteln. Entscheidend dabei ist es, die Augen des Autofahrers richtig als geöffnet oder geschlossen zu erkennen.
Bei den bereits bekannten Verfahren zur Müdigkeitsüberwachung können die Augen eines Autofahrers meist durch eine Auswertung der Augenzustände als geöffnet oder geschlossen erkannt werden. Solche Verfahren sind jedoch mit folgenden Nachteilen verbunden:

– Langsame Verarbeitungsgeschwindigkeit wegen zu großer Menge an zu verarbeitenden Bildern und komplizierter Auswertungsverfahren. Innerhalb einer Sekunde können in der Regel nur ein paar Frames verarbeitet werden, so dass keine richtige Echtzeitüberwachung möglich ist. Bei der Fahrt kann es jedoch je nach der Fahrgeschwindigkeit zu schweren Verkehrsunfällen kommen, wenn der Autofahrer seine Augen für etwa eine Sekunde schließt oder nahezu schließt und daher den Straßenzustand nicht beobachten kann. Deshalb können erst dann genaue Daten geliefert und richtige Beurteilungen gemacht werden, wenn die Überwachung zeitnah erfolgt.
– Schlechte Anpassung. Eine richtige Erkennung der Augenzustände hängt von der Bildqualität ab, kann also nicht gewährleistet werden, wenn beispielsweise wegen Dunkelheit, niedriger Auflösung der Kamera und/oder Kopfbewegungen des Autofahrers unscharfe Bilder und erhöhtes Rauschen entstehen. Außerdem kann von einer dynamischen Anpassung nicht die Rede sein, wenn sich die Bilder der Augen aufgrund einer Hin- und Herbewegung des Autofahrers in der Größe und/oder dem Winkel ändern, so dass die Genauigkeit schwankt.

Die genannten Nachteile haben dazu geführt, dass eine Vielzahl von derartigen Verfahren immer noch im Laborstadium sind. Das heißt, in der Praxis können sie kaum so gut wie gewünscht funktionieren.
Offenbarung der Erfindung
Aufgabe der vorliegenden Erfindung ist es, ein mit einer erhöhten Verarbeitungsgeschwindigkeit arbeitendes, hochadaptives Verfahren zur Erkennung von Müdigkeit am Steuer sowie eine entsprechende Vorrichtung anzugeben.
Gemäß einem Aspekt der Erfindung wird ein Verfahren zur Erkennung von Müdigkeit am Steuer vorgesehen, das folgende Schritte umfasst:

– Ermittlung einer Oberlidlinie durch Auswerten eines Augenbildes eines Autofahrers im Bereich des Augenbilds mit Hilfe einer rechteckigen Merkmalsvorlage, wobei das Augenbild mit Hilfe der rechteckigen Merkmalsvorlage spaltenweise abgetastet, eine Position für jede Spalte ermittelt, in der der Kennwert der rechteckigen Merkmalsvorlage sein Maximum erreicht, und eine Oberlidlinie ermittelt wird, indem der Mittelpunkt der rechteckigen Merkmalsvorlage in dieser Position als ein Punkt in der Oberlidlinie erkannt wird, wobei mit Kennwert einer rechteckigen Merkmalsvorlage der Graustufenunterschied zwischen der oberen und unteren Hälfte eines Rechtecks am Ort der rechteckigen Merkmalsvorlage bezeichnet wird;
– Erkennung einer geschlossenen Stellung der Augen anhand einer Krümmung oder eines für die Krümmung charakteristischen Werts der Oberlidlinie;
– Erkennung von Müdigkeit des Autofahrers auf der Basis einer statistischen Auswertung der geschlossenen Stellung der Augen.

Gemäß einem weiteren Aspekt der Erfindung wird eine Vorrichtung zur Erkennung von Müdigkeit am Steuer vorgesehen, die ein Oberlidlinien-Ermittlungsmodul zur Ermittlung einer Oberlidlinie durch Abtasten des Augenbildes im Bereich des Augenbilds mit Hilfe einer rechteckigen Merkmalsvorlage, ein erstes Erkennungsmodul zur Erkennung einer geschlossenen Stellung der Augen anhand einer Krümmung oder eines für die Krümmung charakteristischen Werts der Oberlidlinie und ein Müdigkeitserkennungsmodul zur Erkennung von Müdigkeit des Autofahrers auf der Basis einer statistischen Auswertung der geschlossenen Stellung der Augen umfasst.
Dabei umfasst das Oberlidlinien-Ermittlungsmodul wiederum eine Abtasteinheit zur spaltenweisen Verschiebung der rechteckigen Merkmalsvorlage auf dem Augenbild, eine Graustufenunterschieds-Recheneinheit zur Ermittlung einer Position für jede Spalte, in der der Kennwert der rechteckigen Merkmalsvorlage sein Maximum erreicht, und eine Oberlidlinien-Zeicheneinheit zur Erkennung des Mittelpunkts der rechteckigen Merkmalsvorlage in dieser Position als ein Punkt in der Oberlidlinie, wobei mit Kennwert einer rechteckigen Merkmalsvorlage der Graustufenunterschied zwischen der oberen und unteren Hälfte eines Rechtecks am Ort der rechteckigen Merkmalsvorlage bezeichnet wird.
In einem Ausführungsbeispiel umfasst die Vorrichtung zur Erkennung von Müdigkeit am Steuer ferner ein Fitmodul, das für die Lidlinie einen Kurvenfit mit einem Polynom zweiter Ordnung durchführt, als Ausdruck für die Lidlinie ein Polynom zweiter Ordnung erhält und den Faktor des quadratischen Terms in diesem Polynom zweiter Ordnung als die Krümmung oder den für die Krümmung charakteristischen Wert der Oberlidlinie verwendet, während das erste Erkennungsmodul den Faktor des quadratischen Terms mit einem vorgegebenen Schwellenwert der Krümmung der Lidlinie vergleicht und demnach die Augen des Autofahrers als geöffnet oder geschlossen erkennt.
In einem weiteren Ausführungsbeispiel umfasst der Krümmungsschwellenwert der Lidlinie einen ersten Schwellenwert und einen kleiner als der erste gewählten zweiten Schwellenwert, wobei das erste Erkennungsmodul die Augen des Autofahrers als geöffnet erkennt, wenn der Faktor des quadratischen Terms den ersten Schwellenwert überschreitet, oder als geschlossen, wenn der Faktor des quadratischen Terms den zweiten Schwellenwert unterschreitet. Liegt der Faktor des quadratischen Terms zwischen erstem und zweitem Schwellenwert, erfolgt eine unterstützende Erkennung durch ein zweites Erkennungsmodul anhand eines Abstands zwischen Ober- und Unterlid.
In einem Ausführungsbeispiel umfasst die Vorrichtung zur Erkennung von Müdigkeit am Steuer ferner ein Unterlidlinien-Ermittlungsmodul zur Ermittlung einer Unterlidlinie auf Grundlage der ermittelten Oberlidlinie durch Abtasten des Augenbildes mit Hilfe einer rechteckigen Merkmalsvorlage. Dabei umfasst das zweite Erkennungsmodul eine Einheit zum Errechnen eines durchschnittlichen Abstands zwischen Ober- und Unterlidlinie und eine Abstandsvergleichseinheit, die den durchschnittlichen Abstand zwischen Ober- und Unterlidlinie mit einem vorgegebenen Abstandsschwellenwert vergleicht und daraus ableitet, ob die Augen des Autofahrers geöffnet oder geschlossen sind.
In einem Ausführungsbeispiel ist der Lidlinien-Abstandsschwellenwert dynamisch auf die Krümmung oder den für die Krümmung charakteristischen Wert der Oberlidlinie abgestimmt, wobei die Augen des Autofahrers als geöffnet erkannt werden, wenn der durchschnittliche Abstand zwischen Ober- und Unterlidlinie den Lidlinien-Abstandsschwellenwert überschreitet, und ansonsten als geschlossen.
In einem Ausführungsbeispiel umfasst das Oberlidlinien-Ermittlungsmodul ferner eine Integriereinheit zur Ermittlung eines Integralbildes der Augen durch die mathematische Integration des Augenbildes vor der durchlaufenden Abtastung desselben. Die Abtastung des Augenbilds durch die rechteckige Merkmalsvorlage erfolgt auf dem integrierten Augenbild, wobei für jede Position der rechteckigen Merkmalsvorlage deren Kennwert errechnet wird. Dabei entspricht der Wert eines jeden Punkts im integrierten Augenbild einer Summe der Graustufenwerte eines rechteckigen Bereichs im Augenbild, in dem sich der Bildursprung und dieser Punkt diagonal gegenüberliegen, und die Graustufensumme eines Rechtecks ist gleich dem Wert der linken oberen Ecke plus dem Wert der rechten unteren Ecke minus dem Wert der linken unteren Ecke minus dem Wert der rechten oberen Ecke.
In einem weiteren Ausführungsbeispiel umfasst die Vorrichtung zur Erkennung von Müdigkeit am Steuer zusätzlich ein Rauschunterdrückungsmodul zur Rauschunterdrückung der ermittelten Oberlidlinie, das seinerseits eine Lidlinien-Segmentiereinheit, eine Vertrauenssegmente-Bestimmungseinheit und eine Lidlinien-Korrigiereinheit umfasst. Die Lidlinien-Segmentiereinheit dient zur Erfassung von Wechselpunkten in einer Lidlinie und teilt mit Hilfe dieser Wechselpunkte als Trennpunkte die Lidlinie in mehrere Segmente auf. Mit der Vertrauenssegmente-Bestimmungseinheit kann in einer Lidlinie ein Vertrauenssegment als Lidlinienbasis bestimmt werden. Die Lidlinien-Korrigiereinheit ist zur Ermittlung einer korrigierten Lidlinie durch eine beidseitige Abtastung ausgehend von den beiden Enden des Vertrauenssegments mit Hilfe einer rechteckigen Merkmalsvorlage vorgesehen.
Gemäß einem weiteren Aspekt der Erfindung wird ein Fahrzeug mit einer Bildaufnahmeeinrichtung, die in der Nähe des Führerplatzes befestigt ist und zur Aufnahme eines Bilds des Gesichts des Autofahrers dient, und der oben beschriebenen Vorrichtung zur Erkennung von Müdigkeit am Steuer, die im Fahrzeug integriert ist und zum Empfangen und Verarbeiten der von der Bildaufnahmeeinrichtung ausgegebenen Bilddaten dient, vorgesehen.
Darüber hinaus offenbart die vorliegende Erfindung ein auf einem Computer ausführbares Programm, das bei der Ausführung durch einen Computer folgende Funktionen erfüllen kann:

Des Weiteren offenbart die vorliegende Erfindung ein computerlesbares Medium, in dem das auf einem Computer ausführbare Programm gespeichert ist, wobei das Programm bei der Ausführung auf dem Computer folgende Funktionen erfüllen kann:

Erfindungsgemäß wird eine Lidlinie aufgefunden und aufgezeichnet, indem der Augenbereich mit einer rechteckigen Merkmalsvorlage abgetastet wird, wodurch die Störfestigkeit verbessert wird. Zudem kann durch die kombinierte Verwendung von unterschiedlich großen rechteckigen Vorlagen neben einer Rauschunterdrückung die aufgezeichnete Lidlinie der tatsächlichen Lidlinie angenähert werden. Überdies zeichnet sich die vorliegende Erfindung insgesamt durch hohe Betriebsgeschwindigkeit und hohen Wirkungsgrad aus, weil keine aufwändige und zeitintensive Bildverarbeitung notwendig ist. Darüber hinaus wird erfindungsgemäß die geschlossene Stellung der Augen vorteilhafterweise an der Form des Oberlids erkannt, da die Oberlidlinie einen großen relativen Kontrast zeigt und weniger störungsanfällig, insbesondere weniger abhängig von der Mimik ist. Dadurch wird die Genauigkeit bei der Erkennung erhöht.
Darstellung der Abbildungen
Im Folgenden wird die vorliegende Erfindung anhand von Ausführungsformen mit Bezug auf die beigefügten Zeichnungen näher erläutert. Dabei zeigen
ein Blockdiagramm einer Lidlinien-Erfassungsvorrichtung gemäß einem Ausführungsbeispiel der Erfindung,
ein Blockdiagramm einer Vorrichtung zur Erkennung von Müdigkeit am Steuer gemäß einem Ausführungsbeispiel der Erfindung,
das Ablaufdiagramm eines Verfahrens zur Erkennung von Müdigkeit am Steuer gemäß einem Ausführungsbeispiel der Erfindung,
eine schematische Darstellung zur groben Positionierung einer Oberlidlinie,
eine schematische Darstellung zur Errechnung eines Kennwerts einer Vorlage mit Hilfe von Integralbildern,
eine schematische Darstellung zur Korrektur einer Oberlidlinie,
ein Blockdiagramm einer Vorrichtung zur Erkennung von Müdigkeit am Steuer gemäß einem weiteren Ausführungsbeispiel der Erfindung,
das Ablaufdiagramm eines Verfahrens zur Erkennung von Müdigkeit am Steuer gemäß einem weiteren Ausführungsbeispiel der Erfindung und
eine schematische Darstellung zur Positionierung einer Unterlidlinie.
Ausführungsbeispiel 1:
Wie in gezeigt ist, wird in einem Ausführungsbeispiel der Erfindung zur Erfassung einer Lidlinie eine rechteckige Merkmalsvorlage verwendet. Die entsprechende Lidlinien-Erfassungsvorrichtung umfasst ein Augenbilds-Ermittlungsmodul 110 zur Ermittlung eines Augenbildes eines Autofahrers und ein Lidlinien-Ermittlungsmodul 120 zur Ermittlung einer Lidlinie durch Abtasten des Augenbildes im Bereich des Augenbilds mit Hilfe einer rechteckigen Merkmalsvorlage. In einer Ausführungsform kann das Lidlinien-Ermittlungsmodul 120 wiederum eine Abtasteinheit 122 zur Spaltenabtastung des Augenbildes im Bereich desselben mit Hilfe einer rechteckigen Merkmalsvorlage, eine Graustufenunterschieds-Recheneinheit 123 zur Ermittlung einer Position für jede Spalte, in der der Kennwert der rechteckigen Merkmalsvorlage sein Maximum erreicht, und eine Lidlinien-Zeicheneinheit 124 umfassen, die eine Lidlinie ermittelt, indem sie den Mittelpunkt der rechteckigen Merkmalsvorlage in dieser Position als ein Punkt in der Lidlinie erkennt. Mit Kennwert einer rechteckigen Merkmalsvorlage wird der Graustufenunterschied zwischen der oberen und unteren Hälfte eines Rechtecks am Ort der rechteckigen Merkmalsvorlage bezeichnet.
In einer weiteren Ausführungsform kann das Lidlinien-Ermittlungsmodul 120 ferner eine Integriereinheit 121 zur Ermittlung eines Integralbildes der Augen durch die Integration eines Augenbildes umfassen. Hierbei dient die Abtasteinheit 122 zur Abtastung des integrierten Augenbildes mit einer rechteckigen Merkmalsvorlage. Dabei entspricht der Grauwert eines jeden Punkts im integrierten Augenbild einer Summe der Graustufenwerte eines rechteckigen Bereichs im Augenbild, in dem sich der Bildursprung und dieser Punkt diagonal gegenüberliegen.
In einer weiteren Ausführungsform umfasst die Lidlinien-Erfassungsvorrichtung zusätzlich ein Rauschunterdrückungsmodul 130 zur Rauschunterdrückung der ermittelten Lidlinie, das seinerseits eine Lidlinien-Segmentiereinheit 131, eine Vertrauenssegmente-Bestimmungseinheit 132 und eine Lidlinien-Korrigiereinheit 133 umfasst. Die Lidlinien-Segmentiereinheit 131 dient zur Erfassung von Wechselpunkten in einer Lidlinie und teilt mit Hilfe dieser Wechselpunkte als Trennpunkte die Lidlinie in mehrere Segmente auf. Mit der Vertrauenssegmente-Bestimmungseinheit 132 kann in einer Lidlinie ein Vertrauenssegment als Lidlinienbasis bestimmt werden. Die Lidlinien-Korrigiereinheit 133 dient der Ermittlung einer korrigierten Lidlinie durch eine beidseitige Abtastung ausgehend von den beiden Enden des Vertrauenssegments mit Hilfe einer rechteckigen Merkmalsvorlage.
Ausführungsbeispiel 2:
Im vorliegenden Ausführungsbeispiel gemäß findet die oben beschriebene Lidlinien-Erfassungsvorrichtung Anwendung bei einer Vorrichtung zur Erkennung von Müdigkeit am Steuer, die ein Augenbilds-Ermittlungsmodul 210 zur Ermittlung eines Augenbildes eines Autofahrers aus einem von einer Bildaufnahmeeinrichtung z. B. einer Kamera aufgenommenen Gesichtsbild des Autofahrers, ein Oberlidlinien-Ermittlungsmodul 220 zur Ermittlung einer Oberlidlinie durch Abtasten des Augenbildes im Bereich desselben mit Hilfe einer rechteckigen Merkmalsvorlage, ein erstes Erkennungsmodul 250 zur Erkennung einer geschlossenen Stellung der Augen anhand einer Krümmung oder eines für die Krümmung charakteristischen Werts der Oberlidlinie und ein Müdigkeitserkennungsmodul 260 zur Erkennung von Müdigkeit des Autofahrers auf der Basis einer statistischen Auswertung der geschlossenen Stellung der Augen umfasst.
Dabei umfasst das Oberlidlinien-Ermittlungsmodul 220 wiederum eine Integriereinheit 221 zur Ermittlung eines Integralbildes der Augen durch die Integration eines Augenbildes, eine Abtasteinheit 222 zur Errechnung des Grauwerts eines jeden Punkts durch spaltenweises Abtasten des integrierten Augenbilds mit Hilfe einer rechteckigen Merkmalsvorlage, eine Graustufenunterschieds-Recheneinheit 223 zur Ermittlung einer Position für jede Spalte, in der der Kennwert der rechteckigen Merkmalsvorlage sein Maximum erreicht, und eine Oberlidlinien-Zeicheneinheit 224, die eine Lidlinie aufzeichnet, indem sie den Mittelpunkt der rechteckigen Merkmalsvorlage in dieser Position als ein Punkt in der Oberlidlinie erkennt und demnach für jede Spalte des Integralbilds eine Abtastung und Berechnung durchführt. In einem integrierten Augenbild entspricht der Grauwert eines jeden Punkts einer Summe der Graustufenwerte eines rechteckigen Bereichs im Augenbild, in dem sich der Bildursprung und dieser Punkt diagonal gegenüberliegen. Mit Kennwert einer rechteckigen Merkmalsvorlage wird der Graustufenunterschied zwischen der oberen und unteren Hälfte eines Rechtecks am Ort der rechteckigen Merkmalsvorlage bezeichnet.
In einer Ausführungsform umfasst die Vorrichtung zur Erkennung von Müdigkeit am Steuer zur Korrektur einer anfänglich ermittelten Lidlinie zusätzlich ein Rauschunterdrückungsmodul 230 zum Entfernen von Störstellen oder -strichen aus der anfänglich ermittelten Lidlinie, das seinerseits eine Lidlinien-Segmentiereinheit 231, eine Vertrauenssegmente-Bestimmungseinheit 232 und eine Lidlinien-Korrigiereinheit 233 umfasst. Die Lidlinien-Segmentiereinheit 231 dient zur Erfassung von Wechselpunkten in einer Lidlinie und teilt mit Hilfe dieser Wechselpunkte als Trennpunkte die Lidlinie in mehrere Segmente auf. Mit der Vertrauenssegmente-Bestimmungseinheit 232 kann in einer Lidlinie ein Vertrauenssegment als Lidlinienbasis bestimmt werden. Die Lidlinien-Korrigiereinheit 233 dient der Ermittlung einer korrigierten Lidlinie durch eine beidseitige Abtastung ausgehend von den beiden Enden des Vertrauenssegments mit Hilfe einer rechteckigen Merkmalsvorlage.
In einer weiteren Ausführungsform wird die Krümmung oder der für die Krümmung charakteristische Wert der Oberlidlinie durch ein Fitmodul 240 ermittelt, das für die Lidlinie einen Kurvenfit mit einem Polynom zweiter Ordnung durchführt, als Ausdruck für die Lidlinie ein Polynom zweiter Ordnung erhält und den Faktor des quadratischen Terms in diesem Polynom zweiter Ordnung als die Krümmung oder den für die Krümmung charakteristischen Wert der Oberlidlinie verwendet. Das erste Erkennungsmodul 250 vergleicht den Faktor des quadratischen Terms mit einem vorgegebenen Schwellenwert der Krümmung der Lidlinie und erkennt demnach die Augen des Autofahrers als geöffnet oder geschlossen.
Gemäß umfasst ein Verfahren zur Erkennung von Müdigkeit am Steuer unter Verwendung der oben ausgeführten Vorrichtung zur Erkennung von Müdigkeit am Steuer folgende Schritte:
Schritt 310: Ermittlung eines Gesichtsbilds eines Autofahrers. Dabei wird zum Erhalten von Gesichtsbilddaten eines Autofahrers z. B. mittels einer vor dem Autofahrer oder unterhalb vor ihm angebrachten Infrarotkamera ein Gesichtsbild des Autofahrers aufgenommen, um dann Schritt 320 auszuführen.
Schritt 320: Positionierung eines Brauen- und Augenbereiches im Gesichtsbild. Hierzu können alle bekannten Verfahren eingesetzt werden. Im vorliegenden Ausführungsbeispiel wird nur beispielhaft eines davon beschrieben. So wird z. B. anhand eines vorher geschulten Gesichtsmerkmalsklassifizierers ein Gesichtsbereich positioniert. Nachdem jeder Videobildframe ausgelesen worden ist, erfolgt zunächst eine Auswertung der Gesichtsbildinformationen anhand der in den Dateien des Gesichtsmerkmalsklassifizierers gespeicherten Gesichts-Harr-Merkmale und dann eine Mustererkennung des Bilds unter Verwendung des AdaBoost-Algorithmus und eines entsprechenden Gesichtsmerkmalsklassifizierers, um den Gesichtsbereich im Bild zu kalibrieren. Anschließend wird in Abhängigkeit von der durchschnittlichen Lage der Augen in einem Gesichtsbereich in diesem eine für eine Augenerfassung interessierende Region wie beispielsweise die Mitte des Gesichtsbereiches bestimmt, um den abzutastenden Bereich bei einer Augenerfassung zu verkleinern und die Erfassungsgeschwindigkeit zu erhöhen. Daraufhin wird anhand der in einem vorher geschulten Augenmerkmalsklassifizierers gespeicherten Augenmerkmale das Bild der für die Augenerfassung interessierenden Region ausgewertet und somit ein Augenbereich positioniert. Danach ist Schritt 330 auszuführen.
Schritt 330: Grobe Positionierung einer Oberlidlinie im Augenbereich. Das Augenbild wird mit einer rechteckigen Merkmalsvorlage spaltenweise abgetastet und hinsichtlich der Graustufenänderung ausgewertet, um eine Oberlidlinie zu ermitteln. Bei der rechteckigen Merkmalsvorlage handelt es sich um einen rechteckigen Rahmen, der im Augenbild von Spalte zu Spalte gleitet, siehe hierzu . Dabei wird für jede Position der rechteckigen Merkmalsvorlage (Viereck in der Zeichnung) beim Gleiten der Graustufenunterschied zwischen der oberen und unteren Hälfte des Rechtecks errechnet und als Kennwert der rechteckigen Merkmalsvorlage definiert. Es wird diejenige Position ermittelt, in der der Kennwert sein Maximum erreicht, und der Mittelpunkt der rechteckigen Merkmalsvorlage in dieser Position als ein Punkt in der Oberlidlinie erkannt. Dies wird für jede Spalte durchgeführt, so dass jeweils ein Punkt in jeder Spalte als Bestandteil einer Oberlidlinie erkannt wird. Werden solche Punkte zusammengefasst, so erhält man eine Lidlinie.
Zur Erhöhung der Rechengeschwindigkeit wird in einer Ausführungsform nach der groben Positionierung eines Augenbildes eine Integration des Augenbilds durchgeführt, um ein Integralbild der Augen zu erzeugen. Dabei entspricht der Wert eines Punkts P in diesem Integralbild einer Summe der Graustufenwerte eines rechteckigen Bereichs im Graustufenbild, in dem sich der Bildursprung und dieser Punkt P diagonal gegenüberliegen. Hierbei ist das Integralbild S des Graustufenbilds I folgendermaßen definiert: S(u, ν) = ∫ ν / ×=0∫ ν / y=0 I(x, y)dxdy
Bezüglich der Berechnung eines Graustufenunterschieds zwischen der oberen und unteren Hälfte der rechteckigen Merkmalsvorlage wird auf verwiesen. Der Wert des Punkts P1 entspricht der Graustufensumme des Bereiches A und wird kurz mit A bezeichnet.
So wird der Wert für Punkt P2 mit A + B, für Punkt P3 mit A + C und für Punkt 4 A + B + C + D bezeichnet. In diesem Zusammenhang lässt sich die Graustufensumme eines durch die Punkte P1, P2, P3 und P4 definierten Recktecks D als P1 + P4 – P2 – P3 ausdrücken. Die Berechnung der Graustufenmerkmale einer rechteckigen Vorlage mit Hilfe eines Integralbildes hängt nicht von der Größe des Rechtecks ab.
Zum Errechnen eines Integralbildes ist nur eine einzige durchlaufende Abtastung des Bildes notwendig, um den Grauwert eines jeden Punkts zu ermitteln. Deshalb ermöglicht die Verwendung von Integralbildern eine sehr schnelle Rechengeschwindigkeit beim Errechnen des Kennwerts.
Zur weiteren Erhöhung der Genauigkeit kann die Oberlidlinie mehrmals verfeinert werden. Zunächst kommt eine größere rechteckige Vorlage zum Einsatz, um eine Lidlinie aufzufinden, und danach eine kleinere, um in der Nähe der aufgefundenen Lidlinie eine Abtastung durchzuführen. Dies wird mehrmals wiederholt. Dabei besitzt die größere Vorlage eine verhältnismäßig höhere Störfestigkeit, während die kleinere Vorlage den tatsächlichen Rändern näher liegen kann.
Die Größe der rechteckigen Vorlage kann fest vorgegeben werden. Alternativ und bevorzugt kann sie auch dynamisch auf die Größe des jeweiligen Bildes abgestimmt sein.
Um die anfänglich aufgezeichnete Oberlidlinie der tatsächlichen Lidlinie anzunähern, wird in Schritt 340 eine Rauschverminderung der anfänglich aufgezeichneten Oberlidlinie zum Entfernen von eventuell vorhandenen fehlerverdächtigen Punkten oder Strichen vorgesehen, die wiederum folgende Schritte umfasst:

1. Erfassung von Wechselpunkten in der Lidlinie und Aufteilung der Lidlinie in mehrere Segmente mit Hilfe dieser Wechselpunkte als Trennpunkte. Dies erfolgt, indem die Abstandsdifferenz jeweils zwischen einem vorderen und einem hinteren Punkt in der Längsrichtung errechnet wird und diejenigen Punkte bestimmt werden, deren Abstandsdifferenz einen vorgegebenen Schwellenwert überschreitet. Wie aus ersichtlich ist, lässt sich die ganze Lidlinie in vier Segmente E, F, G, H aufteilen. Für den Schwellenwert D_f gilt D_f = L/n, wobei L für die Länge der Oberlidlinie und n für einen Erfahrungswert steht.
2. Bestimmung eines Vertrauenssegments in der Lidlinie als Lidlinienbasis.
3. Ermittlung einer korrigierten Lidlinie durch eine beidseitige Abtastung ausgehend von den beiden Enden des Vertrauenssegments mit Hilfe einer rechteckigen Merkmalsvorlage.

Ein Vertrauenssegment wird durch eine nach links und rechts gerichtete Abtastung ausgehend von den beiden Enden dieses Vertrauenssegments durch die rechteckige Merkmalsvorlage erweitert, wobei sich der Abtastungsbereich um die Ordinate eines Ausgangspunkts zwischen einem oberen und unteren Schwellenwert erstreckt. Die Schwellenwerte können auf die Größe des jeweiligen Bildes abgestimmt sein, müssen aber kleiner als die bei der Erfassung von Wechselpunkten eingesetzte Abstandsdifferenz sein. Weist das rechte Ende des längsten Segments z. B. eine Abszisse von 30 und eine Ordinate von 20 auf, wobei der Schwellenwert 5 beträgt, so ist der nächste Punkt in der 31. Spalte, zwischen der 15. und 25. Zeile abzutasten. Daran schließt sich eine weitere Abtastung von dem neuen rechten Ende als Bezugspunkt nach rechts an, usw. In der Darstellung gemäß handelt es sich bei den durchgezogenen Linien um eine anfänglich erfasste Lidlinie und bei den gestrichelten Linien beidseitig der durchgezogenen Linien um eine Verlängerung der Lidlinie, die bei der Abtastung mit der rechteckigen Merkmalsvorlage entsteht.
Bei der Bestimmung eines Vertrauenssegments gibt es zwei Möglichkeiten bzw. Situationen:
In der ersten Situation kann man aus den sich aus der Aufteilung ergebenden, mehreren Segmenten ein Segment mit einer Segmentlänge größer 1/2L auswählen, das dann als Vertrauenssegment auf die zu Schritt 3 beschriebene Weise zu beiden Seiten erweitert wird.
Unter der zweiten Möglichkeit wird eine solche Situation verstanden, in der kein Vertrauenssegment vorliegt, das die Bedingungen der ersten Situation erfüllt. In diesem Fall sollen alle Segmente mit einer Länge größer 1/4L zur Weiterverarbeitung ausgewählt werden.
Wenn nur ein Segment vorhanden ist, das eine Länge größer 1/4L aufweist, wird aus den übrigen Segmenten das längste zur Weiterverarbeitung ausgewählt.
Sind zwei Segmente vorhanden, die jeweils eine Länge größer 1/4L aufweisen, so wird eines davon ähnlich wie bei Schritt 3 in Richtung des anderen erweitert. Wenn die Segmente so erweitert werden können, dass sie sich überlagern, ergibt sich aus den beiden Segmenten sowie den bei der Erweiterung zwischen den beiden Segmenten entstehenden Punkten ein neues Segment, das dann als Vertrauenssegment auf die zu Schritt 3 beschriebene Weise zu beiden Seiten erweitert wird. Alternativ kann das eine Segment nach links und rechts erweitert und mit einem weiteren, durch das benachbarte Segment getrennten Segment verbunden werden. Sind die beiden Segmente erfolgreich verbunden worden, so wird das sich aus dieser Verbindung ergebende neue Segment an beiden Enden erweitert, bis in den beiden Richtungen kein Segment mehr zu verbinden ist. Die Ausgangsposition des neuen Segments wird aufgezeichnet und die Ausgangsdaten der einzelnen Segmente werden wiederhergestellt. Für das andere Segment wird der beschriebene Vorgang wiederholt. Die sich aus der Erweiterung ergebenden neuen Segmente werden bezüglich der Länge verglichen und dabei wird das längste als Vertrauenssegment ausgewählt und auf die zu Schritt 3 beschriebene Weise zu beiden Seiten erweitert.
Sind aber drei Segmente vorhanden, die jeweils eine Länge größer 1/4L aufweisen, so wird das mittige Segment ähnlich wie bei Schritt 3 zu beiden Seiten erweitert, um mit dem links oder rechts davon befindlichen Segment verbunden zu werden. Nach einer erfolgreichen Verbindung wird das dabei entstandene neue Segment als Vertrauenssegment erkannt. Andernfalls wird das mittige Segment mit dem rechten oder linken Segment verbunden. Im Falle einer erfolgreichen Verbindung wird das dabei entstandene neue Segment als Vertrauenssegment erkannt. Ansonsten werden die beidseitig des mittigen Segments befindlichen Segmente miteinander verbunden und ebenfalls das dabei entstandene neue Segment als Vertrauenssegment erkannt, das dann auf die zu Schritt 3 beschriebene Weise zu beiden Seiten erweitert wird.
Der Rauschverminderung der Lidlinie folgt Schritt 350, bei dem ein Fit der Oberlidlinie stattfindet. Hierbei wird mit Hilfe des Polynoms zweiter Ordnung y = ax² + bx + c als Fitfunktion ein Least-Square-Fit durchgeführt. Da in einem Bildausschnitt Bereiche außerhalb der beiden Augenwinkel enthalten sein können, welche meist einen geringen Graustufenunterschied zeigen, sind bei dem Fit diejenigen Punkte in der zugehörigen rechteckigen Vorlage auszuschließen, deren Graustufenunterschied einen bestimmten Schwellenwert unterschreitet, um eine negative Beeinflussung der Ergebnisse durch solche Bereiche zu vermeiden. Dabei kann das Doppelte der Fläche der Vorlage als Schwellenwert verwendet werden.
Durch den Fit erhält man als Ausdruck für die Lidlinie ein Polynom zweiter Ordnung, wobei der Faktor a des quadratischen Terms in diesem Polynom zweiter Ordnung als die Krümmung oder der für die Krümmung charakteristische Wert der Oberlidlinie für Schritt 360 verwendet wird.
Schritt 360: Erkennung einer geschlossenen Stellung der Augen anhand der Krümmung oder des für die Krümmung charakteristischen Werts der Oberlidlinie. Dabei wird insbesondere der Faktor a des quadratischen Terms mit einem vorgegebenen Schwellenwert der Krümmung der Lidlinie verglichen und demnach werden die Augen des Autofahrers als geöffnet oder geschlossen erkannt.
Schritt 370: Erkennung von Müdigkeit des Autofahrers auf der Basis einer statistischen Auswertung der geschlossenen Stellung der Augen. Hierbei kann z. B. die Dauer einer geschlossenen Stellung der Augen in der umittelbar zurückliegenden Zeit statistisch ausgewertet und der Autofahrer als müde erkannt werden, wenn die Dauer einen vorgegebenen Wert überschreitet. Alternativ kann auch das aktuelle Offenhalte-/Zuhaltezeitverhältnis in einer Zeiteinheit statistisch ausgewertet und der Autofahrer als müde erkannt werden, wenn das Verhältnis einen vorgegebenen Schwellenwert überschreitet.
Im vorliegenden Ausführungsbeispiel erfolgt die Ermittlung einer Lidlinie durch eine spaltenweise Anpassung mittels einer rechteckigen Merkmalsvorlage, wozu keine aufwändige Bildverarbeitung notwendig ist. Dadurch werden insgesamt eine hohe Betriebsgeschwindigkeit und eine weitgehende Unabhängigkeit von den Lichtbedingungen oder dgl., die die Bildqualität beeinträchtigen können, sowie von den Hin- und Herbewegungen des Autofahrers erreicht.
Darüber hinaus wird im vorliegenden Beispiel die geschlossene Stellung der Augen eines Autofahrers vorteilhafterweise an einer Krümmung des Augenlids erkannt, da die Oberlidlinie einen großen relativen Kontrast zeigt und weniger störungsanfällig, insbesondere weniger abhängig von der Mimik wie beispielsweise Lächeln oder Blinzeln ist. Gegenüber der Erkennung an einer vertikalen Erstreckung der Iris oder an einem Abstand zwischen Ober- und Unterlid hängt das erfindungsgemäße Verfahren weniger von der Kopfstellung des Autofahrers ab, was die Genauigkeit der Müdigkeitserkennung erhöht. Des Weiteren besitzt das System insgesamt eine hohe Aktualität und Empfindlichkeit und erweist sich als gut anwendbar, da bei der Meldung Fehler und Auslassungen zuverlässig reduziert werden können.
Ferner wird im vorliegenden Ausführungsbeispiel die Geschwindigkeit beim Errechnen der Kennwerte der rechteckigen Merkmalsvorlage erheblich erhöht, indem bereits vor der Abtastung ein Integralbild des Augenbilds ermittelt wird.
Zusätzlich dazu erfolgt dem vorliegenden Ausführungsbeispiel gemäß die Lidlinienkorrektur durch eine Abtastung an beiden Enden eines längeren Segments als Vertrauenssegments mit Hilfe einer rechteckigen Merkmalsvorlage, was als messwertbasierte Korrektur im Vergleich zu den Rauschunterdrückungsalgorithmen anderer schätzwertbasierter Korrekturverfahren eine bessere Genauigkeit liefert.
Überdies wird hierbei zur Glättung einer ermittelten Lidlinie das Least-Square-Verfahren eingesetzt, um die Lidlinie der tatsächlichen Lidform anzunähern und gleichzeitig weitere Störstellen zu entfernen. Da beim Öffnen und Schließen der Augen sich die Oberlidlinie jeweils einer Parabel bzw. einer geraden Linie annähert, wird im vorliegenden Ausführungsbeispiel das Polynom zweiter Ordnung y = ax² + bx + c als Fitfunktion verwendet. Aus der Verarbeitung mit der Least-Square-Methode ergibt sich als Ausdruck für die Lidlinie ein Polynom zweiter Ordnung, dessen Faktor des quadratischen Terms die Krümmung des Oberlids gut widerspiegeln kann. Auf diese Weise werden im Vergleich zu anderen Rechenverfahren, bei denen die Krümmung unmittelbar ermittelt wird, eine höhere Genauigkeit und eine bessere Anpassung an den Aufnahmewinkel und die Qualität eines Bildes ermöglicht.
Ausführungsbeispiel 3:
Dieses Ausführungsbeispiel beschreibt eine weitere Erhöhung der Genauigkeit beim Erkennen einer geschlossenen Stellung der Augen. Im Falle eines von Natur aus flachen Oberlids oder eines mit einem Blickwinkel von oben nach unten verbundenen, undeutlichen Radianten des Oberlids zeigt die Krümmung des Oberlids beim Öffnen oder Schließen der Augen keine deutlichen Änderungen. So kann es zu Fehleinschätzungen kommen, wenn der Augenzustand des Autofahrers lediglich in Abhängigkeit von einer Krümmung des Oberlids beurteilt wird. Im vorliegenden Ausführungsbeispiel wird zusätzlich ein durchschnittlicher Abstand zwischen Ober- und Unterlid herangezogen.
In ist das Blockdiagramm einer entsprechenden Vorrichtung zur Erkennung von Müdigkeit am Steuer dargestellt, die gegenüber dem zweiten Ausführungsbeispiel um ein zweites Erkennungsmodul 280 zur unterstützenden Erkennung einer geschlossenen Stellung der Augen anhand des durchschnittlichen Abstands zwischen Ober- und Unterlid nach der anfänglichen Erkennung durch das erste Erkennungsmodul 250 und ein Unterlidlinien-Ermittlungsmodul 270 zur Ermittlung einer Unterlidlinie auf Grundlage der ermittelten Oberlidlinie durch Abtasten des Augenbildes mit Hilfe einer rechteckigen Merkmalsvorlage erweitert ist.
In einer Ausführungsform umfasst der Krümmungsschwellenwert der Lidlinie einen ersten Schwellenwert und einen kleiner als der erste gewählten zweiten Schwellenwert, wobei das erste Erkennungsmodul die Augen des Autofahrers als geöffnet erkennt, wenn der Faktor des quadratischen Terms den ersten Schwellenwert überschreitet, oder als geschlossen, wenn der Faktor des quadratischen Terms den zweiten Schwellenwert unterschreitet. Liegt der Faktor des quadratischen Terms zwischen erstem und zweitem Schwellenwert, erfolgt eine unterstützende Erkennung durch das zweite Erkennungsmodul anhand eines Abstands zwischen Ober- und Unterlid.
Dazu umfasst das zweite Erkennungsmodul 280 eine Einheit zum Errechnen des Abstands zwischen Ober- und Unterlidlinie, mit der aus der aufgezeichneten Ober- und Unterlidlinie ein durchschnittlicher Abstand dazwischen ermittelt werden kann, und eine Abstandsvergleichseinheit, die den durchschnittlichen Abstand zwischen Ober- und Unterlidlinie mit einem vorgegebenen Abstandsschwellenwert vergleicht und daraus ableitet, ob die Augen des Autofahrers geöffnet oder geschlossen sind.
In einer Ausführungsform kann der Lidlinien-Abstandsschwellenwert dynamisch auf die Krümmung oder den für die Krümmung charakteristischen Wert der Oberlidlinie abgestimmt sein, wobei die Augen des Autofahrers als geöffnet erkannt werden, wenn der durchschnittliche Abstand zwischen Ober- und Unterlidlinie den Lidlinien-Abstandsschwellenwert überschreitet, und ansonsten als geschlossen.
Gemäß umfasst ein Verfahren zur Erkennung von Müdigkeit am Steuer unter Verwendung der oben ausgeführten Vorrichtung zur Erkennung von Müdigkeit am Steuer folgende Schritte:
Schritt 810: Ermittlung eines Gesichtsbilds eines Autofahrers.
Schritt 812: Positionierung eines Brauen- und Augenbereiches im Gesichtsbild.
Schritt 814: Grobe Positionierung einer Oberlidlinie im Augenbereich.
Schritt 816: Rauschverminderung der Oberlidlinie.
Schritt 818: Fit der Oberlidlinie.
Schritt 820: Beurteilung des Augenzustands anhand der Form (z. B. einer Krümmung oder eines für die Krümmung charakteristischen Werts) der Oberlidlinie. Hierzu wird der Faktor a des quadratischen Terms in dem sich aus dem Fit ergebenden Polynom herangezogen. Es werden ein oberer und ein unterer Schwellenwert Ch, Cl festgelegt, wobei mit dem unteren Schwellenwert Cl sichergestellt werden soll, in den meisten Fällen die Augen richtig als geschlossen erkennen zu können. Zudem kann der untere Schwellenwert Cl auch nicht allein als Erkennungskriterium eingesetzt werden, um entsprechende Unabhängigkeit zu gewährleisten. Bei Schritt 822 werden die Augen als geöffnet erkannt, wenn der Faktor a des quadratischen Terms den oberen Schwellenwert Ch überschreitet, oder als geschlossen, wenn der Faktor a des quadratischen Terms den unteren Schwellenwert Cl unterschreitet. In letzterem Fall wird Schritt 830 ausgeführt und andernfalls Schritt 824.
Schritt 824: Unterstützende Erkennung des Augenzustands, wenn der Faktor a des quadratischen Terms zwischen erstem und zweitem Schwellenwert liegt. Dabei wird anhand der erfassten Oberlidlinie eine Unterlidlinie erfasst, indem die Punkte an beiden Enden einer sich aus dem Fit ergebenden Lidlinie miteinander verbunden werden und ausgehend von einer gestrichelten Linie L1 in nach oben und unten in einem bestimmten Bereich wie etwa zwischen den gestrichelten Linien L2 und L3 in eine Abtastung mit einer rechteckigen Merkmalsvorlage durchgeführt wird, um eine Unterlidlinie wie die Linie L4 in zu erhalten.
Analog zur Oberlidlinie lässt sich auch die Unterlidlinie durch mehrere zunehmend feinere Anpassungen erzeugen.
Schritt 826: Errechnung eines durchschnittlichen Abstands zwischen Ober- und Unterlidlinie.
Schritt 828: Erkennung einer geschlossenen Stellung der Augen an dem durchschnittlichen Abstand zwischen Ober- und Unterlidlinie. Hierbei wird der durchschnittliche Abstand zwischen Ober- und Unterlidlinie als zweites Erkennungskriterium verwendet. Es werden ein oberer Referenz-Schwellenwert Dl und ein unterer Referenz-Schwellenwert Ds festgelegt, wobei mit Dl die Fehlerkennung als geöffnet und mit Ds die Fehlerkennung als geschlossen vermieden werden soll. Des Weiteren soll die Position des Faktors a des quadratischen Terms zwischen oberem und unterem Schwellenwert berücksichtigt werden. Dafür gilt: Dd = Dl – (Dl – Ds)·((a – Cl)/(Ch – Cl))
Als Erkennungskriterium dient hierbei die Bewegung eines Abstandsschwellenwerts Dd zwischen den Referenzwerten. Nähert sich der Faktor a des quadratischen Terms Ch an, so bewegt sich der Abstandsschwellenwert auf Ds zu, und umgekehrt. Überschreitet der durchschnittliche Abstand zwischen Ober- und Unterlid den Abstandsschwellenwert, werden die Augen als geöffnet erkannt und andernfalls als geschlossen. Je nach Ergebnis wird Schritt 830 ausgeführt.
Schritt 830: Erkennung von Müdigkeit des Autofahrers auf der Basis einer statistischen Auswertung der Historie über die geschlossene Stellung der Augen und eines Vergleichs des Ergebnisses mit den vorgegebenen Bedingungen.
Dem vorliegenden Ausführungsbeispiel gemäß kann ferner eine Erfassung der Unterlidlinie nach einem Fit der Oberlidlinie, d. h. anhand der verarbeiteten Oberlidlinie, durchgeführt werden.
Im vorliegenden Ausführungsbeispiel wird ein durchschnittlicher Abstand zwischen Ober- und Unterlid verwendet, der bei fehlerverdächtiger erster Einschätzung in Verbindung mit dem Radianten des Oberlids und den variablen Schwellenwerten zu einer endgültigen Entscheidung führt. Hierbei eignet sich der durchschnittliche Abstand zwischen Ober- und Unterlid für die Erkennung als geschlossen und der Radiant des Oberlids für die Erkennung als geöffnet, was insgesamt die Anwendbarkeit des Verfahrens zur Erkennung von Müdigkeit am Steuer verbessert.
Die vorangehend beschriebenen Module oder Abläufe können programmiert und in einem Computer einschließlich verschiedener Prozessoren installiert sein.
Die programmierten Module oder Abläufe können in einem externen lesbaren Speichermedium wie z. B. einer Diskette, einem CD-ROM, einer Festplatte, einem Magnetband-Aufzeichnungsmedium, dem Halbleiterspeicher einer Chipkarte oder anderen optischen (wie etwa DVD oder PD) oder magnetischen Aufzeichnungsmedien gespeichert sein. Als Speichermedium können auch elektrische, optische, akustische Signale oder Signale anderer Form wie beispielsweise Trägerwellen, Infrarot-, Digitalsignale usw. eingesetzt werden.
Die dargestellten Ausführungsbeispiele sind bei einem Fahrzeug anwendbar und dienen dabei zur Erkennung von Müdigkeit am Steuer. In einem Ausführungsbeispiel umfasst das Fahrzeug eine Bildaufnahmeeinrichtung und eine Vorrichtung zur Erkennung von Müdigkeit am Steuer gemäß einem der oben erwähnten Ausführungsbeispiele. Die Bildaufnahmeeinrichtung ist in der Nähe des Führerplatzes befestigt und dient zur Bildaufnahme des ganzen Gesichts oder der oberen Gesichtshälfte des Autofahrers. Bei der Bildaufnahmeeinrichtung kann es sich um eine Infrarotkamera oder anderweitige Kameras handeln, die die aufgenommenen Gesichtsbilddaten an die Vorrichtung zur Erkennung von Müdigkeit am Steuer weiterleitet. Diese verarbeitet die Bilddaten wie oben dargestellt und leitet daraus ab, ob Müdigkeit am Steuer vorliegt.
In einem weiteren Ausführungsbeispiel umfasst das Fahrzeug zusätzlich eine Warneinrichtung, die mit der Vorrichtung zur Erkennung von Müdigkeit am Steuer gekoppelt ist. Sobald der Autofahrer als müde erkannt wird, gibt die Vorrichtung zur Erkennung von Müdigkeit am Steuer ein Warnsignal an die Warneinrichtung aus, um diese zur akustischen und/oder optischen Warnmeldung anzusteuern.
Die bisher illustrierten Ausführungsformen dienen lediglich zur beispielhaften Beschreibung der Erfindung und schränken die Erfindung keineswegs ein. Jede Variation oder Substitution, die vom Durchschnittsfachmann aus den Grundideen der Erfindung ableitbar ist, fällt in den Schutzumfang der Erfindung.

Claims

Verfahren zur Erkennung von Müdigkeit am Steuer, gekennzeichnet durch folgende Schritte: – Ermittlung einer Oberlidlinie durch Auswerten eines Augenbildes eines Autofahrers im Bereich des Augenbilds mit Hilfe einer rechteckigen Merkmalsvorlage, wobei das Augenbild mit Hilfe der rechteckigen Merkmalsvorlage spaltenweise abgetastet, eine Position für jede Spalte ermittelt, in der der Kennwert der rechteckigen Merkmalsvorlage sein Maximum erreicht, und eine Oberlidlinie ermittelt wird, indem der Mittelpunkt der rechteckigen Merkmalsvorlage in dieser Position als ein Punkt in der Oberlidlinie erkannt wird, wobei mit Kennwert einer rechteckigen Merkmalsvorlage der Graustufenunterschied zwischen der oberen und unteren Hälfte eines Rechtecks am Ort der rechteckigen Merkmalsvorlage bezeichnet wird; – Erkennung einer geschlossenen Stellung der Augen anhand einer Krümmung oder eines für die Krümmung charakteristischen Werts der Oberlidlinie; – Erkennung von Müdigkeit des Autofahrers auf der Basis einer statistischen Auswertung der geschlossenen Stellung der Augen.
Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass vor der durchlaufenden Abtastung des Augenbilds mit der rechteckigen Merkmalsvorlage ein Integralbild der Augen durch die mathematische Integration des Augenbildes ermittelt wird, und dass die durchgehende Abtastung des Augenbilds durch die rechteckige Merkmalsvorlage auf dem integrierten Augenbild erfolgt, wobei für jede Position der rechteckigen Merkmalsvorlage deren Kennwert errechnet wird.
Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass das Augenbild mehrmals, mit einer jeweils kleineren rechteckigen Merkmalsvorlage abgetastet und eine Oberlidlinie ermittelt wird, wobei die Größe der rechteckigen Merkmalsvorlage dynamisch auf die Größe des jeweiligen Augenbilds abgestimmt ist.
Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass nach der Ermittlung der Oberlidlinie und vor der Erkennung einer geschlossenen Stellung der Augen anhand einer Krümmung der Oberlidlinie zusätzlich eine Rauschverminderung der ermittelten Oberlidlinie vorgesehen ist.
Verfahren gemäß Anspruch 4, dadurch gekennzeichnet, dass die Rauschverminderung Folgendes umfasst: – Erfassung von Wechselpunkten in der Lidlinie und Aufteilung der Lidlinie in mehrere Segmente mit Hilfe dieser Wechselpunkte als Trennpunkte, – Bestimmung eines Vertrauenssegments in der Lidlinie als Lidlinienbasis, – Ermittlung einer korrigierten Lidlinie durch eine beidseitige Abtastung ausgehend von den beiden Enden des Vertrauenssegments mit Hilfe einer rechteckigen Merkmalsvorlage.
Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass nach der Ermittlung der Oberlidlinie für die Lidlinie ein Kurvenfit mit einem Polynom zweiter Ordnung durchgeführt, als Ausdruck für die Lidlinie ein Polynom zweiter Ordnung erhalten und der Faktor des quadratischen Terms in diesem Polynom zweiter Ordnung als die Krümmung oder der für die Krümmung charakteristische Wert der Oberlidlinie verwendet wird, wobei die Erkennung einer geschlossenen Stellung der Augen anhand einer Krümmung oder eines für die Krümmung charakteristischen Werts der Oberlidlinie einen Vergleich des Faktors des quadratischen Terms mit einem vorgegebenen Schwellenwert der Krümmung der Lidlinie und eine Erkennung der Augen des Autofahrers als geöffnet oder geschlossen umfasst.
Verfahren gemäß Anspruch 6, dadurch gekennzeichnet, dass der Krümmungsschwellenwert der Lidlinie einen ersten Schwellenwert und einen kleiner als der erste gewählten zweiten Schwellenwert umfasst, wobei die Augen des Autofahrers als geöffnet erkannt werden, wenn der Faktor des quadratischen Terms den ersten Schwellenwert überschreitet, oder als geschlossen, wenn der Faktor des quadratischen Terms den zweiten Schwellenwert unterschreitet, und dass zusätzlich eine unterstützende Erkennung anhand eines Abstands zwischen Ober- und Unterlid erfolgt, wenn der Faktor des quadratischen Terms zwischen erstem und zweitem Schwellenwert liegt.
Verfahren gemäß Anspruch 7, dadurch gekennzeichnet, dass die unterstützende Erkennung anhand eines Abstands zwischen Ober- und Unterlid Folgendes umfasst: – Ermittlung einer Unterlidlinie auf Grundlage der ermittelten Oberlidlinie durch Abtasten des Augenbildes mit Hilfe einer rechteckigen Merkmalsvorlage, – Errechnung eines durchschnittlichen Abstands zwischen Ober- und Unterlidlinie, – Vergleich des durchschnittlichen Abstands zwischen Ober- und Unterlidlinie mit einem vorgegebenen Abstandsschwellenwert und Erkennung der Augen des Autofahrers als geöffnet oder geschlossen.
Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass die Erkennung von Müdigkeit des Autofahrers auf der Basis einer statistischen Auswertung der geschlossenen Stellung der Augen Folgendes umfasst: – statistische Auswertung der Dauer einer geschlossenen Stellung der Augen in der umittelbar zurückliegenden Zeit und Erkennung des Autofahrers als müde, wenn die Dauer einen vorgegebenen Wert überschreitet, oder – statistische Auswertung des aktuellen Offenhalte-/Zuhaltezeitverhältnis in einer Zeiteinheit und Erkennung des Autofahrers als müde, wenn das Verhältnis einen vorgegebenen Schwellenwert überschreitet.
Vorrichtung zur Erkennung von Müdigkeit am Steuer, gekennzeichnet durch – ein Oberlidlinien-Ermittlungsmodul zur Ermittlung einer Oberlidlinie durch Abtasten des Augenbildes im Bereich des Augenbilds mit Hilfe einer rechteckigen Merkmalsvorlage, das wiederum eine Abtasteinheit zur Bewegung der rechteckigen Merkmalsvorlage auf dem Augenbild von Spalte zu Spalte, eine Graustufenunterschieds-Recheneinheit zur Ermittlung einer Position für jede Spalte, in der der Kennwert der rechteckigen Merkmalsvorlage sein Maximum erreicht, und eine Oberlidlinien-Zeicheneinheit zur Ermittlung einer Oberlidlinie durch Erkennen des Mittelpunkts der rechteckigen Merkmalsvorlage in dieser Position als ein Punkt in der Oberlidlinie umfasst, wobei mit Kennwert einer rechteckigen Merkmalsvorlage der Graustufenunterschied zwischen der oberen und unteren Hälfte eines Rechtecks am Ort der rechteckigen Merkmalsvorlage bezeichnet wird, – ein erstes Erkennungsmodul zur Erkennung einer geschlossenen Stellung der Augen anhand einer Krümmung oder eines für die Krümmung charakteristischen Werts der Oberlidlinie, – ein Müdigkeitserkennungsmodul zur Erkennung von Müdigkeit des Autofahrers auf der Basis einer statistischen Auswertung der geschlossenen Stellung der Augen.
Vorrichtung gemäß Anspruch 10, dadurch gekennzeichnet, dass das Oberlidlinien-Ermittlungsmodul ferner eine Integriereinheit zur Ermittlung eines Integralbildes der Augen durch die mathematische Integration des Augenbildes vor der durchlaufenden Abtastung desselben umfasst, und dass die Abtastung des Augenbilds durch die rechteckige Merkmalsvorlage auf dem integrierten Augenbild erfolgt, wobei für jede Position der rechteckigen Merkmalsvorlage deren Kennwert errechnet wird.
Vorrichtung gemäß Anspruch 10, gekennzeichnet durch ein zusätzliches Rauschunterdrückungsmodul zur Rauschunterdrückung der ermittelten Oberlidlinie, das seinerseits eine Lidlinien-Segmentiereinheit, eine Vertrauenssegmente-Bestimmungseinheit und eine Lidlinien-Korrigiereinheit umfasst, wobei die Lidlinien-Segmentiereinheit zur Erfassung von Wechselpunkten in einer Lidlinie dient und mit Hilfe dieser Wechselpunkte als Trennpunkte die Lidlinie in mehrere Segmente aufteilt, wobei mit der Vertrauenssegmente-Bestimmungseinheit in einer Lidlinie ein Vertrauenssegment als Lidlinienbasis bestimmt wird, und wobei die Lidlinien-Korrigiereinheit zur Ermittlung einer korrigierten Lidlinie durch eine beidseitige Abtastung ausgehend von den beiden Enden des Vertrauenssegments mit Hilfe einer rechteckigen Merkmalsvorlage dient.
Vorrichtung gemäß Anspruch 10, gekennzeichnet durch ein zusätzliches Fitmodul, das für die Lidlinie einen Kurvenfit mit einem Polynom zweiter Ordnung durchführt, als Ausdruck für die Lidlinie ein Polynom zweiter Ordnung erhält und den Faktor des quadratischen Terms in diesem Polynom zweiter Ordnung als die Krümmung oder den für die Krümmung charakteristischen Wert der Oberlidlinie verwendet, während das erste Erkennungsmodul den Faktor des quadratischen Terms mit einem vorgegebenen Schwellenwert der Krümmung der Lidlinie vergleicht und demnach die Augen des Autofahrers als geöffnet oder geschlossen erkennt.
Vorrichtung gemäß Anspruch 13, dadurch gekennzeichnet, dass der Krümmungsschwellenwert der Lidlinie einen ersten Schwellenwert und einen kleiner als der erste gewählten zweiten Schwellenwert umfasst, wobei das erste Erkennungsmodul die Augen des Autofahrers als geöffnet erkennt, wenn der Faktor des quadratischen Terms den ersten Schwellenwert überschreitet, oder als geschlossen, wenn der Faktor des quadratischen Terms den zweiten Schwellenwert unterschreitet, und dass zusätzlich eine unterstützende Erkennung durch ein zweites Erkennungsmodul anhand eines Abstands zwischen Ober- und Unterlid erfolgt, wenn der Faktor des quadratischen Terms zwischen erstem und zweitem Schwellenwert liegt.
Vorrichtung gemäß Anspruch 14, gekennzeichnet durch ein zusätzliches Unterlidlinien-Ermittlungsmodul zur Ermittlung einer Unterlidlinie auf Grundlage der ermittelten Oberlidlinie durch Abtasten des Augenbildes mit Hilfe einer rechteckigen Merkmalsvorlage, wobei das zweite Erkennungsmodul eine Einheit zum Errechnen eines durchschnittlichen Abstands zwischen Ober- und Unterlidlinie und eine Abstandsvergleichseinheit umfasst, die den durchschnittlichen Abstand zwischen Ober- und Unterlidlinie mit einem vorgegebenen Abstandsschwellenwert vergleicht und daraus ableitet, ob die Augen des Autofahrers geöffnet oder geschlossen sind.
Vorrichtung gemäß Anspruch 15, dadurch gekennzeichnet, dass der Lidlinien-Abstandsschwellenwert dynamisch auf die Krümmung oder den für die Krümmung charakteristischen Wert der Oberlidlinie abgestimmt ist, wobei die Augen des Autofahrers als geöffnet erkannt werden, wenn der durchschnittliche Abstand zwischen Ober- und Unterlidlinie den Lidlinien-Abstandsschwellenwert überschreitet, und ansonsten als geschlossen.
Fahrzeug, gekennzeichnet durch – eine Bildaufnahmeeinrichtung, die in der Nähe des Führerplatzes befestigt ist und zur Bildaufnahme des Gesichts des Autofahrers dient, – eine Vorrichtung zur Erkennung von Müdigkeit am Steuer gemäß Anspruch 10, die im Fahrzeug integriert ist und zum Empfangen und Verarbeiten der von der Bildaufnahmeeinrichtung ausgegebenen Bilddaten dient.
Auf einem Computer ausführbares Programm, dadurch gekennzeichnet, dass das Programm bei der Ausführung auf dem Computer folgende Funktionen erfüllen kann: – Ermittlung einer Oberlidlinie durch Auswerten eines Augenbildes eines Autofahrers im Bereich des Augenbilds mit Hilfe einer rechteckigen Merkmalsvorlage, wobei das Augenbild mit Hilfe der rechteckigen Merkmalsvorlage spaltenweise abgetastet, eine Position für jede Spalte ermittelt, in der der Kennwert der rechteckigen Merkmalsvorlage sein Maximum erreicht, und eine Oberlidlinie ermittelt wird, indem der Mittelpunkt der rechteckigen Merkmalsvorlage in dieser Position als ein Punkt in der Oberlidlinie erkannt wird, wobei mit Kennwert einer rechteckigen Merkmalsvorlage der Graustufenunterschied zwischen der oberen und unteren Hälfte eines Rechtecks am Ort der rechteckigen Merkmalsvorlage bezeichnet wird; – Erkennung einer geschlossenen Stellung der Augen anhand einer Krümmung oder eines für die Krümmung charakteristischen Werts der Oberlidlinie; – Erkennung von Müdigkeit des Autofahrers auf der Basis einer statistischen Auswertung der geschlossenen Stellung der Augen.
Programm gemäß Anspruch 18, dadurch gekennzeichnet, dass das Programm bei der Ausführung auf dem Computer ferner folgende Funktionen erfüllen kann: Durchführen eines Kurvenfits für die Lidlinie nach der Ermittlung der Oberlidlinie mit einem Polynom zweiter Ordnung, Erhalten eines Polynoms zweiter Ordnung als Ausdruck für die Lidlinie und Verwenden des Faktors des quadratischen Terms in diesem Polynom zweiter Ordnung als die Krümmung oder den für die Krümmung charakteristischen Wert der Oberlidlinie, wobei die Erkennung einer geschlossenen Stellung der Augen anhand einer Krümmung oder eines für die Krümmung charakteristischen Werts der Oberlidlinie einen Vergleich des Faktors des quadratischen Terms mit einem vorgegebenen Schwellenwert der Krümmung der Lidlinie und eine Erkennung der Augen des Autofahrers als geöffnet oder geschlossen umfasst.
Computerlesbares Medium, in dem ein auf einem Computer ausführbares Programm gespeichert ist, wobei das Programm bei der Ausführung auf dem Computer folgende Funktionen erfüllen kann: – Ermittlung einer Oberlidlinie durch Auswerten eines Augenbildes eines Autofahrers im Bereich des Augenbilds mit Hilfe einer rechteckigen Merkmalsvorlage, wobei das Augenbild mit Hilfe der rechteckigen Merkmalsvorlage spaltenweise abgetastet, eine Position für jede Spalte ermittelt, in der der Kennwert der rechteckigen Merkmalsvorlage sein Maximum erreicht, und eine Oberlidlinie ermittelt wird, indem der Mittelpunkt der rechteckigen Merkmalsvorlage in dieser Position als ein Punkt in der Oberlidlinie erkannt wird, wobei mit Kennwert einer rechteckigen Merkmalsvorlage der Graustufenunterschied zwischen der oberen und unteren Hälfte eines Rechtecks am Ort der rechteckigen Merkmalsvorlage bezeichnet wird; – Erkennung einer geschlossenen Stellung der Augen anhand einer Krümmung oder eines für die Krümmung charakteristischen Werts der Oberlidlinie; – Erkennung von Müdigkeit des Autofahrers auf der Basis einer statistischen Auswertung der geschlossenen Stellung der Augen.