DE19734307C2

DE19734307C2 - Verfahren und Vorrichtung zur Überwachung und/oder Beeinflussung des Fahrzeugverhaltens eines fahrergesteuerten Kraftfahrzeugs

Info

Publication number: DE19734307C2
Application number: DE1997134307
Authority: DE
Inventors: Alfred Sigl
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 1997-08-08
Filing date: 1997-08-08
Publication date: 1999-06-10
Anticipated expiration: 2017-08-09
Also published as: DE19734307A1

Description

Die vorliegende Erfindung betrifft ein Verfahren sowie eine Vorrichtung zur Überwachung und/oder Beeinflussung des Fahr verhaltens eines fahrergesteuerten Kraftfahrzeugs in Abhän gigkeit von der Blickrichtung des Fahrers. Sie betrifft insbesondere ein Verfahren und eine Vorrichtung, bei der die Blickrichtung des Fahrers des Kraftfahrzeugs mit der momen tanen Fahrtrichtung des Kraftfahrzeugs verglichen wird, um die Fahrtrichtung zu beeinflussen. Sie betrifft darüber hinaus weitere Komponenten und Systeme in einem Kraftfahr zeug, deren Funktion durch Kenntnis der Blickrichtung des Fahrers verbessert werden kann.

Stand der Technik

Aus der DE 43 32 836 C1 ist eine Vorrichtung zur spurhal tungsgeregelten Lenkung eines Fahrzeugs bekannt. Bei dieser bekannten Vorrichtung werden kleinere Lenkbewegungen von einer Regelung bewältigt, während der Fahrer gleichzeitig seine Eingriffsmöglichkeit für größere Lenkbewegungen, zum Beispiel für einen Fahrspurwechsel und Ausweichmanöver, behält. Zu diesem Zweck erfaßt eine Fahrzeuglageerkennungs einrichtung die Fahrspur, insbesondere über dort randseitig angeordnete Markierungen, optisch und wertet die erhaltenen Daten aus. Das Ausgangssignal der Fahrzeuglageerkennungsein richtung enthält die Information über den Istabstand von der Fahrspurberandung, über die momentane Fahrbahnkrümmung sowie die momentane Gierwinkeldifferenz und wird unter anderem einer Lenkregelungseinrichtung zugeführt. Diese bekannte Vorrichtung ist dazu ausgelegt, kleinere Änderungen der Fahrtrichtung des Kraftfahrzeugs auszuregeln, wohingegen größere Änderungen der Fahrtrichtung durch manuellen Ein griff des Fahrers jederzeit möglich sind. Dabei ist die Vorrichtung darauf angewiesen, die Fahrspur, auf der sich das Kraftfahrzeug befindet, automatisch zu erkennen. Dies beinhaltet, insbesondere wenn keine Randmarkierungen vor handen sind, einen großen technischen Aufwand. Die Gefahr eines ungewollten Verlassens der Fahrspur aufgrund ungewoll ter Lenkbewegungen eines unaufmerksamen oder abgelenkten Fahrers wird mit dieser bekannten Vorrichtung nicht beseitigt, da der Fahrer die Regelung der Fahrspurhaltung manuell übersteuern kann. Gerade dies stellt jedoch eine nicht zu vernachlässigende Unfallursache dar, beispielsweise wenn der Fahrer des Fahrzeugs einschläft, sich eine Zigarette anzündet oder im Fußraum des Fahrzeugs nach einem Gegenstand sucht.

Um Unfällen durch Einschlafen des Fahrers vorzubeugen, sind Vorrichtungen bekannt, wie sie beispielsweise in der DE 295 04 973 U1 vorgeschlagen sind. In dieser Schrift wird ein Einschlafwächter beschrieben, der dadurch gekennzeichnet ist, daß ein Sensor für Materialcharakteristiken, die einer seits bei der Vorderseite des Augapfels und andererseits bei der Haut der Lidaußenseite unterschiedlich sind, mit einer Alarmquelle verbunden ist. Er verwendet also als Kriterium für die Auslösung des Alarms, daß das Augenlid sich beim Einschlafen schließt. Der hier beschriebene Einschlafwächter muß jedoch mittels eines Bügels am Kopf des Fahrers befestigt werden, was eine generelle Akzeptanz für einen Einsatz in Kraftfahrzeugen fraglich erscheinen läßt. Darüber hinaus können mit dieser bekannten Vorrichtung keine Unfälle vermieden werden, die daraus resultieren, daß der Fahrer des Kraftfahrzeugs abgelenkt ist und trotz geöffneter Augen nicht die Fahrspur beobachtet.

In der DE 38 03 916 A1 wird ein Verfahren und eine Vorrich tung zur Ermittlung der Fahrtauglichkeit eines Fahrzeugfüh rers vorgestellt. Dazu wird der Augenbereich kurzfristig mit einer gepulsten Infrarot-Lichtquelle beleuchtet, die Augen partie wird von einem CCD-Sensor erfaßt und die Daten werden an einen Video-Steuerrechner übergeben. Der Video-Steuer rechner wertet Lage, Längenänderung, Winkel, Winkeländerung und absoluten Blickwinkel der Augen aus und stellt diese Da ten einem Auswerterechner für Augenbewegungen zur Verfügung. Dieser Auswerterechner stimuliert den Fahrer über sichtbare Stimulationsleuchten im Instrumentenbereich, wertet zum Bei spiel die totale Reaktionszeit aus und gibt über eine Schnittstelle zum Fahrzeug zuerst ein akustisches oder ein optisches Signal ab. Wenn der Fahrer darauf nicht reagiert, greift die Vorrichtung mit Hilfe eines adaptiven Computer systems in die Motordrosselung (Schubabschaltung) oder mit tels Aktor in die Bremsen des Fahrzeugs ein. Bei der Erfas sung der Augenpartie durch den CCD-Sensor erfolgt eine per sonelle Zuordnung durch Messung des Augenabstands, der Ge sichtskonturen sowie der Strukturen von Iris und Retina. Die Auslösung eines Alarms erfolgt bei diesem System anhand des Kriteriums, ob die Reaktionsabweichung einer kontrollierten Person innerhalb oder außerhalb vorgegebener Schwellwerte liegt.

Aus der DE 43 38 244 C2 ist ein Gefahrenabwendungssystem für ein Fahrzeug bekannt, bei dem der Fahrzeugzustand, die Fahrtumgebung und der Fahrer überwacht werden. Es sind wei terhin eine Gefahrenabwendungs-Einrichtung und eine Fahrt- Bewertungseinrichtung zur Bestimmung einer Gefahrensituation für das Fahrzeug vorgesehen. Bei dem System wird unter ande rem die Blickrichtung des Fahrers mit einem Sichtliniensen sor bestimmt und anhand von gemessenen Körperfunktionen wie beispielsweise Blutdruck oder Puls des Fahrers festgestellt, ob der Fahrer eine Gefahrensituation erkannt hat, oder ob der Fahrer wegsieht. Für den Fall, daß der Fahrer die Gefah rensituation nicht erkannt hat, wird eine Aufforderung an die Gefahrenabwendungs-Einrichtung gegeben, Maßnahmen zur Vermeidung der Gefahrensituation zu treffen.

In der JP 6-262959 A ist ein Alarmgerät für abgelenktes Fah ren offenbart worden, das anhand der Positionsveränderung der Augen und dem Vergleich mit der Fahrtrichtung des Fahr zeugs entscheidet, ob abgelenktes Fahren vorliegt oder nicht und gegebenenfalls einen Alarm auslöst. Bei dem Alarmgerät wird das Gesicht des Fahrers beleuchtet und mit einer CCD- Kamera aufgezeichnet. Eine Recheneinheit bestimmt anhand der aufgezeichneten Bilder die Positionsveränderung der Augen, während mittels eines Winkelgeschwindigkeitssensors die Fahrtrichtung des Fahrzeugs ermittelt wird. Für den Fall, daß diese beiden Richtungen nicht übereinstimmen, wird ein akustisches Warnsignal ausgelöst, das die Aufmerksamkeit des Fahrers erregen soll.

Aus der JP 7-93700 A ist weiterhin eine Vorrichtung zur Überwachung des Zustands eines Fahrers bekannt, die zur Ver meidung eines Verkehrsunfalls einen Alarm auslöst, wenn der Fahrer döst. Dazu wird das Gesicht des Fahrers mit einer Bildaufnahmevorrichtung erfaßt und innerhalb des gespeicher ten Abbildes die Augenlider und die Pupillen detektiert. Wird anhand der detektierten Augenlider und Pupillen fest stellt, daß eine Blinzelbewegung und eine Bewegung der Aug äpfel des Fahrers vorliegt, so wird über einen Lautsprecher ein Alarm ausgelöst.

Die DE 196 21 435 A1 offenbart ein Verfahren und eine Vor richtung zum Überwachen von Augen für die Erfassung eines Schläfrigkeitszustandes. Dazu wird die zu beobachtende Per son mit einer Lichtquelle im nicht sichtbaren Bereich be leuchtet und es werden mit einer Kamera Bilder der Person aufgenommen. Mit einem Prozessor werden die Bilder analy siert und beispielsweise die Pupillen, die Augenlider, der Lidschlag, die Rollbewegungen der Augäpfel und die Bewegun gen der Pupille erkannt. Aus diesen Daten wird auf den Schläfrigkeitszustand der beobachteten Person rückgeschlos sen.

Aufgabe, Lösung und Vorteile der Erfindung

Ziel der vorliegenden Erfindung ist es, ein verbessertes Verfahren und eine darauf basierende Vorrichtung zur Über wachung und/oder Beeinflussung des Fahrzeugverhaltens eines fahrergesteuerten Kraftfahrzeugs anzugeben. Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Verfahrens schritten gemäß Anspruch 1 sowie eine Vorrichtung mit den Merkmalen gemäß Anspruch 16 gelöst. Ein wesentlicher Gedanke der Erfindung besteht darin, die jeweils momentane Blick richtung des Fahrers des Kraftfahrzeugs festzustellen. Ein entsprechendes Verfahren sowie hierzu benötigte Mittel sind in den untergeordneten Ansprüchen beschrieben. Aus der erkannten Blickrichtung läßt sich eine generelle Aussage über die Aufmerksamkeit des Fahrers ableiten.

Ein wesentlicher Vorteil der Erfindung ist, daß sie zur Ver meidung von Unfällen beiträgt, die von den bisher bekannten Vorrichtungen und Verfahren nicht erfaßt werden. Darüber hinaus kann die erkannte Blickrichtung des Fahrers im Sinne einer Fahrerwunscherkennung vorteilhafterweise auch anderen Komponenten oder Systemen des Kraftfahrzeugs zugeführt werden. So ist beispielsweise eine automatische Einstellung oder Nachführung der Rückspiegel des Kraftfahrzeugs in Abhängigkeit einer mittleren Blickrichtung des Fahrers möglich. Auch kann die erkannte Blickrichtung beispielsweise im Rahmen einer adaptiven Abstands- oder Fahrgeschwindig keitsregelung verwendet werden, indem die Blickrichtung des Fahrers zur Entscheidung, ob ein von einem Abstandssensor detektiertes Hindernis für das geregelte Fahrzeug kritisch ist oder nicht, herangezogen wird. Insgesamt kann mit Hilfe der Erfindung sowohl die Sicherheit als auch der Komfort für den Fahrer eines Kraftfahrzeugs erhöht werden.

Vorteil des in den nachfolgenden Ausführungsbeispielen sowie den untergeordneten Ansprüchen beschriebenen Verfahrens zur Erkennung der Blickrichtung ist, daß es mit heutigen Techno logien vergleichsweise einfach und damit kostengünstig zu realisieren ist. Außerdem ist das Verfahren vollkommen unab hängig von der Person des Fahrers, das heißt es werden keinerlei Komponenten benötigt, die zur Feststellung der Blickrichtung am Körper des Fahrers befestigt werden müssen. Dies läßt eine höhere Akzeptanz erwarten als beispielsweise eine Vorrichtung gemäß der DE 295 04 973 U1. Besonders vor teilhaft ist es, wenn zur Erkennung der Blickrichtung nicht nur die Bewegung des Kopfes, sondern auch die Bewegungen des Auges bzw. der Pupillen oder der Iris erfaßt werden. Auf diese Weise läßt sich die Blickrichtung des Fahrers wesent lich genauer bestimmen als aus der Bewegung des Kopfes allein. Vorteilhaft ist es weiterhin, in Abhängigkeit der erkannten Blickrichtung des Fahrers sowie einer angenommenen oder bestimmten Fahrtrichtung des Fahrzeugs nicht nur einen Warnton, sondern auch Stellersignale zu generieren, durch die beispielsweise eine Lenkung des Fahrzeugs erschwert wird, wenn Blickrichtung und Fahrtrichtung zu stark und zu lange voneinander abweichen. Umgekehrt ist es vorteilhaft, eine Lenkung des Fahrzeugs im Sinne einer Servounterstützung zu erleichtern, wenn Blickrichtung und angenommene oder bestimmte Fahrtrichtungen des Fahrzeugs näherungsweise über einstimmen. Die Intensität des Stellersignals und damit die Stärke der Maßnahmen wird vorzugsweise in Abhängigkeit weiterer Größen, insbesondere der Geschwindigkeit des Fahr zeugs oder einer Aktivierung von Fahrtrichtungsanzeigern variiert. Eine andere bevorzugte Weiterbildung der Erfindung ist es, die Fahrgeschwindigkeit des Fahrzeugs zu reduzieren, wenn die erkannte Blickrichtung und die angenommene oder bestimmte Fahrtrichtung des Fahrzeugs zu stark oder zu lange voneinander abweichen. Die zuletzt genannten Maßnahmen er folgen vorteilhafterweise in Kombination mit der Erzeugung eines Warnsignals. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich anhand der nachfolgend dargestellten Ausführungsbeispiele.

Beschreibung von Ausführungsbeispielen

Nachfolgend werden Ausführungsbeispiele der Erfindung anhand einer Zeichnung erläutert. Es zeigen

Fig. 1a und b zwei schematische Darstellungen zur Bestim mung der Blickrichtung anhand der Bewegungen des Kopfes,

Fig. 2a und b zwei schematische Darstellungen zur Bestim mung der Blickrichtung anhand der Bewegung der Pupillen bzw. der Iris des Auges,

Fig. 3a und b zwei schematische Darstellungen zur Defini tion der Blickrichtung des Fahrers eines Fahrzeuges im Bezug zur Fahrtrichtung,

Fig. 4 ein Ausführungsbeispiel einer erfindungsgemäßen Vor richtung,

Fig. 5 ein Flußdiagramm zur Erläuterung des Verfahrens zur Überwachung und/oder Beeinflussung der Fahrtrichtung eines Kraftfahrzeugs und

Fig. 6 ein Flußdiagramm zur Erläuterung der Bestimmung der Blickrichtung eines Fahrers in einem Kraftfahrzeug.

Fig. 1a zeigt eine Skizze zur Erläuterung, wie die horizon tale Blickrichtung des Fahrers eines Kraftfahrzeuges auf grund der Drehung seines Kopfes bestimmt werden kann. Skiz ziert sind in einer Draufsicht der Kopf des Fahrers 10 sowie seine Augen 13. Dem Gesicht des Fahrers gegenüber befindet sich eine Bildaufnahmeeinheit 11, beispielsweise eine CCD- oder eine Videokamera. Die beiden Augen 13 liegen entlang einer Augenlinie 12, deren Winkel zur Bildaufnahmeeinheit 11 sich in Abhängigkeit einer Drehung des Kopfes verändert. Beispielhaft gezeichnet ist die Augenlinie 12a mit den beiden Augen 13 für den Fall, daß der Fahrer geradeaus in Richtung der Bildaufnahmeeinheit 11 blickt. Alternativ dazu zeigt die Augenlinie 12b die Situation, in der der Fahrer nach links blickt. Die beiden Augenlinien 12a und 12b stehen in einem Winkel α zueinander, aus dessen Kenntnis sich die Blickrichtung des Fahrers abschätzen läßt. Der Winkel α kann dabei anhand des Augenabstandes x bestimmt werden, der wiederum mittels der Bildaufnahmeeinheit 11 detektierbar ist. So ist der detektierbare Augenabstand x₁ im Fall der Augenlinie 12b geringer als der detektierbare Augenabstand x₂ der Augenlinie 12a. x₂ wiederum ist der maximale Augen abstand bezüglich einer Person, so daß x₂ gleich x_max ist. Der Winkel α läßt sich nun aus der Beziehung cosα = x₁/x_max abschätzen.

Fig. 1b zeigt vergleichbar zu Fig. 1a eine Skizze zur Bestimmung der vertikalen Blickrichtung aufgrund von Nick bewegungen des Kopfes 10. Mit 11 ist die bereits erwähnte Bildaufnahmeeinheit bezeichnet. Zur Erfassung der vertikalen Blickrichtung des Fahrers wird nun der Abstand y zwischen dem oder den Augen 15 und dem Mund 16 des Fahrers bestimmt. Der maximale Abstand y_max ergibt sich, wenn der Fahrer geradeaus in die Bildaufnahmeeinheit 11 blickt. Hebt oder senkt er den Kopf, verkleinert sich der detektierbare Abstand y in der gleichen Weise wie der Augenabstand in Fig. 1a. Dementsprechend läßt sich der Winkel β aus der Beziehung cosβ = y/y_max abschätzen.

Fig. 2a und b zeigen Darstellungen, wie anhand der Lage der Pupille oder Iris 21 bezogen auf den Augapfel 20 ein weiterer Winkel γ für eine horizontale Blickrichtung des Auges sowie ein weiterer Winkel δ für eine vertikale Blick richtung des Auges bestimmbar ist. Die Winkel γ und δ werden auf zwei Referenzlinien 22 und 23 bezogen, die jeweils mittig durch die Pupille bzw. die Iris des Auges angenommen werden und die somit die Blickrichtung angeben, wenn der Fahrer exakt geradeaus schaut. Mit 22 ist die horizontale und mit 23 die vertikale Referenzlinie bezeichnet. Zur Bestimmung der Winkel γ und δ muß innerhalb des Bildes, das von der Bildaufnahmeeinheit 11 aufgenommen wird, die Lage der dunkleren Pupille bzw. Iris 21 vor dem weißen Augapfel 20 bestimmt werden. Dies kann mit Hilfe an sich bekannter Bildverarbeitungsverfahren durch Auswertung der Lage einer Kontur aufgrund einer Hell-Dunkel-Grenze geschehen.

Fig. 3a und b zeigen eine schematische Darstellung, wie sich die Blickrichtung eines Fahrers mit dem Kopf 10 in Bezug auf das Kraftfahrzeug 30 ergibt. In Fig. 3a ist wiederum der Kopf 10 des Fahrers mit den Augen 13 und einer entlang der Augen verlaufenden Augenlinie 12 gezeichnet. Mit 11 ist wiederum die Bildaufnahmeeinheit bezeichnet. Mit 31 sind die Räder des Fahrzeugs 30 angedeutet. Mit 32 ist die Fahrtrichtung des Fahrzeugs angedeutet, als die im einfach sten Fall die Fahrzeuglängsachse angenommen wird. Bei bevor zugten Ausführungsformen der Erfindung wird die Fahrtrich tung 32 mit Hilfe von im nachfolgenden ausführlicher darge stellten Fahrtrichtungserkennungsmitteln bestimmt. Mit 34 ist die momentane Blickrichtung des Fahrers angedeutet, die um einen Winkel ε von der momentanen Fahrtrichtung 32 des Fahrzeugs 30 abweicht. Dieser Winkel ε, der ein Maß für die horizontale Blickrichtung des Fahrers 10 ist, ergibt sich als Summe oder Differenz der Winkel α und γ gemäß den Fig. 1a und 2a. Wenn die Bildaufnahmeeinheit 11 nicht parallel zur Fahrtrichtung 32 des Fahrzeugs 30 ausgerichtet ist, muß hier gegebenenfalls, noch ein Korrekturwinkel ϑ_H berücksichtigt werden. Fig. 3b zeigt die vergleichbare Situation zur Bestimmung der vertikalen Blickrichtung des Fahrers 10 im Bezug auf das Fahrzeug 30. Als vertikaler Blickrichtungsmeßwert ist hier der Winkel ζ definiert, der sich zwischen der vertikalen Blickrichtung 35 des Fahrers 10 und der Referenzlinie 33 des Fahrzeugs 30 ergibt. Die verti kale Referenzlinie 33 verläuft in Fahrtrichtung des Fahr zeugs 30 und in Höhe der Bildaufnahmeeinheit 11. Der verti kale Blickrichtungsmeßwert ζ ergibt sich als Summe der Winkel β und δ gemäß den Fig. 1b und 2b. Gegebenenfalls muß auch hier ein Korrekturwinkel ϑ_V addiert werden, wenn die Bildaufnahmeeinheit 11 und somit die Referenzlinie 33 einen Versatz gegenüber dem Kopf 10 des Fahrers aufweisen.

Fig. 4 zeigt ein Blockschaltbild einer erfindungsgemäßen Vorrichtung. Mit 400 ist eine Blickrichtungsbestimmungsein richtung bezeichnet, mit welcher eine jeweils momentane Blickrichtung des Fahrers eines Kraftfahrzeugs bestimmbar ist. Sie umfaßt wenigstens eine optische Aufnahmeeinheit 401 und eine Auswerteeinheit 405. Die optische Aufnahmeeinheit 401 liefert ihre Daten oder Signale an die Auswerteeinheit 405 und wird umgekehrt gegebenenfalls durch diese ange steuert. Vorteilhafterweise ist weiterhin ein Sendemittel 402 vorgesehen, mit dem eine Lichtwelle, insbesondere eine Infrarotlichtwelle abstrahlbar ist. Dieses Sendemittel wird von der Auswerteeinheit 405 vorzugsweise dann hinzugeschal tet, wenn das normale Tages- oder Umgebungslicht nicht aus reicht, um das Gesicht oder auch weitere Körperteile des Fahrers bildlich aufzunehmen. Die Verwendung einer Infrarot lichtquelle besitzt dabei den Vorteil, daß der Fahrer durch die Beleuchtung nicht geblendet wird. In der Auswerteeinheit 405 wird die Blickrichtung des Fahrers entsprechend den Fig. 1 bis 3 und vorzugsweise anhand des nachfolgend erläuterten Verfahrens bestimmt. Von der Auswerteeinheit 405 werden Blickrichtungsmeßwerte an eine Vergleichseinheit 406 übertragen. In der Vergleichseinrichtung 406 wird die bestimmte Blickrichtung des Fahrers mit der Fahrtrichtung des Fahrzeugs anhand der Blickrichtungsmeßwerte und anhand wenigstens eines Fahrtrichtungsmeßwerts verglichen. Der Fahrtrichtungsmeßwert wird dabei vorzugsweise in einer Fahrtrichtungsbestimmungseinheit 408 bestimmt, wobei im ein fachsten Fall die Fahrzeuglängsachse als Fahrtrichtungsmeß wert angenommen wird. Vorteilhafter ist es jedoch, in der Fahrtrichtungsbestimmungseinheit 408 die aktuelle Fahrt richtung des Fahrzeugs aufgrund von Meßwerten zu bestimmen. Hierzu werden der Fahrtrichtungsbestimmungseinrichtung 408 Daten oder Signale von Sensoren 411 zugeführt, die vorzugs weise eine Gierrate, einen Lenkwinkel oder eine Quer beschleunigung des Fahrzeugs bestimmen. Anhand solcher Meß werte kann mit bekannten Verfahren, wie sie beispielsweise bei der Fahrdynamikregelung eines Fahrzeugs angewendet werden, eine momentane Fahrtrichtung des Fahrzeugs bestimmt werden. Ist das Fahrzeug mit einer adaptiven Fahrgeschwin digkeitsregelung 412, wie sie beispielsweise in dem Aufsatz "Adaptive Cruis Control - Sytsem Aspects and Development Trends" von Winner et al., veröffentlicht auf der SAE 1996 in Detroit unter der Nummer 961010 beschrieben ist, ausge rüstet, können auch deren Meß- oder Datenwerte zur Kursprä diktion zur Bestimmung der aktuellen Fahrtrichtung des Fahr zeugs herangezogen werden. Die bestimmte Fahrtrichtung wird in Form wenigstens eines Fahrtrichtungsmeßwertes von der Fahrtrichtungsbestimmungseinrichtung 408 an die Vergleichs einrichtung 406 übergeben. Mit 407 ist eine Signalerzeu gungseinrichtung bezeichnet, die in Abhängigkeit des Ver gleichsergebnisses der Vergleichseinrichtung 406 ein Warn signal zur Aktivierung einer Warneinrichtung 409 und/oder Stellersignale zur Aktivierung von Stellgliedern 410 erzeugt. Die Warneinrichtung 409 erzeugt beispielsweise ein akustisches Warnsignal, wenn die Blickrichtung des Fahrers um einen voreingestellten Betrag und über eine voreinge stellte Zeit von der Fahrtrichtung des Fahrzeugs abweicht. Auf diese Weise wird der Fahrer auf eine Gefahr aufmerksam gemacht, die prinzipiell besteht, wenn er beispielsweise während der Fahrt einen Gegenstand im Fußraum des Fahrzeugs sucht. Über die Stellglieder 410 wird alternativ oder ergänzend zur Aktivierung des Warnsignals auf Systemkompo nenten des Fahrzeugs eingewirkt. Besonders vorteilhaft ist es beispielsweise, mit Hilfe des Stellersignals eine Lenk winkelveränderung zu erschweren und/oder die Fahrgeschwin digkeit des Fahrzeugs zu reduzieren. Dies kann dadurch geschehen, daß das Stellersignal auf ein Stellglied einer Servolenkung oder auf ein Steuergerät für das Motormanage ment des Kraftfahrzeugs einwirkt. Mit 403 ist ein Sensor zur Messung der aktuellen Fahrgeschwindigkeit des Fahrzeugs skizziert. Dieses Signal kann alternativ von einem ABS- oder FDR-(Fahrdynamikregelung)System bereitgestellt werden. Die Geschwindigkeit wird sowohl der Vergleichseinrichtung 406 als auch der Signalerzeugungseinrichtung 407 zugeführt. Mit 404 ist ein Fahrtrichtungsanzeiger skizziert, dessen Akti vierung ebenfalls der Signalerzeugungseinrichtung 407 mitgeteilt wird. Ist das Fahrzeug mit einer adaptiven Fahrgeschwindigkeitsregelung 412 ausgerüstet, ist es vor teilhaft, die bestimmte Blickrichtung des Fahrers von der Auswerteeinheit 405 auch einer Signalverarbeitungseinheit der adaptiven Fahrgeschwindigkeitsregelung 412 zuzuführen. So kann die erkannte Blickrichtung des Fahrers vorteilhaft bei der Erkennung von Fahrspurwechseln, der Bestimmung eines zukünftigen Kursbereichs oder der Identifikation gefähr licher Hindernisse verwendet werden.

Fig. 5 zeigt ein Flußdiagramm zur Erläuterung des prinzi piellen erfindungsgemäßen Verfahrens zur Überwachung und/ oder Beeinflussung einer Fahrtrichtung eines fahrergesteuer ten Kraftfahrzeugs. Gemäß Schritt 51 wird hierbei zunächst die Blickrichtung des Fahrers bestimmt. Dies kann auf unter schiedliche Art und Weise erfolgen, wobei eine mögliche Realisierung anhand des Flußdiagramms in Fig. 6 erläutert wird. Wie die Blickrichtung des Fahrers im einzelnen tat sächlich bestimmt wird, ist für die Überwachung und/oder Beeinflussung der Fahrtrichtung jedoch unerheblich. Wesent lich ist, daß im Anschluß an den Schritt 51 die Blickrich tung des Fahrers in Form von Blickrichtungsmeßwerten vor liegt. Gemäß Schritt 52 wird danach oder auch gleichzeitig zum Schritt 51 die momentane Fahrtrichtung des Fahrzeugs bestimmt. Dies erfolgt in einer Fahrtrichtungsbestimmungs einrichtung 408 beispielsweise anhand des Lenkwinkels, der Gierrate oder der Querbeschleunigung des Fahrzeugs, die über Sensoren 411 gemessen werden. In Schritt 53 werden die bestimmte Blickrichtung des Fahrers des Kraftfahrzeugs und die momentane Fahrtrichtung des Kraftfahrzeugs miteinander verglichen. Vorzugsweise erfolgt dieser Vergleich anhand zweier Kriterien, und zwar einerseits anhand des Betrages, um den die Blickrichtung und die Fahrtrichtung voneinander abweichen und andererseits anhand der Zeitdauer, wie lange die beiden Größen voneinander abweichen. Vorteilhafterweise werden die beiden Größen dabei in der Weise voneinander abhängig gemacht, daß eine größere Abweichung nur sehr kurz und eine kleinere Abweichung entsprechend länger toleriert wird, bis über die Signalerzeugungseinrichtung 407 gemäß Schritt 54 ein Warn- und/oder Stellersignal generiert wird. Stimmen die Blickrichtung des Fahrers und die Fahrtrichtung des Fahrzeugs innerhalb der gesetzten Grenzen überein, werden gemäß Schritt 55 beispielsweise Lenkbewegungen des Fahrers unterstützt. Im Anschluß an die alternativ zuein ander ausgeführten Schritte 54 und 55 beginnt das Verfahren von neuem, das heißt die Bestimmung der Blickrichtung, der Fahrtrichtung und der sich daran anschließende Vergleich der beiden Größen werden zyklisch wiederholt durchgeführt.

Fig. 6 zeigt anhand eines Flußdiagramms und in Verbindung mit den Fig. 1 bis 3, wie die Blickrichtung des Fahrers eines Kraftfahrzeugs bestimmbar ist. Gemäß Schritt 601 wird über die Bildaufnahmeeinheit 11 wenigstens das Gesicht des Fahrers aufgenommen. In Schritt 602 werden mit bekannten Methoden der Bildverarbeitung, beispielsweise der Auswertung von Hell-Dunkel-Grenzen mit einem anschließenden Musterver gleich, insbesondere die Augen, der Munde und gegebenenfalls weitere Körperteile identifiziert. Sodann verzweigt das Verfahren in zwei zueinander weitgehend gleiche, parallele Zweige, in denen einmal ein horizontaler und andererseits ein vertikaler Blickrichtungsmeßwert bestimmt werden. Die linke Hälfte des Flußdiagramms, beginnend mit dem Schritt 603 zeigt, wie der horizontale Blickrichtungsmeßwert bestimmt wird. Hierzu wird zunächst der Augenabstand x gemäß Fig. 1a bestimmt. In Schritt 604 wird der maximale Augen abstand x_max bestimmt. Hierzu werden vorzugsweise diejenigen bestimmten Augenabstände x herangezogen, die beispielsweise seit dem letzten Zünden des Motors des Kraftfahrzeuges gemessen wurden. Auf diese Weise paßt sich das Verfahren automatisch an jeweils unterschiedliche Fahrer an. In Schritt 605 wird anhand des momentanen Augenabstands x und des maximalen Augenabstandes x_max der Winkel α gemäß Fig. 1a bestimmt. Er ist ein Maß für die Blickrichtung des Fahrers, die sich aus der Drehbewegung seines Kopfes ergibt.

Wie bereits zuvor erwähnt, erfolgt die Bestimmung des Winkels α im einfachsten Fall anhand der trigonometrischen Beziehung cosα = x/x_max. Gemäß Block 606 können bei der Bestimmung des Winkels α jedoch weitere Meßgrößen berück sichtigt werden. Hierbei handelt es sich insbesondere um Meßgrößen, die aus einer weiteren Bildverarbeitung des in Schritt 601 aufgenommenen Bildes resultieren. Werden bei spielsweise die Nase, die Ohren, der Haaransatz oder auch der Oberkörper des Fahrers mit Methoden der Bildverarbeitung identifiziert, können deren Position und Lage zur Bestimmung des Winkels α herangezogen werden. In Schritt 607 wird der bestimmte Winkel α um einen Korrekturwinkel ϑ_H korrigiert. Eine solche Korrektur ist notwendig, wenn die Bildaufnahme einheit 11 nicht exakt parallel zur Fahrtrichtung des Fahr zeugs angeordnet ist. Der Korrekturwinkel ϑ_H ergibt sich dementsprechend aus dem Winkel zwischen der optischen Achse der Bildaufnahmeeinheit 11 und der Fahrtrichtung des Fahr zeugs. In Schritt 608 wird der Blickrichtungswinkel γ gemäß Fig. 2a bestimmt. Er ergibt sich aus der Lage der Iris bzw. der Pupille im Bezug zum Augapfel. In Schritt 609 werden die Winkel α und γ addiert bzw. subtrahiert, um einen Meßwert für die horizontale Blickrichtung des Fahrers zu erhalten. In Schritt 610 wird darüber hinaus anhand der zeitlichen Änderung des Winkels α die Drehgeschwindigkeit ω_H des Kopfes des Fahrers bestimmt.

Beginnend mit Schritt 611 erfolgt im rechten Teil des Fluß diagramms die Bestimmung der vertikalen Blickrichtung des Fahrers. Hierzu wird zunächst in Schritt 611 der Abstand y zwischen Augen und Mund des Fahrers gemäß Fig. 1b bestimmt. In Schritt 612 wird analog zur Schritt 604 der Maximalwert y_max aller Abstände y bestimmt. In Schritt 613 erfolgt die Abschätzung des Winkels β, der gemäß Fig. 1b ein Meßwert für die vertikale Kopfneigung des Fahrers ist. Analog zu Schritt 605 fließen auch hier vorzugsweise weitere Meßgrößen gemäß Block 606 ein, die aus der Lage der Nase, der Ohren, des Haaransatzes oder des Oberkörpers abgeleitet sind. In Schritt 614 wird der Winkelmeßwert β mit dem vertikalen Korrekturwinkel ϑ_V korrigiert, der sich ergibt, wenn die Bildaufnahmeeinheit 11 nicht exakt in der Verlängerung der Referenzlinie 33 angeordnet ist. In Schritt 615 wird der Winkelmeßwert δ gemäß Fig. 2b bestimmt. In Schritt 616 werden die Winkelmeßwerte β und δ addiert oder subtrahiert, um den vertikalen Blickrichtungsmeßwert ζ zu erhalten. In Schritt 617 wird sodann die vertikale Nickgeschwindigkeit ω_V des Kopfes durch zeitliche Ableitung des Winkelmeßwerts β bestimmt. Gemäß Schritt 618 werden die bestimmten Blickrich tungsmeßwerte ε, ζ, ω_H, ω_V an nachfolgende Signalverarbei tungseinrichtungen, insbesondere die Vergleichseinrichtung 406 übergeben. Daran anschließend beginnt das Verfahren von neuem bei Schritt 601, so daß die Blickrichtungsbestimmung ebenfalls zyklisch wiederholt durchlaufen wird.

Zur Auswertung der Blickrichtungsmeßwerte werden in Abhän gigkeit wenigstens der Fahrtrichtung des Kraftfahrzeugs und seiner Geschwindigkeit Normalbereiche für jeden einzelnen Blickrichtungsmeßwert festgelegt. Liegen die jeweils be stimmten Blickrichtungsmeßwerte innerhalb der festgelegten Normalbereiche, kann man davon ausgehen, daß der Fahrer das Fahrzeug aufmerksam führt. Liegen einzelne oder alle Blick richtungsmeßwerte jedoch außerhalb der festgelegten Normal bereiche, muß davon ausgegangen werden, daß der Fahrer in dieser Situation abgelenkt ist. In diesem Fall wird die Servounterstützung der Lenkung reduziert und/oder eine Lenk winkelveränderung nur ermöglicht, wenn ein Kraftschwellwert überwunden wird. Alternativ oder ergänzend wird der Fahrer akustisch gewarnt. Die Empfindlichkeit der Blickrichtungs erkennung und auch die Stärke der zuvor genannten Maßnahmen wird vorteilhafterweise ebenfalls von der Fahrzeuggeschwin digkeit abhängig gemacht. Um eine unnötige Beeinflussung der Lenkung im Fall von Abbiege- bzw. Überholvorgängen zu ver meiden, ist es sinnvoll die Aktivierung des Fahrtrichtungs anzeigers zu erfassen. Bei der Auswertung der Blickrich tungsmeßwerte werden kurzzeitig auftretende Extremwerte aufgrund von Meßfehlern oder aufgrund von kurzzeitigen Blickwendungen des Fahrers durch eine geschwindigkeits abhängige zeitliche Mittelung herausgefiltert.

Weiterhin kann die Blickrichtungsbestimmungseinrichtung mittels ihrer Bildauswertung auch Aufgaben im Sinne des in der DE 295 04 973 U1 beschriebenen Einschlafwächters über nehmen. Die Bildaufnahmeeinheit 11 kann neben den hier be schriebenen Funktionen auch beispielsweise für ein zukünftig denkbares Bildtelefon im Kraftfahrzeug Verwendung finden.

Claims

1. Verfahren zur Überwachung und/oder Beeinflussung des Fahrzeugverhaltens eines fahrergesteuerten Kraft fahrzeugs, mit den folgenden Verfahrensschritten:

1. Bestimmen einer Blickrichtung des Fahrers (51) des Kraftfahrzeugs mittels einer Blickrichtungsbestim mungseinrichtung (400) und Bereitstellen wenig stens eines Blickrichtungsmeßwertes (618),
2. Bestimmen eines Fahrtrichtungsmeßwertes anhand von Fahrtrichtungserkennungsmitteln (408, 411, 412) oder Annahme eines Fahrtrichtungsmeßwertes anhand einer wenigstens einmal bestimmten Fahrzeuglängs linie,
3. Vergleich der Blickrichtung des Fahrers (53) mit einem Vorgabewert und/oder Meßwert, insbesondere dadurch, daß die Blickrichtung des Fahrers (53) mit der Fahrtrichtung des Fahrzeugs anhand des Blickrichtungsmeßwertes und anhand des Fahrt richtungsmeßwertes verglichen wird,
4. Erzeugen eines Warn-, Informations- und/oder Stel lersignals (54, 55) abhängig vom Vergleichsergeb nis,

gekennzeichnet dadurch,

1. daß das Warn-, Informations- und/oder Stellersignal (54, 55) in Abhängigkeit davon erzeugt wird, wie stark und wie lange die bestimmte oder angenommene Fahrt richtung und die Blickrichtung voneinander abweichen.

2. Verfahren nach Anspruch 1, dadurch gekennzeich net, daß ein horizontaler (609) und ein vertikaler (616) Blickrichtungsmeßwert bereitgestellt werden.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Blickrichtungsbestimmungseinrichtung eine optische Aufnahme- (401) sowie eine Auswerteeinheit (405) umfaßt,

1. mit der wenigstens das Gesicht des Fahrers bildlich aufgenommen wird (601),
2. mit der innerhalb des aufgenommenen Bildes wenigstens die Augen (13) des Fahrers identifiziert werden (602),
3. mit der ein Abstand x zwischen den beiden Augen bestimmt wird (603),
4. mit der ein Maximalwert x_max des Abstandes x bestimmt und wenigstens zeitweise gespeichert wird (604) und
5. mit der in Abhängigkeit des jeweils momentanen Abstandes x und des maximalen Abstandes x_max ein Winkelwert als horizontaler Blickrichtungsmeßwert bestimmt wird (605-610).

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet,

1. daß innerhalb des aufgenommenen Bildes weiterhin der Mund des Fahrers identifiziert wird (602),
2. daß ein Abstand y zwischen einer Augenlinie und dem Mund bestimmt wird (611),
3. daß ein Maximalwert y_max des Abstandes y bestimmt und wenigstens zeitweise gespeichert wird (612) und
4. daß in Abhängigkeit des jeweils momentanen Abstandes y und des maximalen Abstandes y_max ein Winkelwert als vertikaler Blickrichtungsmeßwert bestimmt wird (613-617).

5. Verfahren nach Anspruch 3 oder 4, dadurch gekennzeich net, daß innerhalb des aufgenommenen Bildes weiterhin die Nase, die Ohren, der Oberkörper und/oder die Haare des Fahrers identifiziert werden (602) und daß deren relative Lage und/oder Lageveränderung in die Bestimmung des oder der Blickrichtungsmeßwerte eingeht (606).

6. Verfahren nach Anspruch 3 oder 4, dadurch gekennzeich net, daß innerhalb des aufgenommenen Bildes weiterhin die Pupillen oder die Iris (21) sowie die Augäpfel (20) des Fahrers identifiziert werden und daß anhand der Position der Pupille oder der Iris relativ zum jewei ligen Augapfel ein korrigierter Blickrichtungsmeßwert bestimmt wird (609, 616).

7. Verfahren nach Anspruch 3 oder 4, dadurch gekennzeich net, daß die Blickrichtungsbestimmungseinheit weiterhin ein Sendemittel (402) zum Abstrahlen einer Lichtwelle umfaßt und daß bei Dunkelheit mit dieser Lichtwelle wenigstens das Gesicht der Fahrers beleuchtet wird.

8. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das Stellersignal eine Lenkwinkelveränderung erschwert (54) und/oder die Fahrgeschwindigkeit des Fahrzeugs reduziert, wenn die angenommene Fahrtrichtung und die Blickrichtung um mehr als einen vorbestimmten Betrag und länger als eine vorbestimmte Zeit voneinander abweichen.

9. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das Stellersignal eine Lenkwinkelveränderung unterstützt (55), wenn die angenommene Fahrtrichtung und die Blick richtung um höchstens einen vorbestimmten Betrag voneinander abweichen.

10. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeich net, daß die Intensität der durch das Stellersignal aus gelösten Reaktion von der aktuellen Fahrgeschwindigkeit des Fahrzeugs (403) und/oder von einer Aktivierung eines Fahrtrichtungsanzeigers (404) abhängt.

11. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der bestimmte Blickrichtungsmeßwert weiterhin einer Spurwechseldetektionsvorrichtung eines adaptiven Fahr geschwindigkeitsreglers (412) zugeführt wird.

12. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der bestimmte Blickrichtungsmeßwert weiterhin im Rahmen einer Einschlafüberwachung verwendet wird.

13. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der bestimmte Blickrichtungsmeßwert weiterhin zur auto matischen Einstellung oder Nachführung von Kraftfahr zeug-Rückspiegeln verwendet wird.

14. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß aufgenommene Bilder der Bildaufnahmeeinheit weiterhin für ein Bildtelefon verwendet werden.

15. Vorrichtung zur Überwachung und/oder Beeinflussung des Fahrzeugverhaltens eines fahrergesteuerten Kraftfahrzeugs, die wenigstens folgende Komponenten umfaßt:

1. eine Blickrichtungsbestimmungseinrichtung (400) zur Bestimmung einer jeweils momentanen Blickrichtung des Fahrers eines Kraftfahrzeugs,
2. eine Fahrtrichtungsbestimmungseinrichtung (408) zur Bestimmung einer angenommenen Fahrtrichtung des Kraftfahrzeugs,
3. eine Vergleichseinrichtung (406), mit der die Blickrichtung des Fahrers mit der angenommenen Fahrtrichtung des Fahrzeugs vergleichbar ist,
4. eine Signalerzeugungseinrichtung (407) zur Erzeugen eines Warn- und/oder eines Stellersignals in Abhängigkeit eines Vergleichssignals der Vergleichseinrichtung (406) und
5. eine Bewertungseinrichtung, die bestimmt, wie stark und wie lange die angenommene Fahrtrichtung und die Blickrichtung voneinander abweichen.

16. Vorrichtung nach Anspruch 15, dadurch gekennzeich net, daß die Blickrichtungsbestimmungseinrichtung (400) eine optische Aufnahme- (401) sowie eine Aus werteeinheit (405) umfaßt

1. mit der wenigstens das Gesicht des Fahrers bild lich aufnehmbar ist (601),
2. mit der innerhalb des aufgenommenen Bildes wenig stens die Augen des Fahrers identifizierbar sind (602),
3. mit der ein Abstand x, y zwischen den beiden Augen und/oder zwischen einer Augenlinie und dem Mund des Fahrers bestimmbar ist (603, 611),
4. mit der ein Maximalwert x_max, y_max der Abstände x, y bestimmbar und wenigstens zeitweise speicher bar ist (604, 612) und
5. mit der in Abhängigkeit des jeweils momentanen Ab standes x, y und des maximalen Abstandes x_max, y_max ein Winkelwert als horizontaler und/oder vertikaler Blick richtungsmeßwert bestimmbar ist (618).