DE10360176A1

DE10360176A1 - Kraftfahrzeug mit einem Sensor zur Fahrerüberwachung

Info

Publication number: DE10360176A1
Application number: DE10360176A
Authority: DE
Inventors: Jörg Dr. Hilgenstock; Torsten Karnahl; Katharina Dr. Seifert
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2003-12-20
Filing date: 2003-12-20
Publication date: 2005-07-21

Abstract

Es wird ein Kraftfahrzeug (10) mit einem Sensor zur Fahrerüberwachung angegeben, bei dem der Sensor im Kraftfahrzeug (10) in einer Position angebracht ist und geeignet ausgerichtet ist, dass eine möglichst ungehinderte Erfassung des Fahrers (11) des Kraftfahrzeugs möglich ist.

Description

Die Erfindung betrifft ein Kraftfahrzeug mit einem Sensor zur Überwachung eines Fahrers des Kraftfahrzeugs (Fahrerüberwachung). Die Fahrerüberwachung erfolgt dabei auf optischem Wege, wobei das Gesicht, insbesondere die Augen, des Fahrers erfasst werden. Durch Auswertung des jeweils erfassten Bildes, insbesondere durch Auswertung der Bewegungen der Augen und der Reaktionsfähigkeit der Pupillen, des Lidschlussreflexes und dergleichen kann auf eine evtl. Müdigkeit und/oder die Reaktionsbereitschaft des Fahrers geschlossen werden und im Falle des Über- oder Unterschreitens vorgegebener oder vorgebbarer diesbezüglicher Grenzwerte eine Sicherheitsmassnahme, wie z.B. das Auslösen einer Alarmmeldung, ausgelöst werden.

Aus der US 5,231,674 ist eine Möglichkeit bekannt, die Blickrichtung des menschlichen Auges zu ermitteln, wobei versucht wird, die Qualität der erhaltenen Ergebnisse zu steigern und damit die Blickrichtung noch genauer zu bestimmen.

Aus der DE 197 31 303 A1 ist eine Möglichkeit bekannt, um die Betrachtungsdauer und die Betrachtungsreihenfolge unterschiedlicher, auf einem Bildschirm erscheinender Objekte zu ermitteln. Dies erfolgt auf Basis einer kontaktlosen, helmfreien Messung der Blickrichtung von Augen bei größeren und schnelleren Kopf- und Augenbewegungen, bei der das Auge pulsierend oder nicht pulsierend mit Infrarotlicht beleuchtet, durch ein optisches System abgebildet und von mindestens einem Bildsensor in Form einer CCD-Kamera aufgenommen wird. Kamera, Bildschirm und Betrachter befinden sich dabei näherungsweise auf einer Linie, wobei die Kamera in unmittelbarer Nähe des Bildschirms angeordnet und auf den Betrachter ausgerichtet ist.

In der US 5,573,006 wird eine Möglichkeit zur Überwachung eines Fahrers eines Kraftfahrzeugs beschrieben. Die Überwachung bezieht sich auf den physiologischen und psychologischen Zustand des Fahrers, d.h. es wird die Aufmerksamkeit und die Wachsamkeit sowie eine evtl. Anspannung des Fahrers beobachtet. Dazu sind im Innern der Instrumententafel des Fahrzeugs eine Kamera und ein Infrarotlichtquelle derart angeordnet, dass durch das Lenkrad hindurch, also z.B. zwischen einzelnen Speichen des Lenkrads, eine Erfassung der Augen des Fahrers möglich ist.

Nachteilig, bei dieser Überwachung des Fahrers ist jedoch, dass die Überwachung zumindest zeitweise nicht möglich oder erschwert ist, wenn nämlich Teile des Lenkrades oder Körperteile des Fahrers, wie z.B. Hände oder Arme, die direkte Erfassung des Gesichts des Fahrers ver- oder behindern.

Der Erfindung liegt daher die Aufgabe zugrunde, ein Kraftfahrzeug anzugeben, in das ein Sensor zur Fahrerüberwachung, also ein optischer Sensor, wie z.B. eine Kamera, mit einem Bildauswertungssystem sowie ggf. eine Lichtquelle, insbesondere eine Infrarotlichtquelle, derart integriert ist, dass eine permanente Beobachtung des Fahrers möglich wird.

Diese Aufgabe wird erfindungsgemäß mit den Merkmalen des Anspruchs 1 gelöst. Dazu ist vorgesehen, dass der Sensor, also der optische Sensor, nämlich z.B. die Kamera, insbesondere in einer Ausführung als Infrarotkamera, sowie ggf. eine Lichtquelle, insbesondere ebenfalls in einer Ausführung als Infrarotlichtquelle, derart positioniert und orientiert ist, dass ein Strahlgang ausgehend vom Sensor bis zum Gesicht des Fahrers weder durch Teile des Kraftfahrzeugs noch durch den Fahrer selbst, sofern sich dieser in einer beim Fahren des Kraftfahrzeugs üblichen Haltung befindet, versperrt ist.

Der Vorteil der Erfindung besteht darin, dass eine dauerhafte Überwachung des Fahrers möglich ist und dass an die zur Aufbereitung und Auswertung der jeweils aufgenommenen Bilder notwenige Verarbeitungseinrichtung geringere Anforderungen zu stellen sind, weil die Notwendigkeit der Identifikation von Fremdobjekten im Bild nicht gegeben oder zumindest erheblich reduziert ist.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.

Gemäß einer ersten Ausführungsform der Erfindung ist der Sensor vom Fahrer aus gesehen hinter einer Armaturentafel des Fahrzeugs angeordnet und senkrecht nach oben ausgerichtet, so dass der Strahlgang unter Nutzung der Windschutzscheibe als Spiegel zum Gesicht des Fahrers gelangt. Bei der Verwendung von Infrarotlicht, also einer im Infrarotbereich arbeitenden Kamera und ggf. einer entsprechenden Lichtquelle, ist eine den Fahrer nicht störende Spiegelung des Bildes in die Kamera möglich.

Bevorzugt ist dabei die Windschutzscheibe auf der zum Fahrzeuginneren gewandten Innenseite mit einer Infrarotlicht reflektierenden Schicht versehen, so dass möglichst die gesamte Lichtmenge des von der Lichtquelle ausgesandten oder vom Gesicht des Fahrers ausgehenden Infrarotlichts zum Gesicht des Fahrers bzw. zum optischen Sensor gelangt.

Besonders bevorzugt ist die Windschutzscheibe mit einem Infrarotfilter versehen, der insbesondere auf einer vom Fahrzeuginneren abgewandten Aussenseite der Windschutzscheibe als Infrarotlicht absorbierende oder Infrarotlicht reflektierende Schicht ausgeführt ist. Auf diese Weise ist sichergestellt, dass möglichst wenig Infrarotlicht als Umgebungslicht in die Kamera fällt.

Gemäß einer weiteren Ausführungsform der Erfindung ist der Sensor in einem Lenkrad des Kraftfahrzeugs angeordnet. Durch die Anordnung im Lenkrad, im Gegensatz zu einer bekannten Anordnung hinter dem Lenkrad (vom Fahrer aus gesehen), ist eine Abdeckung der Kamera durch Teile des Lenkrades ausgeschlossen. Der Fahrer bleibt für die Kamera unabhängig von einer speziellen Stellung des Lenkrades erfassbar.

Bevorzugt ist dabei eine Drehung des Sensors, also z.B. der Kamera und ggf. der Lichtquelle, aufgrund einer Drehung des Lenkrades durch Erfassung eines Drehwinkels des Lenkrades ermittelbar und das vom Sensor erfasste und ggf. verdrehte Bild durch mathematische Operation unter Berücksichtigung des erfassten Drehwinkels korrigierbar. Auf diese Weise ist sichergestellt, dass die Auswertung des erfassten Bildes ggf. nach einer entsprechenden Korrektur immer aufgrund gleichsinnig, also horizontal oder zumindest im Wesentlichen horizontal ausgerichteter Bilder erfolgen kann.

Gemäß einer nochmals weiteren Ausführungsform der Erfindung ist der Sensor rechts oder links vom Lenkrad, insbesondere in der Nähe von Lüftungsöffnungen, in einer Armaturentafel des Kraftfahrzeugs angeordnet.

Gemäß einer weiteren, alternativen Ausführungsform der Erfindung ist der Sensor in einer A-Säule des Kraftfahrzeugs, insbesondere in einem unteren oder mittleren Bereich der A-Säule, angeordnet. Eine Anordnung im unteren oder mittleren Bereich der A-Säule ist dabei günstig, um auf diese Weise die Augen des Fahrers leicht von unten erfassen zu können.

Gemäß einer nochmals weiteren Ausführungsform der Erfindung ist der Sensor in einem Innenspiegel des Kraftfahrzeugs integriert. Eine Integration in den Innenspiegel hat den Vorteil, dass eine Blockade des Strahlgangs durch Teile des Kraftfahrzeugs ausgeschlossen und eine Blockade des Strahlgangs durch den Fahrer, also durch Körperteile des Fahrers, wie insbesondere Hände und Arme, maximal reduziert ist.

Bevorzugt ist dabei eine Spiegelfläche des Innenspiegels oder ein Teil dieser Spiegelfläche für sichtbares Licht reflektierend und für Infrarotlicht durchlässig ausgeführt und der Sensor hinter der Spiegelfläche oder dem Teil der Spiegelfläche angeordnet. Auf diese Weise ist der Sensor in optisch unauffälliger Weise in den Innenspiegel integriert.

Gemäß einer nochmals weiteren Ausführungsform der Erfindung ist der Sensor oberhalb einer Armaturentafel des Kraftfahrzeugs angeordnet und derart ausgerichtet, dass der Strahlgang in gerader Linie zum Gesicht des Fahrers verläuft.

Bevorzugt ist dabei die Position des Sensors oberhalb der Armaturentafel so gewählt, dass der Strahlgang auch bei maximaler Lenkradhöheneinstellung nicht oder nur geringfügig versperrt ist.

Für sämtliche Ausführungsformen der Erfindung oder deren Ausgestaltung kann vorgesehen sein, dass der Sensor hinter einer für Infrarotlicht durchlässigen und einer für sichtbares Licht undurchlässigen Blende angeordnet ist.

Einzelne oder mehrere Ausführungsformen der Erfindung können auch kombiniert werden, so dass der Fahrer von mindestens zwei Sensoren gleichzeitig erfasst wird um auch bei Bewegungen des Fahrers eine möglichst lückenlose Überwachung zu gewährleisten.

Nachfolgend wird eines der Ausführungsbeispiele der Erfindung anhand der Zeichnung näher erläutert.

Darin zeigt die einzige Figur ein schematisch vereinfachtes Fahrzeug mit einem Fahrer, dessen Gesicht im Bereich der Augen mittels einer Kamera erfasst wird.
1 zeigt in einer stilisierten und stark vereinfachten Darstellung ein Kraftfahrzeug 10, das von einem Fahrer 11 gesteuert wird. Im Bereich einer nicht dargestellten Armaturentafel, also oberhalb oder vom Fahrer 11 aus gesehen hinter einem Lenkrad 12 ist als Beispiel für einen optischen Sensor zur Fahrerüberwachung eine Kamera 13 angeordnet, die derart auf eine Windschutzscheibe 14 des Kraftfahrzeugs 10 gerichtet ist, dass aufgrund der Spiegelwirkung der Windschutzscheibe 14 die Augen des Fahrers 11, zumindest aber auf dessen Gesicht von der Kamera 13 erfasst werden. Zur Verdeutlichung ist ein Strahlgang 15 des vom Gesicht oder von den Augen des Fahrers 11 ausgehenden und von der Kamera aufgefangenen Lichtes in Form von punktierten Linien eingezeichnet. Die Kamera 13 bildet entweder allein oder in Kombination mit einer nicht dargestellten Lichtquelle den Sensor zur Fahrerüberwachung. Die Lichtquelle ist bevorzugt, aber nicht notwendig im Bereich der Kamera 13 angeordnet, so dass der Strahlgang 15 des von der Kamera 13 erfassten Lichtes mit einem Strahlgang des von der Lichtquelle ausgesandten Lichtes zusammenfällt.
Das von der Kamera 13 aufgenommene Bild wird an eine Bildverarbeitungseinheit 16 übermittelt. Die Bildverarbeitungseinheit 16 ist zur Verarbeitung, Analyse und Auswertung der von der Kamera 13 aufgenommenen Bilder im Hinblick auf Details anhand derer eine evtl. Müdigkeit des Fahrers 11 oder ein Aufmerksamkeitsgrad des Fahrers 11 mittels bekannter Verfahren (Auswertung von Pupillenreflex, Lidschlussreflex, Frequenz der Augenbewegungen, etc.) erkennbar ist, vorgesehen. Die dabei gewonnenen Daten werden an eine der Bildverarbeitungseinheit 16 nachgeordnete Verarbeitungseinheit 17 übermittelt, die z.B. beim Über- oder Unterschreiten vorgegebener oder vorgebbarer Schwellwerte für die ermittelte Müdigkeit oder Reaktionsbereitschaft des Fahrers 11 Warn- oder Alarmmeldungen ausgibt, die für den Fahrer 11 insbesondere optisch (Warnleuchte oder dergleichen), akustisch (Warnton oder dergleichen) oder haptisch (Bewegung von Lenkrad oder Fahrersitz oder dergleichen) wahrnehmbar sind.
Zur Optimierung der Fahrerüberwachung ist vorgesehen, dass die Windschutzscheibe 14 auf der Innenseite, also der dem Fahrzeuginnenraum zugewandten Seite eine Beschichtung aufweist, die für eine besonders gute Reflektion des von der Kamera 13 oder einer der Kamera 13 zugeordneten, nicht dargestellten Lichtquelle verwendeten Lichtes, insbesondere also von Infrarotlicht, sorgt. Durch die Verwendung von Infrarotlicht ist sichergestellt, dass sich für den Fahrer 11 keine bei der Fahraufgabe störende Spiegelung in der Windschutzscheibe 14 ergibt. Durch die besonders guten Reflektionseigenschaften der zusätzlichen Schicht auf der Windschutzscheibe 14 ist sichergestellt, dass ein maximal möglicher Anteil der jeweiligen Lichtmengen verwertbar ist.
Zur weiteren Optimierung der Fahrerüberwachung ist vorgesehen, dass die Windschutzscheibe 14 auf der Aussenseite eine das zur Fahrerüberwachung verwendete Licht, insbesondere also für Infrarotlicht, besonders gut reflektierende oder absorbierende Schicht aufweist, so dass eine evtl. Beeinflussung des von der Kamera 13 erfassten Bild durch Umgebungslicht minimiert ist.
Gemäß weiterer, nicht dargestellter Ausführungsbeispiele der Erfindung ist die Kamera 13 und ggf. die zugehörige Lichtquelle im Lenkrad 12, in oder an einem Innenspiegel, in oder an einer A-Säule des Kraftfahrzeugs 10 oder links oder rechts einer Armaturentafel des Fahrzeugs, insbesondere im Bereich von dort häufig ohnehin vorgesehenen Lüftungsöffnungen, angeordnet.
Zusammenfassend lässt sich die Erfindung sowie einzelne spezielle Aspekte derselben kurz wie folgt darstellen:
Um die Aufmerksamkeit, Müdigkeit oder die aktuelle Position eines Fahrers 11 zu detektieren, ist ein Sensor erforderlich, welcher den Fahrer 11 überwacht. Hierzu wird in der Regel eine Kamera 13 eingesetzt. Für die mögliche Position der Kamera 13 sowie möglicher Beleuchtungseinrichtungen für das System werden folgende Einbauorte vorgeschlagen:

– Hinter der Armaturentafel senkrecht nach oben gerichtet: Die Kamera 13 ist von unten gegen die Windschutzscheibe 14 gerichtet. Die innere Seite der Windschutzscheibe 14 dient als Spiegel. Hierdurch ist ein direkter Blick in das Gesicht des Fahrers 11 möglich. Damit eine den Fahrer 11 nicht störende Spiegelung des Bildes in die Kamera 13 ermöglicht wird, arbeitet die Kamera 13 bevorzugt im Infrarotbereich und die Windschutzscheibe 14 ist auf der Innenseite mit einer Infrarotlicht sehr gut reflektierenden Schicht versehen. Die Windschutzscheibe 14 kann ferner mit einem Infrarotfilter versehen sein, so dass möglichst wenig Infrarotanteile des Umgebungslichts durch die Windschutzscheibe 14 zur Kamera 13 gelangen.
– Befestigung im Lenkrad 12: Die Kamera 13 kann ebenfalls ins Lenkrad 12 integriert werden. Aus dieser Perspektive ist eine gute Sicht auf das Gesicht des Fahrers 11 möglich. Die Drehung der Kamera 13 durch die Lenkradbewegung kann sensiert und die Kameraposition auf Nullstellung umgerechnet werden.
– Links oder rechts vom Lenkrad 12 in der Armaturentafel in der Nahe der Lüftungsöffnungen
– Befestigung an der A-Säule im mittleren oder unteren Bereich, um leicht von unten das Auge des Fahrers 11 zu erfassen. Eine Korrektur des Beobachtungswinkels von der Seite kann über eine Rückrechnung zwischen Einbauposition der Kamera 13 und Kopfposition des Fahrers 11 erfolgen.
– Integration im Innenspiegel: Der Innenspiegel kann so ausgelegt werden, dass er sichtbares Licht reflektiert, Infrarotlicht jedoch durchlässt. So könnte die Kamera 13 sowie ggf. eine zusätzliche Infrarotbeleuchtung hinter der Spiegelfläche des Innenspiegel angeordnet werden.
– Befestigung auf der Armaturentafel in einer Position, in der eine möglichst geringe Abdeckung durch die maximale Lenkradhöheneinstellung oder die jeweilige Griffposition am Lenkrad 12 erreicht wird.

Bei allen Einbauorten können die Kamera 13 sowie die oder jede Lichtquelle hinter infrarotdurchlässigen Blenden montiert werden. Wenn diese Blenden sichtbares Licht nicht durchlassen, ist eine für den Anwender unsichtbare Integration möglich.

10: Kraftfahrzeug
11: Fahrer
12: Lenkrad
13: Kamera
14: Windschutzscheibe
15: Strahlgang
16: Bildverarbeitungseinheit
17: Verarbeitungseinheit

Claims

Kraftfahrzeug mit einem Sensor zur Überwachung eines Fahrers des Kraftfahrzeugs, wobei der Sensor derart positioniert und orientiert ist, dass ein Strahlgang ausgehend vom Sensor bis zum Gesicht des Fahrers weder durch Teile des Kraftfahrzeugs noch durch den Fahrer selbst, sofern sich dieser in einer beim Fahren des Kraftfahrzeugs üblichen Haltung befindet, versperrt ist.
Kraftfahrzeug nach Anspruch 1, wobei der Sensor einen optischen Sensor, insbesondere eine Kamera, und eine Lichtquelle umfasst und wobei der optische Sensor und die Lichtquelle im Infrarotbereich arbeiten.
Kraftfahrzeug nach Anspruch 1 oder 2, wobei der Sensor vom Fahrer aus gesehen hinter einer Armaturentafel des Fahrzeugs angeordnet und senkrecht nach oben ausgerichtet ist, so dass der Strahlgang unter Nutzung der Windschutzscheibe als Spiegel zum Gesicht des Fahrers gelangt.
Kraftfahrzeug nach Anspruch 3, wobei die Windschutzscheibe auf der zum Fahrzeuginneren gewandten Innenseite mit einer Infrarotlicht reflektierenden Schicht versehen ist.
Kraftfahrzeug nach Anspruch 4, wobei die Windschutzscheibe mit einem Infrarotfilter versehen ist, die insbesondere auf einer vom Fahrzeuginneren abgewandten Aussenseite der Windschutzscheibe als Infrarotlicht absorbierende oder Infrarotlicht reflektierende Schicht aufgebracht ist.
Kraftfahrzeug nach Anspruch 1 oder 2, wobei der Sensor in einem Lenkrad des Kraftfahrzeugs angeordnet ist.
Kraftfahrzeug nach Anspruch 6, wobei eine Drehung des Sensors aufgrund einer Drehung des Lenkrades durch Erfassung eines Drehwinkels des Lenkrades ermittelbar ist und wobei das vom Sensor erfasste und ggf. verdrehte Bild durch mathematische Operation unter Berücksichtigung des erfassten Drehwinkels korrigierbar ist.
Kraftfahrzeug nach Anspruch 1 oder 2, wobei der Sensor rechts oder links vom Lenkrad, insbesondere in der Nähe von Lüftungsöffnungen, in einer Armaturentafel des Kraftfahrzeugs angeordnet ist.
Kraftfahrzeug nach Anspruch 1 oder 2, wobei der Sensor in einer A-Säule des Kraftfahrzeugs, insbesondere in einem unteren oder mittleren Bereich der A-Säule, angeordnet ist.
Kraftfahrzeug nach Anspruch 1 oder 2, wobei der Sensor in einem Innenspiegel des Kraftfahrzeugs integriert ist.
Kraftfahrzeug nach Anspruch 10, wobei eine Spiegelfläche des Innenspiegels oder ein Teil dieser Spiegelfläche für sichtbares Licht reflektierend und für Infrarotlicht durchlässig ausgeführt ist und wobei der Sensor hinter der Spiegelfläche oder dem Teil der Spiegelfläche angeordnet ist.
Kraftfahrzeug nach Anspruch 1 oder 2, wobei der Sensor oberhalb einer Armaturentafel des Kraftfahrzeugs angeordnet und derart ausgerichtet ist, dass der Strahlgang in gerader Linie zum Gesicht des Fahrers verläuft.
Kraftfahrzeug nach Anspruch 12, wobei die Position des Sensors oberhalb der Armaturentafel so gewählt ist, dass der Strahlgang auch bei maximaler Lenkradhöheneinstellung nicht oder nur geringfügig versperrt ist.
Kraftfahrzeug nach einem oder mehreren der vorangehenden Ansprüche, wobei der Sensor hinter einer für Infrarotlicht durchlässigen und einer für sichtbares Licht undurchlässigen Blende angeordnet ist.