DE102009054194A1 - Nutzung der optischen Elemente eines Head-up-Displays zur kamerabasierten Regen- und Schmutzsensorik, Fahreridentifikation, Müdigkeitserkennung - Google Patents

Nutzung der optischen Elemente eines Head-up-Displays zur kamerabasierten Regen- und Schmutzsensorik, Fahreridentifikation, Müdigkeitserkennung Download PDF

Info

Publication number
DE102009054194A1
DE102009054194A1 DE102009054194A DE102009054194A DE102009054194A1 DE 102009054194 A1 DE102009054194 A1 DE 102009054194A1 DE 102009054194 A DE102009054194 A DE 102009054194A DE 102009054194 A DE102009054194 A DE 102009054194A DE 102009054194 A1 DE102009054194 A1 DE 102009054194A1
Authority
DE
Germany
Prior art keywords
image sensor
head
display
windshield
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102009054194A
Other languages
English (en)
Inventor
Konrad ROTHENHÄUSLER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE102009054194A priority Critical patent/DE102009054194A1/de
Priority to KR1020127016342A priority patent/KR20120106776A/ko
Priority to DE112010003135T priority patent/DE112010003135A5/de
Priority to US13/505,905 priority patent/US20120268582A1/en
Priority to JP2012540283A priority patent/JP2013511431A/ja
Priority to PCT/DE2010/001219 priority patent/WO2011063779A1/de
Priority to EP10784956.4A priority patent/EP2504732B1/de
Publication of DE102009054194A1 publication Critical patent/DE102009054194A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833—Optical rain sensor
    • B60S1/0844—Optical rain sensor including a camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0862—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means including additional sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Instrument Panels (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Fahrzeug mit einer Vorrichtung zur Erzeugung eines Head-up-Displays, wobei eine Kamera umfassend einen Bildsensor und ein Fokussierelement über ein optisches oder mechanisches Element statisch oder dynamisch in den Strahlengang des Head-up-Displays eingeführt wird. Das Fahrzeug kann insbesondere über mindestens eine der folgenden Assistenzfunktionen basierend auf einer Auswertung der Daten des Bildsensors verfügen: Fahrererkennung, Müdigkeitserkennung, Regen-/Schmutzerkennung.

Description

  • Die Erfindung betrifft ein Fahrzeug mit einer Vorrichtung zur Erzeugung eines Head-up-Displays, also einer Vorrichtung zur Projektion von Informationen über die Windschutzscheibe in das Sichtfeld des Fahrers.
  • Head-up-Displays werden verwendet, um dem Fahrer Informationen ins Auge zu projizieren. Damit entfällt in einigen Fällen der Blick zu den Instrumenten (Tacho, Navigationsdisplay) und somit eine zusätzliche zeitintensive und anstrengende Akkomodation des Auges (dynamische Anpassung der Brechkraft des Auges). Der Projektionsstrahlengang des Head-up-Display in das Auge des Fahrers ist in den meisten Fällen adaptiv anzupassen an die Größe und die Position des Fahrers bzw. des definierten Augenbereichs (Eyebox).
  • Eine wesentliche Idee der Erfindung besteht darin, eine zusätzliche Kamera umfassend ein Fokussierelement und einen Bildsensor statisch oder dynamisch in den Strahlengang eines Head-up-Displays einzuführen. Als Fokussierelement kann beispielsweise eine Linse oder ein Objektiv dienen. Als Bildsensor wird vorzugsweise ein CMOS oder CCD-Chip verwendet.
  • Die Einführung der Kamera in das optische System des Head-up-Displays kann über einen Strahlteiler oder aber auch durch eine mechanisch eingeführte Kamera erfolgen welche sich z. B. auf einem Chopperrad befindet. Auch eine Klappspiegeleinkopplung vgl. mit einer Spiegelreflexkamera wäre denkbar. Die Kamera könnte sich auch statisch im Strahlengang befinden, wenn ein gewisser Bereich der Projektion des Head-up-Displays nicht genutzt werden muss. Die Kamera kann einer Handykamera entsprechen.
  • Der wesentliche Vorteil der Erfindung liegt darin, dass durch das Nutzen der optischen Elemente des Head-up-Displays für eine Kamera ohne großen konstruktiven Mehraufwand herausragende neue Funktionen realisierbar sind. Diese werden im Folgenden näher beschrieben.
  • In einer bevorzugten Ausführungsform kann durch das Einbringen der Kamera in den Strahlengang ein kamerabasierter Regensensor realisiert werden. Das Fokussierelement der Kamera ist dabei derart angeordnet, dass ein Bereich der Außenseite der Windschutzscheibe fokussiert auf dem Bildsensor abgebildet ist. Der abgebildete Bereich auf der Außenseite der Windschutzscheibe entspricht dem Bereich, durch den der virtuelle Strahlengang des Head-up-Displays verläuft.
  • Das optische System des Head-up-Displays wird also genutzt, um eine relativ große Sensorfläche auf der Windschutzscheibe zur Regendetektion zu erhalten. Eine Auswertung der Kamerabilder erlaubt es, zuverlässig Regen oder Schmutzpartikel auf der Windschutzscheibe zu detektieren.
  • Bisherige Regensensoren sind im oberen Bereich der Windschutzscheibe angebracht und beobachten damit einen Scheibenausschnitt der nicht dem Teil der Windschutzscheibe entspricht, durch den der Fahrer eines Kraftfahrzeugs durch die Windschutzscheibe blickt. Lokale Wasserbenetzung (z. B. Spritzwasser aus einer Pfütze etc.) und Verschmutzungen im Sichtfeld des Fahrers, die nicht auch im Sichtfeld des Sensors vorhanden sind, kann der Sensor nicht erkennen. Bisherige Regensensoren haben eine verhältnismäßig kleine Sensorfläche von ca. 2,5 cm2 Größe, was eine sichere und schnelle Regendetektion einschränkt. Diese Regensensoren sind durch eine Aussparung im Schwarzdruck von außen sichtbar und stören teilweise das Fahrzeugdesign. Bisherige Regensensoren benötigen als alleinstehender Sensor Bauraum in einer beengten Zone des Fahrzeugs, zusätzliche Kommunikations- und Versorgungsleitungen sowie einen Scheibenausschnitt im Schwarzdruck der Windschutzscheibe (Footprint). Bisherige Regensensoren in Serienfahrzeugen sind mitunter störungsanfällig und verärgern durch falsches oder ausbleibendes Wischen den Fahrer des Kraftfahrzeugs.
  • Gegenüber herkömmlichen optoelektronischen oder kamerabasierten Regensensoren bietet eine erfindungsgemäße Regensensorik über die optischen Elemente eines Head-up-Displays große Vorteile. Die Sensorfläche befindet sich im Sichtfeld des Fahrers, der Sensor bleibt dabei vom Fahrer unbemerkt. Regen und Schmutz werden direkt in dem Bereich detektiert, der für den Fahrer entscheidend ist. Die Sensorfläche ist im Vergleich zu bestehenden Regensensorsystemen relativ groß. Damit ist eine schnellere und sichere Detektion möglich. Im Vergleich zu aktuell genutzten ca. 2,5 cm2 Sensorfläche wird vom Head-up-Display zur Projektion eine Scheibenfläche von ca. 300 cm2 abgedeckt.
  • Da von außen ist kein Sensor sichtbar ist, bietet die vorgestellte Lösung klare Designvorteile. Die Kameraelektronik kann in die Elektronik des Head-up-Displays integriert werden, was Kosten und Bauraum spart. Ein kamerabasierter Regensensor mit großem Sichtfeld auf der Windschutzscheibe kann die Probleme der bisherigen Regensensoren (z. B. Nieselregen) durch eine entsprechend höhere Pixelauflösung lösen und ermöglicht zudem noch viele weitere Funktionen wie beispielsweise die Erkennung von trockenem Schmutz.
  • Ein weiterer Vorteil ist die Möglichkeit zur Beurteilung des Wischergebnisses der Scheibenreinigungsanlage.
  • Der kamerabasierte Regensensor im Head-up-Display schaut nach oben und ist damit von Störfaktoren durch andere Verkehrsteilnehmer weitgehend geschützt.
  • In einer alternativen Ausgestaltung der Erfindung kann das Fokussierelement der Kamera derart angeordnet sein, dass der Augenbereich des Fahrers fokussiert auf dem Bildsensor abgebildet ist. Die Windschutzscheibe fungiert hierbei als Spiegel. Der Strahlengang des Head-up-Displays wird in inverser Richtung genutzt. Der Bildsensor empfängt Lichtstrahlung aus der Eyebox (Augenbereich) des Fahrers und aufgrund der Anordnung des Fokussierelements können die Augen und die umgebenden Gesichtspartien des Fahrers aus den Kamerabildern erkannt und identifiziert werden. Eine Fahreridentifikation kann sich in vielfacher Weise als vorteilhaft erweisen (z. B. Freigabe der Zündung, Wegfahrsperre, Kindersicherung, Personalisierung von Sicherheits- und Komfortfunktionen).
  • Das System zur Fahreridentifikation kann zusätzlich über eine modulierte Lichtquelle unterstützt werden. Diese kann durch eine Spannungsmodulation der Innenraumbeleuchtung erfolgen. Somit kann der Fahrer vor dem Start des Fahrzeugs schnell und sicher erkannt werden.
  • Die Beobachtung des Augenbereichs des Fahrers kann auch zur Erkennung von Müdigkeit verwendet werden. In Kombination mit einer Spurerkennungsfunktion kann Müdigkeit als Ursache für ein Verlassen der Spur sicherer erkannt und durch angepasste Mitteilung (Vibration, akkustische Signale, Lichtimpuls der Innenraumbeleuchtung etc.) an den Fahrer eine Gefahrensituation entschärft werden.
  • Eine bevorzugte Weiterbildung der Erfindung besteht in der Kombination der Regen- und Schmutzerkennung auf der Windschutzscheibe mit gleichzeitiger Beobachtung des Augenbereichs des Fahrers mit einer Kamera. Hierfür ist eine bifokale Fokussiervorrichtung vorgesehen, welche beispielsweise nach dem Prinzip der refraktiven Wirkung einer partiell eingefügten planparallelen Platte im konvergenten Strahlengang arbeitet. Dadurch können zwei Objektebenen erreicht werden: ein Teil der Footprintfläche auf der Windschutzscheibe kann dazu verwendet werden um in einer ersten Objektebene Lichtreflexionen in den Regentropfen zu detektieren und den Scheibenwischer anzusteuern. Die zweite Objektebene ist der Augenbereich des Fahrers. Der Bildsensor liefert in einem ersten Teilbereich fokussierte Aufnahmen der Windschutzscheibenaußenseite und in einem zweiten Teilbereich fokussierte Aufnahmen des Augenbereichs des Fahrers.
  • Das Head-up-Display ist in der Lage Lichtmuster auf die Scheibe zu projizieren, diese Lichtmuster können in einer bevorzugten Ausführungsform beispielsweise zur Regenerkennung verwendet werden. Ebenfalls wird der Luftraum über der Windschutzscheibe vorteilhaft durch das Head-up-Display beleuchtet. Sollte eine zusätzliche Beleuchtung erforderlich sein, so könnte diese als IR Beleuchtung ausgeführt werden. Eine Beleuchtung des Scheibenausschnitts zur besseren Detektion von Regen oder Schmutz kann – falls erforderlich – durch das Head-up-Display getaktet erfolgen. Ein Teil des projizierten Lichts des Head-up-Display wird generell nach oben aus der Scheibe auskoppelt. Auch eine zusätzliche Einkopplung von IR-Licht ist denkbar, damit der Fahrer von dieser Scheibenbeleuchtung nicht gestört wird.
  • So kann die Regenerkennung durch ein zyklisches flächendeckendes Lichtsignal im nichtsichtbaren Wellenlängenbereich (z. B. infrarot) des Head-up-Display ausgeleuchtet werden.
  • Genauso denkbar ist eine Ausleuchtung der Gesichtspartie (Eyebox) durch Infrarotes Licht. (z. B. als überlagerte Flächenprojektion einer zusätzlichen IR-Lichtquelle durch das Head-up-Display). So können während der Fahrt zyklisch die Augen des Fahrers beobachtet werden.
  • In einer bevorzugten Ausführungsform ist ein Polarisationsfilter zumindest teilweise im Strahlengang zwischen dem optischen oder mechanischen Element und dem Bildsensor angeordnet.
  • Zur Optimierung der Augenbeobachtung kann, um Lichtstrahlung aus der Umgebung (von oben durch die Windschutzscheibe) in das Kamerasystem zu unterbinden, bevorzugt ein Polarisationsfilter vorgesehen sein, durch den die Lichtstrahlung absorbiert wird, die nicht über die Windschutzscheibe aus dem Fahrzeuginnenraum eingespiegelt wird.
  • Im Falle einer Beleuchtung der Außenseite der Windschutzscheibe zur Regenerkennung wird bei Verwendung keiner bevorzugten Polarisationsrichtung der Beleuchtung, nur ein sehr geringer Anteil der Lichtstrahlung an der geneigten Windschutzscheibe in den Augenbereich reflektiert. Noch geringer ist der reflektierte Anteil, wenn gezielt die Polarisationsrichtung zur Beleuchtung genutzt wird, welche von der Head-up-Display Lichtquelle bewusst vermieden wird. Ein maximaler Anteil des Lichts passiert so die Windschutzscheibe. Durch Regentropfen oder Schmutz total reflektiertes oder zurück gestreutes Licht dient so zur Regen- und Schmutzerkennung.
  • Bevorzugt erfolgt bei gleichzeitiger Beobachtung von Windschutzscheibenaußenseite und Augenbereich mit einer Kamera eine Beleuchtung der beiden Bereiche mittels eines Polarisationsfilters mit zwei Teilbereichen mit entgegengesetzten Polarisationsrichtungen und die Abbildung der beiden Bereiche (auf den Bildsensor erfolgt mittels eines weiteren Polarisationsfilters mit zwei Teilbereichen mit entgegengesetzten Polarisationsrichtungen.
  • Es wird also eine Kamera vorgeschlagen, deren Schärfentiefenbereich sich sowohl auf die Objektebene Windschutzscheibe als auch die Objektebene Eyebox erstreckt, wobei eine partielle Polarisationsfilterbeschichtung zwischen Objektiv und sensitiver Bildsensorfläche derart ausgelegt ist, dass die Polarisationsfilterwirkung für die definierten Bildbereiche (Eyebox und Windschutzscheibenbereich für Regenerkennung) umgekehrt sind. Durch eine gezielte Beleuchtung der Regensensoren mit entgegengesetzt polarisiertem Licht kann somit die Unterscheidung der mindestens zwei unterschiedlichen Objektebenen unterstützt werden, um einen sicheren Algorithmus zur Objekterkennung zu entwickeln. Auch ein Dynamisches Einfügen des oder der Polarisationsfilter ist denkbar, da beide Objekterkennungsprozesse nicht auf schnelle Erkennungsgeschwindigkeiten ausgelegt sein müssen.
  • Ebenfalls denkbar ist eine Ausleuchtung der zur Regenerkennung vorgesehenen Windschutzscheibenfläche durch sichtbares Licht welches nicht oder bevorzugt entgegengesetzt polarisiert zur Eyebox-Lichtstrahlung ausgerichtet ist.
  • Die erforderliche Kamera kann zur Bestimmung des Umgebungslichts verwendet werden und wichtige Sensorinformationen für das Head-up-Display, Klimaanlage und Fahrzeugbeleuchtung liefern.
  • Der Sensor kann auch weitere Aufgaben übernehmen z. B. als Komunikationsschnittstelle zwischen Mensch und Fahrzeug.
  • Anwendungen könnten z. B. das Öffnen des Fahrzeugs sein indem z. B. eine Karte mit aufgedrucktem Code auf den Windschutzscheibenfootprint des Head-up-Displays gelegt wird oder ein Fingerabdruck von. der Kamera ausgewertet wird.
  • Dies ist dadurch möglich, dass die Kamera auf die Windschutzscheibenaußenfläche fokussiert ist.
  • In einer vorteilhaften Ausgestaltung verfügt das Fahrzeug über mindestens einer der folgenden Assistenzfunktionen basierend auf einer Auswertung der Daten des Bildsensors: Fahrererkennung, Müdigkeitserkennung, Regen-/Schmutzerkennung.
  • Im Folgenden werden Ausführungsbeispiele und Zeichnungen beschrieben.
  • 1 zeigt den Strahlengang eines Head-up-Displays.
  • 2 zeigt zusätzlich den Strahlengang bei einer Abbildung auf einem Bildsensor über einen Strahlteiler.
  • In 1 ist ein Fahrzeug mit einer Vorrichtung zur Erzeugung eines Head-up-Displays dargestellt. Eine Lichtquelle (4), auch Lichtemitter genannt, erzeugt die elektromagnetische Strahlung, die vom Fahrer als Anzeige (1) im Bereich vor der Windschutzscheibe wahrgenommen wird. Über einen Konkavspiegel (Umlenk- oder Freiformspiegel) (2) wird die Strahlung aufgeweitet und zur Windschutzscheibe (3) gelenkt. An der Windschutzscheibe (3) wird die Strahlung zum überwiegenden Teil ins Fahrzeuginnere reflektiert und trifft auf den Augenbereich des Fahrers (9). Der Fahrer sieht das virtuelle Bild (1) im Bereich vor der Windschutzscheibe.
  • Der in 1 dargestellte Bereich (5) zwischen Lichtquelle (4) und Umlenkspiegel (2) ist eine mögliche Einbauposition für ein zusätzliches optisches oder mechanisches Element (5) zur Strahlteilung oder Strahlumlenkung.
  • In 2 ist als zusätzliches optisches Element (5) ein Strahlteilerwürfel in den Strahlengang des Head-up-Displays nach 1 innerhalb des dort gezeigten Bereichs eingefügt worden. Unterhalb des Strahlteilerwürfels ist ein Fokussierelement (8) und ein Bildsensor (6) angeordnet. Ein Regentropfen (7), der sich auf der Windschutzscheibe (3) im Bereich des virtuellen Strahlengangs des Head-up-Displays befindet, wird über Umlenkspiegel (2) des Head-up-Displays und den Strahlteilerwürfel (5) von der Fokussiervorrichtung (8) auf den Bildsensor (6) abgebildet. Der Regentropfen (7) wird von einem kleinen Teil der elektromagnetischen Strahlung des Head-up-Displays beleuchtet, der nicht an der Windschutzscheibe (3) ins Fahrzeuginnere reflektiert wird.
  • Die Fokussiervorrichtung (8) ist in diesem Ausführungsbeispiel derart eingestellt, dass der Bereich (7) der Außenseite der Windschutzscheibe (3), durch den der virtuelle Strahlengang des Head-up-Displays verläuft, fokussiert auf dem Bildsensor (6) abgebildet wird.
  • Aus den Bilddaten der Kamera (6, 8) kann das Vorliegen von Regentropfen (7) oder Schmutzpartikeln auf der Windschutzscheibe (3) erkannt werden und ein Signal zur Betätigung der Scheibenwischer oder eines Scheibenwaschprogramms generiert werden.
  • Vorteilhaft ist hierbei, dass der Regensensor nicht von außen sichtbar ist, obwohl der Bereich der Windschutzscheibe, in dem Regen oder Schmutzpartikel erkannt wird/werden, direkt im Sichtfeld des Fahrers liegt.
  • Bezugszeichenliste
    • 1
    Virtuelles Bild
    2
    Konkavspiegel
    3
    Windschutzscheibe
    4
    Lichtquelle
    5
    optisches/mechanisches Element zur Strahlteilung/Strahlumlenkung
    6
    Bildsensor
    7
    Regentropfen auf der Windschutzscheibe im Bereich des virtuellen Strahlengangs des Head-Up-Displays
    8
    Fokussierelement
    9
    Augenbereich

Claims (8)

  1. Fahrzeug mit einer Vorrichtung (2, 3, 4) zur Erzeugung eines Head-Up-Displays, wobei eine Kamera umfassend einen Bildsensor (6) und ein Fokussierelement (8) über ein optisches oder mechanisches Element (5) statisch oder dynamisch in den Strahlengang des Head-Up-Displays eingeführt wird.
  2. Fahrzeug nach Anspruch 1, wobei das Fokussierelement (8) derart angeordnet ist, dass ein Bereich (7) der Außenseite der Windschutzscheibe (3) fokussiert auf dem Bildsensor (6) abgebildet ist.
  3. Fahrzeug nach Anspruch 1, wobei das Fokussierelement (8) derart angeordnet ist, dass der Augenbereich (9) des Fahrers fokussiert auf dem Bildsensor (6) abgebildet ist.
  4. Fahrzeug nach Anspruch 1, wobei das Fokussierelement (8) eine bifokale Abbildung ermöglicht, bei der der Augenbereich (9) des Fahrers auf einem ersten Teilbereich des Bildsensors (6) und ein Bereich (7) der Außenseite der Windschutzscheibe (3) auf einem zweiten Teilbereich des Bildsensors (6) fokussiert abgebildet ist.
  5. Fahrzeug nach einem der Ansprüche 1 bis 3, wobei eine Beleuchtung des auf dem Bildsensor (6) abgebildeten Bereichs der Außenseite der Windschutzscheibe (3) oder des Augenbereich (9) des Fahrers im infraroten Wellenlängenbereich vorgesehen ist und der Bildsensor (6) Strahlung im infraroten Wellenlängenbereich detektieren kann.
  6. Fahrzeug nach einem der vorgenannten Ansprüche, wobei ein Polarisationsfilter zumindest teilweise im Strahlengang zwischen dem optischen oder mechanischen Element (5) und dem Bildsensor (6) angeordnet ist.
  7. Fahrzeug nach Anspruch 4, wobei eine Beleuchtung der beiden Bereiche (7, 9) mittels eines Polarisationsfilters mit zwei Teilbereichen mit entgegengesetzten Polarisationsrichtungen erfolgt und die Abbildung der beiden Bereiche (7, 9) auf den Bildsensor (6) mittels eines weiteren Polarisationsfilters mit zwei Teilbereichen mit entgegengesetzten Polarisationsrichtungen erfolgt.
  8. Fahrzeug nach einem der vorgenannten Ansprüche mit mindestens einer der folgenden Assistenzfunktionen basierend auf einer Auswertung der Daten des Bildsensors (6): Fahrererkennung, Müdigkeitserkennung, Regen-/Schmutzerkennung.
DE102009054194A 2009-11-24 2009-11-24 Nutzung der optischen Elemente eines Head-up-Displays zur kamerabasierten Regen- und Schmutzsensorik, Fahreridentifikation, Müdigkeitserkennung Withdrawn DE102009054194A1 (de)

Priority Applications (7)

Application Number Priority Date Filing Date Title
DE102009054194A DE102009054194A1 (de) 2009-11-24 2009-11-24 Nutzung der optischen Elemente eines Head-up-Displays zur kamerabasierten Regen- und Schmutzsensorik, Fahreridentifikation, Müdigkeitserkennung
KR1020127016342A KR20120106776A (ko) 2009-11-24 2010-10-16 카메라 기반 레인센서와 오염센서, 운전자 인식 및 피로 감지를 위한 헤드업 디스플레이의 광학 부재 이용
DE112010003135T DE112010003135A5 (de) 2009-11-24 2010-10-16 Nutzung der optischen elemente eines head-up-displays zur kamerabasierten regen- und schmutzsensorik, fahreridentifikation, müdigkeitserkennung
US13/505,905 US20120268582A1 (en) 2009-11-24 2010-10-16 Use of the optical elements of a head-up display for the camera-based rain and dirt sensing, driving identification or fatigue detection
JP2012540283A JP2013511431A (ja) 2009-11-24 2010-10-16 カメラに基く雨及び汚れセンサ装置、運転者確認及び疲労検査のためヘッドアップディスプレイの光学素子の使用
PCT/DE2010/001219 WO2011063779A1 (de) 2009-11-24 2010-10-16 Nutzung der optischen elemente eines head-up-displays zur kamerabasierten regen- und schmutz sensorik, fahreridentifikation, müdigkeitserkennung
EP10784956.4A EP2504732B1 (de) 2009-11-24 2010-10-16 Nutzung der optischen elemente eines head-up-displays zur kamerabasierten regen- und schmutz sensorik, fahreridentifikation, müdigkeitserkennung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102009054194A DE102009054194A1 (de) 2009-11-24 2009-11-24 Nutzung der optischen Elemente eines Head-up-Displays zur kamerabasierten Regen- und Schmutzsensorik, Fahreridentifikation, Müdigkeitserkennung

Publications (1)

Publication Number Publication Date
DE102009054194A1 true DE102009054194A1 (de) 2011-05-26

Family

ID=43446917

Family Applications (2)

Application Number Title Priority Date Filing Date
DE102009054194A Withdrawn DE102009054194A1 (de) 2009-11-24 2009-11-24 Nutzung der optischen Elemente eines Head-up-Displays zur kamerabasierten Regen- und Schmutzsensorik, Fahreridentifikation, Müdigkeitserkennung
DE112010003135T Withdrawn DE112010003135A5 (de) 2009-11-24 2010-10-16 Nutzung der optischen elemente eines head-up-displays zur kamerabasierten regen- und schmutzsensorik, fahreridentifikation, müdigkeitserkennung

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE112010003135T Withdrawn DE112010003135A5 (de) 2009-11-24 2010-10-16 Nutzung der optischen elemente eines head-up-displays zur kamerabasierten regen- und schmutzsensorik, fahreridentifikation, müdigkeitserkennung

Country Status (6)

Country Link
US (1) US20120268582A1 (de)
EP (1) EP2504732B1 (de)
JP (1) JP2013511431A (de)
KR (1) KR20120106776A (de)
DE (2) DE102009054194A1 (de)
WO (1) WO2011063779A1 (de)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011084552A1 (de) 2011-10-14 2012-08-02 Robert Bosch Gmbh Erkennung des Vigilanzzustandes einer Person durch ein mobiles Gerät
DE102011051583A1 (de) * 2011-07-05 2013-01-10 Conti Temic Microelectronic Gmbh Bildaufnahmevorrichtung für ein Fahrzeug
DE102015005382A1 (de) 2015-04-28 2015-12-03 Daimler Ag Scheibenwischereinstellvorrichtung, Scheibenwischvorrichtung und Verfahren zum Betreiben eines Scheibenwischers eines Kraftfahrzeugs
DE102016209526A1 (de) 2015-06-12 2016-12-15 Ford Global Technologies, Llc Projektionseinrichtung und Verfahren zum Projizieren eines virtuellen Bilds in einen Sichtbereich eines Fahrers eines Fahrzeugs
DE102016224432A1 (de) 2015-12-09 2017-06-14 Ford Global Technologies, Llc Kraftfahrzeug mit Staubsensor und Verfahren zur Minderung von Staubaufwirbelung oder Staubemission durch ein Kraftfahrzeug
DE102016223556A1 (de) 2015-12-09 2017-06-14 Ford Global Technologies, Llc Kraftfahrzeug mit Staubsensor und Verfahren zur Minderung von Staubaufwirbelung durch ein Kraftfahrzeug
DE102016215826A1 (de) 2016-08-23 2018-03-01 Bayerische Motoren Werke Aktiengesellschaft Projektionsanzeigesystem für ein Kraftfahrzeug mit zusätzlicher Sensorik
DE102017120653A1 (de) * 2017-09-07 2019-03-07 Valeo Schalter Und Sensoren Gmbh Head-Up-Display-Vorrichtung mit einer Detektionsvorrichtung
DE102019207476B3 (de) 2019-05-22 2020-07-23 Audi Ag Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013029451A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 付着物検出装置及び付着物検出方法
US20150294169A1 (en) * 2014-04-10 2015-10-15 Magna Electronics Inc. Vehicle vision system with driver monitoring
US9481300B1 (en) 2015-11-05 2016-11-01 Christopher A. Lutawan Proximity alert system
KR101684189B1 (ko) 2015-11-30 2016-12-07 현대자동차주식회사 차량용 글라스 오염 처리장치 및 방법
CN110073273B (zh) * 2016-12-12 2021-06-01 富士胶片株式会社 投影型显示装置、投影型显示装置的控制方法、存储介质
US11341671B2 (en) 2018-11-01 2022-05-24 Magna Electronics Inc. Vehicular driver monitoring system
KR20210015194A (ko) 2019-08-01 2021-02-10 현대자동차주식회사 차량용 레인 센서, 이를 이용한 와이퍼 시스템 및 와이퍼 제어 방법
KR102568503B1 (ko) * 2022-10-31 2023-08-22 대한민국 일사 관측 센서의 유리돔에 대한 오염감지기

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10157681A1 (de) * 2001-11-26 2003-06-12 Kostal Leopold Gmbh & Co Kg Vorrichtung zum Detektieren von Objekten mit einer optoelektronisch arbeitenden Aufnahmeeinheit sowie optoelektronische Aufnahmeeinheit
DE10337040A1 (de) * 2003-08-12 2005-03-10 Sick Ag Verfahren und Vorrichtung zur Untersuchung einer Oberfläche oder einer Schicht
DE102004031311A1 (de) * 2004-06-29 2006-01-19 Robert Bosch Gmbh Vorrichtung zur Darstellung von Informationen auf einer Projektionsfläche
DE102007001266A1 (de) * 2007-01-08 2008-07-10 Metaio Gmbh Optische Anordnung, insbesondere für ein Head-Up-Display

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004309868A (ja) * 2003-04-08 2004-11-04 Sony Corp 撮像装置及び立体映像生成装置
US6958683B2 (en) * 2003-10-02 2005-10-25 Ford Motor Company Multipurpose vision sensor system
FR2908527B1 (fr) * 2006-11-15 2009-01-16 Valeo Vision Sa Capteur photosensible dans le domaine automobile
JP5145710B2 (ja) * 2006-12-18 2013-02-20 日本精機株式会社 ヘッドアップディスプレイ装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10157681A1 (de) * 2001-11-26 2003-06-12 Kostal Leopold Gmbh & Co Kg Vorrichtung zum Detektieren von Objekten mit einer optoelektronisch arbeitenden Aufnahmeeinheit sowie optoelektronische Aufnahmeeinheit
DE10337040A1 (de) * 2003-08-12 2005-03-10 Sick Ag Verfahren und Vorrichtung zur Untersuchung einer Oberfläche oder einer Schicht
DE102004031311A1 (de) * 2004-06-29 2006-01-19 Robert Bosch Gmbh Vorrichtung zur Darstellung von Informationen auf einer Projektionsfläche
DE102007001266A1 (de) * 2007-01-08 2008-07-10 Metaio Gmbh Optische Anordnung, insbesondere für ein Head-Up-Display

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011051583A1 (de) * 2011-07-05 2013-01-10 Conti Temic Microelectronic Gmbh Bildaufnahmevorrichtung für ein Fahrzeug
DE102011084552A1 (de) 2011-10-14 2012-08-02 Robert Bosch Gmbh Erkennung des Vigilanzzustandes einer Person durch ein mobiles Gerät
DE102015005382A1 (de) 2015-04-28 2015-12-03 Daimler Ag Scheibenwischereinstellvorrichtung, Scheibenwischvorrichtung und Verfahren zum Betreiben eines Scheibenwischers eines Kraftfahrzeugs
DE102016209526A1 (de) 2015-06-12 2016-12-15 Ford Global Technologies, Llc Projektionseinrichtung und Verfahren zum Projizieren eines virtuellen Bilds in einen Sichtbereich eines Fahrers eines Fahrzeugs
US10352854B2 (en) 2015-12-09 2019-07-16 Ford Global Technologies, Llc Motor vehicle having dust sensor for reducing dust resuspension
DE102016223556A1 (de) 2015-12-09 2017-06-14 Ford Global Technologies, Llc Kraftfahrzeug mit Staubsensor und Verfahren zur Minderung von Staubaufwirbelung durch ein Kraftfahrzeug
US10293824B2 (en) 2015-12-09 2019-05-21 Ford Global Technologies, Llc Dust resuspension system for a motor vehicle
DE102016224432A1 (de) 2015-12-09 2017-06-14 Ford Global Technologies, Llc Kraftfahrzeug mit Staubsensor und Verfahren zur Minderung von Staubaufwirbelung oder Staubemission durch ein Kraftfahrzeug
DE102016224432B4 (de) 2015-12-09 2023-03-30 Ford Global Technologies, Llc Kraftfahrzeug mit Staubsensor und Verfahren zur Minderung von Staubaufwirbelung oder Staubemission durch ein Kraftfahrzeug
DE102016223556B4 (de) 2015-12-09 2023-09-28 Ford Global Technologies, Llc Kraftfahrzeug mit Staubsensor und Verfahren zur Minderung von Staubaufwirbelung durch ein Kraftfahrzeug
DE102016215826A1 (de) 2016-08-23 2018-03-01 Bayerische Motoren Werke Aktiengesellschaft Projektionsanzeigesystem für ein Kraftfahrzeug mit zusätzlicher Sensorik
DE102017120653A1 (de) * 2017-09-07 2019-03-07 Valeo Schalter Und Sensoren Gmbh Head-Up-Display-Vorrichtung mit einer Detektionsvorrichtung
DE102019207476B3 (de) 2019-05-22 2020-07-23 Audi Ag Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs

Also Published As

Publication number Publication date
WO2011063779A1 (de) 2011-06-03
EP2504732A1 (de) 2012-10-03
DE112010003135A5 (de) 2012-05-31
EP2504732B1 (de) 2013-12-25
KR20120106776A (ko) 2012-09-26
JP2013511431A (ja) 2013-04-04
US20120268582A1 (en) 2012-10-25

Similar Documents

Publication Publication Date Title
EP2504732B1 (de) Nutzung der optischen elemente eines head-up-displays zur kamerabasierten regen- und schmutz sensorik, fahreridentifikation, müdigkeitserkennung
DE69836344T2 (de) Regensensor mit nebelerkennung
EP2426543B1 (de) Fahrerassistenzvorrichtung für ein Fahrzeug und Verfahren zur Sichtbarmachung der Umgebung eines Fahrzeuges
DE10339314B3 (de) Verfahren zur Anzeigesteuerung von unterschiedlichen Informationen in einem Fahrzeug und optoakustische Informationseinheit
DE102006008274B4 (de) Kraftfahrzeug mit einer optischen Erfassungsvorrichtung und Verfahren zum Betreiben eines Kraftfahrzeugs
EP1580092B1 (de) Kamera in einem Kraftfahrzeug
EP2384292B1 (de) Kameraanordnung für ein kraftfahrzeug und kraftfahrzeug mit einer kameraanordnung
EP1159170B1 (de) Anordnung zum detektieren von auf einer windschutzscheibe eines kraftfahrzeuges befindlichen objekten
DE102016111783B4 (de) Anzeigevorrichtung zur Einblendung eines virtuellen Bildes in das Blickfeld eines Benutzers
DE102014102017B4 (de) Fahrerüberwachungskamerasystem
DE10139514A1 (de) Transmissionsdetektor für einen Fensterkörper, insbesondere die Windschutzscheibe eines Kraftfahrzeuges, sowie Reinigungsvorrichtung für einen Sichtbereich eines Fensterkörpers
WO2012107136A1 (de) Verfahren und vorrichtung zur bestimmung einer klarsichtigkeit einer scheibe eines fahrzeugs
DE102010043479B4 (de) Kameraanordnung und Verfahren zum Betreiben einer Kameraanordnung für ein Kraftfahrzeug
WO2013104475A1 (de) Kamerasystem, insbesondere für ein fahrzeug
DE102015007485A1 (de) Verfahren und Vorrichtung zur Adaption von Bildinhalten eines Head-up-Displays auf einer Windschutzscheibe eines Fahrzeuges
WO2011153990A1 (de) Optische vorrichtung mit einem bifokalen optischen element und einem spiegelelement
EP2956812B1 (de) Verfahren und vorrichtung zum betreiben einer head-up-displayeinheit
DE102018100805A1 (de) Reinigungsvorrichtung zum Reinigen eines lichtdurchlässigen Frontelements eines optischen Sensors für ein Kraftfahrzeug, Anordnung sowie Verfahren
EP2758288A1 (de) Bilderfassungsvorrichtung für ein fahrzeug
DE102017120653A1 (de) Head-Up-Display-Vorrichtung mit einer Detektionsvorrichtung
DE19909989B4 (de) Vorrichtung zum Detektieren von auf einer durchsichtigen Scheibe befindlichen Objekten
DE102019135406B4 (de) Kraftfahrzeug und Verfahren zur Beobachtung eines Fahrers eines Kraftfahrzeugs unter Verwendung einer Kamera
DE102021214941A1 (de) Bilderfassungseinrichtung für ein Fahrzeug, Kameramodul und Verfahren zum Betreiben einer Bilderfassungseinrichtung
DE102012016981A1 (de) Erfassungseinrichtung und Verfahren zum Erfassen von Objekten auf einer Scheibe eines Kraftwagens
DE102022210120A1 (de) Verfahren und Vorrichtung zum Ermitteln einer Notwendigkeit einer Warnung zum Steigern einer Aufmerksamkeit eines Fahrers eines Fahrzeugs

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
R118 Application deemed withdrawn due to claim for domestic priority

Effective date: 20120313