DE102014207994A1 - Vorrichtung zum Erkennen von Niederschlag für ein Kraftfahrzeug - Google Patents

Vorrichtung zum Erkennen von Niederschlag für ein Kraftfahrzeug Download PDF

Info

Publication number
DE102014207994A1
DE102014207994A1 DE102014207994.2A DE102014207994A DE102014207994A1 DE 102014207994 A1 DE102014207994 A1 DE 102014207994A1 DE 102014207994 A DE102014207994 A DE 102014207994A DE 102014207994 A1 DE102014207994 A1 DE 102014207994A1
Authority
DE
Germany
Prior art keywords
image
motor vehicle
color
color space
brightness change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102014207994.2A
Other languages
English (en)
Inventor
Christopher Kosubek
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE102014207994.2A priority Critical patent/DE102014207994A1/de
Priority to DE112015000652.4T priority patent/DE112015000652A5/de
Priority to PCT/DE2015/200212 priority patent/WO2015165448A1/de
Publication of DE102014207994A1 publication Critical patent/DE102014207994A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/06Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833Optical rain sensor
    • B60S1/0844Optical rain sensor including a camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zum Erkennen von Niederschlag für ein Kraftfahrzeug. Die Vorrichtung umfasst eine hinter einer Scheibe angeordnete Kameraeinrichtung, welche dazu ausgelegt ist, ein erstes Abbild der Umgebung des Kraftfahrzeugs und ein dem ersten Abbild zeitlich folgendes zweites Abbild der Umgebung des Kraftfahrzeugs aufzunehmen; und eine Auswertungseinrichtung, welche dazu ausgelegt ist, basierend auf einem Vergleichen des ersten Abbildes mit dem zweiten Abbild eine Helligkeitsänderung in zumindest einem Teilbereich des zweiten Abbildes zu ermitteln und anhand der ermittelten Helligkeitsänderung auf der Scheibe anhaftenden Niederschlag zu erfassen.

Description

  • Technisches Gebiet
  • Die vorliegende Erfindung betrifft einen Regensensor für ein Kraftfahrzeug. Insbesondere betrifft die vorliegende Erfindung eine Vorrichtung und ein Verfahren zum Erkennen von Niederschlag für ein Kraftfahrzeug.
  • Technischer Hintergrund
  • Objekte oder Partikel auf der Windschutzscheibe eines Kraftfahrzeuges sind aufgrund der Fokussierung des Fernbereichs nur schwer im Kamerabild einer im Kraftfahrzeug verbauten optischen Kamera zu erkennen.
  • Ein auf der Windschutzscheibe anhaftender Regentropfen mit nahezu transparenten Eigenschaften kann demnach aus dem von der Kamera aufgenommenen Bild kaum mittels Bildverarbeitung extrahiert werden.
  • Zusammenfassung der Erfindung
  • Es kann als Aufgabe der vorliegenden Erfindung angesehen werden, die Effizienz einer Niederschlags- oder Regenerkennung für das Kraftfahrzeug zu erhöhen.
  • Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Ausführungsformen und Weiterbildungen sind den abhängigen Ansprüchen, der Beschreibung und den Figuren zu entnehmen.
  • Ein erster Aspekt der Erfindung betrifft eine Vorrichtung zum Erkennen von Niederschlag für ein Kraftfahrzeug.
  • Die Vorrichtung umfasst: eine hinter einer Scheibe angeordnete Kameraeinrichtung, welche dazu ausgelegt ist, ein erstes Abbild der Umgebung des Kraftfahrzeugs und ein dem ersten Abbild zeitlich folgendes zweites Abbild der Umgebung des Kraftfahrzeugs aufzunehmen; und eine Auswertungseinrichtung, welche dazu ausgelegt ist, basierend auf einem Vergleichen des ersten Abbildes mit dem zweiten Abbild eine Helligkeitsänderung in zumindest einem Teilbereich des zweiten Abbildes zu ermitteln und anhand der ermittelten Helligkeitsänderung auf der Scheibe anhaftenden Niederschlag zu erfassen.
  • In anderen Worten ausgedrückt, werden von der Kameraeinrichtung mindestens zwei zeitlich aufeinander folgende Abbildungen der Umgebung des Kraftfahrzeuges aufgenommen.
  • Nach einem zweiten Aspekt der vorliegenden Erfindung ist ein Verfahren zum Erkennen von Niederschlag für ein Kraftfahrzeug vorgesehen. Das Verfahren umfasst folgende Schritte: Aufnehmen eines ersten Abbildes der Umgebung des Kraftfahrzeugs und eines dem ersten Abbild zeitlich folgenden zweiten Abbild mit Hilfe von einer Kameraeinrichtung; Ermitteln einer Helligkeitsänderung in zumindest einem Teilbereich des zweiten Abbildes basierend auf einem Vergleichen des ersten Abbildes mit dem zweiten Abbild; und Erfassen des auf der Scheibe anhaftenden Niederschlags anhand der ermittelten Helligkeitsänderung.
  • Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen gekennzeichnet.
  • Die vorliegende Erfindung zeichnet sich durch aus, dass eine Regentropfenerkennung direkt aus dem aufgenommenen Kamerabild, d.h. passiv oder ohne eine zusätzliche Beleuchtungsquelle vorgenommen werden kann.
  • Das Verfahren der vorliegenden Erfindung verwendet den Effekt der auftretenden Helligkeits- bzw. Intensitätserhöhungen, welche durch Tropfen auf der Windschutzscheibe verursacht werden. Diese Helligkeits- bzw. Intensitätserhöhungen sind auf allen Pixel des aufgenommenen Abbildes nahezu gleichmäßig verteilt.
  • Die der vorliegenden Erfindung zugrunde liegende Idee liegt in der Trennung der Helligkeits- und Farbänderungen im aufgenommenen Abbild. Diese Trennung der Helligkeitsänderungen von den Farbänderungen ermöglicht vorteilhaft, dass Regentropfen und sich bewegende Hintergrundobjekte bei der Bildanalyse voneinander getrennt werden.
  • Ein weiterer Vorteil der vorliegenden Erfindung ist die direkt aus dem Bild ableitbare Regentropfenerkennung. Gemäß der vorliegenden Erfindung ist eine Beleuchtung der Windschutzscheibe etwa mittels Leuchtdioden, kurz LED von englisch light-emitting diode, dt. Licht-emittierende Diode, auch Lumineszenz-Diode, oder einer sonstigen zusätzlichen Lichtquelle nicht erforderlich.
  • Ein weiterer Vorteil der vorliegenden Erfindung liegt darin, dass die Detektionsfläche, welche zur Regenerkennung verwendet wird, um ein Vielfaches erhöht wird.
  • Mit anderen Worten kann ein Kerngedanke der vorliegenden Erfindung darin gesehen werden, dass ein Regentropfen als eine Linse auf der Windschutzscheibe modelliert wird. Diese Linse bündelt das Licht aus einem durch die Linse abgedeckten Teilbereich, wobei das gebündelte Licht auf die Kamera fällt und die Helligkeits- bzw. Intensitätserhöhungen verursacht.
  • Daher ist es möglich, nur die Helligkeitsänderung innerhalb dieses Teilbereiches zu ermitteln und etwaige Farbwechsel oder Farbänderungen in diesem Bereich zu ignorieren.
  • Die Regentropfen verursachen primär eine Helligkeitsänderung (dL*), jedoch wird auch die Farbänderung (da*, db*) betrachtet, um herauszufinden, ob neben der durch den Regentropfen verursachten Helligkeitsänderung auch noch eine Farbänderung vorliegt.
  • Falls ja, so wird der Teilbereich in dem Abbild als farbiges Hintergrundobjekt markiert und als möglicher Tropfen verworfen, da die Farbänderung nicht dem Tropfenmodell entspricht. D. h. eine koinzident auftretende Helligkeits- und Farbänderung hat eine andere Ursache und entspricht keinem auf der Windschutzscheibe abgeschiedenen Regentropfen.
  • Mit anderen Worten ausgedrückt, wird die Betrachtung der Farbänderung dazu genutzt, das Tropfenmodell zu verifizieren, falls keine Farbänderung in dem Teilbereich vorliegt, oder zu verwerfen, falls eine Farbänderung in dem Teilbereich vorliegt.
  • Unter dem Fahrzeug kann beispielsweise ein Personenkraftwagen oder ein Lastkraftwagen verstanden werden. Die Kameraeinrichtung kann als Infrarotkamera oder eine sonstige Kamera ausgeführt sein. Die Kameraeinrichtung kann ferner dazu ausgeführt sein, mehrere Bilder, ein Video und/oder eine Bildfolge der Umgebung des Fahrzeuges aufzunehmen.
  • Unter der Umgebung des Fahrzeuges kann beispielsweise ein Bereich der Umgebung des Fahrzeuges, der in Fahrtrichtung des Fahrzeuges liegt, verstanden werden.
  • Unter der Kameraeinrichtung kann beispielsweise eine Kamera zur Verkehrszeichenerkennung oder zur Totwinkel-Überwachung oder eine Kamera eines sonstigen Fahrerassistenzsystems verstanden werden.
  • Unter der Auswertungseinrichtung kann beispielsweise ein digitaler Signalprozessor, engl. digital signal processor, DSP, verstanden werden, welcher dazu ausgebildet ist, eine kontinuierlichen Bearbeitung von digitalen Signalen z. B. Audio- oder Videosignale zu ermöglichen.
  • In einer vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Kameraeinrichtung einen farbempfindlichen Flächensensor aufweist.
  • Der Begriff „farbempfindlich“ bedeutet hierbei, dass der Flächensensor eine spektrale Auflösung aufweist, welche eine Anzahl der Spektralkanäle, etwa rot, grün, blau, des Sensors charakterisiert. Als Flächensensor kann ein CCD-Sensor oder ein CMOS-Sensor verwendet werden.
  • Dadurch kann vorteilhaft ermöglicht werden, dass eine breite spektrale Empfindlichkeit erreicht wird, ebenso wie ein hoher Dynamikumfang (also die Fähigkeit, gleichzeitig sehr lichtschwache und sehr helle Bereiche eines Bildes zu erfassen) und die Bildinformationen digital anfallen.
  • In einer vorteilhaften Ausführungsform ist vorgesehen, dass der farbempfindliche Flächensensor eine Bayer-Matrix oder eine sonstige Farbfilteranordnung aufweist.
  • In einer weiteren vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Auswertungseinrichtung dazu ausgelegt ist, vor dem Vergleichen des ersten Abbildes mit dem zweiten Abbild eine Farbraumtransformation des ersten Abbildes und des zweiten Abbildes durchzuführen und anschließend das transformierte erste Abbild mit dem transformierten zweiten Abbild zu vergleichen.
  • Dies erlaubt auf einfache Weise, eine Differenzierung von Farbmodell und Farbraum vorzunehmen.
  • In einer vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Auswertungseinrichtung dazu ausgelegt ist, als die Farbraumtransformation eine Transformation in einen L*a*b*-Farbraum oder in einen LCh-Farbraum oder in einen sonstigen Farbraum vorzunehmen.
  • Dies erlaubt auf einfache Weise, eine Angleichung der Farbabstände im Farbraum an die Wahrnehmung vorzunehmen.
  • In einer vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Auswertungseinrichtung dazu ausgelegt ist, die Helligkeitsänderung in dem zumindest einem Teilbereich des zweiten Abbildes anhand eines Nichtvorhandenseins einer Farbvalenzänderung in dem zumindest einem Teilbereich des zweiten Abbildes zu verifizieren.
  • Vorteilhaft erlaubt die Betrachtung der Farbänderung, das Tropfenmodell zu verwerfen, falls eine Farbänderung in dem Teilbereich vorliegt.
  • In einer vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Kameraeinrichtung dazu ausgelegt ist, ein drittes Abbild der Umgebung des Kraftfahrzeugs aufzunehmen.
  • Dies erhöht vorteilhaft das zeitliche Auflösungsvermögen der Niederschlagserfassung und die Detektionsschwelle der Vorrichtung im Hinblick auf die geringste überhaupt erfassbare Niederschlagsintentsität.
  • In einer vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Auswertungseinrichtung dazu ausgelegt ist, anhand des dritten Abbildes die ermittelte Helligkeitsänderung in zumindest einem Teilbereich des zweiten Abbildes zu überprüfen bzw. zu bestätigen.
  • Dies erhöht vorteilhaft die Zuverlässigkeit, d.h. die formale Genauigkeit bzw. die Verlässlichkeit der Messungen der Vorrichtung und hilft Messfehler bzw. Messabweichungen zu vermeiden.
  • Die beschriebenen Ausgestaltungen und Weiterbildungen lassen sich beliebig miteinander kombinieren.
  • Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale der Erfindung.
  • Kurze Beschreibung der Figuren
  • Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Die beiliegenden Zeichnungen veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Konzepten der Erfindung.
  • Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die dargestellten Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.
  • Es zeigen:
  • 1 eine schematische Darstellung einer Vorrichtung zum Erkennen von flüssigem Niederschlag für ein Kraftfahrzeug gemäß einer Ausführungsform der Erfindung;
  • 2a eine schematische Darstellung eines Flussdiagramms eines Verfahrens zum Erkennen von flüssigem Niederschlag für ein Kraftfahrzeug gemäß einer weiteren Ausführungsform der Erfindung;
  • 2b eine schematische Darstellung eines Funktionsblockdiagramms eines Verfahrens zum Erkennen von flüssigem Niederschlag gemäß einer noch weiteren Ausführungsform der Erfindung;
  • 3a ein von einer Kameraeinrichtung der Vorrichtung aufgenommenes Abbild der Umgebung des Kraftfahrzeuges zur Erläuterung der Erfindung;
  • 3b ein von einer Kameraeinrichtung der Vorrichtung aufgenommenes Abbild der Umgebung des Kraftfahrzeuges zur Erläuterung der Erfindung;
  • 4a ein von einer Kameraeinrichtung der Vorrichtung aufgenommenes Abbild der Umgebung des Kraftfahrzeuges zur Erläuterung zur Erläuterung der Erfindung;
  • 4b ein von einer Kameraeinrichtung der Vorrichtung aufgenommenes Abbild der Umgebung des Kraftfahrzeuges zur Erläuterung zur Erläuterung der Erfindung;
  • 5a eine Darstellung einer Farbkomponente eines Abbildes der Umgebung des Kraftfahrzeuges nach einer Farbraumtransformation zur Erläuterung der Erfindung;
  • 5b eine Darstellung einer Farbkomponente eines Abbildes der Umgebung des Kraftfahrzeuges nach einer Farbraumtransformation zur Erläuterung der Erfindung;
  • 5c eine Darstellung einer Farbkomponente eines Abbildes der Umgebung des Kraftfahrzeuges nach einer Farbraumtransformation zur Erläuterung der Erfindung;
  • 6a eine Darstellung einer Farbkomponente eines Abbildes der Umgebung des Kraftfahrzeuges nach einer Farbraumtransformation zur Erläuterung der Erfindung;
  • 6b eine Darstellung einer Farbkomponente eines Abbildes der Umgebung des Kraftfahrzeuges nach einer Farbraumtransformation zur Erläuterung der Erfindung; und
  • 6c eine Darstellung einer Farbkomponente eines Abbildes der Umgebung des Kraftfahrzeuges nach einer Farbraumtransformation zur Erläuterung der Erfindung.
  • Detaillierte Beschreibung von Ausführungsbeispielen
  • In den Figuren der Zeichnungen bezeichnen gleiche Bezugszeichen gleiche oder funktionsgleiche Elemente, Bauteile, Komponenten oder Verfahrensschritte, soweit nichts Gegenteiliges angegeben ist.
  • Mit dem Begriff „Niederschlag“ kann jegliche Form von Regen oder Wasser, das nach Kondensation von Wasserdampf infolge der Schwerkraft auf die Erde fällt.
  • Der Begriff „Niederschlag“ umfasst beispielsweise auch Regen oder flüssigen Niederschlag, auch Staub und Aerosole, die in die Atmosphäre aufgestiegen sind und sich auf der Windschutzscheibe als quasi transparent, da außerhalb des Schärfetiefenbereichs der Kamera, abscheiden oder niederschlagen.
  • Ferner kann auch fester Niederschlag, z. B. Hagel, Graupel oder Schnee, umfasst sein, welcher gemischt mit Regen auftritt oder erst nach dem Niedergang auf die Windschutzscheibe flüssig wird.
  • Die 1 zeigt eine schematische Darstellung einer Vorrichtung zum Erkennen von flüssigem Niederschlag für ein Kraftfahrzeug gemäß einer Ausführungsform der Erfindung.
  • Eine Vorrichtung 100 zum Erkennen von flüssigem Niederschlag für ein Kraftfahrzeug umfasst beispielsweise eine hinter einer Scheibe angeordnete Kameraeinrichtung 10 und eine mit der Kameraeinrichtung 10 gekoppelte Auswertungseinrichtung 20.
  • Die Kameraeinrichtung 10 kann dazu ausgelegt sein, ein erstes Abbild der Umgebung des Kraftfahrzeugs und ein dem ersten Abbild zeitlich folgendes zweites Abbild der Umgebung des Kraftfahrzeugs aufzunehmen.
  • Die Kameraeinrichtung 10 ist dazu ausgebildet, innerhalb eines bestimmten Bildwinkels, welcher das Sichtfeld 11 definiert, Abbilder der Umgebung des Kraftfahrzeugs aufzunehmen.
  • Die Auswertungseinrichtung 20 kann dazu ausgelegt sein, basierend auf einem Vergleichen des ersten Abbildes mit dem zweiten Abbild eine Helligkeitsänderung in zumindest einem Teilbereich des zweiten Abbildes zu ermitteln und anhand der ermittelten Helligkeitsänderung auf der Scheibe anhaftenden, flüssigen Niederschlag zu erfassen.
  • Ferner kann die Auswertungseinrichtung 20 auch in der Form einer anwendungsspezifischen integrierten Schaltung oder in der Form eines „Field Programmable Gate Array“ (FPGA) realisiert werden, d.h. beispielsweise in der Form eines integrierten Schaltkreises (IC) der Digitaltechnik, in den eine logische Schaltung programmiert werden kann. Die englische Bezeichnung kann übersetzt werden als: im (Anwendungs-)Feld programmierbare(Logik-)Gatter-Anordnung.
  • Die 2a zeigt ein Verfahren zum Erkennen von flüssigem Niederschlag für ein Kraftfahrzeug.
  • Das Verfahren zum Erkennen von flüssigem Niederschlag umfasst folgende Schritte:
    Als ein erster Schritt des Verfahrens erfolgt ein Aufnehmen S1 eines ersten Abbildes der Umgebung des Kraftfahrzeugs und eines dem ersten Abbild zeitlich folgenden zweiten Abbild mit Hilfe von einer Kameraeinrichtung.
  • Als ein zweiter Schritt des Verfahrens erfolgt ein Ermitteln S2 einer Helligkeitsänderung in zumindest einem Teilbereich des zweiten Abbildes basierend auf einem Vergleichen des ersten Abbildes mit dem zweiten Abbild.
  • Als ein dritter Schritt des Verfahrens erfolgt ein Erfassen S3 des auf der Scheibe anhaftenden, flüssigen Niederschlags anhand der ermittelten Helligkeitsänderung.
  • Die 2b zeigt eine schematische Darstellung eines Funktionsblockdiagramms eines Verfahrens zum Erkennen von flüssigem Niederschlag gemäß einer noch weiteren Ausführungsform der Erfindung.
  • Ein erstes Abbild I1 und ein zweites Abbild I2 werden von der Kammereinrichtung 10 aufgenommen, wobei das zweite Abbild I2 zeitlich nachfolgend zu dem ersten Abbild I1 aufgenommen wurde.
  • In einem ersten Funktionsblock S21 erfolgt eine Farbraumtransformation, beispielsweise in Form einer Transformation in einen L*a*b*-Farbraum oder in einen LCh-Farbraum oder in einen sonstigen Farbraum.
  • In einem zweiten Funktionsblock S22 erfolgt eine Trennung der Abbilder in Farbraumkomponenten, beispielsweise in einen dL* Kanal, in einen da* Kanal und in einen db* Kanal im Falle einer Transformation in den L*a*b*-Farbraum.
  • Eine Darstellung oder Bildanalyse des dL* Kanals erfolgt in einem Funktionsblock S31, eine Darstellung oder Bildanalyse des da* Kanals in einem Funktionsblock S32 und eine Darstellung oder Bildanalyse des db* Kanals in einem Funktionsblock S33.
  • 3a zeigt ein von einer Kameraeinrichtung der Vorrichtung aufgenommenes Abbild der Umgebung des Kraftfahrzeuges zur Erläuterung der Erfindung.
  • Das in der 3a dargestellte Abbild ist ein erstes Abbild der Umgebung des Kraftfahrzeuges. Das erste Abbild weist einen Teilbereich 5 auf, wobei von oben kommend drei Regentropfen herunter fallen, aber in den 3a und 3b noch nicht auf der Windschutzscheibe niedergegangen sind.
  • 3b zeigt ein von einer Kameraeinrichtung der Vorrichtung aufgenommenes Abbild der Umgebung des Kraftfahrzeuges zur Erläuterung der Erfindung.
  • Das in der 3b dargestellte Abbild ist ein zweites Abbild der Umgebung des Kraftfahrzeuges. Das zweite Abbild weist einen Teilbereich 5 auf. In den Ausführungsbeispielen der und ist auf der Windschutzscheibe kein Regentropfen vorhanden.
  • Diese Ausführungsbeispiele dienen zur Veranschaulichung der Farbänderungen, die durch bewegte Objekte (hier: Schranke bewegt sich nach oben) in allen drei Kanälen (dL*, da* und db*) dargestellt werden. Der Regentropfen, wie in den Ausführungsbeispielen der 4a und 4b dargestellt, hingegen, wird durch die alleinige Helligkeitsänderung nur im dL* bemerkbar.
  • 4a zeigt ein von einer Kameraeinrichtung der Vorrichtung aufgenommenes Abbild der Umgebung des Kraftfahrzeuges zur Erläuterung zur Erläuterung der Erfindung.
  • Das in der 4a dargestellte Abbild ist ein erstes Abbild der Umgebung des Kraftfahrzeuges. Das erste Abbild weist einen Teilbereich 5 auf.
  • 4b zeigt ein von einer Kameraeinrichtung der Vorrichtung aufgenommenes Abbild der Umgebung des Kraftfahrzeuges zur Erläuterung zur Erläuterung der Erfindung.
  • Das in der 4b dargestellte Abbild zeigt einen an der Windschutzscheibe anhaftenden Regentropfen.
  • Die 3a und 3b bzw. 4a und 4b zeigen zwei voneinander unabhängige Ereignisse:
  • Die 3a und 3b zeigen nur Hintergrundänderung durch sich bewegende Objekte, etwa eine sich öffnende Schranke eines Parkhauses oder eines Bahnüberganges ohne Regentropfen.
  • Die 4a und 4b zeigen im Gegensatz hierzu keine Hintergrundänderung, d.h. keine sich bewegende Objekte, jedoch trifft in dem Zeitversatz zwischen den 4a und 4b ein Regentropfen in den Sichtbereich der Kamera, etwa beispielsweise auf die Windschutzscheibe des Kraftfahrzeuges.
  • Die 5a zeigt eine Darstellung einer Farbkomponente eines Abbildes der Umgebung des Kraftfahrzeuges nach einer Farbraumtransformation zur Erläuterung der Erfindung.
  • Die 5a zeigt einen dL* Kanal des ersten Abbildes wie in der 3a und 3b dargestellt. Es wird hier die absolute Differenz zwischen der Transformierten (L1*) des ersten Abbildes der 3a und der Transformierten (L2*) des zweiten Abbildes der 3b dargestellt. Kurz: dL* = |L1* – L2*|.
  • Das Gleiche gilt für a* und b*: da* = |a1* – a2*|. db* = |b1* – b2*|.
  • Die 5b zeigt eine Darstellung einer Farbkomponente eines Abbildes der Umgebung des Kraftfahrzeuges nach einer Farbraumtransformation zur Erläuterung der Erfindung.
  • Die 5b zeigt einen da* Kanal des ersten Abbildes wie in der 3a und 3b dargestellt.
  • Die 5c zeigt eine Darstellung einer Farbkomponente eines Abbildes der Umgebung des Kraftfahrzeuges nach einer Farbraumtransformation zur Erläuterung der Erfindung.
  • Die 5c zeigt einen db* Kanal des ersten Abbildes wie in der 3a und 3b dargestellt.
  • Die 6a zeigt eine Darstellung einer Farbkomponente eines Abbildes der Umgebung des Kraftfahrzeuges nach einer Farbraumtransformation zur Erläuterung der Erfindung.
  • Die 6a zeigt einen dL* Kanal des zweiten Abbildes wie in der 4a und 4b dargestellt.
  • Die 6b zeigt eine Darstellung einer Farbkomponente eines Abbildes der Umgebung des Kraftfahrzeuges nach einer Farbraumtransformation zur Erläuterung der Erfindung.
  • Die 6b zeigt einen da* Kanal des zweiten Abbildes, wie in den 4a und 4b dargestellt.
  • Die 6c zeigt eine Darstellung einer Farbkomponente eines Abbildes der Umgebung des Kraftfahrzeuges nach einer Farbraumtransformation zur Erläuterung der Erfindung.
  • Die 6c zeigt einen db* Kanal des zweiten Abbildes wie in den 4a und 4b dargestellt.
  • Obwohl die vorliegende Erfindung anhand bevorzugter Ausführungsbeispiele vorstehend beschrieben wurde, ist sie darauf nicht beschränkt, sondern auf vielfältige Art und Weise modifizierbar. Insbesondere lässt sich die Erfindung in mannigfaltiger Weise verändern oder modifizieren, ohne vom Kern der Erfindung abzuweichen.
  • Ergänzend sei darauf hingewiesen, dass „umfassend“ und „aufweisend“ keine anderen Elemente oder Schritte ausschließt und „eine“ oder „ein“ keine Vielzahl ausschließt. Ferner sei darauf hingewiesen, dass Merkmale oder Schritte, die mit Verweis auf eines der obigen Ausführungsbeispiele beschrieben worden sind, auch in Kombination mit anderen Merkmalen oder Schritten anderer oben beschriebener Ausführungsbeispiele verwendet werden können. Bezugszeichen in den Ansprüchen sind nicht als Einschränkungen anzusehen.

Claims (10)

  1. Vorrichtung zum Erkennen von Niederschlag für ein Kraftfahrzeug, die Vorrichtung umfassend: – eine hinter einer Scheibe angeordnete Kameraeinrichtung (10), welche dazu ausgelegt ist, ein erstes Abbild der Umgebung des Kraftfahrzeugs und ein dem ersten Abbild zeitlich folgendes zweites Abbild der Umgebung des Kraftfahrzeugs aufzunehmen; und – eine Auswertungseinrichtung (20), welche dazu ausgelegt ist, basierend auf einem Vergleichen des ersten Abbildes mit dem zweiten Abbild eine Helligkeitsänderung in zumindest einem Teilbereich des zweiten Abbildes zu ermitteln und anhand der ermittelten Helligkeitsänderung auf der Scheibe anhaftenden Niederschlag zu erfassen.
  2. Vorrichtung nach Anspruch 1, wobei die Kameraeinrichtung (10) einen farbempfindlichen Flächensensor aufweist.
  3. Vorrichtung nach Anspruch 2, wobei der farbempfindliche Flächensensor eine Bayer-Matrix oder eine sonstige Farbfilteranordnung aufweist.
  4. Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Auswertungseinrichtung (20) dazu ausgelegt ist, vor dem Vergleichen des ersten Abbildes mit dem zweiten Abbild eine Farbraumtransformation des ersten Abbildes und des zweiten Abbildes durchzuführen und anschließend das transformierte erste Abbild mit dem transformierten zweiten Abbild zu vergleichen.
  5. Vorrichtung nach Anspruch 4, wobei die Auswertungseinrichtung (20) dazu ausgelegt ist, als die Farbraumtransformation eine Transformation in einen L*a*b*-Farbraum oder in einen LCh-Farbraum oder in einen sonstigen Farbraum vorzunehmen.
  6. Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Auswertungseinrichtung (20) dazu ausgelegt ist, die Helligkeitsänderung in dem zumindest einem Teilbereich des zweiten Abbildes anhand eines Nichtvorhandenseins einer Farbvalenzänderung in dem zumindest einem Teilbereich des zweiten Abbildes zu verifizieren.
  7. Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Kameraeinrichtung (10) dazu ausgelegt ist, ein drittes Abbild der Umgebung des Kraftfahrzeugs aufzunehmen.
  8. Vorrichtung nach Anspruch 7, wobei die Auswertungseinrichtung (20) dazu ausgelegt ist, anhand des dritten Abbildes die ermittelte Helligkeitsänderung in zumindest einem Teilbereich des zweiten Abbildes zu bestätigen.
  9. Verfahren zum Erkennen von Niederschlag für ein Kraftfahrzeug, wobei das Verfahren folgende Schritte umfasst: – Aufnehmen (S1) eines ersten Abbildes der Umgebung des Kraftfahrzeugs und eines dem ersten Abbild zeitlich folgenden zweiten Abbild mit Hilfe von einer Kameraeinrichtung (10); – Ermitteln (S2) einer Helligkeitsänderung in zumindest einem Teilbereich des zweiten Abbildes basierend auf einem Vergleichen des ersten Abbildes mit dem zweiten Abbild; und – Erfassen (S3) des auf der Scheibe anhaftenden Niederschlags anhand der ermittelten Helligkeitsänderung.
  10. Verfahren nach Anspruch 9, wobei vor dem Vergleichen des ersten Abbildes mit dem zweiten Abbild eine Farbraumtransformation des ersten Abbildes und des zweiten Abbildes durchgeführt wird und anschließend das transformierte erste Abbild mit dem transformierten zweiten Abbild verglichen wird.
DE102014207994.2A 2014-04-29 2014-04-29 Vorrichtung zum Erkennen von Niederschlag für ein Kraftfahrzeug Withdrawn DE102014207994A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102014207994.2A DE102014207994A1 (de) 2014-04-29 2014-04-29 Vorrichtung zum Erkennen von Niederschlag für ein Kraftfahrzeug
DE112015000652.4T DE112015000652A5 (de) 2014-04-29 2015-03-31 Vorrichtung zum Erkennen von Niederschlag für ein Kraftfahrzeug
PCT/DE2015/200212 WO2015165448A1 (de) 2014-04-29 2015-03-31 Vorrichtung zum erkennen von niederschlag für ein kraftfahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014207994.2A DE102014207994A1 (de) 2014-04-29 2014-04-29 Vorrichtung zum Erkennen von Niederschlag für ein Kraftfahrzeug

Publications (1)

Publication Number Publication Date
DE102014207994A1 true DE102014207994A1 (de) 2015-10-29

Family

ID=52991401

Family Applications (2)

Application Number Title Priority Date Filing Date
DE102014207994.2A Withdrawn DE102014207994A1 (de) 2014-04-29 2014-04-29 Vorrichtung zum Erkennen von Niederschlag für ein Kraftfahrzeug
DE112015000652.4T Withdrawn DE112015000652A5 (de) 2014-04-29 2015-03-31 Vorrichtung zum Erkennen von Niederschlag für ein Kraftfahrzeug

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE112015000652.4T Withdrawn DE112015000652A5 (de) 2014-04-29 2015-03-31 Vorrichtung zum Erkennen von Niederschlag für ein Kraftfahrzeug

Country Status (2)

Country Link
DE (2) DE102014207994A1 (de)
WO (1) WO2015165448A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10049284B2 (en) 2016-04-11 2018-08-14 Ford Global Technologies Vision-based rain detection using deep learning
US10427645B2 (en) 2016-10-06 2019-10-01 Ford Global Technologies, Llc Multi-sensor precipitation-classification apparatus and method
EP3767944B1 (de) * 2018-03-15 2022-07-06 JVCKenwood Corporation Antriebsaufzeichnungsvorrichtung, anzeigesteuerverfahren und programm
CN112758046B (zh) * 2021-01-27 2022-11-04 的卢技术有限公司 一种基于智能识别的挡风玻璃清晰度控制方法与系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10140660A1 (de) * 2001-08-24 2003-03-13 Visolution Gmbh Systemloesunge Verfahren und Vorrichtung zur optoelektronischen Erfassung von Oberflächen
DE102006016774A1 (de) * 2005-04-11 2006-10-12 Denso Corp., Kariya Regensensor
DE102011055343A1 (de) * 2011-11-15 2013-05-16 Continental Automotive Gmbh Verfahren zur Regendetektion mittels einer Kamera
DE102012108316A1 (de) * 2012-08-06 2014-02-06 Conti Temic Microelectronic Gmbh Detektion von Regentropfen auf einer Scheibe mittels einer Kamera und Beleuchtung

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10316794A1 (de) * 2003-04-11 2004-11-11 Audi Ag Regensensor und Verfahren zum Erkennen von Feuchtigkeit auf der Windschutzscheibe eines Kraftfahrzeugs
US7804980B2 (en) * 2005-08-24 2010-09-28 Denso Corporation Environment recognition device
US20140347487A1 (en) * 2011-09-07 2014-11-27 Valeo Schalter Und Sensoren Gmbh Method and camera assembly for detecting raindrops on a windscreen of a vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10140660A1 (de) * 2001-08-24 2003-03-13 Visolution Gmbh Systemloesunge Verfahren und Vorrichtung zur optoelektronischen Erfassung von Oberflächen
DE102006016774A1 (de) * 2005-04-11 2006-10-12 Denso Corp., Kariya Regensensor
DE102011055343A1 (de) * 2011-11-15 2013-05-16 Continental Automotive Gmbh Verfahren zur Regendetektion mittels einer Kamera
DE102012108316A1 (de) * 2012-08-06 2014-02-06 Conti Temic Microelectronic Gmbh Detektion von Regentropfen auf einer Scheibe mittels einer Kamera und Beleuchtung

Also Published As

Publication number Publication date
WO2015165448A1 (de) 2015-11-05
DE112015000652A5 (de) 2016-12-01

Similar Documents

Publication Publication Date Title
EP2384295B1 (de) Kameraanordnung und verfahren zur erfassung einer fahrzeugumgebung
EP2558336B1 (de) Verfahren und vorrichtung zur fahrerunterstützung beim fahren eines fahrzeugs durch detektion von wetterbedingten sichteinschränkungen
DE102009000003A1 (de) Kameraanordnung zur Erfassung eines Scheibenzustandes einer Fahrzeugscheibe
EP2879919B1 (de) Detektion von regentropfen auf einer scheibe mittels einer kamera und beleuchtung
DE102010043479B4 (de) Kameraanordnung und Verfahren zum Betreiben einer Kameraanordnung für ein Kraftfahrzeug
WO2015165448A1 (de) Vorrichtung zum erkennen von niederschlag für ein kraftfahrzeug
DE102011003803A1 (de) Verfahren und Vorrichtung zur Bestimmung einer Klarsichtigkeit einer Scheibe eines Fahrzeugs
DE102009012758A1 (de) Vorrichtung und Verfahren zur Detektion mindestens eines Objektes
DE102006055905A1 (de) Verfahren zur Fahrzeugumfelderkennung und Vorrichtung zur Umfelderkennung in einem Kraftfahrzeug
DE102020206006A1 (de) Verfahren zum Kalibrieren und/oder Justieren und Steuereinheit für ein LiDAR-System, LiDAR-System und Arbeitsvorrichtung
WO2012017334A2 (de) Kamerasystem für fahrzeuganwendungen
DE102015217265A1 (de) Stereokameravorrichtung zur Umgebungserfassung eines Kraftfahrzeugs, Kraftfahrzeug mit einer solchen Stereokameravorrichtung sowie ein Verfahren zur Erkennung von Regentropfen oder Ablagerungen
EP2562685B1 (de) Verfahren und Vorrichtung zur Klassifizierung eines sich in einem Vorfeld eines Fahrzeugs befindlichen Lichtobjekts
WO2014005585A1 (de) Kamerasystem zur erkennung des zustands einer fahrzeugscheibe
DE102016118335A1 (de) Verfahren zum Erkennen einer Verschmutzung auf einer Linse einer Kamera eines Kraftfahrzeugs anhand von Helligkeitswerten in Bildern, Kamera sowie Kraftfahrzeug
DE102011083232A1 (de) Bilderfassungsvorrichtung für ein Fahrzeug
DE102006004770A1 (de) Verfahren zur bildgestützten Erkennung von Fahrzeugen im Umfeld eines Sraßenfahrzeugs
DE102014224903A1 (de) Optischer Umfeldsensor für Fahrzeuge
DE102011083745B4 (de) Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen, Computerprogrammprodukt und Vorrichtung
DE102011056690A1 (de) Verfahren und Vorrichtung zur Ermittlung von Feuchtigkeit auf einer Fahrzeugscheibe
DE102020129582A1 (de) Sensorsystem für ein Fahrzeug zum redundanten Erkennen eines Lichtsignals einer Lichtsignalanlage und/oder einer Warnleuchte in einer Umgebung des Fahrzeugs, Fahrzeug sowie Verfahren
DE102016212730A1 (de) Fahrzeugkameravorrichtung mit Bildauswertungselektronik
DE102012108316A1 (de) Detektion von Regentropfen auf einer Scheibe mittels einer Kamera und Beleuchtung
DE102016014141A1 (de) Sensoreinrichtung
DE102015209442A1 (de) Verfahren zur Erkennung eines Straßenzustands und entsprechende Vorrichtung

Legal Events

Date Code Title Description
R163 Identified publications notified
R118 Application deemed withdrawn due to claim for domestic priority