-
Die Erfindung betrifft ein Verfahren zur Detektion von Regentropfen auf einer Scheibe mittels einer Beleuchtungsquelle und einer Kamera.
-
In der
US 7,259,367 B2 wird mittels einer Kamera eine Regensensierung vorgeschlagen, die eine großflächige Beleuchtung des Durchtrittsfensters des Kameraöffnungswinkels mit der Scheibe durch eine Infrarotdiode vorsieht. Die Kamera ist nahezu auf unendlich fokussiert und damit gleichzeitig für Fahrerassistenzapplikationen nutzbar. Wegen der Abbildung auf den Fernbereich sind Regentropfen nur als Störungen im Bild bemerkbar, die durch aufwendige Differenzmessungen der mit in Synchronisation des Pixeltaktes gepulsten oder modulierten Infrarotlichtes aufgenommen Bildern detektiert werden.
-
Die
WO 2012/092911 A1 zeigt eine Vorrichtung und ein Verfahren zur Erkennung von Regen. Eine Kamera ist hinter einer Scheibe angeordnet, insbesondere im Inneren eines Fahrzeugs hinter einer Windschutzscheibe, und auf einen Fernbereich fokussiert, der vor der Scheibe liegt. Eine Beleuchtungsquelle zur Erzeugung mindestens eines auf die Scheibe gerichteten Lichtstrahls richtet den mindestens einen Lichtstrahl derart auf die Scheibe, dass mindestens ein von der Außenseite der Scheibe reflektierter Strahl als äußerer Lichtreflex bzw. Außenreflex auf die Kamera auftrifft. Die Lichtmenge des mindestens einen auf die Kamera auftreffenden Strahls bzw. Lichtreflexes kann von der Kamera gemessen werden kann. Als Beleuchtungsquelle sind eine oder mehrere Leuchtdioden optional mit einem Lichtleiter oder ein Lichtband angegeben.
-
Die
DE 10 2006 008 274 A1 zeigt ein Fahrzeug mit einer optischen Erfassungsvorrichtung zur Außenraumbeobachtung und zur Erfassung von Witterungsbedingungen in der Umgebung des Fahrzeugs. Ein vorgebbares Lichtmuster wird dazu von einer Lichtquelle auf einer Komponente des Fahrzeugs erzeugt. Abhängig von einer Abweichung des von der optischen Erfassungsvorrichtung detektierten Lichtmusters von einem gespeicherten Referenz-Lichtmuster kann auf entsprechende Witterungsbedingungen geschlossen werden.
-
In der
WO 2013/163991 A1 wird ein Verfahren zur Detektion von Regentropfen auf einer Scheibe mittels einer Beleuchtungsquelle und einer Kamera beschrieben. Die Struktur der Kameraabbildung mindestens eines von der Außenseite der Scheibe reflektierten Strahls wird im Rahmen einer Bildverarbeitung ausgewertet zur Klassifikation der Art des Regens oder Niederschlags auf der Außenseite der Scheibe. Die Auswertung umfasst eine Muster- bzw. Texturerkennung.
-
Eine derartige Klassifizierung lässt sich nur in Situationen anwenden, bei denen der Lichtfleck bzw. die von der Beleuchtungsquelle beleuchtete Fläche auf der Scheibe partiell von Regentropfen bedeckt bzw. benetzt ist. Wünschenswert ist eine Klassifizierung, die möglichst viele Regensituationen abdeckt und darüber hinaus eine deutliche Entscheidung zwischen benetzter und nicht benetzter Scheibe erlaubt.
-
Die
WO 2006/024247 A1 zeigt ein Verfahren zur Detektion von Niederschlag auf einer Scheibe mit einer nicht auf die Scheibe fokussierten Fahrzeugkamera. Durch Anwendung von Bildverarbeitungsalgorithmen werden Weichzeichnungseffekte im Bild ermittelt, die Informationen über das Vorliegen von Niederschlag auf der Scheibe ermöglichen. Zur Kontrastermittlung zwischen benachbarten Bildpixeln können in vorgegebenen Bildausschnitten oder Bildzeilen Fourier-Transformationen eingesetzt werden.
-
Aufgabe der vorliegenden Erfindung ist es, ein optimiertes Verfahren zur Regenerkennung mittels einer Beleuchtung und einer Kamera anzugeben.
-
Die Erfindung basiert auf der folgenden Grundüberlegung: Eine Beleuchtung soll in der Weise erfolgen, dass sie als eine räumlich feste regel- oder unregelmäßig modulierte Struktur erscheint. Ist die Scheibe durch einen Regentropfen benetzt, führt dies zu einer Veränderung dieser modulierten Struktur. Diese Veränderung kann durch eine geeignete Fourier Transformation von Kamerabilddaten präzise aufgelöst und zuverlässig ermittelt werden.
-
Bei einem erfindungsgemäßen Verfahren zur Erkennung von Regen oder Niederschlag auf einer Scheibe wird mittels einer hinter der Scheibe angeordneten und durch die Scheibe blickenden Kamera mindestens ein Bild aufgenommen. Mittels einer Beleuchtungsquelle wird die Scheibe derart beleuchtet, dass die Kamera ein Signal der Beleuchtung in dem mindestens einen Bild erfassen kann. Die Beleuchtungsquelle erzeugt ein räumlich festes inhomogenes Lichtverteilungsmuster, welches insbesondere als eine modulierte Struktur im Bild erscheint. Das mindestens eine aufgenommene Bild wird zur Erkennung von Regen oder Niederschlag auf der Scheibe verarbeitet. Die Bildverarbeitung umfasst eine Fourier Transformation von Bilddaten zur Ermittlung von Abweichungen des von der Kamera erfassten Lichtverteilungsmuster zu dem Lichtverteilungsmuster, das ohne Regen oder Niederschlag auf der Scheibe erscheint.
-
Die Beleuchtungsquelle ist bevorzugt derart auf die Scheibe gerichtet, dass mindestens ein von Außenseite der Scheibe reflektiertes Lichtverteilungsmuster auf die Kamera auftrifft. Bei einer Benetzung der Außenseite der Scheibe mit Regen oder Niederschlag ergibt sich eine lokale Änderung des von der Kamera erfassten Lichtverteilungsmusters. Diese lokale Änderung kann durch eine Fourier Transformation von Bilddaten sehr präzise und robust ermittelt werden.
-
Die Kamera umfasst bevorzugt einen Bildsensor, z.B. einen CCD- oder CMOS-Sensor, und ein Objektiv bzw. Abbildungssystem zur Fokussierung von elektromagnetischer Strahlung aus einem oder mehreren Bereichen auf den Bildsensor. Die Beleuchtungsquelle kann insbesondere eine oder mehrere Leuchtdioden (LEDs) umfassen. Die Beleuchtungsquelle erzeugt bevorzugt eine räumlich feste inhomogene also ungleichmäßige flächige Beleuchtung (Lichtverteilungsmuster) eines Bereichs der Scheibe. Vorteilhaft kann die Beleuchtungsquelle auf einer Leiterplatte angeordnet, wobei die Leiterplatte Bestandteil oder Träger der Kameraelektronik ist. Die Leiterplatte kann zudem innerhalb des Gehäuses der Kamera angeordnet sein.
-
Bevorzugt wird Regen auf der Außenseite der Scheibe erkannt, indem die Kamera hinter der Scheibe angeordnet wird. Vorteilhaft ist die Kamera mittels eines Objektivs auf einen Fernbereich fokussiert, so dass das reflektierte Signal der Beleuchtungsquelle (Lichtverteilungsmuster) unscharf von der Kamera abgebildet wird. Dadurch kann die Kamera als Multifunktionssensor für eine oder mehrere weitere Fahrerassistenzfunktionen eingesetzt werden, die auf einer Auswertung des fokussiert abgebildeten Fernbereichs beruhen, wie z.B. eine Spurverlassenswarnung (LDW, Lane Departure Warning), eine Spurhalteunterstützung (LKA/LKS, Lane Keeping Assistance/System), eine Verkehrszeichenerkennung (TSR, Traffic Sign Recognition), eine automatische Fernlichtsteuerung (IHC, Intelligent Headlamp Control), eine Kollisionswarnung (FCW, Forward Collision Warning), eine automatische Längsregelung (ACC, Adaptive Cruise Control), eine Einparkunterstützung und automatische Notbrems- oder Notlenksysteme (EBA, Emergency Brake Assist oder ESA, Emergency Steering Assist).
-
Das erfindungsgemäße Verfahren bietet den Vorteil, dass die Veränderung des räumlich festen inhomogenen Lichtverteilungsmusters bei Regen bei der Bildverarbeitung effizient feststellbar ist. Die Regenerkennung wird dadurch robuster gegenüber anderen von der Kamera erfassten Umgebungseinflüssen, die zur Änderungen im Kamerabild führen, welche für die Regenerkennung störend sind.
-
Gemäß einer bevorzugten Ausführungsform erzeugt die Beleuchtungsquelle ein räumlich regelmäßig moduliertes Lichtverteilungsmuster und die Bildverarbeitung umfasst eine räumliche Fourier Transformation. Hierzu kann vorgesehen sein, dass die Beleuchtungsquelle ein in einer Bildrichtung moduliertes Lichtverteilungsmuster erzeugt und die Fourier-Transformation entlang dieser Richtung vorgenommen wird. Aus einer Veränderung des räumlichen Spektrums welches Ergebnis der Fourier-Transformation ist, wird auf eine Änderung der Benetzung der Scheibe geschlossen.
-
Vorteilhaft erzeugt die Beleuchtungsquelle das räumlich feste inhomogene Lichtverteilungsmuster zeitlich periodisch und synchronisiert zur Bildaufnahme und die Bildverarbeitung umfasst eine zeitliche Fourier Transformation. Dabei kann die zeitliche Fourier Transformation bevorzugt pro Bildbereich durchgeführt werden. Als Bildbereich können einzelne Zeilen, Spalten, rechteckige Pixelgruppen oder Pixel gewählt werden. Bei einer Fourier Transformation pro Bildbereich (zeilen-, spalten-, gruppen- oder pixelweise) kann aus der Veränderung des Ergebnisses der Fourier Transformation bei einzelnen Bildbereichen darauf geschlossen wird, dass durch diese Bildbereiche eine Benetzungsänderung abgebildet wird.
-
Bevorzugt wird das räumlich feste inhomogene Lichtverteilungsmuster mittels eines Lichtleiters erzeugt, dessen Oberfläche entsprechend, z.B. moduliert, geformt ist. Der Lichtleiter kann insbesondere vor der Beleuchtungsquelle angeordnet sein. Zur Erzeugung eines räumlich regelmäßig modulierten Lichtverteilungsmusters kann der Lichtleiter vorteilhaft wellenförmig geformt sein.
-
Gemäß einer vorteilhaften Ausführungsform kann die Beleuchtungsquelle ggfs. in Verbindung mit einem Lichtleiter eine unregelmäßige Struktur als räumlich festes inhomogenes Lichtverteilungsmuster erzeugen. Die Bildverarbeitung umfasst in diesem Fall ein Lernen dieser unregelmäßigen Struktur. Das Lernen kann im Rahmen einer Bandende-Kalibrierung nach Einbau der Kamera in das Fahrzeug erfolgen (End-of-Line/EOL-Learning) oder als „online Learning“ während des Betriebs der Kamera.
-
Bevorzugt werden im Rahmen der Bildverarbeitung aus einer Veränderung des Frequenzspektrums, welches sich aus der Fourier Transformation ergibt, Rückschlüsse auf die Art der Benetzung bzw. die Benetzungsänderung gezogen. Hierzu kann eine Einteilung in bzw. Zuordnung von Veränderungen des Frequenzspektrums zu verschiedene Benetzungsklassen erfolgen, welche insbesondere erlernt werden oder worden sein können.
-
Die Erfindung betrifft weiterhin eine Vorrichtung zur Erkennung von Regen oder Niederschlag auf einer Scheibe umfassend eine hinter der Scheibe angeordnete Kamera, eine Beleuchtungsquelle und Bildverarbeitungsmittel.
-
Die Kamera blickt durch die Scheibe und umfasst Aufnahmemittel zur Aufnahme mindestens eines Bildes.
-
Die Beleuchtungsquelle ist ausgestaltet zur Beleuchtung der Scheibe in der Weise, dass die Kamera ein Signal der Beleuchtung in dem mindestens einen Bild erfassen kann, wobei die Beleuchtungsquelle ein räumlich festes inhomogenes Lichtverteilungsmuster erzeugt.
-
Die Bildverarbeitungsmittel sind ausgebildet zur Verarbeitung des mindestens einen aufgenommenen Bildes zur Erkennung von Regen oder Niederschlag auf der Scheibe, wobei die Bildverarbeitung eine Fourier Transformation von Bilddaten umfasst zur Ermittlung von Abweichungen des von der Kamera erfassten Lichtverteilungsmuster zu einem Lichtverteilungsmuster, das ohne Regen oder Niederschlag auf der Scheibe erscheint.
-
Im Folgenden wird die Erfindung anhand von Figuren und Ausführungsbeispielen näher erläutert.
-
Es zeigen:
-
1 schematisch das Grundprinzip einer möglichen Anordnung von Beleuchtungsquelle, Scheibe und Kamera zur Regenerkennung (im Längsschnitt),
-
2 eine Anordnung von einer Beleuchtungsquelle mit einem Lichtleiter und
-
3 ein räumlich festes regemäßig moduliertes Lichtverteilungsmuster (oben), welches bei einer Benetzung der Scheibe durch einen Regentropfen lokal verändert erscheint.
-
1 zeigt im Längsschnitt eine auf den Fernbereich fokussierte Kamera mitsamt Objektiv (1) und eine LED-Beleuchtungsquelle (3), die über einen Lichtleiter (6) Licht in einer vorgegebenen Hauptrichtung (h) auf eine Windschutzscheibe (2) eines Fahrzeugs ausstrahlt. Aufgrund von teilweiser Reflexion des Lichts an der Außenseite der Scheibe (2) trifft ein Strahl (r) auf das Objektiv bzw. die Kamera (1) auf. Wegen der Fokussierung auf den Fernbereich wird die Umrandung des Strahlenbündels nur unscharf von der Kamera (1) abgebildet, ist aber grundsätzlich mit der Kamera (1) messbar. Die dargestellten Strahlenverläufe (h, r) sind schematisch.
-
Wenn bei Regen (9) die Außenseite der Windschutzscheibe (2) benetzt ist, wird ein Großteil des Lichts ausgekoppelt, so dass der reflektierte Anteil (r) schwächer ist als er es bei einer trockenen Scheibe (2) ist.
-
Eine Veränderung des von der Kamera detektieren Signals des reflektierten Strahls (r) bedeutet daher eine Veränderung der Benetzungssituation. So kann ein Regentropfen neu auf die Scheibe (2) aufgetroffen sein, seine Position auf der Scheibe verändert haben oder weggewischt worden sein. Auf Grundlage einer entsprechenden Auswertung der Kamerabilddaten kann ein Scheibenwischer entsprechend angesteuert.
-
Die Beleuchtungsquelle (3) kann beispielsweise mehrere in einer Reihe oder in einem flächigen Muster angeordnete LEDs umfassen, von denen in 1 nur eine dargestellt ist. Die weiteren LEDs können insbesondere senkrecht zu der in 1 dargestellten Ebene aufgereiht sein. Eine Mehrzahl von LEDs ist vorteilhaft, um eine für die Regenerkennung ausreichende Beleuchtung und das räumlich feste modulierte Beleuchtungsmuster (7) zu erzielen. Die LEDs (3) können insbesondere als nach oben abstrahlende SMD-Bauteile auf einer Leiterplatte (4) angeordnet sein. Die Leiterplatte (4) kann vorteilhaft eine PCB (printed circuit board) der Kameraelektronik sein, welche zum Schutz vor Schmutz, Feuchtigkeit und elektromagnetischen Störungen innerhalb eines Gehäuses (5) angeordnet ist. Die Verbindungslinie zwischen der Kamera (1) und der Leiterplatte (4) in 1 soll nur veranschaulichen, dass die Leiterplatte (5) Bestandteil der Kameraelektronik ist.
-
Um die Beleuchtung für verschiedene Fahrzeuge mit verschiedenen Neigungswinkeln der Windschutzscheibe (2) anzupassen, kann der Lichtleiter (6) in einem vorgegebenen festen Winkel und optional auch einem festen vorgegebenen Abstand zur jeweiligen Windschutzscheibe (2) angeordnet werden. Dazu kann insbesondere die Abstrahlfläche des Lichtleiters (6) mit einem entsprechenden Kippwinkel beaufschlagt angeordnet sein. Dadurch ist die Abdeckung bzw. Beleuchtung eines gleichartigen Detektionsbereichs auf der jeweiligen Windschutzscheibe (2) für unterschiedliche Windschutzscheibenneigungen in unterschiedlichen Fahrzeugtypen möglich.
-
2 zeigt eine Ansicht eines Ausführungsbeispiels eines Lichtleiters (6) und der LED-Beleuchtungsquelle (3) zur Erzeugung der räumlich modulierten Struktur (7). Der Lichtleiter (6) weist eine Oberfläche auf, die in Abstrahlrichtung wellenförmig ausgebildet ist. Dies ist eine geeignete Möglichkeit zur Erzeugung der räumlich modulierten Struktur. Die Beleuchtung erscheint als eine räumlich feste regel- oder unregelmäßig modulierte Struktur.
-
Ein Beispiel für ein räumlich festes regemäßig moduliertes Lichtverteilungsmuster, welches mittels einer Anordnung wie in 2 erzeugt werden kann, ist in 3 oben dargestellt. Bei diesem Lichtverteilungsmuster erscheint die Beleuchtungshelligkeit in horizontaler Richtung periodisch heller und dunkler.
-
In 3 unten ist schematisch dargestellt, dass ein auf der Scheibe befindlicher Regentropfen (9) zu einer Veränderung (8) des räumlich festen inhomogenen Lichtverteilungsmusters (7) führt.
-
Im Rahmen der Bildverarbeitung bietet sich die Fourier-Transformation zur Ermittlung von einer Veränderung (8) des räumlich festen inhomogenen Lichtverteilungsmusters (7) an.
-
Methode 1:
-
Über eine zeitliche Fourier-Transformation für jedes Pixel lassen sich Regentropfen oder eine Welligkeit der Scheibe durch eine Benetzung sehr einfach über eine Abweichung von dieser räumlich festen regelregelmäßigen Struktur nachweisen. Denkbar ist auch die Verwendung einer räumlich festen unregelmäßigen Struktur, da diese gelernt werden kann.
-
Ist die Scheibe durch einen Regentropfen (9) benetzt, führt dies zu einer Veränderung dieser vorzugsweise regelmäßigen Struktur, siehe 3.
-
Die unbeeinflusste Struktur, also das Lichtverteilungsmuster (7), das ohne Regen oder Niederschlag (9) auf der Scheibe (2) erscheint, kann
- 1. während der Produktion am Bandende gelernt werden, oder
- 2. online, mittels Fourier-Transformation und einer mit der Bildaufnahme synchronisierten Beleuchtung.
-
Werden die Intensitäten der Pixel über die letzten N Zyklen in einem zeitlichen Abstand dT gespeichert, lässt sich für jedes Pixel eine zeitliche (Fast) Fourier Transformation berechnen. Wird die Beleuchtung z.B. bei jedem zweiten Frame aktiviert, zeichnet sich für die dem Muster zugehörigen Pixel ein eindeutiger Peak bei 1/(2·dT) im Frequenzbereich ab, nicht aber für Pixel in unbeleuchteten Musterbereichen. Dies wird bei trockener Scheibe gelernt. Kommt es aufgrund einer Benetzung (9) zu einer Veränderung (8) dieser Struktur (7), werden andere dem gelernten Pattern nicht zugehörige Pixel einen eindeutigen Peak im selben Frequenzbereich, bei 1/(2·dT) aufweisen. Hierdurch lassen sich selbst geringste Veränderungen auf der Scheibe detektieren. Dies wird umso genauer, je größer N gewählt wird.
-
Methode 2:
-
Unterschiedliche Benetzungen führen zu unterschiedlichen räumlichen Strukturen. Daher lässt sich alternativ über die Auswertung der Veränderung des räumlichen Spektrums auf eine Benetzung schließen. Weiter lässt sich mittels eines Klassifikators auf die Art des Regens bzw. der Benetzung schließen.
-
Natürlich lassen sich Methode 1 und 2 für eine stabilere Auswertung kombinieren.
-
Ein entscheidender Vorteil dieser Methode ist eine Robustheit gegenüber Umgebungseinflüssen wie z.B. sich bewegenden / unbewegten Lichtquellen, welche zu einem Peak im Gleichanteil oder bei deutlich geringerer Frequenz führen. Ein weiterer Vorteil dieser Methode besteht in der Unempfindlichkeit gegenüber Alterungseffekten, da langsame Veränderungen im Muster online gelernt werden können.
-
Bezugszeichenliste
-
- 1
- Kamera
- 2
- Scheibe
- 3
- Beleuchtungsquelle
- 4
- Leiterplatte
- 5
- Gehäuse
- 6
- Lichtleiter
- 7
- räumlich festes inhomogenes Lichtverteilungsmuster
- 8
- Veränderung des erfassten Lichtverteilungsmusters
- 9
- Regentropfen
- h
- Hauptrichtung der Beleuchtung
- r
- an der Außenseite der Scheibe reflektierte Beleuchtung, die von der Kamera erfasst werden kann
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 7259367 B2 [0002]
- WO 2012/092911 A1 [0003]
- DE 102006008274 A1 [0004]
- WO 2013/163991 A1 [0005]
- WO 2006/024247 A1 [0007]
