-
Die Erfindung betrifft ein Verfahren zur Detektion von Regentropfen auf einer Scheibe mittels einer Kamera.
-
In der
WO2010/072198 A1 wird eine Regenerkennung mit Hilfe einer Kamera beschrieben, die für automotive Fahrerassistenzfunktionen eingesetzt wird. Zur Regenerkennung wird eine bifokale Optik genutzt, die einen Teilbereich der Windschutzscheibe scharf auf einen Teilbereich des Bildsensors der Kamera abbildet.
-
Zur Erkennung von Regentropfen auf einer Scheibe aus Bilddaten einer Kamera werden häufig Kantenerkennungsalgorithmen eingesetzt. Herkömmliche Kantenerkennungsalgorithmen benötigen vergleichsweise wenig Rechenleistung.
-
Eine Schwierigkeit bei der Erkennung von Regen aus Kanten im Bild liegt darin, dass Kanten im Bild erkannt werden, obwohl auf einer trockenen Scheibe kein Regen vorhanden ist, weil im Bild trotzdem Kanten vorliegen können, die einen anderen Ursprung haben. Dies kann zu einer Fehlauslösung einer automatischen Scheibenwischersteuerung führen.
-
Eine Möglichkeit, die Regenerkennung zu optimieren besteht darin, komplexe Lernverfahren für eine Objekterkennung aus den Bilddaten einzusetzen, die nach einer Lernphase möglichst zuverlässig erkennen können, ob Regen auf der Scheibe ist oder nicht. Nachteilig an diesen Verfahren ist, dass der Bedarf an Rechenleistung sehr hoch ist, was die benötigte Hardwareausstattung teuer macht.
-
Aufgabe der vorliegenden Erfindung ist es, die genannten Nachteile der aus dem Stand der Technik bekannten Verfahren zu überwinden.
-
Diese Aufgabe wird gelöst durch ein Verfahren zur Erkennung von Regen aus Bilddaten einer Kamera, die zumindest teilweise auf eine Scheibe eines Fahrzeugs fokussiert ist. Die Kamera kann insbesondere hinter einer Windschutzscheibe im Fahrzeug angeordnet und auf diese fokussiert sein. Mindestens eine Kante wird in den auf die Scheibe des Fahrzeugs fokussierten Bilddaten der Kamera erkannt, z.B. als Intensitäts- oder Farbübergang benachbarter Bildpunkte bzw. Pixel. Zudem wird ein Maß für den Anstieg der mindestens einen Kante bestimmt, beispielsweise ein räumlicher Gradient der Intensitätswerte. Im Folgenden wird nur noch der Begriff Intensitätswert verwendet, er soll gleichzeitig auch Farbwerte (z.B. R-G-B oder C-M-Y-K) umfassen, die in gleicher Weise als einzelne Farbintensitätswerte betrachtet werden können.
-
Die Lösung verwendet also eine Kantenerkennung, die jedoch gegenüber bekannten Kantenerkennungsalgorithmen (Canny, Sobel etc.) verbessert ist. Innerhalb eines Auswertungsbereichs bzw. einer Region-of-interest (ROI) des Bildes, aus dem Regen erkannt werden soll, werden vorzugsweise Stellen ermittelt, an denen die Wahrscheinlichkeit Regen zu erkennen hoch ist, im Vergleich zu benachbarten Bildbereichen.
-
Eine Grundidee der Erfindung ist es, Kanten im Bild auf die Steilheit des Intensitätsanstiegs zu untersuchen. Kanten mit einem steilen Intensitätsanstieg können Objekten im Nahbereich, d.h. insbesondere Regentropfen auf der Scheibe, zugeordnet werden, und werden als relevante Kanten bezeichnet. Kanten mit einem flachen Intensitätsanstieg können Objekten im Fernbereich zugeordnet werden, die sich vor der Scheibe befinden, und sind zur Regenerkennung im Rahmen der vorliegenden Erfindung irrelevant.
-
Bevorzugt wird eine Kante mit einem steilen Anstieg als Bestandteil eines in den Bilddaten abgebildeten potentiellen Regentropfens auf der Scheibe klassifiziert. Damit ist gemeint, dass bei einer Klassifizierung von Kantenpunkten bzw. von aus Kantenpunkten gruppierten Objekten, Kanten mit einem steilen Anstieg mit einer höheren Wahrscheinlichkeit als Regentropfen klassifiziert werden – und insofern relevante Kanten sind – als Kanten, die einen flachen Anstieg aufweisen.
-
Gemäß einer vorteilhaften Ausführungsform werden zur Bestimmung des Anstiegs einer Kante an einer Pixelposition die Spannweite und die Standardabweichung von Intensitätswerten innerhalb eines Fensters mit benachbarten Pixeln ausgewertet werden, wobei die Pixelposition im Zentrum des Fensters liegt. Als Fenster kann vorteilhaft ein n×n Pixel großes Fenster verwendet werden, so dass die Spannweite und die Standardabweichung von Intensitätswerten der aktuellen Pixelposition und der n2 – 1 benachbarten Pixeln ausgewertet werden. Beispielsweise werden die Intensitätswerte für ein Fenster von 3×3 Pixeln ausgewertet, wobei der aktuell betrachtete Pixel in der Mitte dieses Fensters liegt. Die Spannweite gibt die Differenz aus Maximal- und Minimalwert dieser neun einzelnen Intensitätswerte an. Auch Fenster mit n = 5, 7, ... sind vorstellbar.
-
Vorteilhaft wird tagsüber zusätzlich die durchschnittliche Intensität von Pixeln des gesamten Auswertungsbereichs ausgewertet und berücksichtigt. Beispielsweise kann die Intensität des Kantenpixels und/oder der benachbarten Pixel verglichen werden mit der durchschnittlichen Intensität von Pixeln im Auswertungsbereich des Bildes. Tagsüber erscheinen Regentropfen auf der Scheibe dunkler im Bild, daher lässt eine unterdurchschnittliche Intensität auf einen Regentropfen schließen.
-
Nachts wird bevorzugt eine Beleuchtung zumindest des Regensensorbereichs der Scheibe aktiviert. Alle starken Kanten können nachts als relevant eingestuft und zur Regenerkennung weiterbetrachtet werden.
-
In einer vorteilhaften Ausführungsform erfolgt eine Objektbildung aus einer Gruppierung der relevanten Kanten. Ausgehend von einem ersten ermittelten (und somit validen) Kantenpixel wird hierbei in alle acht benachbarten Richtungen nach weiteren validen Kantenpixeln gesucht. Gefundene benachbarte bzw. zusammenhängende Kantenpixel werden zu einem Objekt verbunden.
-
Eine bevorzugte Ausgestaltung der Erfindung sieht vor, von jedem gebildeten Objekt eine zugehörige rechteckige Fundstelle im Bild zu analysieren, um aus Anzahl der (validen) Kantenpixel, Seitenverhältnis des Bildausschnitts und/oder Prozentsatz von gesättigten Pixeln zu ermitteln, ob das gebildete Objekt einen Kandidaten für einen Regentropfen darstellt oder nicht. Gesättigte Pixel sind Pixel mit einem sehr hohen bzw. maximalen Intensitätswert, z.B. 80 oder 90 Prozent des maximalen Intensitätswerts.
-
Regentropfen haben unterschiedliche Formen und Größen, nachdem sie sich auf der Scheibe anlagern. Kleine Regentropfen können in einer bestimmten Wettersituation nahezu transparent sein. Um in dieser Situation Regen zu erkennen, kann vorteilhaft ein Schwellwert, der zur Extraktion von validen Kantenpixeln dient, angepasst werden, in Abhängigkeit von der Spannweite der Intensitätswerte der Pixel im Auswertungsbereich (der ROI) und/oder von der Belichtungszeit der Kamera.
-
In bestimmten Fällen kann es vorkommen, dass die Informationen, die aus der ROI ermittelt werden nicht ausreichen, um Sonnenreflexe von hellen Regentropfen aus den Bilddaten zu unterscheiden. Dem kann bevorzugt abgeholfen werden, indem ein zweiter Auswertungsbereich verwendet wird, um die Sonne in einem oberen Teil des Bildes zu erkennen. Eine zirkuläre Hough Transformation kann verwendet werden, um die kreisförmige Sonnenscheibe im Bild zu erkennen.
-
Das Phänomen eines „Schwalls“ tritt auf, wenn innerhalb von kurzer Zeit ein Großteil der Scheibe mit Wasser bedeckt ist. Dies stellt eine gefährliche Situation dar, weil der Fahrer praktisch nicht mehr durch das Fenster sehen kann. Um einen Wasserschwall zu erkennen, wird bevorzugt die Differenz der Gesamtzahl von starken Kanten zwischen zwei aufeinanderfolgenden Bildern berechnet. Im Bild vor dem Wasserschwall sind noch Kanten einzelner Tropfen zu erkennen, während im Bild, in dem der Wasserschwall erstmals eintritt, viele dieser Kanten verschwinden, da ein Großteil der Scheibe flächig mit Wasser bedeckt ist. Die Absolutzahl der relevanten Kanten und die relative Änderung werden zur Erkennung des Wasserschwalls mit vorgegebenen Schwellwerten verglichen. Bei Erkennung eines Wasserschwalls kann beispielsweise ein Signal an die Scheibenwischersteuerung ausgegeben werden, so dass die Scheibe mit maximaler Geschwindigkeit gewischt wird.
-
Die Erfindung bietet mehrere Vorteile:
Robustheit: Die Regenerkennung basiert auf einer Analyse von Objekten auf der Scheibe, aber auch Umgebungsinformationen (Sonne, Schatten, etc.) können berücksichtigt werden.
-
Universalität: Das Verfahren funktioniert mit jeder Kamera, die zumindest einen Teilbereich einer Fahrzeugscheibe fokussiert abbildet.
-
Kostenersparnis: Das Verfahren ist nicht sonderlich rechenaufwendig, die Regensensorfunktionalität kann problemlos in eine multifunktionale Fahrerassistenzkamera integriert werden, wobei die Regenerkennung zuverlässiger ist als bei herkömmlichen Regensensoren mittels Dioden.
-
Im Folgenden wird die Erfindung anhand von Figuren und Ausführungsbeispielen näher erläutert.
-
1 zeigt ein 3 × 3 Abfragefenster.
-
2 zeigt 4×5 Pixel eines Bildausschnitts.
-
3 zeigt, wie das Abfragefenster über den Bildausschnitt gelegt werden kann, zur Abfrage der Spannweite r und der Standardabweichung s eines bestimmten Pixels.
-
Das beschriebene Ausführungsbeispiel umfasst mehrere Schritte zur Bildauswertung:
-
1. Berechnung der Gradientengröße („Kantenstärke”)
-
Zur Regenerkennung ist die Kamera auf einen Nahbereich fokussiert. Da die Scheibe transparent ist, sind Objekte im Hintergrund bzw. im Fernbereich (wie z.B. Straße, Fußgänger, vorausfahrendes Fahrzeug) zwar sichtbar, aber die Kanten dieser Objekte sind unscharf (aufgrund der mangelnden Tiefenschärfe der Kamera). Eine ausgewählte statistische Methode wird zur Berechnung der Gradientengröße herangezogen (siehe „Fuzzy Models and Algorithms for Pattern Recognition and Image Processing", Autoren: James C. Bezdek, James Keller, Raghu Krisnapuram, Nikhil Pal, Seiten 566–567).
-
Die Spannweite (englisch: range) r und die Standardabweichung s von Pixel-Intensitätswerten Xi aus einem n × n Kern (bzw. Abfragefenster) sind wie bereits erläutert relevante Größen für den Anstieg von Kanten.
-
1 zeigt beispielhaft ein 3 × 3 Abfragefenster, das man sich über die Pixel pkl des Bildes der Kamera gelegt vorstellen kann. Die neun Fensterelemente sind von w1 bis w9 durchnummeriert und das Fenster dient zur Abfrage der Gradientenwerte für das zentrale Fensterelement w5 (in fetter Schrift dargestellt in 1). Die Größe eines Fensterelements entspricht hierbei der Größe eines Bildpixels pkl.
-
2 zeigt einen Ausschnitt des Bildes, der 20 Einzelpixel p11 bis p45 umfasst. Jeder Einzelpixel ist durch einen Intensitätswert X11 bis X45 gekennzeichnet.
-
3 zeigt, wie für den Pixel p23 aus 2 Spannweite r und Standardabweichung s bestimmt werden. Das Fenster (dicke Linien) aus 1 wird über die Pixel p12 bis p34 des Bildausschnitts (dünne Linien) aus 2 gelegt, so dass das zentrale Fensterelement w5 auf dem abzufragenden Pixel p23 liegt. Für dieses Fenster wj entsprechen die Intensitätswerte I = {X1, X2, X3, X4, X5, X6, X7, X8, X9} den Intensitätswerten {X12, X13, X14, X22, X23, X24, X32, X33, X34} der Pixel p12 bis p34 aus 2.
-
Für ein 3 × 3 Fenster sind die Funktionen fr, fs zur Berechnung der Spannweite r und der Standardabweichung s durch folgende Formeln gegeben: frs(wj) = (fr(wj), fs(wj))
-
-
Das Fenster wj kann in entsprechender Weise zur Abfrage weiterer Bildpixel pkl über den Bildausschnitt bzw. das Bild verschoben werden, wodurch sich die Werte Xi für die angegebenen Gleichungen i.d.R. ändern.
-
Die Merkmalsextraktoren fr und fs liefern also für jede Pixelposition zwei Werte, einen für die lokale Spannweite und einen für die lokale Standardabweichung. Diese Werte können nun mit je einem Schwellwert verglichen werden. Hieraus resultiert dann eine Aussage, ob eine Pixelposition einer relevanten Kante zugeordnet wird oder nicht. Tagsüber wird zusätzlich überprüft, ob der Pixel oder der Pixel und seine benachbarten Pixel gemittelt über eine niedrigere Intensität verfügen als der Mittelwert aller Pixelintensitäten im Auswertungsbereich. Sofern ein Pixel diese Kriterien (steile Kante, ggfs. tagsüber: Pixel(-region) dunkel) erfüllt, wird er als valider Pixel bezeichnet, da bislang davon auszugehen ist, dass er Bestandteil eines Regentropfens im Bild ist.
-
Kanten mit einem steilen Anstieg entsprechen Objekten im Nahbereich, also Objekten im Bereich der Windschutzscheibe. Kanten mit einem flachen Anstieg entsprechen Objekten aus dem Fernbereich bzw. aus dem Hintergrund der Windschutzscheibe. Diese vergleichsweise einfache Kantenerkennungsmethode dient dazu, starke Kanten von weichen Kanten zu unterscheiden.
-
2. Filtern von Kanten
-
Sonnen- oder andere helle Lichtreflexe in der Region-of-interest werden aufgrund Ihrer ausgeprägten Kantenstärke bei der Berechnung der Gradientengröße als mögliche Nahbereichsobjekte erkannt. Tagsüber wird daher zur Regenerkennung bevorzugt eine weitere Berechnung angestellt. Eine modifizierte Mittelwertbildung-Segmentierung der ROI wird angewendet: Eine relevante Pixelkante sollte tagsüber einen hohen Gradienten aufweisen und die Intensität des Pixels bzw. der Nachbarpixel sollte einen Wert unterhalb der mittleren ROI-Intensität aufweisen. Der Pixel bzw. die „Pixelgegend“ sollte dunkler als die durchschnittliche ROI-Intensität sein. Starke Kanten, die durch Störsignale verursacht sind, können durch morphologische Methoden eliminiert werden: Erosion mit anschließender Dilatation.
-
Zur nächtlichen Regenerkennung wird eine Infrarot-Beleuchtung der Windschutzscheibenfläche aktiviert, die zur Regenerkennung von der Kamera fokussiert abgebildet wird. Nachts können alle starken Kanten als relevante Kanten verwendet werden. Die oben beschriebene Segmentierung durch Mittelwertbildung ist hier nicht erforderlich.
-
3. Objektbildung/-erkennung durch Gruppierung von Kanten
-
Die validen Kantenpixel werden mittels einer als „object membership map“ (OMM) bezeichneten Methode zu Objekten gruppiert.
-
Jeder valide Pixel wird in acht Richtungen erweitert. Wenn einer der Nachbarpixel ebenfalls ein valider Pixel ist, wird dieser Pixel mit demselben Objektindex belegt, wie der (relevante) Ausgangspixel. Auf diese Weise werden alle miteinander verbundenen validen Pixel von relevanten Kanten mit dem Index des Objekts belegt, dem sie entsprechen. Dieser Vorgang wird wiederholt, was zu dem Ergebnis führt, dass Gruppen von verbundenen validen Pixeln erhalten werden, die jeweils mit einem Objektindex belegt sind.
-
4. Filtern von Objekten
-
Jedes Objekt wird nun im Bild durch ein Rechteck begrenzt. Die Daten der Rechtecke (Fundstellen im Bild) werden während der Auswertung der OMM-Matrix berechnet. Jede rechteckige Fundstelle im Bild wird ausgewertet, um Fehlerkennungen zu eliminieren. Irrelevante Fundstellen im Bild haben ein spezifisches Seitenverhältnis, Prozentsatz an gesättigten Pixelintensitäten (nahe des Maximalwerts), Anzahl an validen Kantenpixeln. Über eines oder mehrere dieser Kriterien können relevante von irrelevanten Fundstellen im Bild unterschieden werden. Irrelevante Fundstellen enthalten eine sehr kleine Anzahl relevanter Kanten (bzw. valider Pixel) und können als Rauschen oder Fehlsignal betrachtet werden. Die relevanten Fundstellen umfassen dagegen Kandidaten für Objekte zur Regenerkennung. Zur Verdeutlichung könnten irrelevante Fundstellen mit einem roten Rahmen im Bild belegt werden, relevante mit einem grünen Rahmen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
-
Zitierte Nicht-Patentliteratur
-
- „Fuzzy Models and Algorithms for Pattern Recognition and Image Processing“, Autoren: James C. Bezdek, James Keller, Raghu Krisnapuram, Nikhil Pal, Seiten 566–567 [0027]
