DE102012209514A1

DE102012209514A1 - Verfahren und Vorrichtung zur Detektion einer Sichtbeeinträchtigung einer Scheibe

Info

Publication number: DE102012209514A1
Application number: DE102012209514A
Authority: DE
Inventors: Daniel Weber; Annette Frederiksen; Stephan Simon
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2011-06-17
Filing date: 2012-06-06
Publication date: 2013-01-03
Also published as: WO2012171834A3; WO2012171834A2; US20140241589A1

Abstract

Es wird ein Verfahren zur Bestimmung eines Strukturbildes einer Scheibe (102) vorgeschlagen, wobei dhtigung (203) der Scheibe, insbesondere von Regentropfen, geeignet ist. Das Verfahren umfasst einen Schritt des Entfernens einer Hintergrundhelligkeit (214) aus einem Bild (210) der Scheibe, auf dem eine Oberfläche der Scheibe scharf und ein Hintergrund der Scheibe unscharf dargestellt ist, um ein Strukturbild (212) der Scheibe zu bestimmen. In einem weiteren Schritt erfolgt ein Hervorheben von in dem Strukturbild vorhandenen Bildstrukturen, um ein verstärktes Strukturbild (316) der Scheibe zu bestimmen.

Description

Stand der Technik
Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Bestimmung eines Strukturbildes einer Scheibe, auf Verfahren zur Detektion einer, insbesondere durch Regentropfen hervorgerufenen, Sichtbeeinträchtigung oder Verunreinigung einer Scheibe auf eine entsprechende Vorrichtung sowie auf ein entsprechendes Computerprogrammprodukt. Bei der Scheibe kann es sich um eine Scheibe eines Fahrzeugs oder einer fest installierten Kamera handeln.
Der „klassische" Regensensor für Kraftfahrzeuge befindet sich im Bereich des Innenspiegels hinter der Frontscheibe und ist optisch an diese angekoppelt. Wassertropfen, die sich außen auf der Scheibe befinden, führen zur Auskoppelung von Licht, das von einer Infrarot-LED erzeugt wird, während bei einer trockenen Scheibe eine Totalreflexion stattfindet. Durch die Bestimmung des Anteils des ausgekoppelten Lichts wird ein Maß für die Menge an Wasser auf der Scheibe gewonnen. Basierend auf diesem Maß und seinem zeitlichen Verlauf wird ein Signal für die Ansteuerung des Scheibenwischers erzeugt.
Die DE 10 2006 016 774 A1 beschreibt einen Regensensor, der in einem Fahrzeug angeordnet ist. Der Regensensor umfasst eine Kamera und einen Prozessor. Die Kamera nimmt durch eine Windschutzscheibe des Fahrzeugs ein Bild einer Szene außerhalb des Fahrzeugs mit einer unendlichen Brennweite auf. Der Prozessor erfasst Regen auf der Grundlage eines Streuungsgrades von Intensitäten von Pixeln in dem Bild.
Offenbarung der Erfindung
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zur Bestimmung eines Strukturbildes einer Scheibe, ein Verfahren zur Detektion einer, insbesondere durch Regentropfen hervorgerufenen, Sichtbeeinträchtigung einer Scheibe, ein Verfahren zur Detektion einer, insbesondere durch Regentropfen hervorgerufenen, Verunreinigung einer Scheibe, weiterhin eine Vorrichtung, die zumindest eines dieser Verfahren verwendet sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den unabhängigen Patentansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
Der Ausdruck Scheibe soll stellvertretend für Scheiben, Folien oder andere lichtoder strahlungsdurchlässige Einrichtungen stehen, die sich im Bilderfassungsbereich einer Bilderfassungseinrichtung befinden. Die Scheibe kann Teil der Bilderfassungseinrichtung sein oder von der Bilderfassungseinrichtung beabstandet angeordnet sein.
Unter Bild kann das gesamte Bild das eine Kamera aufnimmt oder ein Teilbereich eines solchen Bildes verstanden werden. Das Bild kann somit auch nur einen Teilbereich eines Imagers beinhalten, d.h. zur Not auch nur ein paar Pixel und nicht das gesamte Bild das die Kamera aufnimmt. Insbesondere eine Bildauswertung kann nur auf einen solchen Teilbereich angewendet werden.
Der erfindungsgemäße Ansatz lässt sich allgemein im Zusammenhang mit Bilderfassungseinrichtungen anwenden. Beispielsweise kann es sich bei der Bilderfassungseinrichtung um eine fest installierte Kamera, beispielsweise eine Überwachungskamera, handeln. Alternativ kann es sich um eine mobile Bilderfassungseinrichtung handeln, die beispielsweise in einem Fahrzeug angeordnet ist. Die im Folgenden beschriebenen Ausführungsformen und Ausführungsbeispiele beziehen sich stellvertretend auf eine Anwendung im Fahrzeugbereich, sind jedoch problemlos auf andere Anwendungsgebiete übertragbar, bei denen ebenfalls das Problem von Sichtbeeinträchtigungen, beispielsweise hervorgerufen durch Regen, Schmutz, Insekten, Kratzer oder Spritzwasser (vom Vordermann, oder der Scheibenwischanlage), auftritt.
Die Erfindung basiert auf der Erkenntnis, dass eine videobasierte Regendetektion bei einem Fahrzeug basierend auf einem Bild erfolgen kann, das eine Scheibe oder einen Ausschnitt einer Scheibe des Fahrzeugs abbildet, wobei die Scheibe oder eine äußere Oberfläche der Scheibe auf dem Bild scharf und ein Hintergrund der Scheibe unscharf abgebildet ist. Die Regendetektion kann dann basierend auf scharf dargestellten Strukturen des Bildes erfolgen. Unscharf dargestellte Strukturen können zuvor mittels einer geeigneten Bildverarbeitung aus dem Bild entfernt oder reduziert werden.
Der erfindungsgemäße Ansatz kann bei einem Regensensor mit Bildsignalanalyse umgesetzt werden, bei dem Tropfen auf der Scheibe detektiert und in Menge und/oder Anzahl quantifiziert werden. Dazu kann eine Kamera verwendet werden, die Einzelbilder oder Bildfolgen liefert.
Die Kamera kann exklusiv der Regensensorfunktion zur Verfügung stehen. Vorteilhaft ist jedoch, mit derselben Kamera auch eine oder mehrere Fahrerassistenzfunktionen zu realisieren. So kann die Kamera beispielsweise zugleich für eine Fahrspur-, Verkehrszeichen-, Personen-, Fahrzeug- oder Hindernisdetektion, für eine Einscherererkennung oder für eine Totwinkel-Überwachung eingesetzt werden.
Das Verfahren zeichnet sich besonders dadurch aus, dass es passiv arbeiten kann. Es wird also keine aktive Beleuchtung am Sensor benötigt. Das in der Szene vorhandene Umgebungslicht reicht zur Gewährleistung der Funktion bereits aus. Optional kann jedoch auch eine aktive Beleuchtung verwendet werden, um in sehr dunklen Situationen die Regendetektion zu erleichtern.
Vorteilhafterweise kann ein auf dem erfindungsgemäßen Ansatz basierender Regensensor eine oder mehrere vorhandene Fahrerassistenzkameras nutzen und beansprucht somit keinen zusätzlichen zentralen, vom Scheibenwischer überstrichenen Platz direkt unter der Scheibe. Auch muss ein erfindungsgemäßer Regensensor nicht optisch mit der Scheibe verkoppelt sein, so dass Licht in die Scheibe eingekoppelt und wieder ausgekoppelt werden kann. Es ist demnach kein langzeitstabiler Kraftschluss erforderlich, der baulich vorbereitet sein müsste. Mittels des erfindungsgemäßen Regensensors kann ein reproduzierbares und damit für den Fahrer leicht nachvollziehbares Wischverhalten gewährleistet werden, da mittels des erfindungsgemäßen Verfahrens durch den Scheibenzustand, verschiedene Tropfenarten, Salz, Schmutz, Seife, Steinschlagschäden, Kratzer, Temperatur und Umgebungslicht hervorgerufene Effekte erkannt und berücksichtigt werden können.
Besonders vorteilhaft ist, dass der erfindungsgemäße Ansatz eine Integration von Fahrerassistenzkamera und Regensensor ermöglicht. Dabei kann weit über eine Minimallösung der baulichen Integration herausgegangen werden, bei der das Messprinzip des klassischen Regensensors erhalten bleibt, jedoch Gehäuse, Spannungsversorgung und Signalanbindung, z. B. über den CAN-Bus, nur einmal erforderlich sind. Stattdessen kann erfindungsgemäß eine Fahrerassistenzkamera betrachtet werden, die die Regendetektion als Zusatzfunktion bietet und den vorhandenen Bildsensor, Imager genannt, für die Tropfenerkennung mit nutzt.
Das erfindungsgemäße Verfahren ist dabei nicht auf eine spezielle Kameraanordnung beschränkt, sondern es funktioniert mit jeder Kamera, bei der die Scheibenoberfläche fokussiert und der Rest der Szene außerhalb des Fokusbereichs ist.
Die vorliegende Erfindung schafft ein Verfahren zur Bestimmung eines Strukturbildes einer Scheibe, beispielsweise eines Fahrzeugs oder einer fest installierten Kamera, wobei das Strukturbild zur Detektion einer Sichtbeeinträchtigung der Scheibe, insbesondere von Regentropfen, geeignet ist, wobei das Verfahren die folgenden Schritte umfasst: Entfernen einer Hintergrundhelligkeit aus einem Bild der Scheibe, auf dem eine Oberfläche der Scheibe scharf und ein Hintergrund der Scheibe unscharf dargestellt ist, um ein Strukturbild der Scheibe zu bestimmen; und Hervorheben von in dem Strukturbild vorhandenen Bildstrukturen, um ein verstärktes Strukturbild der Scheibe zu bestimmen.
Bei dem Fahrzeug kann es sich um ein Kraftfahrzeug handeln. Bei der Scheibe kann es sich um eine Windschutzscheibe, Heckscheibe oder um eine andere Scheibe des Fahrzeugs handeln, die beispielsweise aus Glas oder einem anderen durchsichtigen Material gefertigt ist. Insbesondere kann es sich um eine Scheibe handeln, die durch eine Wischeinrichtung des Fahrzeugs, beispielsweise einen Scheibenwischer gereinigt werden kann. Bei der fest installierten Kamera kann es sich beispielsweise um eine Überwachungskamera handeln, die die Scheibe aufweist oder hinter der Scheibe angeordnet ist. Das Bild kann die gesamte Scheibe oder einen Teilbereich der Scheibe abbilden. Unter Scheibe kann auch die äußerste Scheibe oder Linse der Kameraoptik verstanden werden. Bei der Sichtbeeinträchtigung kann es sich um eine Verunreinigung handeln, die auf einer Oberfläche der Scheibe angeordnet ist. Die Sichtbeeinträchtigung kann eine Sicht eines Fahrzeuginsassen durch die Scheibe hindurch beeinträchtigen. Die Sichtbeeinträchtigung kann eine inhomogene Struktur aufweisen. Beispielsweise kann es sich bei der Sichtbeeinträchtigung um eine Mehrzahl von einzelnen Regentropfen handeln. Auch kann es sich bei der Sichtbeeinträchtigung um Staubpartikel, Insekten, Teerflecken, Salzflecken oder andere Verschmutzungen handeln, die eine freie Sicht durch die Scheibe beeinträchtigen können. Die Sichtbeeinträchtigung kann allgemein eine die Durchsichtigkeit oder Transparenz der Scheibe beeinflussende Störung bezeichnen. Darunter fällt beispielsweise auch eine Beschädigung der Scheibe, beispielsweise hervorgerufen durch Steinschlag. Das Bild der Scheibe kann von einer Bilderfassungseinrichtung, beispielsweise einer Kamera, erfasst und zur Weiterverarbeitung mittels des erfindungsgemäßen Verfahrens bereitgestellt werden. Die Bilderfassungseinrichtung kann auf eine Innenseite der Scheibe gerichtet sein, also beispielsweise im Innenraum des Fahrzeugs vor der Scheibe angeordnet sein. Das Bild kann von einer Bilderfassungseinrichtung erfasst werden, die zusätzlich ausgebildet ist, um sich in einem Umfeld des Fahrzeugs befindliche Objekte, beispielsweise weitere Fahrzeuge, Personen oder Verkehrsschilder, zu erfassen. Das für das erfindungsgemäße Verfahren eingesetzte Bild kann von einer solchen Bilderfassungseinrichtung erzeugt werden, indem ein Teil des Strahlengangs durch die Kamera abgeteilt und umfokussiert wird. Das Bild der Scheibe kann dabei so fokussiert werden, dass sich die Scheibe im oder nahezu im Schärfentiefebereich der Bilderfassungseinrichtung befindet, ein Hintergrund der Scheibe, der außerhalb des Fahrzeugs gelegen ist, sich dagegen außerhalb des Schärfentiefebereichs befindet. Somit ist zumindest eine Oberfläche der Scheibe und eine sich darauf befindliche Sichtbeeinträchtigung auf dem Bild scharf dargestellt. Der Hintergrund ist dagegen unscharf oder zumindest unschärfer als die Oberfläche der Scheibe dargestellt. Der unscharf dargestellte Hintergrundbereich kann bereits einige Millimeter oder einige Zentimeter hinter der äußeren Oberfläche der Scheibe beginnen und sich ins Unendliche erstrecken. Zum Entfernen der Hintergrundhelligkeit können demnach unscharf dargestellte Anteile aus dem Bild entfernt werden. Dies kann beispielsweise nach dem Prinzip des „Unscharf Markierens“ erfolgen. Das Strukturbild weist somit die verbleibenden scharf dargestellten Bereiche des Bildes auf, die die Strukturen der Sichtbeeinträchtigung ausformen. Die Strukturen können Flächen oder Umrisse der Sichtbeeinträchtigungen ausformen. Die Strukturen können einer Bildbearbeitung unterzogen werden, um erwünschte Strukturen, die der Sichtbeeinträchtigung zuzuordnen sind, zu verstärken und unerwünschte Strukturen, die dem Hintergrund zuzuordnen sind, zu reduzieren und somit das verstärkte Strukturbild zu bestimmen. Basierend auf dem verstärkten Strukturbild kann die Sichtbeeinträchtigung detektiert werden. Dazu können beispielsweise zusammenhängende Strukturen in dem verstärkten Strukturbild gezählt werden oder es können die Intensitätswerte oder Helligkeitswerte der einzelnen Bildpunkte des verstärkten Strukturbild ausgewertet werden. Auch kann das verstärkte Strukturbild mit dem erfindungsgemäßen Verfahren zur Detektion einer Sichtbeeinträchtigung einer Scheibe ausgewertet werden. Das Bild der Scheibe kann eine Mehrzahl von Bildpunkten aufweisen. Bei erfindungsgemäß durchgeführten Bildverarbeitungsschritten können zwar bildpunktweise die gleiche Operationen durchgeführt werden, die Ergebnisse sind jedoch im allgemeinen auch von den benachbarten Bildpunkten abhängig, z.B. beim Glättungsfilter oder beim Sobelfilter.
Gemäß einer Ausführungsform können in dem Schritt des Hervorhebens in dem Strukturbild vorhandene Kantenverläufe hervorgehoben werden, um das verstärkte Strukturbild der Scheibe zu bestimmen, das zur Detektion der Sichtbeeinträchtigung der Scheibe geeignet ist. Die Kantenverläufe können entlang sprunghafter oder steil verlaufender Helligkeitsveränderungen im Bild verlaufen. Die Kantenverläufe können verstärkt werden, um sie hervorzuheben. Dadurch können beispielsweise Ränder von Sichtbeeinträchtigungen im Strukturbild hervorgehoben werden.
Alternativ oder zusätzlich können im Schritt des Hervorhebens in dem Strukturbild vorhandene Extremwerte stärker hervorgehoben werden, als weitere in dem Strukturbild vorhandene Werte, um das verstärkte Strukturbild der Scheibe zu bestimmen. Insbesondere werden nicht nur Minima und Maxima hervorgehoben, sondern es werden alle von Null verschiedenen Beträge hervorgehoben, und zwar umso stärker, je mehr der Betrag von Null verschieden ist. Die Extremwerte können verstärkt werden, um sie hervorzuheben. Neben den Extremwerten können auch die übrigen Werte des Strukturbildes verstärkt werden, wobei die absolute Verstärkung umso geringer ausfallen kann, je weiter ein Wert von den Extremwerten beabstandet ist. Bei den Extremwerten kann es sich um besonders helle und besonders dunkle Bereiche des Strukturbilds handeln. Durch das Hervorheben der Extremwerte können beispielsweise Innenbereiche von Sichtbeeinträchtigungen und Koronen um die Sichtbeeinträchtigungen hervorgehoben oder unterdrückt werden. Werden sowohl die Kantenverläufe als auch die Extremwerte verstärkt, so können die daraus resultierenden Strukturbilder jeweils kombiniert, beispielsweise addiert werden, um das verstärkte Strukturbild zu erhalten. Das Hervorheben kann erfolgen, indem zunächst mittels einer Absolutwertbildung alle Werte des Strukturbilds in Absolutwerte umgewandelt werden und anschließend die Absolutwerte verstärkt werden. Das Verstärken kann durch Multiplikation mit einem Faktor erfolgen. Dabei können alle Absolutwerte mit einem für alle Absolutwerte gleichen Faktor multipliziert werden.
Das erfindungsgemäße Verfahren kann ferner einen Schritt des Ermittelns der Hintergrundhelligkeit des Bildes umfassen, um ein Hintergrundhelligkeitsbild der Scheibe zu bestimmen. In einem Schritt des Kombinierens kann das Hintergrundhelligkeitsbild mit dem Strukturbild und/oder dem verstärkten Strukturbild kombiniert werden, um ein bereinigtes Strukturbild der Scheibe zu bestimmen, das zur Detektion der Sichtbeeinträchtigung der Scheibe geeignet ist. Das bereinigte Strukturbild kann von durch die Hintergrundhelligkeit hervorgerufenen Strukturen bereinigt sein. Dabei können in dem Strukturbild enthaltene Strukturen, die beispielsweise durch eine Hintergrundbeleuchtung hervorgerufen sind, entfernt oder unterdrückt werden. Das konkrete Problem der Hintergrundbeleuchtung sind dabei nahezu punktförmige helle Lichtquellen, die nach der unscharfen Abbildung zu immer noch hellen „Unschärfescheibchen“ führen. Diese Unschärfescheibchen haben etwa die geometrische Form der Kamerablende. Bei den im Folgenden beschriebenen Ausführungsbeispielen sind sie rund, da die Kamera keine verstellbare Blende aufweist. Bei einer verstellbaren Blende wären sie z.B. sechseckig. Obwohl die Punktlichtquellen sehr unscharf abgebildet werden, bilden die Unschärfescheibchen immer noch eine deutliche Außenkontur aus, beispielsweise in Form von Kanten. Diese gilt es zu unterdrücken.
Dabei kann ein Schritt des Verstärkens von in dem Hintergrundhelligkeitsbild vorhandenen Kantenverläufen durchgeführt werden, um ein verstärktes Hintergrundhelligkeitsbild zu bestimmen. Im Schritt des Kombinierens kann das verstärkte Hintergrundhelligkeitsbild mit dem Strukturbild und/oder dem verstärkten Strukturbild kombiniert werden. Das Kombinieren kann durch eine Subtraktion erfolgen. Auf diese Weise können störende Einflüsse des Hintergrunds noch stärker reduziert werden.
Zusätzlich oder alternativ kann ein Schritt des Hervorhebens heller Bereiche des Hintergrundhelligkeitsbilds durchgeführt werden, um ein weiteres verstärktes Hintergrundhelligkeitsbild zu bestimmen. Im Schritt des Kombinierens kann das weitere verstärkte Hintergrundhelligkeitsbild mit dem Strukturbild und/oder dem verstärkten Strukturbild kombiniert werden. Das Kombinieren kann eine Multiplikation oder Division umfassen. Durch das Kombinieren können Strukturen des Strukturbildes gedämpft werden, die sich in Bereichen des Strukturbildes befinden, die mit den hellen Bereichen des Hintergrundhelligkeitsbilds übereinstimmen. Somit ist eine Nivellierung des Einflusses der hellen Bereiche des Hintergrunds möglich.
Die vorliegende Erfindung schafft ferner ein Verfahren zur Detektion einer, insbesondere durch Regentropfen hervorgerufenen, Sichtbeeinträchtigung einer Scheibe, beispielsweise eines Fahrzeugs oder einer fest installierten Kamera, das die folgenden Schritte umfasst: Auswerten von Strukturen eines Strukturbildes der Scheibe, wobei auf dem Strukturbild eine Oberfläche der Scheibe scharf und ein Hintergrund der Scheibe unscharf dargestellt ist, um die Sichtbeeinträchtigung der Scheibe zu detektieren.
Bei dem Strukturbild kann es sich um das verstärkte Strukturbild handeln, das mit dem erfindungsgemäßen Verfahren zur Bestimmung eines Strukturbildes bestimmt wurde. Auf dem Strukturbild sind die Strukturen der Sichtbeeinträchtigungen, beispielsweise Umrisse oder Flächen davon, scharf dargestellt. Nicht durch die Sichtbeeinträchtigungen hervorgerufene Strukturen sind dagegen unscharf dargestellt oder bereits aus dem Strukturbild herausgefiltert oder unterdrückt.
Beispielsweise kann im Schritt des Auswertens ein Mittelwert oder eine Summe über das Strukturbild oder eine Anzahl der Strukturen bestimmt werden. Demnach kann die Sichtbeeinträchtigung der Scheibe basierend auf dem Mittelwert, der Summe oder der Anzahl detektiert werden. Dazu kann ein Schwellwertvergleich mit einer oder mehreren Schwellen durchgeführt werden. Beispielsweise kann eine Sichtbeeinträchtigung als existent gelten, wenn der Mittelwert bzw. die Summe oder die Anzahl einen vorbestimmten Schwellwert überschreiten.
Gemäß einer Ausführungsform kann in einem Schritt des Kombinierens ein erstes Strukturbild der Scheibe mit wenigstens einem zeitlich vorangegangenen weiteren Strukturbild der Scheibe kombiniert werden, um ein kombiniertes Strukturbild der Scheibe zu bestimmen. Im Schritt des Auswertens können Strukturen des kombinierten Strukturbildes ausgewertet werden, um die Sichtbeeinträchtigung der Scheibe zu detektieren. Auf diese Weise kann eine zeitliche Veränderung der Sichtbeeinträchtigungen erfasst werden. Es können sowohl neu hinzugekommene Sichtbeeinträchtigungen, die nur auf dem weiteren Strukturbild vorhanden sind, als auch beständige Sichtbeeinträchtigungen erkannt werden, die sowohl auf dem ersten als auch auf dem weiteren Strukturbild vorhanden sind.
Beispielsweise kann im Schritt des Kombinierens eine Verknüpfung, beispielsweise Multiplikation, zwischen dem ersten Strukturbild und dem weiteren Strukturbild durchgeführt werden. Auf diese Weise können Strukturen hervorgehoben werden, die sowohl das erste Strukturbild als auch das weitere Strukturbild aufweist. Wird zwischen den Strukturbildern eine Reinigung der Scheiben durchgeführt, so können solche Strukturen auf eine schwer zu entfernende Sichtbeeinträchtigung hindeuten, die beispielsweise durch Insekten oder Teer hervorgerufen ist. Wird zwischen den Strukturbildern keine Reinigung der Scheiben durchgeführt, so können solche Strukturen auf eine sich nicht von selbst entfernende Sichtbeeinträchtigung hindeuten, die eine Reinigung der Scheibe erforderlich macht. Gemäß dieser Ausführungsform kann neben oder anstelle einer Verunreinigung auch eine die Transparenz der Scheibe beeinträchtigende Störung, beispielsweise eine Beschädigung der Scheibe, erkannt werden. Auch Schäden an der Scheibe, beispielsweise hervorgerufen durch Steinschlag, führen gemäß dieser Ausführungsform zu einer Detektion, die sich durch Wischen nicht entfernen lässt. Insofern gibt es drei Fälle. Erstens Tropfen, die sich durch das Wischen entfernen lassen. Zweitens weitere Verunreinigungen, die sich erst durch mehrfaches bzw. vielfaches Wischen entfernen lassen. Hierbei kann die Anzahl der erforderlichen Wischvorgänge weit variieren. Drittens können Störungen, beispielsweise Steinschlag, erkannt werden, die sich nicht durch Wischen entfernen lassen. Durch eine Beobachtung über einen längeren Zeitraum, der mindestens 3 Bilder umfasst, vorteilhafterweise zumindest zwei davon mit größerem zeitlichen Abstand, lassen sich die drei genannten Fälle unterscheiden.
Zusätzlich oder alternativ kann im Schritt des Kombinierens eine Verknüpfung, beispielsweise Subtraktion zwischen dem ersten Strukturbild und dem weiteren Strukturbild durchgeführt werden, um Strukturen hervorzuheben, die entweder nur das erste Strukturbild oder nur das weitere Strukturbild aufweist. Strukturen, die nur im weiteren Strukturbild erkennbar sind, können auf neu hinzugekommene Sichtbeeinträchtigungen hindeuten. Strukturen, die nur im ersten Strukturbild erkennbar sind, können dagegen auf zwischenzeitlich entfernte oder sich in ihrer Position veränderten Sichtbeeinträchtigungen hindeuten.
Mit zunehmendem Einsatz von Videosystemen im Kraftfahrzeug zur Realisierung von Fahrerassistenzsystemen, wie z.B. Nachtsichtsysteme oder warnende Videosysteme, kommt dem videobasierten Regensensor eine immer wichtigere Bedeutung zu. Eine erfindungsgemäße Möglichkeit für einen videobasierten Regensensor besteht darin, ein scharfes Abbild der Scheibe bildverarbeitungstechnisch auszuwerten. Dabei kann entweder die Kamera auf die Frontscheibe fokussiert sein, oder ein zusätzliches Optikelement, wie eine Linse oder ein Spiegel, muss diese Fokussierung realisieren. Zur Realisierung der Umfokussierung kann ein Ansatz gewählt werden, in dem die optische Zusatzkomponente in den Halterahmen bzw. das Gehäuse der Kamera integriert wird. Das von der automobilen Kamera aufgenommene Bild der fokussierten Regentropfen auf der Scheibe kann durch einen Bildverarbeitungsalgorithmus ausgewertet werden und die Tropfen detektiert werden. Bei diesem Ansatz handelt es sich um ein rein passives System.
Ein weiteres erfindungsgemäßes Prinzip kann in Regensensoren ungesetzt werden, die auf dem klassischen optischen Verfahren basieren, welches die Totalreflexion ausnutzt. Von einer Leuchtdiode (LED) wird Licht emittiert, welches in die Frontscheibe mittels Koppelelement schräg eingekoppelt wird. Bei Trockenheit der Scheibe wird das Licht an der Außenseite der Scheibe ein- oder mehrfach totalreflektiert und gelangt auf einen lichtempfindlichen Sensor, z.B. eine Fotodiode oder einen Fotowiderstand (LDR). Wenn sich Wassertropfen auf der Scheibe befinden, wird ein Teil des Lichts an der Außenseite der Scheibe ausgekoppelt und führt zu einer geringeren Intensität am Empfänger. Die Abnahme der empfangenen Lichtmenge an der Fotodiode ist ein Maß für die Regenintensität. Je mehr Wasser sich auf der Scheibe befindet, desto stärker ist die ausgekoppelte Lichtmenge und desto geringer ist die Reflexion. In Abhängigkeit der detektierten Regenmenge wird die Wischeranlage mit einer an den Benetzungszustande der Frontscheibe angepassten Geschwindigkeit gesteuert.
Dieser Ansatz weist den Vorteil auf, dass auch in Situationen mit geringer Umgebungshelligkeit bzw. sehr geringem Umgebungskontrast, z.B. bei Dunkelheit, Nacht oder Nebel, die Detektion sicher durchgeführt werden kann und auch solche Umgebungsumstände zu keinen Problemen in der Detektionssicherheit führen.
Ein erfindungsgemäßer Ansatz besteht in einer alternierenden Scheibenbeleuchtung. Dabei kommt neben einer ersten optischen Strahlung, bei der es sich um eine Umgebungsstrahlung handeln kann, zusätzlich noch eine zweite optische Strahlung durch eine zusätzliche Beleuchtungsquelle hinzu. Bei sehr geringer Umgebungshelligkeit können Lichtstrahlen ausgehend von dieser zweiten optischen Strahlung ein- oder mehrfach an den Regentropfen reflektiert werden und dadurch kann auch bei Fehlen einer ersten optischen Strahlung ein Signal von den Tropfen empfangen werden. Allerdings ist die Wahrscheinlichkeit, dass ein Strahl der zweiten optischen Strahlung an der Tropfeninnenseite reflektiert wird und in Richtung Kamera zurückgelangt gering.
Durch das Einbringen einer dritten optischen Strahlung kann ein zusätzliches Signal generiert werden, welches Informationen über die Regenmenge auf der Scheibe bietet. Zusammen mit dem Ergebnis aus der zweiten optischen Strahlung ist dadurch gerade unter schwierigen Umgebungssituationen, wie Nacht, eine zuverlässigere Regendetektion gegeben. Somit ist eine vollständige Zuverlässigkeit der Tropfendetektion unter allen Umgebungszuständen gegeben.
Dieser erfindungsgemäße Ansatz ermöglicht eine zuverlässige Detektion bei einem videobasierten Regensensor mittels alternierender Beleuchtungszustände unter kontrastarmen Umgebungsbedingungen. Alternierende Beleuchtungszustände können somit bei einem videobasierten Regensensor für eine zuverlässige Detektion und ein besseres Signal-zu-Rauschverhältnis (SNR) bei Dunkelheit beitragen.
Mittels diesem Ansatz ist ein Beheben des Problems möglich, dass Tropfen bei einheitlichem Umgebungshintergrund, z.B. Nacht, nicht oder nur schwer detektiert werden können. Somit ist eine Verbesserung des videobasierten Regensensors möglich und damit neben der Bauraumoptimierung, der besser an das menschliche Wahrnehmungsvermögen angepassten Funktionalität, der größeren sensitiven Fläche und der geringeren Scheibenfläche, die zur Anbringung benötigt wird, ein zusätzlicher Vorteil des videobasierten Regensensors gegenüber den derzeitigen Regensensoren gegeben. Durch eine zuverlässigere Regendetektion ist eine bessere Sicht des Fahrers gegeben, wodurch sich bei Nacht ein sicheres Fahren und daraus resultierend eine geringere Unfallgefahr ergibt. Zudem ist eine bessere Ausnutzung einer bereits vorhandenen Beleuchtung gegeben. Auch kann ein Ausnutzen der bereits vorhandenen optischen Zusatzelemente für die Umfokussierung erfolgen und die Beleuchtung macht aus dem passiven System des videobasierten Regensensors ein aktives System.
Demnach schafft die vorliegende Erfindung ferner ein Verfahren zur Detektion einer, insbesondere durch Regentropfen hervorgerufenen, Verunreinigung einer Scheibe, beispielsweise eines Fahrzeugs, das die folgenden Schritte umfasst: Auswerten eines auf einer Reflexion einer ersten optischen Strahlung basierenden ersten Bildes der Scheibe und eines auf einer Reflexion einer zweiten optischen Strahlung basierenden zweiten Bildes der Scheibe, um die Verunreinigung zu detektieren, wobei die erste optische Strahlung ausgebildet ist, um an einem verunreinigten Bereich der Scheibe reflektiert zu werden und wobei die zweite optische Strahlung ausgebildet ist, um an einem verunreinigungsfreien Bereich der Scheibe reflektiert zu werden.
Die erste Strahlung und die zweite Strahlung können von einer oder mehreren Strahlungsquellen bereitgestellt werden, die im Inneren des Fahrzeugs angeordnet sind. Die erste und die zweite Strahlung können sich in Bezug auf ihre Wellenlängen sowie in Bezug auf ihre Ausbreitungsrichtung in Bezug auf eine Oberfläche der Scheibe unterscheiden, so dass sie an der Scheibe ein unterschiedliches Reflexionsverhalten aufweisen. Die erste und die zweite Strahlung können zeitlich nacheinander oder gleichzeitig bereitgestellt werden. Die erste Strahlung kann so ausgerichtet sein, dass die erste Strahlung in einem Winkel auf die Scheibe trifft, in dem sie die Scheibe ohne oder nur mit geringer Reflexion durchdringen kann, sofern die Scheibe keine Verunreinigung aufweist. Weist die Scheibe dagegen eine Verunreinigung auf, so wird die erste Strahlung durch die Verunreinigung total oder zumindest sehr stark reflektiert. Die reflektierte erste Strahlung kann von einer Bilderfassungseinrichtung, beispielsweise einer Kamera, erfasst werden. Die Bilderfassungseinrichtung kann basierend auf der reflektierten ersten Strahlung das erste Bild bereitstellen. Auf dem ersten Bild sind Bereiche der Scheibe zu erkennen, an denen die erste Strahlung reflektiert wurde. Somit sind auf dem ersten Bild diejenigen Bereiche erkennbar, an denen sich eine Verunreinigung befindet. Mittels einer geeigneten Bildauswertung können diese Bereiche erkannt werden und es kann eine entsprechende Information über die erkannten Bereiche ausgegeben werden, die eine Verunreinigung aufweisen. Die zweite Strahlung kann so ausgerichtet sein, dass die zweite Strahlung in einem Winkel auf die Scheibe trifft, in dem sie an der Scheibe total oder zumindest sehr stark reflektiert wird, sofern die Scheibe keine Verunreinigung aufweist. Weist die die Scheibe dagegen eine Verunreinigung auf, so kann die zweite Strahlung aufgrund der Verunreinigung die Scheibe und die Verunreinigung ohne oder nur mit geringer Reflexion durchdringen. Die reflektierte zweite Strahlung kann von der oder einer weiteren Bilderfassungseinrichtung erfasst werden. Die Bilderfassungseinrichtung kann basierend auf der reflektierten zweiten Strahlung das zweite Bild bereitstellen. Auf dem zweiten Bild sind Bereiche der Scheibe zu erkennen, an denen die zweite Strahlung reflektiert wurde. Somit sind auf dem zweiten Bild diejenigen Bereiche erkennbar, an denen sich keine Verunreinigung befindet. Mittels einer geeigneten Bildauswertung können diese Bereiche erkannt werden und es kann eine entsprechende Information über die erkannten Bereiche ausgegeben werden, die keine Verunreinigung aufweisen. Somit können Verunreinigungen sowohl basierend auf der ersten als auch auf der zweiten Strahlung detektiert werden. Dazu können das erste Bild und das zweite Bild getrennt voneinander ausgewertet werden oder vor der Auswertung kombiniert werden. Im Schritt des Auswertens kann ein Mittelwert oder eine Summe über das oder die Bilder bestimmt werden. Auch kann eine Anzahl derjenigen Bereiche ermittelt werden, an denen sich Verunreinigungen befinden. Demnach kann die Verunreinigung der Scheibe basierend auf dem Mittelwert, der Summe oder der Anzahl detektiert werden. Dazu kann ein Schwellwertvergleich mit einer oder mehreren Schwellen durchgeführt werden. Beispielsweise kann eine Verunreinigung als existent gelten, wenn der Mittelwert bzw. die Summe oder die Anzahl einen vorbestimmten Schwellwert überschreiten. Neben der ersten Strahlung und der zweiten Strahlung kann die Umgebungsstrahlung oder Umgebungshelligkeit ausgewertet werden. Basierend auf der Umgebungsstrahlung kann ein weiteres Bild generiert werden, das zusätzlich separat zu dem ersten und zweiten Bild ausgewertet wird oder mit dem ersten und dem zweiten Bild vor der Auswertung kombiniert wird. Bei dem weiteren Bild kann es sich um ein erfindungsgemäß bestimmtes Strukturbild, Hintergrundhelligkeitsbild oder eine Kombination daraus handeln.
Gemäß einer Ausführungsform kann das erste Bild oder das zweite Bild invertiert und mit dem jeweils anderen Bild überlagert werden, um ein überlagertes Bild zu ermitteln. Im Schritt des Auswertens kann das überlagerte Bild ausgewertet werden, um die Verunreinigung zu detektieren. Indem eines der Bilder vor der Überlagerung invertiert wird, zeigen beide Bilder entweder diejenigen Bereiche an, an denen sich eine Verunreinigung befindet, oder aber diejenigen Bereiche, die frei von einer Verunreinigung sind.
Die vorliegende Erfindung schafft ferner eine oder mehrere Vorrichtungen, die jeweils ausgebildet sind, um die Schritte eines oder mehrerer der erfindungsgemäßen Verfahren in entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuersignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind. Anstelle einer Realisierung in einem ASIC kann eine FPGA-Realisierung vorteilhaft sein. Beispielsweise können die datenintensiven Bildverarbeitungsteile auf einem FPGA durchführt werden und die weitere Verarbeitung bis hin zur Erzeugung der Steuersignale können auf einem Mikrocontroller durchgeführt werden.
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programm auf einem, einem Computer entsprechenden Gerät ausgeführt wird.
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
1 eine schematische Darstellung eines Ausführungsbeispiels der vorliegenden Erfindung;
2 bis 4 Blockschaltbilder von Ausführungsbeispielen der vorliegenden Erfindung;
5 bis 15 Bilder einer Scheibe in unterschiedlichen Bearbeitungszuständen, gemäß Ausführungsbeispielen der vorliegenden Erfindung;
16 eine schematische Darstellung eines weiteren Ausführungsbeispiels der vorliegenden Erfindung;
17 bis 19 schematische Bilder einer Scheibe, gemäß Ausführungsbeispielen der vorliegenden Erfindung
20 ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens; und
21 bis 24 Bilder einer Scheibe, gemäß Ausführungsbeispielen der vorliegenden Erfindung.
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
1 zeigt ein Fahrzeug 100 mit einer Scheibe 102 und eine Kamera 104. Das Fahrzeug 100 bewegt sich auf ein Objekt 106, beispielsweise ein Verkehrsschild zu. Bei der Scheibe 102 kann es sich um eine Frontscheibe des Fahrzeugs 100 handeln. Die Kamera 104 kann im Inneren des Fahrzeugs 100 so angeordnet sein, dass sie ein Umfeld des Fahrzeugs 100 durch die Scheibe 102 erfassen kann. Die Kamera 104 ist ausgebildet, um einen Teilbereich der Scheibe 102 und das sich im Umfeld des Fahrzeugs 100 befindliche Objekt 106 zu erfassen und ein entsprechendes Bild bereitzustellen. Gemäß diesem Ausführungsbeispiel ist ein Tiefenschärfebereich der Kamera 104 so eingestellt, dass sich die Scheibe 102 in dem Tiefenschärfebereich der Kamera 104 befindet. Das Umfeld des Fahrzeugs 100 und insbesondere das Objekt 106 befinden sich dagegen außerhalb des Tiefenschärfebereichs der Kamera 104. Somit ist die Scheibe 102 und eine sich unter Umständen auf der Scheibe 102 befindliche Sichtbeeinträchtigung oder Verunreinigung, beispielsweise in Form von Regentropfen, auf einem von der Kamera 104 bereitgestellten Bild scharf dargestellt. Das Umfeld des Fahrzeugs 100 und somit auch das Objekt 106 sind auf dem Bild unscharf dargestellt.
Bezüglich der Kamera 104 kann eine Umfokussierung, z.B. mit Spiegeloptik, realisiert sein. Wegen der Umfokussierung besteht die Möglichkeit für ein Sekundärbild, bei dem es sich um ein auf die Scheibe fokussiertes Bild handelt, eine andere Blickrichtung zu wählen als für ein Primärbild. Es ist also auch möglich, das Sichtstrahlenbündel des Sekundärbilds so auszulegen, das es in den Himmel oder zum Boden oder zur Seite zu blickt. Ein Ausführungsbeispiel eines Primärbilds und eines Sekundärbilds ist in 5 gezeigt.
Das von der Kamera 104 bereitgestellte Bild kann zum Detektieren einer Sichtbeeinträchtigung der Scheibe 102 eingesetzt werden. Dazu kann das Bild einer entsprechenden Bildverarbeitung und Bildauswertung unterzogen werden.
Die 2 bis 4 zeigen eine in mehrere Teilabschnitte unterteilte videobasierte Regendetektion, gemäß Ausführungsbeispielen der vorliegenden Erfindung. Die Teilabschnitte können kombiniert werden, so dass die Ausgangsdaten des in 2 gezeigten Blockschaltbilds Eingangsdaten des in 3 gezeigten Blockschaltbilds und die Ausgangsdaten des in 3 gezeigten Blockschaltbilds Eingangsdaten des in 4 gezeigten Blockschaltbilds darstellen. Das in 2 gezeigte Blockschaltbild befasst sich mit einer Bestimmung von Strukturen eines Bilds einer Scheibe, auf oder in der sich Sichtbeeinträchtigungen befinden. Das in 3 gezeigte Blockschaltbild befasst sich mit einer Hervorhebung der Strukturen des Bildes und das in 4 gezeigte Blockschaltbild befasst sich mit einer zeitlichen Auswertung der Strukturen des Bildes, um die Sichtbeeinträchtigungen anhand der Strukturen und ihres zeitlichen Verhaltens zu klassifzieren.
2 zeigt ein Blockschaltbild zur Bestimmung eines Strukturbildes gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Gezeigt sind eine Scheibe 102 und eine Bilderfassungseinrichtung 104. Bei der Scheibe kann es sich um die in 1 gezeigte Frontscheibe eines Fahrzeugs handeln. Bei der Bilderfassungseinrichtung 104 kann es sich um die in 1 gezeigte Kamera, beispielsweise in Form einer Regensensor-Kamera handeln. Auf einer äußeren, der Kamera 104 gegenüberliegenden, Oberfläche der Scheibe 102 befindet sich eine Sichtbeeinträchtigung 203 in Form einer Mehrzahl von Regentropfen. Einen Teilbereich der Scheibe 102 und die sich auf dem Teilbereich befindlichen Regentropfen 203 befinden sich im Bilderfassungsbereich der Kamera 104. Die Kamera 104 ist ausgebildet, um ein Bild 210 bereitzustellen. Das Bild 210 kann aus einer Mehrzahl von einzelnen Bildpunkten aufgebaut sein. Aus dem Bild 210 kann ein Strukturbild 212 und ein Hintergrundhelligkeitsbild 214 bestimmt werden.
Gemäß diesem Ausführungsbeispiel kann das Bild 210 und somit jeder Bildpunkt ein Wertebereich von 12 Bit aufweisen. Das Bild 210 wird an einer Einrichtung 220 zur Luminanzextraktion, in der nicht benötigte Farbinformationen aus dem Bild 210 entfernt werden können, bereitgestellt. Anschließend wird in einer Einrichtung 222 eine adaptive Histogramm-basierte Kompression durchgeführt. Dabei kann der Wertebereich des Bildes, beispielsweise auf 8 Bit, reduziert werden. Anschließend kann in einer Einrichtung 224 ein Bildausschnitt aus dem Bild 210 ausgewählt und zur Weiterverarbeitung bereitgestellt werden.
Zum Bestimmen des Hintergrundhelligkeitsbilds 214 können scharf dargestellte Strukturen aus dem Bild 210 herausgefiltert werden, so dass die unscharfen Strukturen der Hintergrundhelligkeit verbleiben. Dazu kann der von der Einrichtung 224 bereitgestellte Bildausschnitt mittels eines Tiefpass-Filters 226 gefiltert werden. Der Tiefpass-Filter 226 kann so ausgeführt sein, dass die örtliche Ausdehnung seiner Stoßantwort etwa gleich groß oder größer ist als die Ausmaße im Bild der zu detektierenden Sichtbeeinträchtigungen. Der Filter 226 kann ausgebildet sein, um das Hintergrundhelligkeitsbild 214 auszugeben.
Zum Bestimmen des Strukturbilds 212 kann der von der Einrichtung 224 bereitgestellte Bildausschnitt mit dem Hintergrundhelligkeitsbild 214 kombiniert werden. Zum Befreien des Strukturbilds 212 von der Hintergrundhelligkeit kann das Prinzip des „unscharf Maskierens“ eingesetzt werden. Es kann also das Hintergrundhelligkeitsbild 214 von dem Bild 210 subtrahiert werden. Beispielsweise kann das Hintergrundhelligkeitsbild 214 invertiert und anschließend in einer Kombinationseinrichtung 230 mit dem von der Einrichtung 224 bereitgestellten Bildausschnitt kombiniert, beispielsweise addiert, werden. Somit kann die Additionseinrichtung 230 das Strukturbild 212 ausgeben. Das Strukturbild ist gemäß diesem Ausführungsbeispiels vorzeichenbehaftet. Das Strukturbild 212 kann von der Hintergrundhelligkeit befreit sein.
Zur Veranschaulichung der in 2 dargestellten Bildverarbeitungsschritte sind Ausführungsbeispiele eines Bildes 210, eines Strukturbildes 212 und eines Hintergrundhelligkeitsbildes 214 in den 5 bis 7 gezeigt.
Die Einrichtungen 220, 222, 224 sind optional. Sofern sie eingesetzt werden, können sie auch in einer anderen als der gezeigten Reihenfolge angeordnet sein. Gemäß einem Ausführungsbeispiel kann auch nur das Strukturbild 212 bestimmt werden. In diesem Fall können die Sichtbeeinträchtigungen basierend auf dem Strukturbild 212 bestimmt werden.
Alternativ können die Scheibe 102 und die Kamera 104 außerhalb eines Fahrzeugs angeordnet sein und beispielsweise fest an einem Bauwerk installiert sein. Die Scheibe 102 kann von der Kamera 104 beabstandet angeordnet sein, oder Teil der Kamera 104 sein.
3 zeigt ein Blockschaltbild zur Bestimmung eines verstärkten Strukturbildes 316 aus einem Strukturbild 212 und einem Hintergrundhelligkeitsbild 214 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Strukturbild 212 und das Hintergrundhelligkeitsbild 214 können basierend auf dem in 3 gezeigten Verfahren bestimmt werden.
Das Strukturbild 212 wird empfangen und zum einen einem ersten Signalverarbeitungszweig, der Einrichtungen 321, 323 aufweist, und zum anderen einem zweiten Signalverarbeitungszweig, der Einrichtungen 325, 327, 329 aufweist, zugeführt. Aus dem ersten Signalverarbeitungszweig und dem zweiten Signalverarbeitungszweig resultierende Bilder werden in einer Einrichtung 331 miteinander kombiniert.
Der erste Signalverarbeitungszweig ist ausgebildet, um betragsmäßig hohe Amplituden der Bildpunkte des Strukturbilds 212 hervorzuheben. Dadurch können zum einen Bereiche, die eine große Helligkeit aufweisen, als auch Bereiche, die eine große Dunkelheit aufweisen, verstärkt werden. Handelt es sich bei der Sichtbeeinträchtigung der Scheibe um Tropfen, so kann auf diese Weise ein Tropfeninneres hervorgehoben werden. Nebenbei wird dabei auch eine Corona um die Tropfen herum hervorgehoben. Sind die Bildpunkte des Strukturbilds 212 vorzeichenbehaftet, so können stark positive oder stark negative Werte stärker hervorgehoben werden, als Werte, die in der Nähe des Nullpunkts liegen. Dazu kann die Einrichtung 321 ausgebildet sein, um eine Absolutwertbildung abs() durchzuführen. Dabei kann für jeden der Bildpunkte der entsprechende Absolutwert gebildet werden. Die von der Einrichtung 321 bereitgestellten Absolutwerte können anschließend in der Einrichtung 323 verstärkt werden, indem sie beispielsweise mit einem Faktor multipliziert werden. Beispielsweise können die Absolutwerte jeweils mit dem Faktor 16 multipliziert werden.
Der zweite Signalverarbeitungszweig ist ausgebildet, um in dem Strukturbild 212 vorhandene Kantenverläufe hervorzuheben. Dabei können Kantenverläufe unabhängig von ihrer Ausrichtung hervorgehoben werden. Dadurch können Umrisse der Sichtbeeinträchtigungen, also beispielsweise Tropfenränder, verstärkt werden. Zum Hervorheben der Kantenverläufe können in der Einrichtung 325 geeignete Filter, beispielsweise Sobel-Filter, eingesetzt werden. Gemäß diesem Ausführungsbeispiel werden für eine x-Ausrichtung und eine y-Ausrichtung zwei parallele Filter eingesetzt, deren Ausgangswerte jeweils quadriert und anschließend miteinander kombiniert, beispielsweise addiert, werden und in der Einrichtung 327 einer Wurzelbildung unterzogen werden. Es sind auch alternative Ausgestaltungen für die Einrichtung 325 möglich, beispielsweise durch jeweilige Betragsbildung und nachfolgende Addition der beiden Sobelfilter-Ausgänge. Die Wurzelbildung 327 kann dann entfallen. Anschließend kann in der Einrichtung 329 eine Werteanpassung, beispielsweise durch Multiplikation mit einem Faktor, durchgeführt werden. Der Faktor kann den Wert 0,5 aufweisen.
Die von den Einrichtungen 323, 329 bereitgestellten Bildinformationen können in der Einrichtung 331 miteinander verknüpft werden, z.B. durch Addition. Gemäß weiteren Ausführungsbeispielen kann auch nur der erste oder nur der zweite Signalverarbeitungszweig ausgeführt werden, um das verstärkte Strukturbild 316 zu bestimmen.
Das Hintergrundhelligkeitsbild 214 kann eingesetzt werden, um das verstärkte Strukturbild 316 von Störeffekten zu befreien, die durch die Hintergrundhelligkeit hervorgerufen werden. Bei den Störeffekten kann es sich um Kanten handeln, die durch eine unscharfe Abbildung von sich im Hintergrund befindlichen punktförmigen Lichtquellen hervorgerufen werden. Dazu kann das Hintergrundhelligkeitsbild 214 empfangen und zum einen einem dritten Signalverarbeitungszweig, der Einrichtungen 333, 335, 337 aufweist, und zum anderen einem vierten Signalverarbeitungszweig, der Einrichtungen 339, 341, 343, 345, 347 aufweist, zugeführt werden. Aus dem dritten Signalverarbeitungszweig und dem vierten Signalverarbeitungszweig resultierende Bilder können in Einrichtung 339, 349 mit dem von der Einrichtung 331 bereitgestellten Bild kombiniert werden.
Der dritte Signalverarbeitungszweig ist ausgebildet, um in dem Hintergrundhelligkeitsbild 214 vorhandene Kantenverläufe hervorzuheben. Dadurch können Helligkeitsgradienten hervorgehoben werden. Zum Hervorheben der Kantenverläufe können in der Einrichtung 333 geeignete Filter, beispielsweise Sobel-Filter, eingesetzt werden. Die Einrichtung 333 kann entsprechend der Einrichtung 325 ausgeführt sein. Nach der Filterung kann in der Einrichtung 335 eine Wurzelbildung und in der Einrichtung 337 eine Invertierung durchgeführt werden. Die Einrichtung 339 kann als Additionseinrichtung ausgebildet sein, um die von den Einrichtungen 331, 337 bereitgestellten Bilddaten zu addieren. Somit können die im dritten Signalverarbeitungszweig bestimmten Helligkeitsgradienten von dem im ersten und zweiten Signalverarbeitungszweig vorverarbeiteten Strukturbild 212 abgezogen und somit im verstärkten Strukturbild 316 unterdrückt werden. Es sind auch alternative Ausgestaltungen für die Einrichtung 333 möglich, beispielsweise durch jeweilige Betragsbildung und nachfolgende Addition der beiden Sobelfilter-Ausgänge. Die Wurzelbildung 335 kann dann entfallen.
Der vierte Signalverarbeitungszweig ist ausgebildet, um in dem Hintergrundhelligkeitsbild 214 vorhandene Bereiche überdurchschnittlicher Helligkeit auszuwählen. Dadurch wird eine Nivellierung des Einflusses von hellen Bereichen möglich. Dazu kann die Einrichtung 339 ausgebildet sein, um eine Mittelwertbildung mean() über das Hintergrundhelligkeitsbild 214 durchzuführen und die nachfolgende Einrichtung 341 kann ausgebildet sein, um eine Kehrwertbildung 1/x durchzuführen. In der Einrichtung 343 kann das von der Einrichtung 341 bereitgestellte Bild mit dem Hintergrundhelligkeitsbild 214 kombiniert, beispielsweise multipliziert, werden. Anschließend können in der Einrichtung 345 Bildwerte, die kleiner als ein Schwellwert, beispielsweise Eins, sind, auf Eins gesetzt und Bildwerte, die größer als der Schwellwert sind, unverändert belassen werden. Somit kann in der Einrichtung 345 eine Funktion max(x,1) umgesetzt sein. In der an die Einrichtung 345 anschließenden Einrichtung 347 kann wiederum eine Kehrwertbildung 1/x durchgeführt werden.
Die Einrichtung 349 kann ausgebildet sein, um die im vierten Signalverarbeitungszweig gebildeten Bilddaten mit den Bilddaten des im ersten und zweiten Signalverarbeitungszweig vorverarbeiteten Strukturbilds 212 zu kombinieren, beispielsweise zu multiplizieren, um die Nivellierung des Einflusses der hellen Bereiche im verstärkten Strukturbild 316 zu erzielen.
Zur Veranschaulichung der in 3 gezeigten Verarbeitungsschritte sind Ausführungsbeispiele eines von dem ersten Signalverarbeitungszweig ausgegebenen Bildes in 8, eines von dem zweiten Signalverarbeitungszweig ausgegebenen Bildes in 9, eines von dem dritten Signalverarbeitungszweig ausgegebenen Bildes in 10, eines von dem vierten Signalverarbeitungszweig ausgegebenen Bildes in 11 und das verstärkte Strukturbild 316 in 12 gezeigt.
Gemäß weiteren Ausführungsbeispielen kann auch nur der dritte, nur der vierte oder weder der dritte noch der vierte Signalverarbeitungszweig ausgeführt werden, um das verstärkte Strukturbilds 316 zu beeinflussen. Bestimmt wird das verstärkte Strukturbilds 316 im Wesentlichen durch die ersten beiden Zweige.
4 zeigt ein Blockschaltbild zur Detektion einer Sichtbeeinträchtigung auf der Scheibe, basierend auf dem verstärkten Strukturbild 316, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das verstärkte Strukturbild 316 kann basierend auf dem in 3 gezeigten Verfahren bestimmt werden. Gemäß diesem Ausführungsbeispiel kann es sich bei der Sichtbeeinträchtigung um Tropfen handeln und basierend auf dem verstärkten Strukturbild 316 kann ein stabile Tropfen umfassendes Bild 418 und ein neue Tropfen umfassendes Bild 420 bestimmt werden.
Gemäß diesem Ausführungsbeispiel können in einer Einrichtung 421 zunächst negative Werte des verstärkten Strukturbilds 316 auf Null gesetzt werden und positive Werte unverändert gelassen werden. Es kann die Funktion max(x,0) in der Einrichtung 421 umgesetzt werden. Das von der Einrichtung 421 ausgegebene Bild kann einer Verzögerungseinrichtung 423, sowie Kombinationseinrichtungen 425, 426 zugeführt werden. Die Verzögerungseinrichtung 423 kann eine Verzögerung um eine Zeit T bewirken, die einem zeitlichen Abstand zwischen zwei aufeinander folgenden Bildern entsprechen kann. Somit kann in den Kombinationseinrichtungen 425, 426 ein aktuelles Bild mit einem Vorgänger kombiniert werden. Neue Tropfen, Verunreinigungen oder Sichtbeeinträchtigungen können solche definieren, die innerhalb der Zeitdauer T neu hinzugekommen sind und daher nur auf dem aktuellen Bild, jedoch nicht auf dem vorangegangenen Bild vorhanden sind.
In den Kombinationseinrichtungen 425, 426 kann auch eine Mehrzahl von zeitlich auseinanderliegenden Bildern miteinander kombiniert werden. Die zeitlichen Abstände zwischen den kombinierten Bildern können dabei jeweils gleich oder unterschiedlich sein. Zeitlich zurückliegende Bildinformationen können dazu in einer geeigneten Speichereinrichtung zwischengespeichert werden. Um unterschiedliche Formen von Sichtbeeinträchtigungen zu erkennen und zu klassifizieren, können unterschiedliche Bilder kombiniert werden. Um überhaupt eine Sichtbeeinträchtigung zu erkennen kann eine Kombination von lediglich zwei zeitlich aufeinanderfolgenden Bildern ausreichend sein. Um leicht zu entfernende Verunreinigungen, wie Regentropfen, zu erkennen, kann eine Kombination von lediglich zwei Bildern ausreichend sein, zwischen deren Aufnahme lediglich ein Wischvorgang stattfindet. Um schwer zu entfernende Verunreinigungen, wie Insekten, zu erkennen, kann eine Kombination von drei oder mehr Bildern erforderlich sein, zwischen deren Aufnahme mehrere Wischvorgänge stattfinden. Um durch Scheibenwischen nicht entfernbare Verunreinigungen oder auch um Schäden an der Scheibe zu erkennen und als solche zu klassifizieren, kann eine Kombination von zumindest zwei Bildern erforderlich sein, zwischen deren Aufnahme eine bestimmte Anzahl von Wischvorgängen stattfindet, die üblicherweise ausreichend ist, um andere Verunreinigungen zu entfernen. Eine Sichtbeeinträchtigung die bereits nach einem Wischvorgang entfernt ist, kann als leicht zu entfernende Verunreinigung klassifiziert werden. Eine Sichtbeeinträchtigung die über mehrere Wischvorgänge bestehen bleibt und erst nach den mehreren Wischvorgängen wieder entfernt ist, kann als schwer zu entfernende Verunreinigung klassifiziert werden. Eine Sichtbeeinträchtigung die auch nach einer großen Anzahl von Wischvorgängen noch vorhanden ist, kann als nicht entfernbare Sichtbeeinträchtigung klassifiziert werden. Die Klassifikation kann mittels einer geeigneten Klassifikationseinrichtung durchgeführt werden, die beispielsweise die auszuwertenden Bilder sowie deren Aufbereitung und Auswertung vorgibt.
Zum Bestimmen des die stabile Tropfen umfassenden Bildes 418 kann bildpunktweise jeweils ein geometrischer Mittelwert über einander entsprechende Bildpunkte des aktuellen Bilds und des Vorgängerbild gebildet werden. Dazu kann das aktuelle Bild mit dem Vorgängerbild in der Kombinationseinrichtung 425 verknüpft, beispielsweise multipliziert, werden. Anschließend kann in einer Einrichtung 427 eine Wurzelbildung durchgeführt werden. In einer Kombinationseinrichtung 429, beispielsweise einer Additionseinrichtung, kann anschließend eine Konstante aufaddiert werden. Gemäß diesem Ausführungsbeispiel kann die Konstante einen Wert von –50 aufweisen. In einer weiteren Einrichtung 431 kann ein Wertebereich der Bildpunkte des resultierenden Bildes sowohl nach oben als nach unten begrenzt werden. In der Einrichtung 431 kann eine Funktion umgesetzt werden, bei der eine Beschneidung des Wertebereich auf einen vorbestimmten Bereich, beispielsweise zwischen 0 bis 255 (beides einschließlich) erfolgt. Von der Einrichtung 431 ausgegebene Daten bilden das die stabilen Tropfen umfassende Bild 418.
Zum Bestimmen des neue Tropfen umfassenden Bildes 420 kann das Vorgängerbild von dem aktuellen Bild subtrahiert werden. Dazu kann eine Invertierungseinrichtung 433 und die Kombinationseinrichtung 426, beispielsweise in Form einer Additionseinrichtung, eingesetzt werden. Dem von der Kombinationseinrichtung 426 ausgegebenen Bild kann in einer Additionseinrichtung 437 eine Konstante aufaddiert werden. Gemäß diesem Ausführungsbeispiel kann die Konstante einen Wert von –50 aufweisen. In einer weiteren Einrichtung 439 kann ein Wertebereich der Bildpunkte des resultierenden Bild sowohl nach oben als nach unten begrenzt werden. In der Einrichtung 439 kann eine Funktion umgesetzt werden, bei der eine Beschneidung des Wertebereich auf einen vorbestimmten Bereich, beispielsweise zwischen 0 bis 255 (beides einschließlich) erfolgt. Von der Einrichtung 439 ausgegebene Daten bilden das die neuen Tropfen umfassende Bild 420.
Zur Veranschaulichung der in 4 gezeigten Verarbeitungsschritte sind Ausführungsbeispiele eines die stabilen Tropfen umfassenden Bilds 418 in 13 und ein die neuen Tropfen umfassenden Bilds 420 in 14 gezeigt.
Gemäß weiteren Ausführungsbeispielen kann auch nur die Information 418 über die stabilen Tropfen oder nur die Information 420 über die neuen Tropfen bestimmt und bereitgestellt werden. Gemäß einem Ausführungsbeispiel können auch die beiden in 4 gezeigten Zweige weglassen werden, also der Output 316 von 3 unmittelbar verwendet werden, um die Sichtbeeinträchtigung zu erkennen.
Das die stabilen Tropfen umfassende Bild 418 und das die neuen Tropfen umfassende Bild 420 können mittels einer Bildauswertung ausgewertet werden, um die stabilen und neuen Tropfen beispielsweise zu quantifizieren.
Im Folgenden werden die anhand der 2 bis 3 gezeigten Blockschaltbilder anhand eines Ausführungsbeispiels einer videobasierten Regendetektion detailliert beschrieben.
Gemäß diesem Ausführungsbeispiel wird davon ausgegangen, dass eine Kamera mindestens ein Bild, vorzugsweise eine fortlaufende Sequenz von Bildern, einer durchsichtigen Scheibe, z. B. einer Fahrzeug-Frontscheibe aufnimmt. Im Falle einer Fahrzeugscheibe befindet sich die Kamera im Fahrzeuginneren. Auf der Außenseite der Scheibe können sich Wassertropfen befinden, die bei Vorhandensein detektiert und in Menge und/oder Anzahl quantifiziert werden sollen.
Die Anordnung soll so ausgeführt sein, dass sich die Tropfen etwa im Schärfentiefebereich der Kamera oder eines Kamerabildausschnitts befinden. Alle weiteren Szenenobjekte, beispielsweise die Straße, Gebäude, Fahrzeuge, Fußgänger, Bäume oder Wolken sollen sich außerhalb des Schärfentiefebereichs befinden.
Dies hat zur Folge, dass Tropfen und sonstige Objekte direkt auf der Scheibe scharf abgebildet werden, während alle Szenenobjekte unscharf abgebildet werden. Diese Eigenschaft macht sich das erfindungsgemäße Bildverarbeitungsverfahren zunutze, das anhand der 2 bis 3 dargestellt ist.
Wie in 2 dargestellt, liefert die Kamera ein Bild der (Front-)scheibe, das zumindest in einem Teilbereich auf die Außenseite der Scheibe fokussiert ist.
Da Fahrerassistenzszenen eine hohe Dynamik aufweisen können, besitzt die Kamera vorteilhafterweise eine entsprechende Signaldynamik. Beispielsweise kann sie ein Ausgangssignal mit einer 12 bit Auflösung der Luminanz liefern.
Falls die Kamera Farbfilter verwendet, kann zunächst eine Luminanzextraktion (Helligkeitssignal) stattfinden, wenn von der Farbinformation nachfolgend kein Gebrauch gemacht wird. Gemäß dem hier beschriebenen Ausführungsbeispiel wird von der Farbinformation kein Gebrauch gemacht. Alternativ kann von der Farbinformation noch Gebrauch gemacht werden. Beispielsweise kann die Farbinformation eingesetzt werden, um eine Information darüber zu ermitteln, ob die Unschärfescheibchen von einem Front- oder Rücklicht erzeugt wurden. Eine entsprechende Information kann beispielsweise an weitere Fahrzeugsysteme zur Weiterverarbeitung bereitgestellt werden. Sofern die Farbe nicht benötigt wird, kann ein Bildsensor eingesetzt werden, bei dem der Farbfilteraufdruck zumindest auf dem Sekundärbildteil des Bildsensors weglassen ist.
Weiterhin kann eine globale Histogramm-basierte Kompression des Eingangssignals durchgeführt werden, um die Dynamik auf 8 bit zu reduzieren. Hierbei kann basierend auf dem Histogramm der Luminanz eine Kompressionskennline bestimmt werden, die anschließend auf die Grauwerte aller Bildpunkte per Look-Up-Tabelle angewendet wird. Damit wird eine Anpassung an unterschiedliche Eingangsdynamiken erreicht. Die Kompressorkennlinie ist so gewählt, dass das Ausgangssignal in jeder Situation die verfügbaren 256 Grauwerte gut ausnutzt und somit eine hohe Signalentropie gewahrt bleibt.
Anschließend kann ein Bildausschnitt für die Regendetektion extrahiert werden. Die Reihenfolge von Kompression und Bildausschnitt kann auch getauscht werden.
Das resultierende Bild 210 ist beispielhaft in 5 unten gezeigt. Dieses Bildsignal 210 weist unter Umständen eine sehr starke Abhängigkeit von der Beleuchtung in der Szene auf. Hier ist beispielsweise zu erkennen, dass die Scheinwerfer des entgegenkommenden Fahrzeugs 501 zu großen Lichtkreisen 503 führen. Neben den Lichtkreisen ist eine Mehrzahl von Tropfen 505 zu sehen, von denen der Übersichtlichkeit halber nur ein Tropfen mit einem Bezugszeichen versehen ist. Der oben gezeigte erste Bildausschnitt, das so genannte Primärbild, kann für die bekannten Fahrerassistenzfunktionen zur Umfelderfassung verwendet werden, während der unten gezeigte zweite Bildausschnitt 210, das so genannte Sekundärbild, der Regendetektion dient.
Um eine weitgehende Unabhängigkeit vom Umgebungslicht zu erreichen, wird eine Zerlegung in Tiefpassanteil und Hochpassanteil durchgeführt. Dies lässt sich z. B. durch Tiefpassfilterung und Differenzbildung erreichen.
Der Hochpassanteil wird nachfolgend als Strukturbild bezeichnet, der Tiefpassanteil als Hintergrundhelligkeitsbild.
6 zeigt ein Hintergrundhelligkeitsbild 214. Das Hintergrundhelligkeitsbild 214 ergibt sich aus der Tiefpassfilterung des Sekundärbilds. In dem Hintergrundhelligkeitsbild 214 sind die großen Lichtkreisen 503 herausgestellt.
7 zeigt ein Strukturbild 212, hier zur Visualisierung um einen konstanten Grauwert angehoben. Das Strukturbild 212 weist noch die Struktur der Tropfen 505 auf, ist aber vom Einfluss der Hintergrundhelligkeit weitgehend befreit. Es sind lediglich Kanten der Lichtkreise 503 zu erkennen.
Wie in 3 gezeigt, wird nachfolgend auf dem Strukturbild 212 der Betrag gebildet. Da das Strukturbild 212 vom Tiefpassanteil befreit ist, wird auf diese Weise das Tropfeninnere hervorgehoben, aber auch eine Korona um den Tropfen. Dazwischen ist in der Regel ein Nulldurchgang, wie es anhand von 8 gezeigt ist.
8 zeigt einen Absolutwert des Strukturbilds zum Hervorheben des Tropfeninneren. Der Absolutwert kann mittels der in 3 gezeigten Einrichtung 321 gebildet werden.
Auf einem weiteren Pfad, der die in 3 gezeigten Einrichtungen 325, 327 umfassen kann, werden die Tropfenränder hervorgehoben. Dies erfolgt durch Betragsbildung des Gradienten, wobei zur Bestimmung des Gradienten Sobel-Filter in x- und y-Richtung verwendet werden können. Ein resultierendes Bild ist in 9 gezeigt.
9 zeigt den Gradientenbetrag aus dem Strukturbild zum Hervorheben der Tropfenränder.
Der in 8 gezeigte Absolutwert des Strukturbilds und der in 9 gezeigte Gradientenbetrag aus dem Strukturbild werden anschließend verknüpft, hier durch gewichtete Addition.
Das ungewollte Ansprechen an den großen, durch die entgegenkommenden Scheinwerfer hervorgerufenen hellen Kreisen 503 wird unterdrückt, indem auch auf dem Hintergrundhelligkeitsbild eine Gradientenbetragsbildung durchgeführt wird. Diese Helligkeitsgradienten sind am Kreisrand besonders ausgeprägt, wie aus 10 ersichtlich ist.
10 zeigt den Gradientenbetrag aus dem Hintergrundhelligkeitsbild zum Hervorheben der Lichtkreisränder und der Korona der Tropfen 505. Der Gradientenbetrag aus dem Hintergrundhelligkeitsbild kann mittels der in 3 gezeigten Einrichtungen 333, 335 bestimmt werden.
Der in 10 gezeigte Gradientenbetrag aus dem Hintergrundhelligkeitsbild wird mit dem bisherigen Zwischenergebnis verknüpft, vorzugsweise durch gewichtete Subtraktion. Dies kann mittels der in 3 gezeigten Einrichtung 339 erfolgen. Hierdurch erfolgt die gewollte Unterdrückung von Lichtkreisrändern und Korona der Tropfen 505.
Da Tropfen vor einem hellen Hintergrund auch hohe Gradientenbeträge und hohe Absolutwerte im Strukturbild erzeugen, wird noch eine zusätzliche Nivellierung eingeführt, die diese Ungleichbewertung reduziert.
Dazu wird im unteren Pfad des in 3 gezeigten Blockschaltbilds eine Normierungsfunktion gebildet, die nur auf Bildbereiche wirkt, deren Hintergrundhelligkeit größer als die mittlere Hintergrundhelligkeit ist. Die restlichen Bildbereiche bleiben unbeeinflusst. 11 zeigt, wo diese Nivellierung wirksam wird. 11 zeigt, dass in Bereichen mit überdurchschnittlich hoher Helligkeit der Beleuchtungseinfluss reduziert wird.
Mit allen bisher genannten Maßnahmen wird ein Zwischenergebnisbild erreicht. In dem Zwischenergebnisbild sind, wie in 12 gezeigt, die Tropfen 505 bereits gut detektiert. Es verbleibt nur noch ein sehr geringer Einfluss der Hintergrundhelligkeit.
12 zeigt das Zwischenergebnis 316, basierend auf der Auswertung von einem einzigen Eingangsbild.
Wie anhand von 4 gezeigt, ergeben sich weitere Vorteile aus der Verknüpfung des in 12 gezeigten aktuellen Zwischenergebnisbilds mit zumindest einem zeitlich vorausgegangenen Zwischenergebnisbild. In dem in 4 gezeigten Blockschaltbild werden beispielhaft zwei vorteilhafte Verknüpfungen dieser Art durchgeführt.
Erstens führt eine bildpunktweise Bildung des geometrischen Mittelwerts dazu, dass nur solche Antworten Bestand haben, die in beiden Bildern von Null verschieden sind. Gleichzeitig werden schwache Antworten unterdrückt. Dies ist in dem in 4 gezeigten oberen Zweig realisiert.
13 zeigt ein Ergebnisbild 418 für stabile Tropfen. Die Vorgehensweise zur Bestimmung des Ergebnisbilds 418 für stabile Tropfen hat mehrere Vorteile.
So findet insbesondere bei Nacht eine Rauschunterdrückung statt, denn das Kamerarauschen, und seine Auswirkung auf das in 12 gezeigte Zwischenergebnisbild, tritt in zwei aufeinander folgenden Bildern statistisch unabhängig voneinander auf. Auch führen bewegte Tropfen zu keiner oder nur zu einer schwachen Antwort. Dies ist von Vorteil, wenn, z. B. bei guter Scheibenversiegelung und hoher Fahrtgeschwindigkeit oder hohem Eigengewicht, die Tropfen schnell von selbst von der Scheibe ablaufen. In diesem Falle ist ein Wischen nicht notwendig und kann sogar unerwünscht sein. Es handelt sich also um die örtlich stabilen Tropfen, die auf diese Weise detektiert werden.
Zweitens kann des Weiteren, wie in dem in 4 gezeigten unteren Pfad, auch eine Differenzbildung mit dem zeitlich vorausgegangenen Zwischenergebnisbild durchgeführt werden. Damit lassen sich die neu hinzugekommenen Tropfen hervorheben. Durch die optionale Beschränkung auf Werte, die eine positive Schwelle überschreiten, werden nur hinzugekommene Tropfen detektiert, nicht aber Tropfen, die verschwunden sind. Selbstverständlich ließen sich auch die verschwundenen Tropfen detektieren, nämlich durch Betrachtung der negativwertigen Ergebnisse.
14 zeigt ein Ergebnisbild 420 für neu hinzugekommene Tropfen.
Eine Beschränkung der Ausgangswerte nach unten und oben wird hier in beiden Ausgangskanälen, also dem die stabilen Tropfen und dem die neuen Tropfen betreffenden Ausgangskanal, schließlich genutzt, um kleine Ausgangswerte zu ignorieren, z.B. Rauschen, und um nochmals die Auswirkung heller Tropfen zu beschränken. In 4 sind entsprechende Beschränkungen durch die Einrichtungen 431, 439 realisiert.
Im Folgenden wird ein Ausführungsbeispiel einer Auswertung der Bilder beschrieben, die mittels der anhand der 2 bis 4 beschriebenen Verfahren bestimmt wurden.
Auf Basis der beiden Ausgangsbilder, nämlich der in 13 gezeigten stabilen Tropfen und der in 14 gezeigten neuen Tropfen, erfolgt eine Auswertung und die Ansteuerung des Scheibenwischers, der in dem in 4 gezeigten Blockschaltbild nicht mehr dargestellt ist. Im einfachsten Falle wird die Summe bzw. der Mittelwert über die Ausgangsbilder errechnet. Dabei stellt der Mittelwert über das Bild der stabilen Tropfen ein Maß für die auf der Scheibe befindliche Regenmenge dar. Der Mittelwert über das Bild der neuen Tropfen gibt Auskunft, welche Regenmenge pro Zeiteinheit hinzukommt, also wie stark es regnet.
15 zeigt eine kompakte Visualisierung der wichtigsten Zwischenergebnisse auf einem Bildschirm. In der Visualisierung ist oben ein Primärbild 1501 gezeigt, darunter das Sekundärbild 210. Weiter darunter sind in einem Bild 1502 die detektierten stabilen Tropfen in und die neuen Tropfen zu sehen. Die stabilen Tropfen und die neuen Tropfen können in unterschiedlichen Farben dargestellt sein. Beispielsweise können die stabilen Tropfen in gelb und die neuen Tropfen in grün dargestellt sein. Die Kurve 1503 darunter stellt den Verlauf des Mittelwerts über das jeweilige Bild der stabilen Tropfen über die Zeit dar. In diesem Verlauf ist zu erkennen, wie jeweils durch die vorlaufende Wischbewegung und die kurz danach folgende zurück laufenden Wischbewegung die Scheibe gereinigt wird und die Kurve jeweils auf Null oder einen Wert nahe Null zurückspringt.
Das Primärbild 1501 wird auf die zu erfassende Szene oder auf Unendlich oder jenseits Unendlich fokussiert. Daher erscheinen die Tropfen auf der Scheibe im Primärbild 1501 unscharf. Bei der in 15 gezeigten Aufnahme wurde die Scheibe künstlich beregnet, daher sind die Rampen im Verlauf 1503 so unterschiedlich steil.
Statt Mittelwertbildung oder ergänzend kann auch eine Zählung der Tropfen erfolgen bzw. eine Näherung für die Anzahl der Tropfen bestimmt werden. Für das Zählen eignet sich ein Labeling-Algorithmus, wie er in der Bildverarbeitung bekannt ist. Für eine approximative Zählung kommen auch einfachere Verfahren in Betracht, z. B. unter Verwendung der Zählung der (Bit-)Änderungen in einem binarisierten Detektionsbild bei zeilen- und/ oder spaltenweisem Durchlaufen.
Zur weiteren Verarbeitung kann auf bekannte Bildverarbeitungsalgorithmen zurückgegriffen werden.
Das erfindungsgemäße Verfahren ist auch geeignet, Schnee und Eispartikel auf der Scheibe zu detektieren. Da diese bei Kontakt mit der Scheibe im Schärfentiefebereich liegen und damit zu scharfen Bildkonturen führen, greift das erfindungsgemäße Verfahren auch hier.
Einzelne anhand der 2 bis 4 beschriebene Verfahrensschritte können vereinfacht werden. Mittels solcher möglichen Vereinfachungen können bei verringertem Rechenaufwand fast identisch gute Ergebnisse erreicht werden.
Als Beispiel sei die Betragsbildung von zweidimensionalen Vektoren genannt, die in dem in 3 gezeigten Blockschaltbild gleich zweimal vorkommt, nämlich bei der Gradientenbetragsbildung im Strukturbild und im Hintergrundhelligkeitsbild. Die ideale Vorschrift z = √x² + y² (1) kann vereinfacht werden zu z ≈ c·(max(|x|, |y|) + 0.5·min(|x|, |y|)) (2) mit c ≈ 0.92. Die rechentechnisch teurere Quadrierung und Wurzelbildung werden auf diese Weise vermieden. Der Fachmann ist in der Lage, ähnliche weitere Vereinfachungen anzugeben.
Mit dem erfindungsgemäßen Ansatz ist auch eine Behandlung von persistentem Schmutz oder einer schadhaften Scheibe möglich.
In der Regel verschwinden durch den Wischvorgang die Tropfen und damit auch die Detektionsergebnisse. Die Ursache für die Detektionen können jedoch auch sonstiger Art sein, z. B. hervorgerufen durch Insekten, die auf der Scheibe kleben, Teerspritzer oder Beschädigungen der Scheibe durch Steinschlag, Kratzer oder auch durch Schäden an Optik oder dem Imager oder Staubpartikel im internen Strahlengang.
Gemäß einer Ausführungsform beeinflussen Detektionen dieser Art nicht die Ansteuerung des Scheibenwischers. Dies kann erreicht werden, indem die Detektionsergebnisse in größeren zeitlichen Abstand miteinander in Beziehung gebracht werden. Besonders vorteilhaft ist es, dazu jeweils ein Bild von einem Zeitpunkt kurz nach dem Wischvorgang heranzuziehen, also wenn die Scheibe weitgehend frei von Wasser sein sollte. Wird dabei für den jeweiligen Bildpunkt festgestellt, dass trotz des gerade erfolgten Wischens regelmäßig Detektionen auftreten, so kann von einer persistenten Störung an der entsprechenden Stelle der Scheibe ausgegangen werden.
Ist diese Störung durch ein auf der Scheibe klebendes Insekt hervorgerufen, so wird sie bei anhaltendem Regen und Scheibenwischereinsatz irgendwann wieder verschwunden sein. Dies kann wetterabhängig Minuten bis Stunden dauern. Ein Teerfleck kann hartnäckiger sein. Die durch ihn hervorgerufene Störung wird vielleicht erst nach einer gründlichen Scheibenreinigung mit Lösungsmittel verschwinden. Ein Schaden im Scheibenglas wie Steinschlagloch bzw. Kratzer oder eine Störung in der Optik wird durch Reinigungsmaßnahmen nicht verschwinden. Die Störung wird also dauerhaft vorhanden sein.
Durch Wahl von unterschiedlichen zeitlichen Abständen der Bilder, die miteinander in Beziehung gebracht werden, kann der Grad der Hartnäckigkeit der Störung bestimmt zu werden. Als vorteilhafte Alternative zum zeitlichen Abstand kann auch die Anzahl Wischzyklen oder die durch Wischen entfernte Wassermenge als „Abstandsmaß" herangezogen werden. Die unterschiedlichen Abstände können jeweils durch das in 4 gezeigte Verzögerungsglied 423 umgesetzt werden.
Detektionen, die vom Wischen nicht unmittelbar oder niemals beseitigt werden, lassen sich also algorithmisch feststellen. Es ist damit möglich, diese gestörten Bildpunkte bei der weiteren Auswertung unberücksichtigt zu lassen oder ihrem Einfluss ein geringeres Gewicht zu geben. Das Ergebnis des Regensensors bleibt dann unbeeinflusst von solchen Störungen. Auf diese Weise lassen sich unnötige Wischvorgänge vermeiden.
Gemäß einem Ausführungsbeispiel kann eine automatische Verwendung von Wischwasser erfolgen. Mittels des Wischwassers kann die Scheibe gereinigt werden.
Auch bei Fahrten bei trockener oder fast trockener Witterung kann es zur Ansammlung von Schmutz auf der Scheibe kommen. Im Sommer sammeln sich, je nach Region, vorwiegend tote Insekten und Insektenschmutz, Staub, Schmutz von Bäumen und auch von Läusen auf Bäumen sowie Vogelkot auf der Scheibe. Diese Arten der Verschmutzung sammeln sich in der Regel viel langsamer an als Regentropfen, wodurch eine Unterscheidbarkeit von Regen bereits ohne Einsatz des Wischers gegeben ist.
Falls der Wischer eingesetzt wird, ist die Unterscheidbarkeit von Regen noch höher, weil sich Schmutz der genannten Arten trocken kaum beseitigen lässt.
Es ist daher von Vorteil, automatisch die Scheibenwaschfunktion oder Scheibenwischfunktion zu aktivieren, also die Scheibenwaschwasserpumpe und anschließend den Wischer jeweils kurzzeitig einzuschalten, oder so lange bzw. so oft, bis eine Verbesserung des Zustands eintritt. Ähnliches gilt auch im Winter, wenn die Verschmutzung meist durch aufgewirbeltes Wasser von der Straße hervorgerufen wird, in dem insbesondere Streusalz gelöst ist. Beim Antrocknen auf der Scheibe verbleibt das Salz dort und führt innerhalb von Minuten zu einer Verschmutzung, für deren Beseitigung der automatische Einsatz der Scheibenwaschfunktion oder Scheibenwischfunktion ebenfalls von Vorteil ist.
Dabei kann die Scheibenwaschwasserpumpe speziell eingeschaltet werden, wenn eine trockene Verunreinigung erkannt wurde oder sie kann beispielsweise bei jeder erstmaligen Aktivierung der Scheibenreinigungsfunktion eingeschaltet werden, wobei die erstmalige Aktivierung eine Aktivierung nach einer vorbestimmten Ruhezeit darstellen kann.
Gemäß einem weiteren Ausführungsbeispiel kann eine Hinterleuchtung der Scheibe erfolgen.
Das erfindungsgemäße Verfahren funktioniert als passiver Sensor ohne aktive Beleuchtung der Scheibe oder der Tropfen. Das in der Szene vorhandene Umgebungslicht reicht zur Gewährleistung der Regensensorfunktion bereits aus. Eine aktive Beleuchtung kann daher als Option betrachtet werden.
Der Vorteil einer Hinterleuchtung, die ggf. auch nur zeitweise genutzt wird, besteht darin, dass der Sensor dann auch bei völlig dunkler Umgebung funktioniert und den Scheibenwischer korrekt ansteuern kann. Wird die Szene dann wieder heller, ist die Scheibe bereits korrekt gewischt und der Fahrer hat sofort ungehinderte Sicht.
Die Beleuchtung kann mit sichtbarem Licht erfolgen oder auch mit für den Menschen unsichtbarem Licht, vorzugsweise Infrarotlicht. Dabei sind die spektrale Zusammensetzung des Lichts und die spektrale Empfindlichkeit der Kamera aufeinander abzustimmen.
Örtlich sollte die Beleuchtung so angeordnet sein, dass möglichst nur die für die Regendetektion verwendete Scheibenfläche angeleuchtet wird. Die für die Fahrerassistenzfunktionen verwendete Scheibendurchtrittsfläche sollte von der Beleuchtung möglichst ausgenommen sein, um unerwünschte Störungen zu vermeiden. Für die Anordnung der Beleuchtung kommen zwei grundsätzliche Prinzipien in Betracht.
Zum einen ist eine Nutzung von Lichtreflexionen im Tropfen bzw. an der Grenzschicht Tropfen zu Glas möglich. Während das Licht im Normalfall die Scheibe nach außen durchtritt und nicht mehr zum Sensor zurückkehrt, führt ein Tropfen auf der Scheibe dazu, dass stellenweise Licht von Tropfen zurückgeworfen wird und den Sensor erreicht. Dabei spielen Reflexions-, Mehrfachreflexions- und Brechungseffekte eine wesentliche Rolle.
Zum anderen ist eine Nutzung der Totalreflexion an der Scheibe möglich. Nach diesem Prinzip arbeitet auch der klassische Regensensor. Das Licht wird mit Hilfe eines optischen Einkoppel-Elements in einem bestimmten Winkel an der Scheibeninnenseite eingekoppelt, so dass an der trockenen Scheibenaußenseite eine Totalreflexion entsteht. Das Vorhandensein von Tropfen unterbricht die Totalreflexion an diesen Stellen und führt zu lokalen Auskopplungen von Licht nach außen. Das so an der Scheibe entstehende Bild kann mit einem Auskoppel-Element wieder ausgekoppelt und analysiert werden.
Für die zeitliche Steuerung der Lichtquelle kommen ebenfalls mehrere Möglichkeiten in Frage.
Im einfachsten Falle ist die Lichtquelle nicht moduliert, sondern ständig eingeschaltet. Dann greift der erfindungsgemäße Algorithmus zur Tropfendetektion unmittelbar, denn durch die Beleuchtung der Tropfen entstehen scharfe Bildkonturen, durch die auf das Vorhandensein der Tropfen geschlossen werden kann.
Des Weiteren kann mit einer modulierbaren Quelle beispielsweise abwechselnd ein Bild mit Hinterleuchtung und ein Bild ohne Hinterleuchtung bzw. mit reduzierter Hinterleuchtungsstärke aufgenommen werden. Durch Auswertung des Unterschieds zwischen diesen beiden Bildtypen kann dann auf die Anwesenheit bzw. Abwesenheit von Tropfen geschlossen werden.
Statt der Intensitätsmodulation kann auch die spektrale Zusammensetzung des Lichts moduliert werden. Dies kann z. B. durch zwei oder mehr LED-Module unterschiedlicher spektraler Zusammensetzung (Farbe) erreicht werden. Mit einer Farbkamera lässt sich die entsprechende Demodulation durchführen.
Ein weiterer Freiheitsgrad besteht darin, mehrere Lichtquellen an unterschiedlicher Stelle zu positionieren. Die Modulation schaltet dann zwischen den Lichtquellen hin und her. Entsprechend finden die Reflexionen in den Tropfen an unterschiedlichen Stellen statt, was z. B. durch eine Differenzbildbearbeitung herausgearbeitet werden kann.
Gemäß einer weiteren Ausführungsform kann eine zeitliche Fortschreibung bei fehlender Hinterleuchtung erfolgen.
Auch mit dem passiven System, d. h. ohne Hinterleuchtung, ist es möglich, Phasen der Dunkelheit zu überbrücken. Wenn die Szene zeitweise so dunkel ist, dass eine Regendetektion nicht möglich ist, kann die aktuelle Wischperiode einfach fortgeschrieben werden, gegebenenfalls auch mit einer leicht veränderten, vorzugsweise verlängerten Periode. Dieses Vorgehen ist sinnvoll, weil Phasen völliger Dunkelheit eigentlich fast nicht anzutreffen sind, da bereits die Reflexion des Fahrlichts von einem Leitpfosten ausreicht, um die Tropfen zumindest teilweise zu erleuchten.
Außerdem endet eine Regenphase selten schlagartig. Zumindest ist meist noch so viel Nässe auf der Scheibe oder an den Wischerblättern vorhanden, dass wenige weitere Wischzyklen ohne Rattern möglich sind.
Der erfindungsgemäße Ansatz lässt sich auch im Zusammenhang mit einer Heckscheibenreinigung oder einer Scheinwerferreinigung einsetzten. Ein Sensorort kann entsprechend verlegt werden. Die erfindungsgemäßen Ausführungsbeispiele lassen sich demnach auch auf Fahrzeuge übertragen, die über eine Wisch- und/oder Waschfunktion für weitere Scheiben verfügen, insbesondere für die Heckscheibe und die Scheiben vor Leuchteinheiten und vor weiteren Sensoren. Weiterhin muss sich der videobasierte Regensensor nicht im Bereich des Rückspiegels hinter der Windschutzscheibe befinden. Auch andere Positionen können sinnvoll sein, insbesondere wenn an diesen Positionen eine Reinigungseinrichtung vorhanden ist.
16 zeigt eine Scheibe 102 eines Fahrzeugs und eine Bilderfassungseinrichtung in Form einer Kamera 104, die in dem Fahrzeug angeordnet ist. Auf einer äußeren Oberfläche der Scheibe 102 befindet sich eine Verunreinigung in Form eines Tropfens 203. Im Fahrzeuginneren sind ferner eine erste Lichtquelle 1601 und eine zweite Lichtquelle 1602 angeordnet. Die erste Lichtquelle 1601 ist ausgebildet, um eine erste Strahlung 1611 in Richtung der Scheibe 102 auszusenden. Die zweite Lichtquelle 1602 ist ausgebildet, um eine zweite Strahlung 1612 in Richtung der Scheibe 102 auszusenden. Die Scheibe 102 kann sich im Tiefenschärfebereich der Kamera 104 befinden.
Ein dargestellter erster Strahl der ersten Strahlung 1611 trifft auf einen Bereich der Scheibe 102 auf, die frei von Verunreinigungen ist. In diesem Fall kann der erste Strahl der Strahlung 1611 die Scheibe 102 durchdringen und wird nicht reflektiert. Ein dargestellter zweiter Strahl der ersten Strahlung 1611 trifft auf einen Bereich der Scheibe 102 auf, in dem sich der Tropfen 203 befindet. In diesem Fall wird der zweite Strahl der ersten Strahlung 1611 aufgrund des Tropfens 203 reflektiert. Der reflektierte zweite Strahl der ersten Strahlung 1611 wird von der Kamera 104 erfasst. Das gewünschte Reflektionsverhalten der ersten Strahlung 1611 an der Scheibe 102 kann durch einen geeigneten Auftreffwinkel der ersten Strahlung 1611 auf eine Oberfläche der Scheibe 102 eingestellt werden. Dazu kann die erste Lichtquelle 1601 entsprechend ausgerichtet werden.
Die Kamera 104 ist ausgebildet, um ein erstes Bild bereitzustellen auf dem Reflexionen der ersten Strahlung 1611 zu erkennen sind. Umso mehr Strahlen der ersten Strahlung 1611 reflektiert werden, umso mehr Verunreinigungen 203 befinden sich auf der Scheibe. Somit kann aus der Menge der reflektierten ersten Strahlung 1611 auf die Verunreinigungen 203 auf der Scheibe 102 geschlossen werden. Die Menge der Reflexionen oder ein Maß zur Quantifizierung der Reflexionen kann durch eine Auswertung der Intensitätsverläufe oder Helligkeitsverläufe des ersten Bildes bestimmt werden. Die erste Lichtquelle 1601 und die Kamera 104 können miteinander gekoppelt sein, so dass das Aussenden der ersten Strahlung 1611 durch die erste Lichtquelle 1601 und das Erfassen des ersten Bildes durch die Kamera 104 synchronisiert erfolgen können.
Ein dargestellter erster Strahl der zweiten Strahlung 1612 trifft auf einen Bereich der Scheibe 102 auf, der frei von Verunreinigungen ist. In diesem Fall kann der erste Strahl der zweiten Strahlung 1612 die Scheibe 102 nicht durchdringen sondern wird an der Scheibe 102 reflektiert. Ein dargestellter zweiter Strahl der zweiten Strahlung 1612 trifft auf einen Bereich der Scheibe 102 auf, in dem sich der Tropfen 203 befindet. In diesem Fall wird der zweite Strahl der zweiten Strahlung 1612 aufgrund des Tropfens 203 nicht reflektiert und kann die Scheibe 102 und den Tropfen 203 passieren. Der reflektierte erste Strahl der zweiten Strahlung 1612 wird von der Kamera 104 erfasst. Das gewünschte Reflektionsverhalten der zweiten Strahlung 1612 an der Scheibe 102 kann durch einen geeigneten Auftreffwinkel der zweiten Strahlung 1612 auf eine Oberfläche der Scheibe 102 eingestellt werden. Dazu kann die zweite Lichtquelle 1602 entsprechend ausgerichtet werden. Beispielsweise kann die erste Strahlung 1611 in einem kleineren Einfallswinkel als die zweite Strahlung 1612 auf die Oberfläche der Scheibe 102 auftreffen. Die Kamera 104 ist ausgebildet, um ein zweites Bild bereitzustellen auf dem Reflexionen der zweiten Strahlung 1612 zu erkennen sind. Umso mehr Strahlen der zweiten Strahlung 1612 reflektiert werden, umso weniger Verunreinigungen 203 befinden sich auf der Scheibe 102. Somit kann aus der Menge der Reflexionen auf die Verunreinigungen 203 beziehungsweise auf ein Nichtvorhandensein von Verunreinigungen 203 auf der Scheibe 102 geschlossen werden. Die Menge der Reflexionen oder ein Maß zur Quantifizierung der Reflexionen kann durch eine Auswertung der Intensitätsverläufe oder Helligkeitsverläufe des zweiten Bildes bestimmt werden. Die zweite Lichtquelle 1601 und die Kamera 104 können miteinander gekoppelt sein, so dass das Aussenden der zweiten Strahlung 1612 durch die zweite Lichtquelle 1602 und das Erfassen des zweiten Bildes durch die Kamera 104 synchronisiert erfolgen können.
Die Anordnung der Kamera 104 sowie der Lichtquelle 1601, 1602 ist lediglich beispielhaft gewählt und kann variiert werden. Auch können die erste Strahlung 1611 und die zweite Strahlung 1612 von ein und derselben Lichtquelle ausgesendet werden. Die Kamera 104 kann zusätzlich ausgebildet sein, um ein drittes Bild zu erfassen, auf dem eine Hintergrundhelligkeit abgebildet wird. Während das dritte Bild erfasst wird, können die Lichtquellen 1601, 1602 ausgeschaltet sein.
Die in 16 gezeigte Anordnung ist stark vereinfacht dargestellt. Zur Reflexion werden die Fresnelreflexionen an der Scheibe ausgenutzt. Alternativ kann auch eine Totalreflexion an der Scheibe ausgenutzt werden, wobei für diesen Fall ein Koppelelement (nicht gezeigt in 16) zum einkoppeln und auskoppeln des Strahls vorgesehen werden kann. Mittels des Koppelelements kann der Strahl unter einem Winkel in die Scheibe eingekoppelt werden, der es erlaubt, die Totalreflexion innerhalb der Scheibe auszunutzen.
17 zeigt eine schematische Darstellung eines ersten Bildes 1701, das beispielsweise von der in 16 gezeigten Kamera 104 basierend auf Reflexionen der ersten Strahlung 1611 ermittelt werden kann. Ein heller Bereich 1703 in dem ersten Bild 1701 kann einer Verunreinigung zugeordnet werden, an die ein Teil der ersten Strahlung reflektiert wird. Je mehr helle Bereiche 1703 das erste Bild 1701 aufweist, umso mehr Verunreinigungen befinden sich auf der Scheibe. Die Helligkeit des ersten Bildes 1701 kann mit geeigneten Auswertungsverfahren bestimmt werden. Mittels einer geeigneten Zuordnungsvorschrift oder einer Nachschlagetabelle kann die Helligkeit ein Verunreinigungsgrad der Scheibe zugeordnet werden. Der Verunreinigungsgrad kann beispielsweise anzeigen, welcher prozentuale Anteil der Scheibe von Regentropfen bedeckt ist.
18 zeigt eine schematische Darstellung eines zweiten Bildes 1801, das beispielsweise von der in 16 gezeigten Kamera 104 basierend auf Reflexionen der zweiten Strahlung 1612 ermittelt werden kann. Ein dunkler Bereich 1803 in dem zweiten Bild 1801 kann wieder der Verunreinigung zugeordnet werden, an die ein Teil der zweiten Strahlung nicht reflektiert wird. Je mehr dunkle Bereiche 1803 das zweite Bild 1801 aufweist, umso weniger Verunreinigungen befinden sich auf der Scheibe. Die Helligkeit oder Dunkelheit des zweiten Bildes kann mit geeigneten Auswertungsverfahren bestimmt werden. Mittels einer geeigneten Zuordnungsvorschrift oder einer Nachschlagetabelle kann die Helligkeit oder Dunkelheit wiederum einem Verunreinigungsgrad der Scheibe zugeordnet werden.
19 zeigt ein kombiniertes Bild 1901, dass durch eine Überlagerung der in den 17 und 18 gezeigten Bilder 1701, 1801 ermittelt wird. Dabei wird eines der Bilder 1701, 1801 vor der Überlagerung invertiert. Gemäß dem Ausführungsbeispiel ist das in 17 gezeigte Bild 1701 vor der Überlagerung in Bezug auf die Helligkeitswerte seiner Bildpunkte invertiert worden. Durch das Invertieren erscheinen ursprünglich helle Bereiche dunkel, und umgekehrt. Durch die Kombination der Bildinformationen der Bilder 1701, 1801 wird ein Bereich 1903 des kombinierten Bildes 1901 deutlich hervorgehoben. Gemäß diesem Ausführungsbeispiel ist der Bereich 1903 deutlich dunkler dargestellt als der umgebende Bereich des Bildes 1901. Der Bereich 1903 kennzeichnet eine Verunreinigung der Scheibe. Je mehr dunkle Bereiche 1903 das kombinierte Bild 1901 aufweist, umso mehr Verunreinigungen befinden sich auf der Scheibe. Die Helligkeit oder Dunkelheit des kombinierten Bildes 1901 kann mit geeigneten Auswertungsverfahren bestimmt werden. Mittels einer geeigneten Zuordnungsvorschrift oder einer Nachschlagetabelle kann der Helligkeit oder Dunkelheit ein Verunreinigungsgrad der Scheibe zugeordnet werden.
20 zeigt ein Ablaufdiagramm eines Verfahrens zur Detektion einer, insbesondere durch Regentropfen hervorgerufenen, Verunreinigung einer Scheibe eines Fahrzeugs. In einem Schritt 2001 kann eine erste Strahlung und eine zweite Strahlung in Richtung der Scheibe ausgesendet werden. In einem Schritt 2003 können jeweils Reflexionen der ersten Strahlung und der zweiten Strahlung erfasst werden. Dabei können die erste Strahlung und die zweite Strahlung zeitlich nacheinander ausgesendet werden. Alternativ können die erste Strahlung und die zweite Strahlung gleichzeitig ausgesendet werden. In diesem Fall können die Reflexionen der ersten und der zweiten Strahlung beispielsweise von unterschiedlichen Erfassungseinrichtungen erfasst werden oder durch eine wellenlängenselektive Detektion bei Verwendung mehrerer Wellenlängen voneinander unterschieden werden. In einem Schritt 2005 kann ein erstes Bild und ein zweites Bild ausgegeben werden. Das erste Bild bildet die Reflexionen der ersten Strahlung an der Scheibe ab. Das zweite Bild bildet die Reflexionen der zweiten Strahlung an der Scheibe ab. In einem Schritt 2007 können das erste Bild und das zweite Bild ausgewertet werden, um die Verunreinigung der Scheibe zu bestimmen. Die Reflexionen der ersten Strahlung und der zweiten Strahlung an der Scheibe werde durch die Verunreinigung beeinflusst. Unter Kenntnis dieser Beeinflussung kann aus dem ersten Bild und dem zweiten Bild auf die Verunreinigung zurückgeschlossen werden. Das erste Bild und das zweite Bild können getrennt voneinander ausgewertet werden und anschließend können die Auswerteergebnisse kombiniert werden. Alternativ können die Bildinformationen des ersten Bilds und des zweiten Bilds zuerst kombiniert werden und anschließend kann eine Auswertung erfolgen. Zur Auswertung können geeignete Bildauswertungsverfahren eingesetzt werden, die beispielsweise einen mittleren Helligkeitsverlauf eines Bildes oder in einem Bild vorhandene Strukturen analysieren.
Anhand der 21 bis 24 wird das Verfahren zur Detektion einer Verunreinigung einer Scheibe, gemäß einem Ausführungsbeispiel der vorliegen Erfindung, detailliert beschrieben. Im Folgenden werden die zwei verwendeten Strahlungen als zweite und dritte optische Strahlung bezeichnet.
Für eine verbesserte Tropfenerkennung kann demnach eine zusätzliche zweite optische Strahlung verwendet werden, die sich von einer ersten optischen Strahlung unterscheidet. Bei der ersten optischen Strahlung wird die Totalreflexion an der Tropfenoberfläche ausgenutzt. Dadurch erscheinen an den Stellen, wo sich Tropfen auf der Scheibe befinden helle Punkte auf dem Bild, wie es in den 21 und 22 zu erkennen ist. Dabei ist die Scheibe von innen derart zu beleuchten, dass bei trockener Scheibe die Lichtstrahlen durchgehen. Bei Tropfen auf der Scheibe werden Strahlen, die einen Tropfen treffen, innerhalb des Tropfens durch mehrfache Totalreflexion umgeleitet und gelangen so zum Objektiv. Der Winkel, unter dem die Strahlung auf die Scheibe trifft, sollte dabei so gewählt werden, dass möglichst wenige Fresnelreflexionen auftreten.
21 zeigt ein Bild 1701, das eine Simulation der Reflexionen einer Scheibe mit Tropfen bei einer Beleuchtung unter –115°, gemessen zur optischen Achse darstellt. Gezeigt ist ein Ausschnitt eines fokussierten Tropfenbereichs, eines sogenannten Sekundärbilds, bei einer Kameraanordnung mit zwei Fokuslängen. Das Primärbild entspricht einer Umgebung und das Sekundärbild den fokussierten Tropfen auf der Scheibe.
22 zeigt ein Bild 1701, das eine Simulation der Reflexionen einer Scheibe mit Tropfen bei einer Beleuchtung unter –115° darstellt. Gezeigt sind das Primärbild und das Sekundärbild.
Die zweite optische Strahlung nutzt die Fresnelreflexe aus. Die Fresnelreflexe treten an der inneren und äußeren Scheibenoberfläche auf. Abhängig vom Material, dem Winkel der auftreffenden Strahlung und vom Behandlungszustand der Scheibenflächen sind die Fresnelreflexionen unterschiedlich stark. Wenn der Einstrahlwinkel für die zweite optische Strahlung entsprechend gewählt wird, entstehen an der Scheibeninnenseite und Scheibenaußenseite Fresnelreflexionen. In den Bereichen in denen sich Tropfen befinden, wird die Strahlung ausgekoppelt und somit weisen sie eine geringere Reflexion auf, wie es in den 23 und 24 dargestellt ist. Hierbei wird sozusagen das derzeit verwendete Regensensorprinzip, mit einer Ausnutzung der Totalreflexion in Abhängigkeit des auf der Scheibe befindlichen Mediums, in abbildender Form angewandt. Die Tropfen auf der Scheibenaußenseite unterbrechen die Fresnelreflexionen und es entstehen „Löcher" im Bild, wie es in den 23 und 24 dargestellt ist.
23 zeigt ein Bild 1801, das eine Simulation der Reflexionen einer Scheibe mit Tropfen bei einer Beleuchtung unter –130° darstellt. Gezeigt ist ein Ausschnitt eines fokussierten Tropfenbereichs, eines sogenannten Sekundärbilds, bei einer Kameraanordnung mit zwei Fokuslängen. Das Primärbild entspricht einer Umgebung und das Sekundärbild den fokussierten Tropfen auf der Scheibe.
24 zeigt ein Bild 1801, das eine Simulation der Reflexionen einer Scheibe mit Tropfen bei einer Beleuchtung unter –130° darstellt. Gezeigt sind das Primärbild und das Sekundärbild.
Durch einen angepassten Auswertealgorithmus kann aus zwei nacheinander aufgenommenen Bildern, nämlich einem mit einer künstlichen ersten optischen Strahlung und einem mit einer künstlichen zweiten optischen Strahlung, eine zuverlässigere Detektion der Tropfen erreicht werden. Dazu besteht die Möglichkeit die Bilder in invertierter Form zu überlagern und somit ein höheres SNR zu erreichen. Zusätzlich ist das System durch die zwei von einander unterschiedlichen Beleuchtungen unabhängiger vom Umgebungshintergrund, beispielsweise in Bezug auf Helligkeit und Kontrast, als auch von der Tropfenform.
Die Beleuchtungsform muss an die sensitive Fläche angepassten sein, um möglichst eine gute Ausleuchtung des gesamten sensitiven Bereichs zu realisieren. Für diese Realisierung der Beleuchtung für die zweite und dritte optische Strahlung gibt es verschiedenen Möglichkeiten.
Es können zwei voneinander getrennte Beleuchtungen verwendet werden. Oder es wird eine Lichtquelle verwendet, die positionsvariabel und / oder richtungsvariabel in ihrer Abstrahlung ist und alternierend die zwei Strahlungen erzeugen kann. Auch kann eine Beleuchtung verwendet werden, die durch ein optisches Element, beispielsweise einen Spiegel oder eine Linse, in ihrer Richtung geändert wird.
Bei Verwendung einer Beleuchtung mit mehreren Wellenlängen, also mindestens zwei unterschiedlichen Wellenlängen, kann dazu beispielsweise ein dichroitisches Element verwendet werden, welches die von der Lichtquelle ausgehende Strahlung in die erste und zweite optische Strahlung aufteilt. Außerdem besteht die Möglichkeit bei allen Beleuchtungsvarianten die optischen Zusatzkomponenten der Scheibenfokussierung mit zu verwenden. Beispielsweise können die Spiegel, die zur Umfokussierung eines Scheibenbereichs, beispielsweise für das Sekundärbild, dienen dazu genutzt werden die zusätzliche Beleuchtung umzulenken. Dadurch ist es einerseits möglich die Lichtquelle selbst an geeignete Stellen außerhalb des Sichtkegels der Kamera zu positionieren, anderseits können so auch weitere zusätzliche Strahlführungslemente eingespart werden.
Die auftretenden Fresnelreflex im Primärbild, z.B. in 24 ersichtlich, können durch Synchronisation der Beleuchtung mit dem Rolling Shutter Verfahren (rollender Verschluss) der Kamera verhindert werden und stellen somit keinen Nachteil dar.
Der Einsatz der Erfindung ist in allen Fahrzeugen mit einer automotive Videokamera, welche auch eine integrierte Regendetektion beinhaltet, möglich. Ein Einsatz kann zusammen mit einer Einführung eines videobasierten Regensensors erfolgen.
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
Die gezeigten und beschriebenen Signalverarbeitungsschritte sind nur beispielhaft gewählt. Sie können durch andere geeignete oder gleichwertige Schritte ersetzt werden. Auch können die erfindungsgemäßen Ansätze auch bei Scheiben eingesetzt werden, die sich nicht an Fahrzeugen befinden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102006016774 A1 [0003]

Claims

Verfahren zur Bestimmung eines Strukturbildes einer Scheibe (102), wobei das Strukturbild zur Detektion einer Sichtbeeinträchtigung (203) der Scheibe, insbesondere von Regentropfen, geeignet ist, wobei das Verfahren die folgenden Schritte umfasst: Entfernen einer Hintergrundhelligkeit (214) aus einem Bild (210) der Scheibe, auf dem eine Oberfläche der Scheibe scharf und ein Hintergrund der Scheibe unscharf dargestellt ist, um ein Strukturbild (212) der Scheibe zu bestimmen; und Hervorheben von in dem Strukturbild vorhandenen Bildstrukturen, um ein verstärktes Strukturbild (316) der Scheibe zu bestimmen.
Verfahren gemäß Anspruch 1, bei dem im Schritt des Hervorhebens in dem Strukturbild (212) vorhandene Kantenverläufe hervorgehoben (325) werden, um das verstärkte Strukturbild (316) der Scheibe (102) zu bestimmen, das zur Detektion der Sichtbeeinträchtigung der Scheibe geeignet ist.
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Hervorhebens in dem Strukturbild (212) vorhandene Extremwerte stärker hervorgehoben (321) werden als weitere in dem Strukturbild vorhandene Werte, um das verstärkte Strukturbild (316) der Scheibe (102) zu bestimmen.
Verfahren gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Ermittelns der Hintergrundhelligkeit des Bildes, um ein Hintergrundhelligkeitsbild (214) der Scheibe (102) zu bestimmen, und mit einem Schritt des Kombinierens (339, 349) des Hintergrundhelligkeitsbilds mit dem Strukturbild (212) und/oder dem verstärkten Strukturbild (316), um ein bereinigtes Strukturbild der Scheibe zu bestimmen, das zur Detektion der Sichtbeeinträchtigung der Scheibe geeignet ist.
Verfahren gemäß Anspruch 4, mit einem Schritt des Verstärkens (333) von in dem Hintergrundhelligkeitsbild (214) vorhandenen Kantenverläufen, um ein verstärktes Hintergrundhelligkeitsbild zu bestimmen, und bei dem im Schritt des Kombinierens (339) das verstärkte Hintergrundhelligkeitsbild mit dem Strukturbild (212) und/oder dem verstärkten Strukturbild (316) kombiniert wird.
Verfahren gemäß einem der Ansprüche 4 oder 5, mit einem Schritt des Hervorhebens (345) heller Bereiche des Hintergrundhelligkeitsbilds, um ein weiteres verstärktes Hintergrundhelligkeitsbild zu bestimmen, und bei dem im Schritt des Kombinierens (349) das weitere verstärkte Hintergrundhelligkeitsbild mit dem Strukturbild (212) und/oder dem verstärkten Strukturbild (316) kombiniert wird.
Verfahren zur Detektion einer, insbesondere durch Regentropfen hervorgerufenen, Sichtbeeinträchtigung (203) einer Scheibe (102), das die folgenden Schritte umfasst: Auswerten von Strukturen eines Strukturbildes (316) der Scheibe, wobei auf dem Strukturbild eine Oberfläche der Scheibe scharf und ein Hintergrund der Scheibe unscharf dargestellt ist, um die Sichtbeeinträchtigung der Scheibe zu detektieren.
Verfahren zur Detektion einer Sichtbeeinträchtigung gemäß Anspruch 7, bei dem im Schritt des Auswertens ein Mittelwert oder eine Summe über das Strukturbild oder eine Anzahl der Strukturen bestimmt wird, und bei dem die Sichtbeeinträchtigung (203) der Scheibe basierend auf dem Mittelwert, der Summe oder der Anzahl detektiert wird.
Verfahren zur Detektion einer Sichtbeeinträchtigung gemäß Anspruch 7 oder 8, mit einem Schritt des Kombinierens (425, 426) eines ersten Strukturbildes (316) der Scheibe mit wenigstens einem zeitlich vorangegangenen weiteren Strukturbild der Scheibe, um ein kombiniertes Strukturbild (418, 420) der Scheibe zu bestimmen, und bei dem im Schritt des Auswertens Strukturen des kombinierten Strukturbildes ausgewertet werden, um die Sichtbeeinträchtigung (203) der Scheibe (202) zu detektieren.
Verfahren zur Detektion einer Sichtbeeinträchtigung gemäß Anspruch 9, bei dem im Schritt des Kombinierens (425) eine Verknüpfung zwischen dem ersten Strukturbild (316) und dem weiteren Strukturbild durchgeführt wird, um Strukturen hervorzuheben, die sowohl das erste Strukturbild als auch das weitere Strukturbild aufweist.
Verfahren zur Detektion einer Sichtbeeinträchtigung gemäß Anspruch 9 oder 10, bei dem im Schritt des Kombinierens eine Verknüpfung (426, 433) zwischen dem ersten Strukturbild (316) und dem weiteren Strukturbild durchgeführt wird, um Strukturen hervorzuheben, die entweder nur das erste Strukturbild oder nur das weitere Strukturbild aufweist.
Verfahren zur Detektion einer, insbesondere durch Regentropfen hervorgerufenen, Verunreinigung (203) einer Scheibe (102), das die folgenden Schritte umfasst: Auswerten (2007) eines auf einer Reflexion einer ersten optischen Strahlung (1601) basierenden ersten Bildes (1701) der Scheibe und eines auf einer Reflexion einer zweiten optischen Strahlung (1601) basierenden zweiten Bildes (1801) der Scheibe, um die Verunreinigung zu detektieren, wobei die erste optische Strahlung ausgebildet ist, um an einem verunreinigten Bereich (203) der Scheibe reflektiert zu werden und wobei die zweite optische Strahlung ausgebildet ist, um an einem verunreinigungsfreien Bereich der Scheibe reflektiert zu werden.
Verfahren zur Detektion einer Verunreinigung gemäß Anspruch 12, bei dem das erste Bild (1701) oder das zweite Bild (1801) invertiert und mit dem jeweils anderen Bild überlagert werden, um ein überlagertes Bild (1901) zu ermitteln und bei dem im Schritt des Auswertens (2007) das überlagerte Bild ausgewertet wird, um die Verunreinigung zu detektieren.
Vorrichtung, die ausgebildet ist, um die Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 13 durchzuführen.
Computer-Programmprodukt mit Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 13, wenn das Programm auf einer Vorrichtung ausgeführt wird.