-
Die
Erfindung betrifft ein Verfahren zur Erkennung und Lokalisierung
von Verschmutzungen auf optischen Systemen nach dem Oberbegriff
des Patentanspruchs 1.
-
Bei
modernen Kraftfahrzeugen kommen zur Verbesserung von Fahrsicherheit
und Fahrkomfort zunehmend kamerabasierte Assistenzsysteme zum Einsatz,
welche die das Fahrzeug umgebende Umwelt erfassen und auf für die Fahrzeugführung relevante
Objekte und Situationen hin untersuchen. So sind Systeme angedacht,
mittels welcher beispielsweise Verkehrszeichen erkannt und deren
Inhalt ausgewertet werden können oder
aber welche Fußgänger und
andere Verkehrsteilnehmer beobachten, um deren zukünftiges
Verhalten abzuschätzen.
Die Funktionalität
all dieser Systeme basiert auf der Auswertung der durch ein oder
mehrere Kamerasysteme erfassten Bilddaten, so dass die Qualität der Systemaussagen
in direktem Zusammenhang mit der Qualität der Bilddaten steht. Insbesondere
bei der Verwendung in Kraftfahrzeugen sind Kamerasysteme enormen
mechanischen (Vibration) und thermischen (Sommer/Winter) Belastungen
ausgesetzt, welche jedoch durch ein geeignetes Systemdesign im wesentlich
beherrschbar sind. Ein schwer zu kontrollierender, in Bezug auf
die Qualität
der Bilddaten jedoch wichtiger Faktor, stellt der Grad der Verschmutzung
des optischen Systems der Kamera dar. Es ist zwar möglich die
Kameras an einer Position zu integrieren, an welcher die Vernebelung
von in der Luft befindlichen Schutzpartikeln relativ gering ist,
oder welche regelmäßig ohnehin durch
einen Scheibenwischer gereinigt werden; ganz lässt sich eine Verschmutzung
des optischen Systems jedoch nie vermieden werden. Insbesondere
um Fehlin nigt werden; ganz lässt
sich eine Verschmutzung des optischen Systems jedoch nie vermieden
werden. Insbesondere um Fehlinterpretationen der Bilddaten zu vermeiden
oder um gezielt einen Reinigungsvorgang einzuleiten oder auf die
Notwendigkeit eines solchen hinzuweisen, ist es notwendig, die Verschmutzung
automatisch, möglichst
aus den Bilddaten selbst, zu erkennen.
-
Die
europäische
Patentschrift
EP 0
585 759 B1 beschreibt ein System zur Erfassung und Klassifikation von
Verunreinigungen oder Kratzern auf der Oberfläche von fotografischen Elementen,
insbesondere von Kopiergeräten
und Scannern. Hierbei wird davon ausgegangen, dass die Verunreinigungen
oder Kratzer solche Helligkeitswerte aufweisen, welche im Bezug
auf die der umliegenden Bildbereich relativ hoch sind. Um solche Stellen
zu detektieren, werden sequentiell, mittels eines verschieblichen
Fensters (sliding window) Ausschnitte aus den Bilddaten extrahiert.
Von den extrahieren Bilddaten wird der Mittelwert in Bezug auf deren
Helligkeit ermittelt, und von den tatsächlichen Helligkeitswerten
der Bilddaten subtrahiert. Diese so errechneten Werte werden einem
Schwellwertvergleich unterzogen. Sollte dieser Schwellwert vergleich
positiv ausfallen, so wird das in der Mitte des gebildeten Bildausschnittes
befindliche Bilddatum als ,fehlerhaft' klassifiziert. Nach der Auswertung
sämtlicher
Bildbereiche des Gesamtbildes steht ein Verzeichnis aller als ,fehlerhaft' (Verunreinigung,
Kratzer) klassifizierten Bildbereiche zur Verfügung, so dass diese Bereiche
einer Weiterverarbeitung, insbesondere einer Bildkorrektur unterzogen
werden können.
Die einzelne Detektion von ,fehlerhaften' Bilddaten erfolgt begrenzt auf einen
Ausschnitt der Bilddaten, wobei dieser Ausschnitt relativ klein
zu wählen
ist, damit mit dem aus der Mittelwertbildung resultierende Helligkeitswert
noch aussagekräftige
Vergleiche angestellt werden können.
Eine solche Einschränkung
ist bei der Anwendung im Kopierer und Scanner- und welche einen Bildausschnitt ganz
oder zumindest im Wesentlichen überdecken,
können
durch dieses Verfahren nur schwerlich erkannt werden.
-
Ein
Verfahren zur Detektion von Schmutzpartikeln auf Grundlage von Bilddaten
wird in einer Schrift von C. Chen und G. Qiu (C. Chen, G. Qiu, Detection
algorithm of particle contamination in reticle Images with continuous
wavelet transform, School of Computer Science and IT, University
of Nottingham, Nottingham, UK, 2001) beschrieben. Dieses Verfahren
bedient sich der Wavelett Transformation um einzelne Bilddaten,
welche einer weiteren Inspektion zu unterziehen sind, vorzuselektieren.
Als Kriterium für
die Vorselektion dienen hierbei die bei der Wavelett Transformation
der Bilddaten vorgefundenen die lokalen Maxima, welche als potentielle
Verschmutzungen interpretiert werden. Auf diese Weise reduziert
sich die im weiteren zu verarbeitende Datenmenge im Allgemeinen
auf relativ wenige Bildpunkte. Im Bereich dieser Bildpunkte werden
sodann der Lipschitz Exponent und ein spezielles Schärfemaß bestimmt
und mit den an diesen Stellen zu erwartenden Modelldaten, welche
in einer Bilddatenbank abgelegt sind, verglichen. Auf Grundlage
dieses Vergleichs wird sodann auf Verschmutzung geschlossen; dies
insbesondere dann, wenn das Schärfemaß einen
bestimmten zu erwartenden Wert unterschreitet. Die Berechnung des
Lipschitz Exponenten und des speziellen Schärfemaßes benötigen jedoch ein hohes Maß an Rechenleistung,
so dass eine wirtschaftlich sinnvolle Realisierung zur Auswertung
von dynamischen Szenarien, wie sie insbesondere im Automobilbereich
bei der Beobachtung des Straßenverkehrs
auftreten, nicht möglich
scheint. Auch liegen hier keine in einer Datenbank abgelegten Modelldaten
vor, auf Grundlage welcher eine Entscheidung in Bezug auf eine vorhandene
Verschmutzung getroffen werden könnte.
-
Aufgabe
der Erfindung ist es deshalb, ein Verfahren zur Erkennung und Lokalisierung
von Verschmutzungen auf der Optik eines Kamerasystems zu finden,
welches robust auch bei star ker Verschmutzung arbeitet und welches
relativ geringe Rechenleistung benötigt.
-
Die
Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs
1 gelöst.
Vorteilhafte Weiterbildungen und Ausgestaltungen der Erfindung werden
in den Unteransprüchen
beschrieben.
-
Bei
dem neuartigen Verfahren zur Erkennung und Lokalisierung von Verschmutzungen
auf der Optik eines Kamerasystems werden für die einzelnen Bildpunkte
innerhalb der vom Kamerasystem erfassten Bilddaten Schärfemaße berechnet.
Für den
Fall, dass das Schärfemaß eines
einzelnen Bildpunktes einen Schwellwert S1 unterschreitet, wird
sodann auf das Vorliegen von Verschmutzung an der auf diesen Bildpunkt abgebildeten
Stelle des optischen Systems entschieden. Hierbei wird jedoch in
erfinderischer Weise die Veränderung
des Schärfemaßes der
einzelnen Bildpunkte über
eine diesen Bildpunkten zugeordnete Zeitspanne t1 hin beobachtet
und es wird erst dann auf das Vorliegen von Verschmutzung entschieden,
wenn das Schärfemaß des Bildpunktes
während
dieser gesamten Zeitspanne t1 den zugeordneten Schwellwert nicht überschreitet.
Die Erfindung geht von der Annahme aus, dass bei der Beobachtung
von bewegten Szenen, beziehungsweise bei der bewegten Beobachtung
von Szenen (beispielsweise Bildaufnahme aus einem fahrenden Fahrzeug)
innerhalb eines Zeitraumes t1 sich für jeden der Bildpunkte die
Bilddaten derart geändert
haben sollten, dass ein für
diesen Bildpunkt berechnetes Schärfenmaß wenigstens
für eine
Bildaufnahme über
einem bestimmten Schwellwert S1 zu liegen kommt. Sollte dies nicht
der Fall sein, so kann davon ausgegangen werden, dass sich die während der
Zeitspanne t1 spätestens
zu erfolgende Änderung
im Schärfemaß eines
bestimmten Bilddatums deshalb nicht ergeben hat, weil sich auf Grund
einer Verschmutzung an dieser Stelle keine signifikant andere Bildinformation
ergeben hat.
-
Im
Rahmen der erfindungsgemäßen Bestimmung
des Schärfemaßes wird
somit für
jeden Bildpunkt eine dem Schärfemaß entspre chende
Operatorantwort errechnet. Das heißt, der Operator ermittelt
die Schärfe im
Bild für
einen kleinen Bildbereich um einen Bildpunkt. Es können alle
Operatoren gewählt
werden, die ein Maß für die Schärfe im Bild
beziehungsweise ein Maß für die vorhandene
Struktur ermitteln. Beispiele sind die lokale Varianz in einem Bildbereich,
die Entropie oder Gradientenoperatoren.
-
In
besonders vorteilhafter Weise hat es sich bewährt, als Operator den diskreten
Laplace-Operator (Bernd Jähne,
Digitale Bildverarbeitung, 4. Auflage S. 359), vorzugsweise in einer
3 × 3-Umgebung
zu verwenden. In diesem Fall ist der Laplace-Operator L(i, j) an der Stelle (i, j)
innerhalb der Bilddaten definiert als
-
Der
Operator wird sodann für
jeden einzelnen Bildpunkt während
einer bestimmten Zeitspanne t1 beobachtet. Ist der Wert des Operators
für diese
gesamte Zeitspanne t1 kleiner als ein Schwellwert S1, so wird der
diesem Bildpunkt zugeordnete Bereich der Optik als verschmutzt deklariert.
Mathematisch lässt
sich diese Beobachtung und der Vergleich beschreiben gemäß maxt1(abs(L·It)) < S1 Gl. 2
-
Hierbei
entspricht maxt1 dem Maximum über die
Zeitspanne t1 und It den Bilddaten I zum
Zeitpunkt t innerhalb der Zeitspanne t1. L·It beschreibt
die Faltung der einzelnen Bilddaten zum Zeitpunkt t und abs() den aus
dieser Faltung resultierenden Absolutwert.
-
In
Abhängigkeit
von ihrem Bildinhalt weisen unterschiedliche Stellen in den Bilddaten
unterschiedliche Grade von Bildschärfe auf, dies im Allgemeinen
ganz unabhängig
vom Grad der Verschmutzung der Kameraoptik. So werden beispielsweise
bei Bilddaten von Verkehrsszenarien diejenigen Bereiche, welche
die Straße abbilden
generell weniger Schärfe
aufweisen, als Bereiche des Straßenrandes mit Büschen und
Bäumen.
In gewinnbringender Weise ist es deshalb denkbar den einzelnen Bildpunkten
unterschiedliche Zeitspannen t1 zuzuordnen. Bildpunkte in generell
kontrastreichen Bildbereichen sollten bereits während kurzer Zeit beziehungsweise
während
der Zeitdauer einer kurzen Bildsequenz zumindest einmal ein Schärfemaß aufweisen, welches über dem
Schwellwert S1 zum liegen kommt. Andererseits muss bei Bildpunkten,
welche sich in kontrastarmen Bildbereichen befinden eine längere Zeitspanne
t1 abgewartet werden, bis in bei den Bilddaten der einer erfassten
Teilbildszene ein Schärfenmaß ermittelt
werden kann, welches über
dem Schwellwert S1 liegt.
-
Da
die Änderung
des Schärfemaßes eines
einzelnen Bildbereichs sehr stark von der Änderung der sich in diesem
Bereich abbildenden Bilddaten abhängt, ist es sehr wohl denkbar,
in vorteilhafter Weise die Zeitspanne t1 in Abhängigkeit der Eigenbewegung
des Kamerasystems (Fahrgeschwindigkeit des Kraftfahrzeuges, in welchem
das Kamerasystem installiert ist) oder in Abhängigkeit der Bewegung der beobachteten
Bildszene gewählt
wird.
-
In
einer besonders gewinnbringenden Ausführungsform ist es denkbar die
den jeweiligen Bildpunkten zugeordnete Zeitspanne t1, aus der Dynamik
der Änderung
des Schärfemaßes der
einen bestimmten Bildpunkt umgebenden Bildpunkte herzuleiten. Hierbei
wäre es
denkbar zu Beginn der Verarbeitung allen Bildpunkten einen identischen
Wert von t1 zuzuordnen und im Verlaufe des Verfahrens für einen
bestimmten die Bildpunkte umgebenden Bereich zu beobachten, innerhalb
welcher Zeitspannen die einzelnen Bildpunkte dieses Bereiches eine Überschreitung
des Schwellwertes S1 aufweisen. Auf diese Weise könnten kontrastreiche und
kontrastarme Bereiche identifiziert werden und den dortigen Bildpunkten
entsprechend angepasste Zeitspannen t1 zugewiesen werden. Sehr wohl
ist es aber auch denkbar die für
die Herleitung einer angepassten Zeitspannen t1 die heranzuziehenden
Bildpunkte der Umgebung mittels einer Objektklassifikation zu ermitteln. Auf
diese Weise könnten
gezielt diejenigen Bildpunkte, welche einem bestimmten Objekt (beispielsweise) Straßenoberfläche gemeinsam
betrachtet werden.
-
Befinden
sich in der von dem Kamerasystem erfassten Bildszene dynamisch bewegte
Objekte, so werden diejenigen Bildpunkte, in welchen die bewegten
Objekte abbilden eine erhöhte
Dynamik in ihrem Kontrast aufweisen. Durch diese erhöhte Dynamik
des Bildkontrastes kann davon ausgegangen werden, dass das Schärfenmaß der Bildpunkte
dieses Bereichs innerhalb einer relativ kurzen Zeitspanne einen
Wert oberhalb des Schwellwertes S1 annehmen wird. Im Allgemeinen
wird diese Überschreitung
spätestens
dann auftreten, nachdem sich das dynamische Objekt vollständig über diesen
Bildbereich hinwegbewegt hat. Deshalb ist es in besonders vorteilhafter
Weise auch denkbar die den Bildpunkten zugeordnete Zeitspanne t1
mittels einer Objektklassifikation, welche Informationen über die
Dynamik von Objekten im Sichtfeld des Kamerasystems liefert, festzulegen.
Beobachtet beispielsweise ein Kamerasystem über den Rückspiegel des Fahrzeuges dessen
rückwärtigen Bereich,
so enthalten die erfassten Bilddaten im Allgemeinen einen signifikant
großen
Bildbereich in welchem sich die kontrastarme Straßenoberfläche abbildet.
Den diesem Bildbereich zugeordneten Bildpunkten sollte wie zuvor
diskutiert eine relativ lange Zeitspanne t1 zugeordnet werden. Wird
das eigene Fahrzeug jedoch durch ein nachfolgendes Fahrzeug überholt,
so wird zumindest innerhalb des Zeitraums des Überholvorgangs der gesamte
Abbildungsbereich des Kamerasystems von Teilen des Überholenden
durchquert. Eine solche Durchquerung resultiert jedoch auf Grund
des Kontrastwechsels bei den einzelnen Bildpunkten zumindest zeitweilig
in signifikant hohen Schärfemaßen. Da
alle Bildpunkte betroffen sind, sollten spätestens nach Beendigung des Überholvorgangs
die Schärfemaße aller
Bildpunkte den Schwellwert S1 überschritten
haben. Diejenigen Bildbereiche/Bildpunkte die hierbei keine Schwellwertüberschreitung
aufweisen sind als vorzugsweise als verschmutzt einzustufen.
-
Nachfolgend
soll die Funktionalität
des Systems anhand von Figuren und Messdiagrammen im Detail erläutert werden.
-
1 zeigt zwei unterschiedliche
Bilddatensätze
eines Kamerasystems, welches über
den Rückspiegel
eines Fahrzeuges dessen rückwärtigen Bereich
einsieht.
-
2 zeigt die Antwort des
Laplace-Operators über
die Zeit in einem nicht verschmutzten Bereich einer der Bilddatensätze in 1.
-
3 zeigt die Antwort des
Laplace-Operators über
die Zeit in einem verschmutzten Bereich einer der Bilddatensätze von 1.
-
4 zeigt eine Sequenz von
Bilddatensätzen
entsprechend 1a) und
die resultierenden Bilddaten in Abhängigkeit der Zeitspanne t1.
-
5 zeigt eine weitere Sequenz
von Bilddatensätzen
entsprechend 1b) und
die resultierenden Bilddaten in Abhängigkeit der Zeitspanne t1.
-
Ausgehend
von der Verwendung der Erfindung bei einem Kamerasystem zur Überwachung
des rückwärtigen Raumes
eines Fahrzeuges über
dessen Außenspiegel
zeigt 1 beispielhafte
zwei unterschiedliche Bilddatensätzen.
Bei dem in 1a) dargestellten
Bilddatensatz wird deutlich, dass sich bei einer solchen Kameraanordnung
in dem Großteil
der Bilddaten die Fahrbahn abbildet. Ein Bereich der Bilddaten (ganz
links und recht, sowie oberer Rand Bildmitte bis rechts) enthält das Abbild
des eigenen Fahrzeuges und im oberen Bereich der Bilddaten bildet
sich der Fahrbahnrand ab. Insbesondere in für die Bildpunke im Bereich,
in welchem sich das eigene Fahrzeug abbildet, ist davon aus, dass
sich das Schärfemaß über einen
langen Zeitraum t1 nicht signifikant ändern wird; allenfalls unterschiedlicher
Lichteinfall oder unterschiedliche Spiegelungen könnten hier
in einer Änderung
des Schärfemaßes resultieren.
Aus dem Bild ist ersichtlich, dass sich im oberen, mittigen Bereich
der Bilddaten eine Verschmutzung des Spiegels, einem optischen Element
des Kamerasystems, abbildet.
-
5 zeigt eine weitere Sequenz
von Bilddatensätzen
entsprechend 1b) und
die resultierenden Bilddaten in Abhängigkeit der Zeitspanne t1.
-
Ausgehend
von der Verwendung der Erfindung bei einem Kamerasystem zur Überwachung
des rückwärtigen Raumes
eines Fahrzeuges über
dessen Außenspiegel
zeigt 1 beispielhafte
zwei unterschiedliche Bilddatensätzen.
Bei dem in 1a) dargestellten
Bilddatensatz wird deutlich, dass sich bei einer solchen Kameraanordnung
in dem Großteil
der Bilddaten die Fahrbahn abbildet. Ein Bereich der Bilddaten (ganz
links und recht, sowie oberer Rand Bildmitte bis rechts) enthält das Abbild
des eigenen Fahrzeuges und im oberen Bereich der Bilddaten bildet
sich der Fahrbahnrand ab. Insbesondere in für die Bildpunke im Bereich,
in welchem sich das eigene Fahrzeug abbildet, ist davon aus, dass
sich das Schärfemaß über einen
langen Zeitraum t1 nicht signifikant ändern wird; allenfalls unterschiedlicher
Lichteinfall oder unterschiedliche Spiegelungen könnten hier
in einer Änderung
des Schärfemaßes resultieren.
Aus dem Bild ist ersichtlich, dass sich im oberen, mittigen Bereich
der Bilddaten eine Verschmutzung des Spiegels, einem optischen Element
des Kamerasystems, abbildet. 1b)
zeigt das Abbild einer zu 1a)
vergleichbaren Szene. Hierbei bildet sich eine Verschmutzung des
Spiegels jedoch im oberen linken Bereich der Bilddaten ab. Beispielhaft
werden in den 2 und 3 die Zeitverläufe der
Schärfemaße zweier
Bildbereiche innerhalb des Zeitverlaufes t1 während der Aufnahme von 200
Bilddatensätze
betrachtet. Der der 2 zugeordnete
Bereich, wurde einem ,nicht-verschmutzten' Bereich innerhalb
der Bilddatensätze
entnommen, während 3 den Verlauf des Schärfemaßes einem
die Verschmutzung abbildenden Bereich innerhalb eines der Bilddatensätze zuzuordnen
ist. Aus den Figuren wird deutlich, dass bei einer beispielhaften
Wahl des Schwellwertes S1 zu einem Wert von 50 bei ,sauberen Bildbereichen' (2) eine das dort vorherrschenden Schärfemaß ergeben
hat. Der Schwellwert S1 wurde hierbei auf den Wert 25 festgelegt.
-
Aus
diesen Beispielen wird deutlich, dass Bildpunkte, welche deutlichen
Kanten von Bildelementen zuzuordnen sind, beispielsweise Ränder der
Linienelemente auf der Fahrbahn oder des Türgriffs des eigenen Fahrzeuges,
bereits in der ersten Bildaufnahme ein über dem Schwellwert S1 liegendes
Schärfemaß aufweise. Demgegenüber benötigen die
Schärfemaße der Bildbereiche,
welche dem Abbild der Fahrbahn zuzuordnen sind relativ lange bis
sie den Schwellwert überschreiten.
Nach der Aufnahme einer Sequenz von 200 Bilddatensätzen haben
jedoch weisen jedoch nur diejenigen Bildpunkte keine Überschreitung
des Schwellwertes auf, welche dem Abbild des eigenen Fahrzeuges
oder der Verschmutzung entsprechen. Diese Bereiche sind in den 4d) und 5d) auch visuell deutlich zu identifizieren.
Da die Abbildungsgeometrie des Kamerasystems in Bezug auf das eigene
Fahrzeug bekannt ist, ist es bekannt, welche der Bilddaten dem eigenen
Fahrzeug zuzuordnen sind, und gegebenenfalls nicht in Betracht gezogen
werden brauchen. Werden diese im allgemeinen nicht interessierenden
Bilddaten außer
Betracht gelassen, so sind es eigentlich einzig diejenigen Bilddaten, welche
direkt einer Verschmutzung zuzuordnen sind, deren Schärfemaß nach der
Zeitdauer der Aufnahme von 200 Bilddatensätzen noch keine Überschreitung
des Schwellwertes S1 aufweisen. Aus dem unterschiedlichen Verhalten
der Bildbereiche in Bezug auf den Zeitpunkt der Schwellwertüberschreitung
ist ersichtlich, dass es wie oben bereits eingehend diskutiert vorteilhaft
sein kann, für
unterschiedliche Bildbereiche unterschiedliche Zeitspannen t1 zu
definieren.
-
Neben
der Bestimmung von einzelnen oder Gruppen von verschmutzten Bereichen
auf der Optik eines Kamerasystems, ist es sehr wohl auch denkbar
in gewinnbringender Weise über
das Gesamtbild eine Entscheidung dahingehend zu treffen, ob die
Verschmutzung der Optik einen gewissen Verschmutzungsgrad überschritten
hat. Hierzu wird über
eine bestimmte Zeitspanne t2 die Anzahl der im gesamten durch die
Optik abgebildeten Bildbereich als Schmutz deklarierten Pixel gezählt. Diese
Zahl wird sodann mit einem Schwellwert S2 verglichen und für den Fall,
dass Schwellwert S2 nach der Zeit t2 überschritten wird, wird auf
eine Überschreitung
des Verschmutzungsgrades geschlossen. Sobald das Verfahren feststellt,
dass das Bild nicht verschmutzt ist, also die Anzahl der als schmutzig
erkannten Bildpunkte während
der Zeitspanne t2 unter dem Schwellwert S2 liegt, wird der Zählvorgang
neu gestartet. Um aber neue Verschmutzungen schneller zu erkennen,
sollte in vorteilhafter Weise beim Neustart des Zählvorgangs
wieder von neuem, das heißt
von Null (0) an zu zählen
begonnen werden. In der Praxis hat sich eine Vorgabe der Zeitspanne
t2 auf die Zeitdauer der Erfassung von ungefähr 1000 Bildern bei der Anwendung
zur Rückraumüberwachung
von Straßenfahrzeugen als äußerst gewinnbringend
erwiesen. Selbstverständlich
kann zur Optimierung dieser Wert in anderen Anwendungsbereichen
oder -situationen andersartig gewählt werden.
