-
Die Erfindung betrifft ein Verfahren zum Erkennen eines verdeckten Zustands einer Bilderfassungseinrichtung eines Kraftfahrzeugs, nämlich insbesondere einer Kamera des Kraftfahrzeugs. Die Erfindung betrifft außerdem ein Kamerasystem, welches zum Durchführen eines derartigen Verfahrens ausgebildet ist, wie auch ein Kraftfahrzeug mit einem solchen Kamerasystem.
-
Kamerasysteme für Kraftfahrzeuge sind bereits Stand der Technik. Sie beinhalten üblicherweise zumindest eine Kamera, welche an dem Kraftfahrzeug angebracht ist und einen Umgebungsbereich des Kraftfahrzeugs erfasst. Eine solche Kamera kann Bilder des Umgebungsbereichs erfassen, wobei die Bilder mittels einer elektronischen Recheneinrichtung verarbeitet werden können. Anhand der Bilder kann die Recheneinrichtung dann verschiedenste Funktionalitäten im Kraftfahrzeug bereitstellen und somit den Fahrer beim Führen des Kraftfahrzeugs unterstützen. Eine der bekannten Funktionalitäten besteht darin, die erfassten Bilder auf einem Display im Innenraum anzuzeigen. Gemäß einer weiteren Funktionalität können beispielsweise die in der Umgebung des Kraftfahrzeugs befindlichen Hindernisse erkannt werden, und der Fahrer kann vor diesen Hindernissen gewarnt werden.
-
Es kann vorkommen, dass eine Linse der Kamera blockiert bzw. verdeckt ist, sodass die aufgenommenen Bilder nicht mehr die Umgebung des Kraftfahrzeugs darstellen, sondern etwa einen dunklen Fleck, einen Bildbereich geringerer Frequenz oder dergleichen. Die Linse kann dabei durch beispielsweise Wassertropfen verdeckt sein oder der verdeckte Zustand der Kamera kann sich auch aufgrund einer Verschmutzung ergeben. Aus dem Stand der Technik sind bereits Methoden bekannt, wie ein solcher verdeckter bzw. blockierter Zustand einer Kamera detektiert werden kann. So beschreibt beispielsweise das Dokument
EP 1 826 648 A2 eine Methode, welche die Erkennung von Wassertropfen bzw. einer Verschmutzung der Linse einer Kamera ermöglicht. Andererseits ist hier auch vorgesehen, dass mittels einer Bildverarbeitungseinrichtung erkannt wird, ob aktuell Nebel vorhanden ist oder nicht. Dies kann auf der Basis einer Verzerrung sowie auf der Grundlage eines Fokusfehlers von Bildern detektiert werden. Weiterhin beschreibt das Dokument
WO 2010/038223 A1 ein Verfahren zur Detektion eines verschmutzten Zustands einer Linse einer Kamera, bei welchem die erfasste Sequenz von Bildern einer Hochpassfilterung unterzogen wird. Mit dem Hochpassfilter können dann vorbestimmte Bildregionen in den Bildern detektiert werden. Eine Bildregion mit einer relativ geringen Raumfrequenz wird als eine mögliche Verschmutzung der Linse interpretiert.
-
Es ist Aufgabe der Erfindung, ein gegenüber dem Stand der Technik verbessertes Verfahren zum Erkennen eines verdeckten Zustands einer Bilderfassungseinrichtung eines Kraftfahrzeugs, ein Kamerasystem sowie ein Kraftfahrzeug vorzuschlagen.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Kamerasystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
-
Ein erfindungsgemäßes Verfahren dient zum Erkennen eines verdeckten Zustands einer Bilderfassungseinrichtung eines Kraftfahrzeugs, also eines durch Schmutz, Wasser und/oder Eis und dergleichen blockierten Zustands der Bilderfassungseinrichtung. Es wird ein erstes Bild mittels der Bilderfassungseinrichtung zu einem ersten Zeitpunkt erfasst. Zu einem von dem ersten Zeitpunkt unterschiedlichen zweiten Zeitpunkt erfasst die Bilderfassungseinrichtung ein zweites Bild. Das erste und das zweite Bild werden dann in eine Vielzahl von Bildzellen entsprechend einer vorbestimmten Matrix unterteilt. Das erste und das zweite Bild werden dann zellenweise derart miteinander verglichen, dass die Bildzellen des zweiten Bildes mit den jeweils korrespondierenden Bildzellen des ersten Bildes verglichen werden. Zu jedem Vergleichspaar aus einer Bildzelle des ersten Bildes und der korrespondierenden Bildzelle des zweiten Bildes wird dann in Abhängigkeit von einem Ergebnis des Vergleichs bestimmt, ob die Bilderfassungseinrichtung bezüglich dieser Bildzelle verdeckt ist oder nicht.
-
Bei dem lösungsgemäßen Verfahren ist somit eine feste Matrix vorgegeben, gemäß welcher die Bilder jeweils in eine Vielzahl von Bildzellen unterteilt werden. Das Zellenraster des ersten Bildes ist somit gleich dem Zellenraster des zweiten Bildes. Die Bildzellen werden dann unabhängig voneinander verarbeitet, und zwar so, dass die Bildzellen des ersten Bildes mit den zugeordneten Bildzellen des zweiten Bildes verglichen werden. Anhand dieses Vergleichs kann dann festgestellt werden, ob die Bilderfassungseinrichtung im Bereich dieser Bildzelle verdeckt ist oder nicht. Durch das erfindungsgemäße Verfahren wird somit eine zuverlässige Detektion des verdeckten Zustands der Bilderfassungseinrichtung ohne viel Rechenaufwand ermöglicht, und es können außerdem Bereiche festgestellt werden, in denen die Linse der Bilderfassungseinrichtung tatsächlich verdeckt ist. So kann beispielsweise mithilfe des Verfahrens detektiert werden, dass ein erster Bereich der Linse verschmutzt ist, während ein weiterer Bereich der Linse „sauber“ und somit nicht verdeckt ist. Somit kann erreicht werden, dass eine nachfolgende Bildverarbeitung zum Beispiel ausschließlich anhand des „sauberen“ Bildbereichs vorgenommen wird, um beispielsweise eine fehlerhafte Hinderniserkennung oder dergleichen zu verhindern. Es lässt sich mit dem erfindungsgemäßen Verfahren sogar prozentual bestimmen, wie groß der verdeckte Bereich der gesamten Linse ist. Insgesamt wird somit im Vergleich zum Stand der Technik ein verbessertes Verfahren angegeben, mit welchem ein verdeckter Zustand der Bilderfassungseinrichtung präzise und mit geringem Rechenaufwand detektiert werden kann.
-
Die Bilderfassungseinrichtung ist bevorzugt eine Kamera, nämlich insbesondere eine CCD-Kamera oder eine CMOS-Kamera. Die Bilderfassungseinrichtung ist somit eine optische Einrichtung, welche Licht in dem vom Menschen sichtbaren Spektralbereich detektieren und somit Bilder erzeugen kann. Die Bilderfassungseinrichtung ist insbesondere eine Video-Kamera, welche eine Vielzahl von Bildern pro Zeiteinheit, also eine zeitliche Sequenz von Bildern erfassen kann.
-
Unter einem verdeckten Zustand der Bilderfassungseinrichtung wird vorliegend insbesondere ein Zustand verstanden, in welchem eine Linse der Bilderfassungseinrichtung zumindest partiell von außen derart verdeckt und somit blockiert ist, dass über diesen blockierten Bereich kein Licht oder nur ein gedämpftes Licht in das Innere der Bilderfassungseinrichtung gelangen kann. Insbesondere wird unter dem verdeckten Zustand folglich ein verschmutzter und/oder ein mit Wasser und/oder Eis verdeckter Zustand verstanden.
-
In einer bevorzugten Ausführungsform ist vorgesehen, dass der erste und der zweite Zeitpunkt derart festgelegt werden, dass ein zeitlicher Abstand zwischen diesen Zeitpunkten und/oder eine zwischen diesen Zeitpunkten zurückgelegte Wegstrecke des Kraftfahrzeugs einem vorbestimmten Kriterium genügt. Der zweite Zeitpunkt kann somit bezüglich des ersten Zeitpunkts in Abhängigkeit von einer seit dem ersten Zeitpunkt zurückgelegten Wegstrecke und/oder in Abhängigkeit von einer seit dem ersten Zeitpunkt verstrichenen Zeitdauer festgelegt werden. Somit kann verhindert werden, dass zwei Bilder miteinander verglichen werden, welche im Wesentlichen dieselbe Szene bzw. dieselbe Umgebung zeigen. Somit können fehlerhafte Entscheidungen bei der Detektion des verdeckten Zustands der Bilderfassungseinrichtung verhindert werden.
-
Dabei erweist es sich als besonders vorteilhaft, wenn das oben genannte Kriterium beinhaltet, dass der zeitliche Abstand zwischen dem ersten und dem zweiten Zeitpunkt größer als ein vorbestimmter Wert ist bzw. in einem vorgegebenen Wertebereich liegt, wie beispielsweise in einem Wertebereich von 0,5 s bis 2 s. Insbesondere ist dieser zeitliche Abstand größer als 0,5 s, insbesondere größer als 0,8 s. Dieser zeitliche Abstand kann beispielsweise 1 s betragen. Dies bedeutet, dass zur Erkennung des verdeckten Zustands zwei Bilder miteinander verglichen werden können, die in einem zeitlichen Abstand von beispielsweise 1 s voneinander erfasst wurden. Dieser Wertebereich stellt einen guten Kompromiss zwischen der Genauigkeit der Erkennung des verdeckten Zustands einerseits sowie der Schnelligkeit der Erkennung dar. Werden nämlich Bilder miteinander verglichen, die in einem zeitlichen Abstand von 1 s voneinander erfasst wurden, so kann mit hoher Genauigkeit und mit hoher Wahrscheinlichkeit angenommen werden, dass diese beiden Bilder auch unterschiedliche Szenen darstellen sollen. Somit kann anhand dieser beiden Bilder dann sehr präzise festgestellt werden, ob die Bilderfassungseinrichtung (partiell) verdeckt ist oder nicht.
-
Ergänzend oder alternativ kann das oben genannte Kriterium auch beinhalten, dass die zwischen dem ersten und dem zweiten Zeitpunkt zurückgelegte Wegstrecke des Kraftfahrzeugs größer als ein vorgegebener Wert, beispielsweise 10 m, ist, insbesondere in einem Wertebereich von 10 m bis 20 m liegt, und vorzugsweise in einem Wertebereich von 13 m bis 16 m. Allgemein gesagt kann vorausgesetzt werden, dass nur solche zwei Bilder miteinander verglichen werden, welche zu Zeitpunkten erfasst wurden, zwischen denen sich das Kraftfahrzeug auch bewegt hat. Eine Wegstrecke von 14 m hat sich dabei als genügend erwiesen, um eine Änderung der abgebildeten Umgebung sicherstellen zu können. Dadurch können falsche Entscheidungen bei der Detektion des Zustands der Bilderfassungseinrichtung verhindert werden.
-
Nun kann es sein, dass anhand eines einzelnen Vergleichs eines Vergleichspaares aus einer Bildzelle des ersten Bildes und der korrespondierenden Bildzelle des zweiten Bildes eine sehr hohe Ähnlichkeit und somit eine sehr hohe Korrelation zwischen diesen beiden Bildzellen detektiert wird. Wird anhand eines solchen einzelnen Vergleichs bestimmt, dass die Bilderfassungseinrichtung bezüglich dieser Bildzelle verdeckt ist, so wird in einer Ausführungsform noch keine endgültige Entscheidung über den Zustand der Bilderfassungseinrichtung getroffen. Diese einmalige Entscheidung anhand der beiden Bilder wird nämlich weiterhin plausibilisiert, bis mit hoher Sicherheit festgestellt werden kann, dass der verdeckte Zustand der Bilderfassungseinrichtung auch tatsächlich vorliegt. Dazu werden auch weitere Bilder erfasst und zur Entscheidung insbesondere derart herangezogen, dass die Vielzahl von Bildern jeweils paarweise miteinander zellenweise verglichen werden. Deshalb ist in einer Ausführungsform vorgesehen, dass, falls anhand des einzelnen Vergleichs eines Vergleichspaares aus einer Bildzelle des ersten Bildes und der korrespondierenden Bildzelle des zweiten Bildes ein verdeckter Zustand der Bilderfassungseinrichtung bezüglich dieser Bildzelle detektiert wird, ein zu dieser Bildzelle definierter Zählerwert inkrementiert wird. Eine endgültige Feststellung des verdeckten Zustands der Bilderfassungseinrichtung kann dann nur unter der Voraussetzung ausgesprochen werden, dass der Zählerwert dieser Bildzelle größer als ein vorgegebener erster Grenzwert ist. Somit wird die Entscheidung plausibilisiert, und es kann eine besonders „stabile“ Information über den tatsächlichen Zustand der Bilderfassungseinrichtung gewonnen werden. Mit anderen Worten können somit falsche Entscheidungen bezüglich des aktuellen Zustands der Bilderfassungseinrichtung verhindert werden.
-
Eine weitere Plausibilisierung und somit Stabilisierung des Verfahrens kann darin bestehen, dass der genannte Zählerwert dann wieder dekrementiert wird, falls anhand des einzelnen Vergleichs der einen Bildzelle mit der anderen Bildzelle kein verdeckter Zustand der Bilderfassungseinrichtung detektiert wird, wenn also die beiden Bildzellen weniger ähnlich sind. Wird der Zählerwert dekrementiert, so kann der neue Zählerwert mit einem vorgegebenen, von dem ersten Grenzwert verschiedenen, insbesondere kleineren, zweiten Grenzwert verglichen werden. Ergibt dieser Vergleich, dass der Zählerwert immer noch größer als der zweite Grenzwert ist, so verbleibt man bevorzugt bei der bereits bestehenden Entscheidung, dass die Bilderfassungseinrichtung verdeckt ist. Wird allerdings festgestellt, dass der neue Zählerwert kleiner als der zweite Grenzwert ist, so wird die Bilderfassungseinrichtung als nicht mehr verdeckt interpretiert. Mit den beiden Grenzwerten wird folglich eine Hysterese vorgegeben, entlang welcher die Entscheidung über den aktuellen Zustand der Bilderfassungseinrichtung getroffen wird. Somit wird eine sehr häufige Veränderung der Entscheidung über den aktuellen Zustand verhindert, sodass eine gewisse Stabilität bei der Erkennung des aktuellen Zustands gewährleistet wird.
-
Das Vergleichen der Bildzellen kann beispielsweise so aussehen, dass eine Korrelation zwischen den Bildzellen berechnet wird. Insbesondere wird die so genannte normierte Kreuzkorrelation verwendet, um einen Ähnlichkeitsgrad zwischen den Bildzellen zu bestimmen. Bei einem einzelnen Vergleich der Bildzellen kann die Entscheidung binär sein: Ist die Korrelation (Ähnlichkeitsgrad) größer als eine vorgegebene Schwelle, so wird dies als verdeckter Zustand interpretiert. Anhand der normierten Kreuzkorrelation gelingt es, die beiderseitigen Bildzellen besonders präzise miteinander zu vergleichen.
-
Hinsichtlich der Bilder können grundsätzlich zwei alternative Ausführungsformen vorgesehen sein:
- Zum einen können dem Vergleich der Bildzellen Rohdaten der Bilder zugrunde gelegt werden, also unverarbeitete Bilder. Bei dieser Ausführungsform liegen nur die Grauwerte der Bilder vor, und die jeweiligen Bildzellen werden miteinander hinsichtlich der Grauwerte verglichen. Zum anderen kann jedoch auch vorgesehen sein, dass die Bilder einer Filterung unterzogen werden und beim Vergleich der Bildzellen gefilterte Bilddaten verwendet werden. Insbesondere kann dabei vorgesehen sein, dass die Bilder einer Hochpass-Filterung unterzogen werden, sodass in den beiden Bildern lediglich die hochfrequenten Bildanteile verbleiben. Beispielsweise wird die so genannte Sobel-Filterung verwendet. Es kann auch vorgesehen sein, dass vor dem Vergleich die Bilder einer Merkmalserkennung unterzogen werden, nämlich beispielsweise einer Kantendetektion und/oder Eckendetektion oder dergleichen. Durch die Filterung der Bilder kann insgesamt ein Vorteil dahingehend erzielt werden, dass der Vergleich zwischen den Bildzellen noch präziser erfolgen kann und sogar feine Unterschiede in den Bildzellen detektiert werden können. Dies erweist sich insbesondere dann als besonders vorteilhaft, wenn in den Bildzellen die Straße bzw. der Boden abgebildet ist.
-
Die Bestimmung des verdeckten Zustands kann auch umfassen, dass die Art der Verdeckung klassifiziert wird. Beispielsweise kann zwischen Wassertropfen (diese sind üblicherweise transparent) einerseits und einer Verschmutzung der Bilderfassungseinrichtung andererseits unterschieden werden. Ergänzend oder alternativ kann auch zwischen einer partiellen Verdeckung einerseits und einer vollständigen Verdeckung der jeweiligen Bildzelle andererseits unterschieden werden.
-
Bei der Bestimmung des verdeckten Zustands kann auch vorgesehen sein, dass die Position der Verdeckung bestimmt wird. Die Anzahl der möglichen Lagen der Verdeckung entspricht dabei insbesondere der Anzahl der verwendeten Bildzellen.
-
Ein erfindungsgemäßes Kamerasystem für ein Kraftfahrzeug umfasst eine Bilderfassungseinrichtung zum Erfassen von Bildern, wie auch eine Recheneinrichtung zum Verarbeiten der Bilder. Die Recheneinrichtung ist dazu ausgelegt, ein erfindungsgemäßes Verfahren durchzuführen.
-
Ein erfindungsgemäßes Kraftfahrzeug umfasst ein erfindungsgemäßes Kamerasystem.
-
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kamerasystem sowie für das erfindungsgemäße Kraftfahrzeug.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
-
Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels, wie auch unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Dabei sei betont, dass das nachfolgend beschriebene Ausführungsbeispiel eine bevorzugte Ausführungsform der Erfindung darstellt und die Erfindung somit nicht auf diese beispielhafte Ausführungsform beschränkt ist.
-
Es zeigen:
- 1 in schematischer Darstellung ein Kraftfahrzeug mit einem Kamerasystem gemäß einer Ausführungsform der Erfindung;
- 2A und 2B in schematischer Darstellung ein erstes und ein zweites Bild, wobei ein Verfahren gemäß einer Ausführungsform der Erfindung näher erläutert wird;
- 3 in schematischer Darstellung ein Bild, wobei die Klassifizierung der Bildzellen näher erläutert wird;
- 4 ein Flussdiagramm eines Verfahrens gemäß einer Ausführungsform der Erfindung;
- 5 ein Flussdiagramm eines Verfahrens gemäß einer Ausführungsform der Erfindung; und
- 6 und 7 weitere Flussdiagramme.
-
Ein in 1 gezeigtes Kraftfahrzeug 1 ist beispielsweise ein Personenkraftwagen. Das Kraftfahrzeug 1 beinhaltet ein Kamerasystem 2, welches zum Unterstützen des Fahrers beim Führen des Kraftfahrzeugs 1 ausgebildet ist. Das Kamerasystem 2 weist eine elektronische Recheneinrichtung 3 auf, nämlich einen digitalen Signalprozessor. Das Kamerasystem 2 hat außerdem eine Vielzahl von Kameras 4, welche an dem Kraftfahrzeug 1 verteilt angeordnet sind. Die Anzahl der Kameras 4 sowie die Anordnung der Kameras 4 sind in 1 lediglich beispielhaft dargestellt. Je nach Ausführungsform kann die Anzahl und/oder die Anordnung der Kameras 4 unterschiedlich sein. Im Ausführungsbeispiel ist eine Kamera 4 im vorderen Bereich des Kraftfahrzeugs 1 angeordnet und erfasst den Umgebungsbereich vor dem Kraftfahrzeug 1; eine Kamera 4 ist im Heckbereich angeordnet und erfasst den Umgebungsbereich hinter dem Kraftfahrzeug 1; es sind außerdem jeweilige Kameras 4 in die beiden Außenspiegel des Kraftfahrzeugs 1 integriert.
-
Die Kameras 4 stellen Bilderfassungseinrichtungen dar.
-
Die aufgenommenen Bilder der Kameras 4 werden an die Recheneinrichtung 3 übermittelt, welche dann verschiedenste Funktionalitäten im Kraftfahrzeug 1 anhand der empfangenen Bilder bereitstellen kann. Beispielsweise sei hier eine Hinderniserkennung genannt.
-
Die Recheneinrichtung 3 kann außerdem anhand der empfangenen Bilder einen verdeckten bzw. blockierten Zustand der Kameras 4 detektieren. Obwohl das nachfolgend näher beschriebene Verfahren lediglich in Bezug auf eine einzige Kamera 4 erläutert wird, gilt dieses Verfahren entsprechend auch für andere Kameras 4.
-
In den 2a und 2b sind nacheinander erfasste Bilder schematisch dargestellt, nämlich ein erstes Bild 5 sowie ein zweites Bild 6. Zur Detektion eines verdeckten Zustands der Kamera 4 werden beide Bilder 5, 6 gemäß einer festen und abgespeicherten Matrix in eine Vielzahl von Bildzellen 7 unterteilt, welche eine vorgegebene Größe aufweisen. Es sind somit feste Blöcke gemäß einer abgespeicherten Matrix vorgegeben, welche dann separat voneinander verarbeitet werden. Der blockierte Zustand der Kamera 4 wird dann separat anhand der Blöcke (also der Bildzellen 7) detektiert, sodass gegebenenfalls auch die Position der Verdeckung der Kamera 4 bekannt ist.
-
Zur Detektion des verdeckten Zustands der Kamera 4 werden zunächst zwei Bilder 5, 6 ein und derselben Kamera 4 miteinander verglichen. Dieser Vergleich erfolgt zellenweise, sodass jede Bildzelle 7 des ersten Bildes 5 mit der jeweils korrespondierenden Bildzelle 7 des zweiten Bildes 6 verglichen wird. Für diesen Vergleich wird dabei vorzugsweise die normierte Kreuzkorrelation verwendet.
-
Des Weiteren können die Bilder 5, 6 entweder als Rohdaten miteinander verglichen werden oder es kann zunächst eine Filterung der Bilder 5, 6 vorgenommen werden. Wird eine Filterung durchgeführt, so werden die Bilder 5, 6 vorzugsweise einer Hochpass-Filterung unterzogen, sodass ausschließlich hochfrequente Bildanteile verbleiben. Es lassen sich außerdem vorbestimmte Merkmale in den Bildern 5, 6 detektieren, sodass dem oben genannten Vergleich lediglich „Merkmalsbilder“ zugrunde gelegt werden können.
-
Wie bereits ausgeführt, wird jede Bildzelle 7 des ersten Bildes 5 unabhängig von den anderen Bildzellen 7 mit der korrespondierenden Bildzelle 7 des zweiten Bildes 6 verglichen. Anhand der 2A und 2B wird veranschaulicht, dass anhand dieses Vergleichs erkannt werden kann, ob sich die in der jeweiligen Bildzelle 7 dargestellte Umgebung verändert oder nicht. So ist in den 2A und 2B eine Bildzelle 7a dargestellt, welche sich von dem ersten Bild 5 zum zweiten Bild 6 nicht verändert. Es kann somit angenommen werden, dass die Kamera 4 in Bezug auf diese Bildzelle 7a verdeckt ist, beispielsweise verschmutzt oder dergleichen. Auf der anderen Seite ist in den 2A und 2B eine Bildzelle 7b gezeigt, welche in den beiden Bildern 5, 6 jeweils unterschiedliche Merkmale darstellt. Während sich in der Bildzelle 7a lediglich der Kontrast und die Helligkeit verändern, verändert sich in der Bildzelle 7b auch das Abbild, was anhand der Korrelation detektiert werden kann. Die Bildzelle 7a kann folglich als „verdeckt“ interpretiert werden, während die Bildzelle 7b als „sauber“ interpretiert werden kann.
-
Bezüglich der Erfassung der beiden Bilder 5, 6 ist ein Kriterium vorgegeben, welches den zeitlichen Abstand zwischen der Erfassung der beiden Bilder 5, 6 sowie den zurückgelegten Weg des Kraftfahrzeugs 1 definiert. Es ist im Ausführungsbeispiel vorgesehen, dass dem Vergleich nur Bilder 5, 6 zugrunde gelegt werden, welche einerseits in einem zeitlichen Abstand von beispielsweise 1 s aufgenommen wurden, und andererseits auch eine Bewegung des Kraftfahrzeugs 1 von beispielsweise 14 m detektiert wurde. Diese Informationen können beispielsweise an einem CAN-Bus des Kraftfahrzeugs 1 erfasst und/oder mithilfe zumindest eines Sensors gewonnen werden. Beispielsweise kann ein GPS-Empfänger als Sensor verwendet werden.
-
Bezug nehmend nun auf 3 können zu den einzelnen Bildzellen 7 insgesamt folgende Ergebnisse (-1, 0 oder 1) des Einzelvergleichs ausgegeben werden:
- (-1) - n/a - der Vergleich ist nicht möglich, weil dieser Bildbereich das eigene Kraftfahrzeug 1 darstellt;
- (0) - C - die Bildzellen 7 des ersten Bildes 5 sind deutlich unterschiedlich von den korrespondierenden Zellen 7 des Bildes 6;
- (1) - S - der Vergleich der Bildzellen 7 hat ergeben, dass die Korrelation sehr hoch ist und die Kamera 4 somit verdeckt ist.
-
Es kann auch vorgesehen sein, dass eine partielle Verdeckung (in 3 mit S' gekennzeichnet) detektiert wird. Außerdem kann eine Klassifizierung auch dahingehend vorgenommen werden, dass zwischen Wassertropfen (transparent) sowie Verschmutzung unterschieden wird.
-
In 4 ist ein Flussdiagramm eines Verfahrens gemäß einer Ausführungsform näher dargestellt, wobei sich dieses Flussdiagramm auf den Vergleich zwischen zwei verschiedenen Bildern 5, 6 bezieht, und zwar auf einen Vergleich der Bildzellen 7 des ersten Bildes 5 mit den jeweils korrespondierenden Bildzellen 7 des zweiten Bildes 6. Dieses Flussdiagramm kann dann entsprechend auf weitere Bilder angewendet werden, welche nach den Bildern 5, 6 aufgenommen werden.
-
Während das erste Bild 5 vorliegt, wird das zweite Bild 6 in einem Schritt S1 aufgenommen. In einem weiteren optionalen Schritt S2 wird das Bild 6 einer Hochpass-Filterung unterzogen, sodass eine Merkmalsextraktion aus dem Bild 6 durchgeführt wird. In einem nachfolgenden Schritt S3 wird das Bild 6 in die Vielzahl von Bildzellen 7 unterteilt, welche dann separat voneinander verarbeitet und mit den korrespondierenden Bildzellen 7 des Bildes 5 verglichen werden.
-
In einem Schritt S4 wird dann überprüft, ob alle Bildzellen 7 bereits verarbeitet worden sind oder nicht. Ist dies der Fall, so werden die Ergebnisse der jeweiligen Vergleiche zwischen den Bildzellen 7 des Bildes 6 einerseits und den korrespondierenden Bildzellen 7 des Bildes 5 andererseits ausgegeben, und zwar in einem Schritt S5. Dann wird in einem weiteren Schritt S6 entschieden, dass ein noch weiteres Bild aufgenommen und verarbeitet werden soll, sodass ein weiteres Paar von Bildern dem Verfahren zugrunde gelegt wird.
-
Wird hingegen im Schritt S4 festgestellt, dass noch nicht alle möglichen Bildzellen 7 des Bildes 5, 6 verarbeitet worden sind, so wird in einem nachfolgenden Schritt S7 überprüft, ob die aktuelle Bildzelle 7 überhaupt verarbeitet werden muss oder nicht. Es werden nämlich ausschließlich diejenigen Bildzellen 7 weiter verarbeitet, welche einen interessierenden Umgebungsbereich darstellen, und nicht etwa die Bildzellen 7, welche das eigene Kraftfahrzeug 1 zeigen. Die oben genannten, mit „n/a“ bezeichneten Bildzellen 7 brauchen somit nicht verarbeitet und somit nicht mit den korrespondierenden Bildzellen 7 des anderen Bildes verglichen werden. Diese Frage, ob die aktuelle Bildzelle 7 verarbeitet wird oder nicht, wird in einem Schritt S8 entschieden. Wird diese Frage bejaht, so wird in einem Schritt S9 eine normierte Kreuzkorrelation zwischen dieser Bildzelle 7 des Bildes 6 und der korrespondierenden Bildzelle 7 des anderen Bildes 5 berechnet. Anhand des Ergebnisses dieser Korrelation wird dann in einem Schritt S10 entschieden, ob die aktuelle Bildzelle 7 in diesem Einzelvergleich als „sauber“ oder aber als „verdeckt“ klassifiziert wird. Dann kehrt das Verfahren wieder zum Schritt S4 zurück, in welchem überprüft wird, ob bereits alle Bildzellen 7 des Bildes 6 mit den korrespondierenden Bildzellen 7 des Bildes 5 verglichen worden sind oder nicht.
-
Wird im Schritt S8 hingegen festgestellt, dass die aktuelle Bildzelle 7 nicht weiter verarbeitet werden muss, weil es sich etwa um die „n/a“-Bildzelle handelt, so kehrt das Verfahren bereits vom Schritt S8 zum Schritt S4 zurück.
-
In dem Einzelvergleich zwischen den Bildern 5, 6 wird also zu jeder Bildzelle 7 festgestellt, ob die Kamera 4 in Bezug auf diese Bildzelle 7 verdeckt ist oder nicht. Das Verfahren gemäß 4 wird dann auf eine Vielzahl von Bildpaaren 5, 6 angewendet. Dies kann beispielsweise so aussehen, dass zunächst das erste Bild 5 mit dem zweiten Bild 6 verglichen wird und dann beispielsweise das zweite Bild 6 mit einem weiteren Bild verglichen wird.
-
Wird im Schritt S10 festgestellt, dass die Kamera 4 in Bezug auf eine der Bildzellen 7 verdeckt ist, so wird anhand dieses einzelnen Vergleichs noch nicht endgültig entschieden, dass die Kamera 4 tatsächlich auch blockiert ist. Es werden nämlich weitere Bilder aufgenommen, und das Verfahren gemäß 4 wird für eine Vielzahl von Bildpaaren wiederholt. Erst dann, wenn in Bezug auf eine bestimmte Bildzelle 7 mehrmals entschieden wird, dass die Kamera 4 bezüglich dieser Bildzelle 7 blockiert ist, wird eine endgültige Entscheidung getroffen. Zu diesem Zwecke wird beispielsweise ein Zähler implementiert, was nun Bezug nehmend auf 5 näher erläutert wird:
- Anhand der Entscheidung im Schritt S10 wird in einem weiteren Schritt S11 gemäß 5 überprüft, ob die Entscheidung gemäß Schritt S10 bezüglich der aktuellen Bildzelle 7 positiv oder negativ war. Dies bedeutet, dass im Schritt S11 überprüft wird, ob die aktuelle Bildzelle 7 als verdeckt interpretiert wird oder nicht. Ist dies der Fall, so wird in einem weiteren Schritt S12 ein Zählerwert Z inkrementiert, d.h. um 1 erhöht. Wird im Schritt S11 hingegen festgestellt, dass die aktuelle Bildzelle 7 „sauber“ ist, so wird der Zählerwert Z dekrementiert, d.h. um 1 verringert. Dies wird in einem Schritt S13 vorgenommen. In einem weiteren Schritt S14 wird dann überprüft, ob der aktuelle Zählerwert Z der aktuellen Bildzelle 7 (jede Bildzelle 7 hat einen eigenen Zählerwert Z) größer als ein vorgegebener Grenzwert G ist oder nicht. Ist dies der Fall, so wird in einem weiteren Schritt S15 endgültig entschieden, dass die Kamera 4 in Bezug auf diese Bildzelle 7 verdeckt, also verschmutzt oder dergleichen ist. Ist der Zählerwert Z kleiner als der Grenzwert G, so wird in einem parallelen Schritt S16 entschieden, dass die Kamera 4 bezüglich dieser Bildzelle 7 (noch) nicht blockiert ist. In einem nachfolgenden Schritt S17 wird dann die Entscheidung bezüglich der aktuellen Bildzelle 7 ausgegeben.
-
Also wird zu jeder Bildzelle 7 ein eigener Zählerwert Z definiert, welcher mit einem Grenzwert G verglichen wird. Dieser Grenzwert G kann für alle Bildzellen 7 gleich sein. Dies bedeutet, dass die Bildzellen 7 über eine Vielzahl von Bildern überwacht und ausgewertet werden.
-
Der Zählerwert Z kann auch sowohl nach unten als auch nach oben hin begrenzt werden. Beträgt der Grenzwert G beispielsweise 10, so kann eine untere Grenze für den Zählerwert Z auf 0 und eine Obergrenze auf 20 definiert werden. Dies bedeutet, dass der Zählerwert Z nicht mehr inkrementiert wird, wenn er 20 beträgt. Entsprechend erfolgt auch kein Dekrementieren des Zählerwerts Z im Falle, wenn der aktuelle Zählerwert 0 ist. Dabei sind die genannten Werte 0, 10 und 20 nur beispielhafte Werte, und die Erfindung ist nicht auf diese Werte beschränkt.
-
Im Schritt S17 wird also die endgültige Entscheidung getroffen, ob die Kamera 4 in Bezug auf eine bestimmte Bildzelle 7 verdeckt oder „sauber“ ist. Diese Entscheidung kann dann beispielsweise als Information an den Fahrer ausgegeben werden. Um eine häufige Änderung der endgültigen Entscheidung zu verhindern, kann für den Zählerwert Z eine Hysterese vorgegeben sein. Eine solche Hysterese bedeutet, dass für den Zählerwert Z zwei unterschiedliche Grenzwerte G1, G2 definiert werden, nämlich einerseits für den Fall, dass der Zählerwert verringert wird, und andererseits auch für den Fall, dass der Zählerwert erhöht wird. Es kann dabei gelten, dass der Grenzwert G1 größer als der Grenzwert G2 ist. Die Kamera 4 kann in Bezug auf eine bestimmte Bildzelle 7 dann als blockiert interpretiert werden, wenn der Zählerwert Z den größeren Grenzwert G1 überschreitet. Diese endgültige Entscheidung kann nur dann abgeändert werden und die Kamera 4 kann nur dann als nicht mehr blockiert interpretiert werden, wenn der Zählerwert Z den kleineren Grenzwert G2 unterschreitet. Ein Flussdiagramm eines derartigen Verfahrens ist in 6 näher dargestellt.
-
Ausgehend von dem Schritt S10, in welchem das Ergebnis eines einzelnen Vergleichs ausgegeben wird, wird in einem Schritt S111 gemäß 6 das Ergebnis dieses einzelnen Vergleichs überprüft. Ist die Korrelation hoch, so wird in einem Schritt S112 der Zählerwert Z inkrementiert (vgl. Schritt S12 gemäß 5). Wird hingegen eine geringe Korrelation festgestellt, so wird der Zählerwert Z dekrementiert, und zwar in einem parallelen Schritt S113.
-
Ausgehend von dem Schritt S112 wird in einem nachfolgenden Schritt S114a überprüft, ob der aktuelle Zählerwert Z größer als der genannte erste Grenzwert G1 ist. Dieser Grenzwert G1 ist größer als der zweite Grenzwert G2. Ist der Zählerwert Z größer als der erste Grenzwert G1, so wird in einem Schritt S115 entschieden, dass die Kamera 4 in Bezug auf die aktuelle Bildzelle 7 blockiert ist. Ist hingegen der Zählerwert Z kleiner als G1, so wird in einem Schritt S120 entschieden, dass der bisherige Entscheidungszustand beibehalten wird. Dieses Ergebnis ist also abhängig davon, ob bisher die Kamera 4 als verdeckt oder aber als „sauber“ interpretiert wurde. Es erfolgt also keine Änderung des endgültigen Ergebnisses.
-
Wird im Schritt S113 der Zählerwert Z dekrementiert, so wird in einem weiteren Schritt S114b überprüft, ob der aktuelle Zählerwert Z kleiner als der zweite Grenzwert G2 ist. Ist dies der Fall, so wird in einem Schritt S116 entschieden, dass die Kamera 4 in Bezug auf diese Bildzelle 7 verdeckt ist. Fällt die Entscheidung gemäß Schritt S114b negativ aus, so wird der bisherige Zustand gemäß Schritt S 120 beibehalten.
-
Eine Änderung des endgültigen Ergebnisses kann also nur unter der Voraussetzung erfolgen, dass der Zählerwert Z den größeren Grenzwert G1 überschreitet oder aber den kleineren Grenzwert G2 unterschreitet.
-
In einem letzten Schritt S117 wird dann das endgültige Ergebnis ausgegeben und gegebenenfalls der Fahrer informiert.
-
Wie bereits ausgeführt, werden eine Vielzahl von Bildpaaren 5, 6 miteinander verglichen, und zwar zeilenweise. Ein Beispiel für ein solches Bildpaar stellen die beiden in 2A und 2B dargestellten Bilder 5, 6 dar. Wie erwähnt, ist auch ein bestimmtes Kriterium für die Auswahl der Bildpaare vorgegeben, sodass nicht beliebige Bilder 5, 6 miteinander verglichen werden können. Um fehlerhafte Entscheidungen zu vermeiden, wird vorausgesetzt, dass zwischen den Zeitpunkten der Erfassung der Bilder 5, 6 einerseits eine gewisse Zeitdauer verstrichen ist und andererseits auch das Kraftfahrzeug 1 einen vorbestimmten Weg zurückgelegt hat. Ein Flussdiagramm für ein solches Verfahren ist in 7 näher dargestellt. Dieses Verfahren dient zur Auswahl der optimalen Bilder 5, 6, welche nachfolgend dann zellenweise miteinander verglichen werden. Das Verfahren startet in einem Schritt S700, wobei zu diesem Zeitpunkt bereits das erste Bild 5 vorliegt. Das erste Bild 5 wurde zu einem ersten Zeitpunkt t1 aufgenommen. In einem nachfolgenden Schritt S701 wird eine Wegstrecke S und somit eine Entfernung berechnet, welche das Kraftfahrzeug 1 seit dem ersten Zeitpunkt t1 zurückgelegt hat. In einem weiteren Schritt S702 wird dann überprüft, ob die zurückgelegte Wegstrecke S größer als ein vorgegebener Grenzwert GS ist oder nicht. Der Grenzwert GS kann beispielsweise 14 m betragen. Wird im Schritt S702 festgestellt, dass die zurückgelegte Wegstrecke S kleiner als der Grenzwert GS ist, so wird in einem nachfolgenden Schritt S703 auf weitere Bilder (frames) gewartet, und das Verfahren kehrt wieder zum Schritt S701 zurück. Wird hingegen im Schritt S702 festgestellt, dass die zurückgelegte Wegstrecke S größer als der Grenzwert GS ist, so wird in einem nachfolgenden Schritt S704 eine Zeitdauer T seit dem ersten Zeitpunkt t1 berechnet. In einem weiteren Schritt S705 wird dann überprüft, ob diese Zeitdauer T größer als ein vorgegebener Grenzwert GT ist oder nicht. Dieser Grenzwert GT kann beispielsweise 1 s betragen. Wird die Frage gemäß Schritt S705 verneint, so kehrt das Verfahren über den Schritt S703 zum Schritt S701 zurück. Wird hingegen festgestellt, dass die verstrichene Zeitdauer T seit dem ersten Zeitpunkt t1 größer als der Grenzwert GT ist, so wird in einem weiteren Schritt S706 zu einem zweiten Zeitpunkt t2 das zweite Bild 6 aufgenommen, welches mit dem ersten Bild 5 zellenweise, also Bildzelle 7 nach der Bildzelle 7, verglichen.
-
Durch das Verfahren gemäß 7 wird sichergestellt, dass sich die abgebildete Umgebung auch zwischen den Zeitpunkten t1 und t2 verändert hat, sodass fehlerhafte Entscheidungen verhindert werden können.
