-
Die Erfindung betrifft ein Verfahren zum Erkennen eines verdeckten Zustands einer Kamera eines Kraftfahrzeugs. Die Erfindung betrifft außerdem ein Kamerasystem zum Durchführen eines solchen Verfahrens sowie ein Kraftfahrzeug mit einem derartigen Kamerasystem.
-
Kamerasysteme für Kraftfahrzeuge sind bereits Stand der Technik. Sie beinhalten üblicherweise zumindest eine Kamera, welche an dem Kraftfahrzeug angebracht ist und einen Umgebungsbereich des Kraftfahrzeugs erfasst. Eine solche Kamera stellt dann Bilder des Umgebungsbereiches bereit, wobei die Bilder mittels einer elektronischen Recheneinrichtung verarbeitet werden können. Anhand der Bilder kann die Recheneinrichtung dann verschiedenste Funktionalitäten im Kraftfahrzeug bereitstellen und somit den Fahrer beim Führen des Kraftfahrzeugs unterstützen. Eine bekannte Funktionalität besteht darin, die erfassten Bilder auf einem Display im Innenraum des Kraftfahrzeugs anzuzeigen. Gemäß einer weiteren Funktionalität können beispielsweise auch Hindernisse detektiert werden, die sich in der Umgebung des Kraftfahrzeugs befinden, und der Fahrer kann entsprechend gewarnt werden.
-
Es kann vorkommen, dass die Linse der Kamera mit einer Verunreinigung (Schmutz, Wassertropfen oder dergleichen) blockiert bzw. verdeckt ist, so dass die aufgenommenen Bilder nicht mehr den Umgebungsbereich des Kraftfahrzeugs darstellen, sondern etwa einen dunklen Fleck oder dergleichen. Die Linse kann dabei durch Wassertropfen verdeckt sein oder der verdeckte Zustand der Kamera kann sich auch aufgrund einer Verschmutzung ergeben. Im Allgemeinen wird unter dem blockierten Zustand der Kamera ein Zustand verstanden, in welchem die Linse der Kamera mit einer Verunreinigung blockiert ist.
-
Aus dem Stand der Technik sind bereits Verfahren bekannt, die zur Detektion eines solchen blockierten Zustands der Kamera dienen. So beschreibt beispielsweise das Dokument
EP 1 826 648 A2 eine Methode, welche die Erkennung von Wassertropfen auf der Linse einer Kamera ermöglicht. Andererseits ist hier auch vorgesehen, dass mittels einer Bildverarbeitungseinrichtung atmosphärische Bestandteile detektiert werden können, wie beispielsweise Nebel oder Regen. Dies wird auf der Basis einer Verzerrung sowie auf der Grundlage eines Fokusfehlers von Bildern detektiert.
-
Die Erfindung geht von einem Verfahren aus, bei welchem der verdeckte Zustand anhand eines Bilds detektiert wird, welches mittels eines Hochpassfilters gefiltert wird. Ein solches Verfahren ist beispielsweise aus dem Dokument
WO 2010/038223 A1 bekannt und dient zur Detektion eines verschmutzten Zustands der Linse einer Kamera. Die erfasste Sequenz von Bildern wird einer Hochpassfilterung unterzogen, wobei mit dem Hochpassfilter vorbestimmte Bildregionen in den Bildern detektiert werden können. Eine Bildregion mit einer relativ geringen Raumfrequenz (mit keinen oder nur wenigen Kanten oder Ecken) wird als mögliche Verschmutzung der Linse interpretiert.
-
Bei der Detektion des verdeckten Zustands einer Kamera durch Hochpassfilterung der Bilder haben sich im stand der Technik zwei Probleme ergeben:
Das erste Problem tritt auf, wenn die Kamera – nämlich die Linse – durch einen opaken Gegenstand verdeckt ist, durch welchen überhaupt kein Licht oder ein sehr schwaches Licht in die Kamera gelangen kann. Bei einer derartigen opaken Masse, die sich an der Linse der Kamera befindet, detektiert der Bildsensor gar kein Licht, sodass die Bildpunkte grundsätzlich schwarz sind. Der Mittelwert der Helligkeitswerte der Bildpunkte ist somit relativ gering. Ein solches dunkles Bild beinhaltet im Prinzip ausschließlich ein Rauschsignal, welches insbesondere durch den analogen Verstärker des Bildsensors verursacht wird. Das Rauschen verursacht hochfrequente Bildanteile, was durch den Algorithmus fälschlicherweise dahingehend interpretiert wird, dass die Kamera nicht verdeckt ist. Mit anderen Worten führt das Rauschen dazu, dass hochfrequente Anteile in dem Bild detektiert werden können, was wiederum zu der Annahme führt, dass die Kamera nicht verdeckt ist. Bei einem opaken Gegenstand schlägt der Algorithmus also fehl.
-
Das zweite Problem kann dann auftreten, wenn die Linse der Kamera durch einen transparenten Gegenstand verdeckt ist, wie beispielsweise durch Wassertropfen oder dergleichen. Grundsätzlich werden solche transparenten Gegenstände durch Hochpassfilterung des Bilds detektiert. Der Algorithmus kann jedoch in Ausnahmefällen fehlschlagen, und zwar dann, wenn sich in der Szene eine sehr helle Lichtquelle befindet. In diesem Ausnahmefall gelangt das Licht durch die transparenten Wassertropfen in die Kamera und verursacht eine so genannte Sättigung einzelner Bildpunkte. Eine solche Sättigung bedeutet, dass der Helligkeitswert eines Bildpunkts auf einen (im digitalen Bereich) maximal möglichen Helligkeitswert eingestellt wird, weil die tatsächliche Helligkeit dieses Bildpunkts höher als der maximal mögliche Wert liegen würde. Üblicherweise liegen die Helligkeitswerte der Bildpunkte nämlich in einem digitalen Wertebereich von 0 bis 255 (8 Bit). Wird jedoch ein Bildpunkt detektiert, dessen Helligkeitswert größer als dieser Wertebereich ist, so wird der Helligkeitswert dieses Bildpunkts auf das Maximum von 255 eingestellt. Dieser Bildpunkt wird dann als „gesättigter Bildpunkt“ bezeichnet. Werden nun solche gesättigten Bildpunkte bei einer verdeckten Kamera detektiert, so führt die Sättigung der Bildpunkte dazu, dass in diesem Bildbereich relativ große Helligkeitsdifferenzen auftreten und somit Kanten detektiert werden können. Solche Kanten stellen hochfrequente Bildanteile dar, sodass die Erkennung des verdeckten Zustands der Kamera voraussichtlich fehlschlagen wird.
-
Eine besondere Herausforderung besteht also darin, eine zusätzliche Lösung zu finden, wie diese beiden Situationen detektiert werden können.
-
Es ist Aufgabe der Erfindung, ein gegenüber dem Stand der Technik verbessertes Verfahren zum Erkennen eines verdeckten Zustands einer Kamera eines Kraftfahrzeugs, ein Kamerasystem sowie ein Kraftfahrzeug bereitzustellen.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Kamerasystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
-
Ein erfindungsgemäßes Verfahren dient zum Erkennen eines verdeckten Zustands einer Kamera eines Kraftfahrzeugs. Mittels der Kamera wird ein Bild eines Umgebungsbereichs des Kraftfahrzeugs bereitgestellt. Dann werden jeweilige Helligkeitswerte von Bildpunkten innerhalb zumindest einer Bildregion des Bilds bestimmt. Als Helligkeitswerte werden vorzugsweise Y-Werte im YUV-Farbraum bestimmt. Dann wird die Anzahl von Bildpunkten innerhalb der zumindest einen Bildregion bestimmt, die ein vorgegebenes Kriterium bezüglich der Helligkeitswerte erfüllen. Mit anderen Worten wird die Anzahl von Bildpunkten ermittelt, deren Helligkeitswerte ein vorgegebenes Kriterium erfüllen. Dann wird abhängig von dieser Anzahl überprüft, ob die Kamera verdeckt oder nicht verdeckt ist.
-
Abhängig von dem Kriterium lassen sich somit verschiedene Zustände detektieren, wie insbesondere ein Zustand, bei welchem die Kamera durch einen opaken Gegenstand verdeckt ist, wie auch ein Zustand, bei welchem durch gesättigte Bildpunkte hochfrequente Bildanteile verursacht werden. Das erfindungsgemäße Verfahren kann beispielsweise als Ergänzung zu einem Algorithmus genutzt werden, mittels welchem der verdeckte Zustand durch Hochpassfilterung der Bilder detektiert werden kann. Das erfindungsgemäße Verfahren ermöglicht nun eine Aussage darüber, ob die Kamera durch einen opaken Gegenstand verdeckt ist und/oder ob gesättigte Bildpunkte die Detektion eines verdeckten Zustands abhängig von einem hochpass-gefilterten Bild unmöglich machen.
-
Die Kamera ist insbesondere eine Bilderfassungseinrichtung, welche zur Detektion von Licht im für den Menschen sichtbaren Spektralbereich ausgebildet ist. Die Kamera kann eine CCD-Kamera oder eine CMOS-Kamera sein. Die Kamera ist bevorzugt eine Video-Kamera, welche eine Vielzahl von Bildern pro Sekunde bereitstellen kann.
-
Unter einem verdeckten Zustand der Kamera wird vorliegend insbesondere ein Zustand verstanden, in welchem die Linse der Kamera zumindest partiell von außen durch eine Masse bzw. einen Gegenstand verdeckt und somit blockiert ist, sodass über diesen blockierten Bereich der Linse kein Licht oder nur ein gedämpftes Licht in das Innere der Kamera gelangen kann. Insbesondere wird unter dem verdeckten Zustand folglich ein verschmutzter und/oder ein mit Wasser und/oder mit Eis verdeckter Zustand verstanden.
-
Wie bereits ausgeführt, wird eine Anzahl von Bildpunkten innerhalb der zumindest einen Bildregion bestimmt, deren Helligkeitswerte einem vorgegebenen Kriterium genügen. In einer Ausführungsform können zumindest zwei Kriterien für die Helligkeitswerte verwendet werden, und zu jedem Kriterium kann die Anzahl von Bildpunkten bestimmt werden, deren Helligkeitswerte das jeweilige Kriterium erfüllen. Jedem Kriterium kann dabei eine andere Ursache für den verdeckten Zustand zugeordnet sein. Durch das Vorsehen von mehreren Kriterien können somit verschiedenste Situationen detektiert werden, wie insbesondere eine erste Situation, in welcher die Linse der Kamera durch einen opaken Gegenstand verdeckt ist, wie auch eine Situation, in welcher hochfrequente Anteile in dem Bild durch gesättigte Bildpunkte verursacht werden.
-
Es kann also einem ersten Kriterium ein erster Zustand zugeordnet sein, in welchem die Kamera zumindest partiell durch einen opaken und somit lichtundurchlässigen Gegenstand verdeckt ist. Ergänzend oder alternativ kann auch ein zweites Kriterium definiert werden, welches einem zweiten Zustand zugeordnet ist, in welchem angenommen wird, dass die Kamera zumindest partiell durch einen transparenten Gegenstand verdeckt ist. In diesem zweiten Zustand werden vorzugsweise gesättigte Bildpunkte detektiert, welche eine Detektion des verdeckten Zustands der Kamera mittels des Hochpassfilters unmöglich machen, sodass sicherheitshalber angenommen werden kann, dass die Kamera verdeckt ist. Diese beiden Zustände stellen eine zuverlässige Ergänzung zu einem Algorithmus dar, mittels welchem der verdeckte Zustand der Kamera durch Hochpassfilterung der Bilder detektiert werden kann.
-
Die beiden Kriterien werden nachfolgend näher erläutert:
In einer Ausführungsform ist vorgesehen, dass aus den Helligkeitswerten der Bildpunkte ein Helligkeitsmittelwert innerhalb der Bildregion bestimmt wird. Gemäß einem ersten Kriterium kann eine erste Anzahl von Bildpunkten innerhalb der Bildregion bestimmt werden, deren Helligkeitswert mindestens um einen vorbestimmten Grenzwert größer als der Helligkeitsmittelwert ist. Abhängig von dieser ersten Anzahl kann dann überprüft werden, ob die Kamera verdeckt oder nicht verdeckt ist. Mit anderen Worten wird die Anzahl von Bildpunkten bestimmt, deren Helligkeitswerte deutlich größer als der Helligkeitsmittelwert innerhalb der Bildregion sind. Es wird somit die Anzahl von Helligkeitspeaks innerhalb der Bildregion ermittelt, und abhängig von dieser Anzahl wird festgestellt, ob die Kamera verdeckt oder nicht verdeckt ist. Diese Ausführungsform macht sich die Tatsache zunutze, dass bei einer durch einen opaken Gegenstand verdeckten Kamera, wenn das Bild im Wesentlichen ausschließlich aus Rauschen besteht, die Anzahl von Helligkeitsspitzen bzw. die Anzahl von Bildpunkten mit einem großen Helligkeitswert insgesamt relativ gering sein sollte. Wird dies detektiert, so kann angenommen werden, dass es sich bei dem Bild nur um ein Rauschsignal handelt und die Kamera somit durch einen opaken Gegenstand verdeckt ist.
-
Der verdeckte Zustand der Kamera – insbesondere ein durch einen opaken Gegenstand verdeckter Zustand – kann also dann angenommen werden, wenn die erste Anzahl von Bildpunkten (Anzahl von Helligkeitsspitzen) kleiner als ein vorgegebener Schwellwert ist. Somit lässt sich der verdeckte Zustand der Kamera ohne viel Aufwand detektieren, und zwar auch dann, wenn die Detektion mittels des Hochpassfilters aufgrund des Rauschens fehlschlagen sollte.
-
Für die Annahme des verdeckten Zustands der Kamera durch einen opaken Gegenstand kann auch eine zusätzliche Bedingung definiert werden, dass der Helligkeitsmittelwert innerhalb der zumindest einen Bildregion kleiner als ein vorgegebener Schwellwert ist. Ist der Helligkeitsmittelwert gering, so kann nämlich angenommen werden, dass es sich bei dem Bild lediglich um Rauschen handelt und die Kamera somit durch einen opaken Gegenstand verdeckt ist.
-
Eine noch zusätzliche Bedingung kann folgendermaßen aussehen: Das Bild kann in eine Vielzahl von Bildregionen unterteilt werden, und zu jeder Bildregion kann jeweils die erste Anzahl von Bildpunkten bestimmt werden, d.h. die Anzahl von Bildpunkten, deren Helligkeitswert mindestens um einen vorbestimmten Grenzwert größer als der Helligkeitsmittelwert innerhalb der jeweiligen Bildregion ist. Diejenigen Bildregionen, bei denen die erste Anzahl kleiner als der vorgegebene Schwellwert ist, können dann zu einer Gesamtregion zusammengefasst werden. Der verdeckte Zustand der Kamera wird vorzugsweise nur dann angenommen, wenn die Gesamtregion – und insbesondere eine ununterbrochene und somit einheitliche Gesamtregion – größer als eine vorgegebene Schwelle ist. Diese Ausführungsform basiert auf der Annahme, dass ein opaker Gegenstand üblicherweise einen größeren Bereich der Linse verdeckt. Somit kann die Plausibilität des Verfahrens verbessert werden.
-
Gemäß einem zweiten Kriterium kann eine zweite Anzahl von Bildpunkten innerhalb der Bildregion bestimmt werden, deren Helligkeitswert aufgrund einer Sättigung einem maximal möglichen Helligkeitswert entspricht. Abhängig von dieser Anzahl von gesättigten Bildpunkten kann dann überprüft werden, ob die Kamera verdeckt oder nicht verdeckt ist. Durch die Auswertung der Anzahl von gesättigten Bildpunkten können hochfrequente Bildanteile detektiert werden, die in dem Bild auch in einem verdeckten Zustand der Kamera vorhanden sein können. Es kann nämlich eine Situation detektiert werden, in welcher die Kamera durch einen transparenten Gegenstand (etwa Wassertropfen) verdeckt ist und sich in der Umgebung des Kraftfahrzeugs eine helle Lichtquelle befindet, wie beispielsweise ein Scheinwerfer eines entgegenkommenden Fahrzeugs oder aber eine Straßenlaterne, die die Kamera auch durch den transparenten Gegenstand beleuchtet und zu einer Sättigung von mehreren Bildpunkten führt. Diese Situation kann detektiert werden, und es kann gegebenenfalls eine Annahme getroffen werden, dass die tatsächliche Detektion des verdeckten Zustands der Kamera mittels eines Hochpassfilters aufgrund der gesättigten Bildpunkte nicht möglich ist. Sicherheitshalber kann hier angenommen werden, dass die Kamera verdeckt ist.
-
Der verdeckte Zustand der Kamera kann insbesondere dann angenommen werden, wenn die zweite Anzahl – also die Anzahl von gesättigten Bildpunkten innerhalb der Bildregion – größer als ein vorgegebener Schwellwert ist. Dann kann nämlich angenommen werden, dass das Bild hochfrequente Anteile aufweist, die die Detektion eines verdeckten Zustands der Kamera unmöglich machen.
-
Wird der verdeckte Zustand detektiert, weil die Anzahl von gesättigten Bildpunkten größer als der Schwellwert ist, so kann die Kamera erst dann wieder als nicht verdeckt klassifiziert werden, wenn über eine vorbestimmte Sequenz von Bildern hinweg die Anzahl von gesättigten Bildpunkten innerhalb der Bildregion des jeweiligen Bilds kleiner als der Schwellwert bleibt. Gerade dann kann mit hoher Wahrscheinlichkeit angenommen werden, dass die Detektion des verdeckten Zustands der Kamera mittels des Hochpassfilters wieder möglich ist.
-
Im Allgemeinen wird also eine Anzahl von Bildpunkten bestimmt, deren Helligkeitswerte ein vorbestimmtes Kriterium erfüllen. Falls anhand dieser Anzahl von Bildpunkten der verdeckte Zustand nicht detektiert wird, kann das Bild mittels eines Hochpassfilters gefiltert werden, und anhand des gefilterten Bilds kann überprüft werden, ob die Kamera verdeckt oder nicht verdeckt ist. Das erfindungsgemäße Verfahren kann also mit einem Algorithmus kombiniert werden, mittels welchem der verdeckte Zustand der Kamera anhand eines hochpass-gefilterten Bilds detektiert werden kann. Somit kann der verdeckte Zustand der Kamera in allen möglichen Situationen detektiert werden.
-
Hinsichtlich der Auswertung des hochpass-gefilterten Bilds hat es sich als vorteilhaft erwiesen, wenn folgendes Verfahren durchgeführt wird:
Das Bild kann mittels eines Hochpassfilters gefiltert werden, sodass ein gefiltertes Bild bereitgestellt wird. In dem gefilterten Bild wird ein Scanfenster definiert. Für eine Vielzahl von unterschiedlichen Positionen des Scanfensters in dem gefilterten Bild kann jeweils ein Bildpunkt mit einem innerhalb des Scanfensters maximalen Wert detektiert werden. Der verdeckte Zustand kann dann in Abhängigkeit von den maximalen Werten des gefilterten Bilds erkannt werden.
-
Demnach wird vorgeschlagen, das hochpass-gefilterte Bild einer weiteren Filterung zu unterziehen, nämlich einem Maximumfilter, bei welchem mit Hilfe eines Scanfensters lokale maximale Werte (insbesondere maximale Helligkeitswerte) der Bildpunkte des Bilds aufgefunden werden. Mit anderen Worten wird das hochpass-gefilterte Bild mit Hilfe des Scanfensters „gescannt“, und in jeder Position des Scanfensters wird nach einem Bildpunkt mit dem maximalen Wert gesucht. Das Verfahren hat insbesondere den Vorteil, dass die Erkennung des verdeckten Zustands sehr robust erfolgen kann, weil die Schwankungen in der Position von hochfrequenten Bildanteilen in dem Bild die Erkennung des verdeckten Zustands nicht beeinflussen. Die maximalen Werte können beispielsweise mit einem Grenzwert verglichen werden, und abhängig von einem Ergebnis dieses Vergleiches kann bestimmt werden, ob die Linse der Kamera durch eine Verunreinigung verdeckt ist oder nicht. Es lassen sich somit Straßenbereiche von einer Tatsächlichen Verunreinigung der Linse der Kamera unterscheiden.
-
Das „Scannen“ des Bilds mittels des Scanfensters erfolgt beispielsweise derart, dass die Position des Scanfensters in dem gefilterten Bild ausgehend von einer Startposition (beispielsweise von einer Ecke des Bilds) schrittweise verändert wird, nämlich bis hin zu einer Endposition (beispielsweise der gegenüberliegenden Ecke). Dieses Scannen kann entweder spaltenweise oder reihenweise erfolgen. Für jede Position des Scanfensters wird dabei jeweils der Bildpunkt mit einem maximalen Wert detektiert, insbesondere dem maximalen Helligkeitswert. Die Schrittweite bei der Veränderung der Position des Scanfensters kann beispielsweise in einem Wertebereich von 1 Bildpunkt bis 10 Bildpunkten liegen.
-
Vorzugsweise erfolgt das Scannen mittels des Scanfensters derart, dass sich jeweilige Überlappungsbereiche zwischen den benachbarten Positionen des Scanfensters ergeben. Wird in einer ersten Position des Scanfensters der Bildpunkt mit dem maximalen Wert detektiert, so kann in einer zweiten, benachbarten Position des Scanfensters überprüft werden, ob der Bildpunkt mit dem maximalen Wert aus der ersten Position des Scanfensters innerhalb des Überlappungsbereiches liegt oder nicht. Liegt dieser Bildpunkt innerhalb des Überlappungsbereichs, können in der zweiten Position des Scanfensters ausschließlich außerhalb des Überlappungsbereiches liegende Bildpunkte des aktuellen Scanfensters daraufhin überprüft werden, ob deren Werte größer als der maximale Wert aus der ersten Position des Scanfensters sind oder nicht. Eine solche Vorgehensweise reduziert die Rechenzeit erheblich, weil nicht immer alle Bildpunkte des Scanfensters miteinander verglichen werden müssen, sondern ausschließlich die außerhalb des Überlappungsbereiches liegenden Bildpunkte. Für jede Position des Scanfensters kann also die Position des Bildpunkts mit dem maximalen Wert abgespeichert werden, so dass bei der nächsten Position des Scanfensters überprüft werden kann, ob der Bildpunkt mit dem maximalen Wert aus der vorherigen Position des Scanfensters innerhalb des Überlappungsbereiches liegt oder nicht.
-
Die oben beschriebene Filterung des Bilds mit dem Maximumfilter stellt eine räumliche Filterung des einzelnen Bilds dar. Dazu kann auch eine zeitliche Komponente hinzugefügt werden:
Zur Detektion des verdeckten Zustands der Kamera kann eine zeitliche Sequenz von hochpass-gefilterten Bildern der Kamera verwendet werden. Für jedes Bild dieser Sequenz kann für die genannte Vielzahl von Positionen des Scanfensters jeweils der Bildpunkt mit dem maximalen Wert detektiert werden, so dass für die Vielzahl von Positionen des Scanfensters jeweils eine zeitliche Folge von maximalen Werten bereitgestellt wird. Der verdeckte Zustand der Kamera kann dann in Abhängigkeit von den zeitlichen Folgen detektiert werden. Werden die maximalen Werte über der Zeit ausgewertet, so wird eine besonders robuste Detektion des blockierten Zustands der Kamera ermöglicht, ohne dass diese Detektion durch Fehler aufgrund einer zeitlichen Veränderung der Position von hochfrequenten Bildanteilen beeinflusst wird.
-
Die genannte Sequenz von hochpass-gefilterten Bildern wird vorzugsweise durch eine Teilmenge einer Gesamtsequenz von Bildern gebildet, welche durch die Kamera bereitgestellt wird. Diese Teilmenge kann so gewählt werden, dass ein zeitlicher Abstand zwischen jeweiligen Zeitpunkten der Erfassung von zwei unmittelbar aufeinanderfolgenden Bildern der verwendeten Sequenz und/oder eine zwischen diesen Zeitpunkten zurückgelegte Wegstrecke des Kraftfahrzeugs einem vorbestimmten Kriterium genügt. Somit kann verhindert werden, dass zwei Bilder verarbeitet werden, die im Wesentlichen dieselbe Szene bzw. dieselbe Umgebung zeigen. Es gelingt somit, einerseits fehlerhafte Entscheidungen bei der Detektion des verdeckten Zustands zu verhindern und andererseits auch den Rechenaufwand auf ein Minimum zu reduzieren.
-
Dabei erweist es sich als vorteilhaft, wenn das oben genannte Kriterium beinhaltet, dass der zeitliche Abstand zwischen den Zeitpunkten größer als ein vorgegebener Wert ist oder in einem vorgegebenen Wertebereich liegt. Dies bedeutet, dass zur Erkennung des verdeckten Zustands zwei Bilder der Gesamtsequenz verwendet werden können, die in einem vorgegebenen zeitlichen Abstand voneinander erfasst wurden. Dieser zeitliche Abstand kann beispielsweise in einem Wertebereich von 0,5 Sekunden bis 2 Sekunden liegen. Dieser Wertebereich stellt einen guten Kompromiss zwischen der Genauigkeit der Erkennung des Verdeckten Zustands einerseits sowie der Schnelligkeit der Erkennung dar.
-
Ergänzend oder alternativ kann das oben genannte Kriterium auch beinhalten, dass die zwischen dem ersten und dem zweiten Zeitpunkt zurückgelegte Wegstrecke des Kraftfahrzeugs größer als ein vorgegebener Wert, beispielsweise größer als 10 m ist, insbesondere in einem Wertebereich von 10 m bis 20 m liegt, und vorzugsweise in einem Wertebereich von 13 m bis 16 m. Dieser Wert kann beispielsweise 14 m betragen. Dadurch können falsche Entscheidungen bei der Detektion des Zustands der Kamera verhindert werden.
-
Besonderes bevorzugt werden die genannten zeitlichen Folgen von maximalen Werten mittels eines Glättungsfilters gefiltert, so dass der verdeckte Zustand anhand der geglätteten Folgen erkannt wird. Als Glättungsfilter kann dabei beispielsweise ein rekursives Glättungsfilter ersten Grades verwendet werden. Eine solche Glättung der zeitlichen Folgen sorgt für eine maximale Robustheit bei der Detektion des verdeckten Zustands der Kamera, weil große zeitliche Schwankungen der maximalen Werte kompensiert werden – ähnlich wie elektrische Wechselspannung mit einem Kondensator geglättet wird.
-
Die Erkennung des blockierten Zustands kann so erfolgen, dass die geglätteten Folgen mit einem Grenzwert verglichen werden. Der verdeckte Zustand kann dann detektiert werden, wenn eine der Folgen den Grenzwert unterschreitet. Unterschreitet eine der Folgen den Grenzwert, so deutet dies darauf hin, dass in einem bestimmten Bildbereich keine hochfrequenten Bildanteile vorhanden sind, so dass die Linse der Kamera zumindest in Bezug auf diesen Bildbereich verdeckt ist. In diesem Falle kann beispielsweise eine Warnmeldung erzeugt werden, dass die Linse der Kamera gereinigt werden soll.
-
Der genannte Grenzwert kann auch im Betrieb der Kamera und somit „online“ eingestellt werden. Diese Einstellung erfolgt insbesondere in Abhängigkeit von einem Helligkeitsgrad der abgebildeten Szene der Kamera. Somit kann der Grenzwert an die jeweils augenblicklichen Helligkeitsbedingungen in der Umgebung des Kraftfahrzeugs angepasst werden, und die Detektion der Verunreinigung an der Linse der Kamera kann situationsabhängig durchgeführt werden.
-
Für unterschiedliche Bildzellen des Bildrahmens können auch voneinander unterschiedliche Grenzwerte definiert werden.
-
Hinsichtlich des Bilds können grundsätzlich zwei alternative Ausführungsformen vorgesehen sein:
Zum einen können dem Hochpassfilter Rohdaten des Bilds zugrunde gelegt werden. Zum anderen kann jedoch auch vorgesehen sein, dass vor dem Filtern des Bilds mittels des Hochpassfilters das Bild vorverarbeitet wird und hierbei beispielsweise einer vorbestimmten Filterung unterzogen wird. Insbesondere kann dabei vorgesehen sein, dass eine Teilregion des Bilds (sogenannte Region of Interest) bestimmt wird, so dass ausschließlich die Teilregion des Bilds dem Hochpassfilter zugrunde gelegt wird. Zum einen kann somit der Rechenaufwand reduziert werden; zum anderen können auch Fehldetektionen verhindert werden, wenn ein Bereich des Kraftfahrzeugs selbst in dem Sichtfeld der Kamera liegt. Ergänzend oder alternativ kann das Bild herunterskaliert werden und somit dem sogenannten „Downsampling“ unterzogen werden, bevor es dem Hochpassfilter zugeführt wird. Mit anderen Worten kann die Anzahl der Bildpunkte gegenüber dem Rohbild reduziert werden, welche dem Hochpassfilter zugrunde gelegt werden. Auch dies reduziert den Rechenaufwand bei der Verarbeitung des Bilds.
-
Das oben beschriebene Verfahren ermöglicht auch die Detektion einer lokalen Verunreinigung lediglich eines Bereichs der Linse der Kamera. In diesem Falle ist das Sichtfeld der Kamera lediglich partiell verdeckt. In einer Ausführungsform kann vorgesehen sein, dass das Bild in eine Vielzahl von Bildzellen unterteilt wird und zu jeder Bildzelle bestimmt wird, ob die Kamera in Bezug auf diese Bildzelle verdeckt ist oder nicht. Diese Bildzellen können auch in Abhängigkeit von den Positionen des oben genannten Scanfensters definiert werden. Es kann beispielsweise vorgesehen sein, dass den genannten zeitlichen Folgen von maximalen Werten jeweils eine Bildzelle zugeordnet wird oder zu einer einzelnen Bildzelle jeweils eine Vielzahl von solchen Folgen definiert und ausgewertet werden. Unterschreitet nun eine der Folgen den vorgegebenen Grenzwert, so kann dies dahingehend interpretiert werden, dass die Linse der Kamera in Bezug auf die zugeordnete Bildzelle verdeckt ist. Als Ergebnis des Verfahrens kann somit eine Matrix ausgegeben werden, in welcher eindeutig angegeben ist, in Bezug auf welche Bildzelle die Kamera blockiert ist.
-
In einer weiteren Ausführungsform kann vorgesehen sein, dass anhand der maximalen Werte, insbesondere anhand der geglätteten zeitlichen Folgen, ein Grad der Verdeckung und somit ein Verunreinigungsgrad zumindest in Bezug auf eine Bildzelle des Bilds bestimmt wird. Der Grad der Verdeckung ist dabei umgekehrt proportional zu der Lichtintensität, welche von außerhalb der Kamera über die Linse in das Innere der Kamera gelangen kann. Insbesondere wird dabei für jede Bildzelle des Bilds jeweils der zugeordnete Grad der Verdeckung bestimmt. Dies kann so erfolgen, dass die Anzahl der Bildpunkte innerhalb der Bildzelle bestimmt wird, welche als „verdeckt“ klassifiziert werden, und der Grad der Verdeckung in Abhängigkeit von dieser Anzahl bestimmt wird. Der Grad der Verdeckung kann z.B. als Verhältnis der als „verdeckt“ klassifizierten Bildpunkte zu der Anzahl aller Bildpunkte innerhalb der jeweiligen Bildzelle definiert werden. In diesem Falle liegt der Grad der Verdeckung in einem Wertebereich von 0,0 bis 1,0.
-
Ein erfindungsgemäßes Kamerasystem für ein Kraftfahrzeug umfasst eine Kamera zum Bereitstellen eines Bilds eines Umgebungsbereiches des Kraftfahrzeugs, wie auch eine elektronische Recheneinrichtung zum Verarbeiten des Bilds. Die Recheneinrichtung ist dazu ausgelegt, ein erfindungsgemäßes Verfahren durchzuführen.
-
Ein erfindungsgemäßes Kraftfahrzeug, insbesondere ein Personenkraftwagen, umfasst ein erfindungsgemäßes Kamerasystem.
-
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kamerasystem sowie für das erfindungsgemäße Kraftfahrzeug.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
-
Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
-
Es zeigen:
-
1 in schematischer Darstellung ein Kraftfahrzeug mit einem Kamerasystem gemäß einer Ausführungsform der Erfindung;
-
2 ein Flussdiagramm eines Verfahrens gemäß einer Ausführungsform der Erfindung;
-
3 ein Flussdiagramm eines Verfahrens zur Bestimmung einer Teilmenge von Bildern, welche bei dem Verfahren gemäß 2 verwendet werden;
-
4 in schematischer Darstellung einen Bereich eines Bilds, wobei ein Verfahren gemäß einer Ausführungsform der Erfindung näher erläutert wird;
-
5 eine beispielhafte Folge von maximalen Werten sowie eine geglättete Folge;
-
6 in schematischer Darstellung ein Bild, welches in mehrere Bildregionen aufgeteilt wird, wobei ein Verfahren gemäß einer Ausführungsform näher erläutert wird;
-
7 ein Flussdiagramm eines Verfahrens gemäß einer Ausführungsform der Erfindung; und
-
8 ein Flussdiagramm eines Verfahrens gemäß einer weiteren Ausführungsform der Erfindung.
-
Ein in 1 dargestelltes Kraftfahrzeug 1 ist beispielsweise ein Personenkraftwagen. Das Kraftfahrzeug 1 beinhaltet ein Kamerasystem 2, welches zum Unterstützen des Fahrers beim Führen des Kraftfahrzeugs 1 ausgebildet ist. Das Kamerasystem 2 weist eine elektronische Recheneinrichtung 3 auf, nämlich einen digitalen Signalprozessor. Das Kamerasystem 2 hat außerdem eine Vielzahl von Kameras 4, welche an dem Kraftfahrzeug 1 verteilt angeordnet sind. Die Anzahl der Kameras 4 sowie die Anordnung der Kameras 4 sind in 1 lediglich beispielhaft dargestellt. Je nach Ausführungsform können die Anzahl und die Anordnung der Kameras 4 unterschiedlich sein. Im Ausführungsbeispiel ist eine Kamera 4 im vorderen Bereich des Kraftfahrzeugs 1 angeordnet und erfasst den Umgebungsbereich vor dem Kraftfahrzeug 1; eine Kamera 4 ist im Heckbereich angeordnet und erfasst den Umgebungsbereich hinter dem Kraftfahrzeug 1; es sind außerdem jeweilige Kameras 4 in die beiden Außenspiegel integriert.
-
Die aufgenommenen Bilder der Kameras 4 werden an die Recheneinrichtung 3 übermittelt, welche dann die Bilder verarbeitet und verschiedenste Funktionalitäten im Kraftfahrzeug 1 anhand der Bilder bereitstellt. Lediglich beispielhaft sei hier eine Hinderniserkennung genannt. Optional können die Bilder auch auf einer Anzeigeeinrichtung dargestellt werden.
-
Optional kann die Recheneinrichtung 3 auch in eine der Kameras 4 integriert sein. Es ist auch möglich, dass jede Kamera 4 jeweils eine integrierte Recheneinrichtung 3 beinhaltet.
-
Die Recheneinrichtung 3 kann anhand der empfangenen Bilder einen verdeckten bzw. blockierten Zustand der Kameras 4 detektieren. Obwohl das nachfolgend beschriebene Verfahren lediglich in Bezug auf eine einzige Kamera 4 erläutert wird, gilt dieses Verfahren entsprechend auch für andere Kameras 4.
-
Grundsätzlich ist im Ausführungsbeispiel vorgesehen, dass zur Detektion eines verdeckten Zustands der Kamera 4 eine räumliche Hochpassfilterung der Bilder der Kamera 4 vorgenommen wird und der verdeckte Zustand in Abhängigkeit von hochpass-gefilterten Bildern detektiert wird. Dieses Verfahren funktioniert jedoch nicht in zwei Situationen: Zum einen werden hochfrequente Bildanteile auch dann verursacht, wenn die Kamera 4 durch einen opaken Gegenstand verdeckt ist und die Bilder somit sehr dunkel sind. Die Helligkeitswerte eines Bilds entsprechen dann einem Rauschsignal, sodass der Helligkeitsmittelwert insgesamt sehr gering ist, aufgrund des Rauschens jedoch hochfrequente Bildanteile entstehen, die die Detektion des verdeckten Zustands der Kamera 4 mittels des Hochpassfilters unmöglich machen. Zum anderen entstehen solche hochfrequenten Bildanteile auch dann, wenn die Kamera 4 zwar durch einen transparenten Gegenstand verdeckt ist, jedoch eine Lichtquelle in der Umgebung vorhanden ist, die zur Sättigung von Bildpunkten führt.
-
Im Ausführungsbeispiel werden also insgesamt drei verschiedene Algorithmen ausgeführt, welche zur Detektion von verschiedenen Zuständen dienen, wobei die Reihenfolge der Ausführung dieser Algorithmen grundsätzlich beliebig sein kann. Ein erster Algorithmus dient zur Detektion eines Zustands, bei welchem die Kamera 4 durch einen opaken Gegenstand verdeckt ist. Ein zweiter Algorithmus dient zur Detektion eines Zustands, bei welchem aufgrund einer Sättigung von Bildpunkten angenommen wird, dass die Kamera durch einen transparenten Gegenstand verdeckt ist. Ein dritter Algorithmus dient zur Detektion eines verdeckten Zustands der Kamera 4 mittels eines Hochpassfilters. Der dritte Algorithmus kann dabei universell verwendet werden, schlägt jedoch bei einem opaken Gegenstand sowie bei einer Sättigung von Bildpunkten fehl.
-
Ganz allgemein kann gemäß 6 ein Bild 5 der Kamera 4 in mehrere Bildregionen 60 gleicher Größer unterteilt werden, beispielsweise in 8 × 5 Bildregionen 60. Jede Bildregion 60 kann dabei eine quadratische Region mit einer Vielzahl von Bildpunkten sein.
-
Der erste Algorithmus, der zur Detektion eines durch einen opaken Gegenstand verdeckten Zustands der Kamera 4 dient, wird anhand eines Flussdiagramms gemäß 7 näher erläutert. In einem ersten Schritt S70 wird für jede Bildregion 60 separat der jeweilige Helligkeitsmittelwert BE bestimmt, d.h. ein Mittelwert von allen Helligkeitswerten innerhalb der jeweiligen Bildregion 60. In einem weiteren Schritt S71 bestimmt die Recheneinrichtung 3 separat für jede Bildregion 60 die Anzahl von Bildpunkten innerhalb der jeweiligen Bildregion 60, welche einen Helligkeitswert B aufweisen, der mindestens um einen vorbestimmten Grenzwert BV größer als der Helligkeitsmittelwert BE innerhalb der jeweiligen Bildregion 60 ist. Diese Anzahl von Bildpunkten wird als erste Anzahl N1 bezeichnet.
-
In einem weiteren Schritt S72 werden diejenigen Bildregionen 60 markiert, bei denen die erste Anzahl von Bildpunkten N1 kleiner als ein vorgegebener Schwellwert A1 ist. In einem weiteren Schritt S73 erfolgt ein Zusammenfassen der markierten Bildregionen 60 zu einer Gesamtbildregion. Es kann dabei die so genannte „4-Way-Connectivity“ genutzt werden, bei welcher zwei markierte Bildregionen 60 dann zu einer Gesamtregion zusammengefasst werden, wenn die Bildregionen 60 eine gemeinsame Kante aufweisen. In 6 sind beispielhaft drei markierte Bildregionen 61 gezeigt, welche zu einer Gesamtregion 62 gemäß Schritt 73 zusammengefasst werden. Folglich können lediglich benachbarte Bildregionen 60 zu der Gesamtregion 62 zusammengefasst werden.
-
Mit weiterem Bezug auf 7 wird in einem weiteren Schritt S74 überprüft, ob die Gesamtregion 62 größer als eine vorgegebene Schwelle ist. Diese Schwelle kann beispielsweise zwei oder drei oder vier oder fünf Bildregionen 60 betragen. Ist diese Bedingung gemäß Schritt S74 erfüllt, so geht das Verfahren zu einem weiteren Schritt S75 über, in welchem die Recheneinrichtung 3 einen blockierten Zustand der Kamera 4 feststellt.
-
Als zusätzliche Bedingung gemäß Schritt S72 kann auch überprüft werden, ob der Helligkeitsmittelwert BE in der jeweiligen Bildregion 60 kleiner als ein Grenzwert ist. Nur dann kann nämlich mit großer Wahrscheinlichkeit festgestellt werden, dass die Kamera 4 durch einen opaken Gegenstand verdeckt ist und es sich bei den Helligkeitswerten um Rauschen handelt. Es können also nur diejenigen Bildregionen 60 markiert werden, in denen der Helligkeitsmittelwert BE kleiner als ein vorgegebener Grenzwert ist.
-
Wird gemäß Schritt S74 jedoch festgestellt, dass die Gesamtregion 62 kleiner als die Schwelle ist, kehrt das Verfahren zum Schritt S70 zurück, in welchem ein weiteres Bild 5 aufgenommen und verarbeitet wird. Auch von dem Schritt S75 kehrt das Verfahren zum Schritt S70 zurück.
-
Der zweite Algorithmus wird nun Bezug nehmend auf 8 näher erläutert. Das Verfahren startet in einem Schritt S80, in welchem für jede Bildregion 60 eines Bilds 5 die Anzahl von gesättigten Bildpunkten bestimmt wird. Diese Anzahl wird als zweite Anzahl N2 bezeichnet. Gesättigte Bildpunkte sind dabei solche Bildpunkte, deren Helligkeitswert B größer als ein maximal möglicher Helligkeitswert im digitalen Bereich von 0 bis 255 ist. Der maximal mögliche Wert beträgt also beispielsweise 255. Ist ein Helligkeitswert B eines Bildpunkts größer als dieser Maximalwert, so wird der Helligkeitswert B dieses Bildpunkts auf das Maximum gesetzt. Gemäß Schritt S80 wird also die Anzahl N2 von solchen gesättigten Bildpunkten bestimmt. Zu jeder Bildregion 60 wird auch überprüft, ob die Anzahl N2 in der jeweiligen Bildregion 60 größer als ein vorgegebener Schwellwert A2 ist. Solche Bildregionen 60, bei denen die Anzahl N2 größer als A2 ist, werden gemäß Schritt S80 als „gesättigte Bildregionen“ klassifiziert. Wird zumindest eine oder mehrere „gesättigte Bildregionen“ 60 detektiert, so wird angenommen, dass die Kamera 4 durch einen transparenten Gegenstand verdeckt ist.
-
Zu jeder Bildregion 60 wird dann ein Zähler C definiert. Dieser Zähler C wird auf einen positiven, vorgegebenen Wert dann zurückgesetzt, wenn die jeweilige Bildregion 60 als „gesättigte Bildregion“ klassifiziert wird.
-
Zu jeder Bildregion 60 wird also gemäß Schritt S81 überprüft, ob diese Bildregion 60 im aktuellen Bild 5 als „gesättigte Bildregion“ klassifiziert wurde oder nicht. Ist dies der Fall, so wird gemäß Schritt S82 der Zähler C auf den vorbestimmten, positiven Wert V gesetzt, beispielsweise in einem Wertebereich von 5 bis 100. Wird gemäß Schritt 81 festgestellt, dass die jeweilige Bildregion 60 nicht als „gesättigte Bildregion“ klassifiziert wurde, so wird der Zähler C dieser Bildregion 60 verringert, insbesondere um „1“ verringert, also dekrementiert. Diese Reduktion erfolgt in Schritt S83.
-
In einem weiteren Schritt S84 überprüft die Recheneinrichtung 3, ob der Zähler C gleich null ist oder nicht. Ist der Zähler C einer Bildregion 60 gleich null, so wird die Klassifizierung dieser Bildregion 60 gemäß Schritt 85 von „gesättigte Bildregion“ auf „reine Bildregion“ geändert. Das Verfahren kehrt dann zum Schritt S80 zurück, in welchem ein weiteres Bild aufgenommen und ausgewertet wird. Wird gemäß Schritt S84 festgestellt, dass der Zähler C der aktuell ausgewerteten Bildregion 60 größer als null ist, so kehrt das Verfahren wieder zum Schritt S80 zurück.
-
Durch den Zähler C wird erreicht, dass nach Detektion des verdeckten Zustands die Kamera 4 erst dann wieder als nicht verdeckt klassifiziert wird, wenn über eine vorbestimmte Sequenz V von Bildern 5 hinweg die zweite Anzahl N2 kleiner als der Schwellwert A2 bleibt.
-
Zusätzlich zu den oben genannten Algorithmen gemäß 7 und 8 kann auch ein dritter Algorithmus ausgeführt werden, welcher zur Detektion des blockierten Zustands der Kamera 4 abhängig von einem räumlich hochpass-gefilterten Bild 5 dient. Ein Flussdiagramm dieses Algorithmus ist in 2 dargestellt.
-
Das Verfahren beginnt in einem Schritt S1, in welchem ein Bild durch die Recheneinrichtung 3 empfangen wird. Zum Durchführen des Verfahrens werden nicht alle Bilder der Gesamtsequenz von Bildern der Kamera 4 verwendet, sondern lediglich eine Untermenge. Aus der Gesamtsequenz von Bildern der Kamera 4 wird somit eine Sequenz extrahiert, welche vorbestimmten Kriterien genügt. Diese Kriterien werden nun Bezug nehmend auf 3 näher erläutert. Um fehlerhafte Entscheidungen zu vermeiden, wird vorausgesetzt, dass zwischen den Zeitpunkten der Erfassung von zwei unmittelbar zeitlich benachbarten Bildern der ausgewählten Sequenz einerseits eine gewisse Zeitdauer verstrichen ist und andererseits das Kraftfahrzeug 1 einen vorbestimmten Weg zurückgelegt hat. Das Verfahren zur Auswahl der geeigneten Sequenz von Bildern, welche dem Verfahren gemäß 2 zugrunde gelegt werden, beginnt gemäß 3 in einem Schritt S700, wobei zu einem Zeitpunkt t1 ein erstes Bild ausgewählt wird. Das erste Bild wird also zu einem ersten Zeitpunkt t1 bereitgestellt. In einem nachfolgenden Schritt S701 wird eine Wegstrecke S und somit eine Entfernung berechnet, welche das Kraftfahrzeug 1 seit dem ersten Zeitpunk t1 zurückgelegt hat. In einem weiteren Schritt S702 wird dann überprüft, ob die zurückgelegte Wegstrecke S größer als ein vorgegebener Grenzwert GS ist oder nicht. Der Grenzwert GS kann beispielsweise 14 m betragen. Wird im Schritt S702 festgestellt, dass die zurückgelegte Wegstrecke S kleiner als der Grenzwert GS ist, wird in einem nachfolgenden Schritt S703 auf weitere Bilder gewartet, und das Verfahren kehrt wieder zum Schritt S701 zurück. Wird hingegen im Schritt S702 festgestellt, dass die zurückgelegte Wegstrecke S größer als der Grenzwert GS ist, so wird in einem nachfolgenden Schritt S704 eine Zeitdauer T seit dem ersten Zeitpunkt t1 errechnet. In einem weiteren Schritt S705 wird dann überprüft, ob diese Zeitdauer T größer als ein vorgegebener Grenzwert GT ist oder nicht. Dieser Grenzwert GT kann beispielsweise 1 Sekunde betragen. Wird die Frage gemäß Schritt S705 verneint, kehrt das Verfahren über den Schritt S703 zum Schritt S701 zurück. Wird hingegen festgestellt, dass die verstrichene Zeitdauer T seit dem ersten Zeitpunkt t1 größer als der Grenzwert GT ist, wird in einem weiteren Schritt S706 zu einem zweiten Zeitpunkt t2 ein weiteres Bild ausgewählt, welches durch die Kamera 4 aktuell bereitgestellt wird. Dieses weitere Bild wird also zu dem Zeitpunkt t2 bereitgestellt. Durch das Verfahren gemäß 3 wird sichergestellt, dass sich die abgebildete Umgebung zwischen den Zeitpunkten t1 und t2 verändert hat, so dass fehlerhafte Detektionen verhindert werden können.
-
Mit erneutem Bezug auf 2 werden die einzelnen Bilder dann in einem weiteren Schritt S2 (optional) einer Vorverarbeitung zugrunde gelegt. An dieser Stelle kann beispielsweise eine interessierende Region (Region of Interest) des Bilds bestimmt werden, welche weiterverarbeitet werden soll. Ergänzend oder alternativ kann auch das sogenannte „Downsampling“ des Bilds durchgeführt werden, so dass insgesamt die Anzahl der Bildpunkte reduziert wird, um den Rechenaufwand zu reduzieren.
-
In einem weiteren Schritt S3 werden die einzelnen Bilder einer Hochpassfilterung mittels eines Hochpassfilters HPF unterzogen. Somit werden hochfrequente Bildkomponenten aufgefunden. Beispielsweise wird hier das sogenannte Sobel-Filter mit einer Größe von z.B. 3 × 3 Bildpunkte verwendet. Es können jedoch auch weitere geeignete Hochpassfilter implementiert werden.
-
Jedes Bild wird dann gemäß Schritt S4 einem Maximumfilter MAX zugrunde gelegt, dessen Funktion Bezug nehmend auf 4 näher erläutert wird. In 4 ist ein Bereich eines Bilds 5 der Kamera 4 dargestellt, wobei die einzelnen Bildpunkte mit 6 bezeichnet sind. Zu jedem Bild 5 wird eine Vielzahl von sogenannten Zielbildpunkten 7 definiert, wobei die Anzahl der Zielbildpunkte 7 grundsätzlich beliebig gewählt werden kann. Es kann beispielsweise jeder zweite Bildpunkt 6 als Zielbildpunkt 7 definiert werden oder es können sogar alle Bildpunkte 6 als Zielbildpunkte 7 definiert werden. In jedem Bild 5 wird zu jedem Zielbildpunkt 7 ein Scanfenster 8 definiert. Mit anderen Worten wird in jedem Bild 5 das Scanfenster 8 definiert, dessen Position in dem Bild schrittweise derart verändert wird, dass in jeder Position des Scanfensters 8 ein Zielbildpunkt 7 in der Mitte des Scanfensters 8 liegt. Die Dichte der Zielbildpunkte 7 definiert somit auch die Schrittweite des Scanfensters 8. Das Scanfenster 8 kann grundsätzlich beliebiger Größe sein. Im Ausführungsbeispiel wird eine Größe von 7 × 7 Bildpunkte gewählt. Das Scanfenster 8 wird zeilenweise beispielsweise von links nach rechts verschoben, wobei für zwei benachbarte Positionen I und II (gestrichelte und durchgezogene Linie in 4) ein Überlappungsbereich 9 gegeben ist, dessen Größe abhängig von der Schrittweite bei der Bewegung des Scanfensters 8 ist.
-
Um die Rechenzeit zu reduzieren, können gegebenenfalls auch zwei eindimensionale Scanfenster 8 anstatt eines zweidimensionalen Scanfensters 8 definiert werden. Eines der eindimensionalen Fenster ist dann für das Scannen entlang der Spalten zuständig, während das andere Fenster für das Scannen zeilenweise genutzt wird.
-
In jeder Position I, II des Scanfensters 8 wird jeweils der Bildpunkt 6 mit dem größten Helligkeitswert detektiert. Der Zielbildpunkt 7 wird dann durch diesen maximalen Wert ersetzt. Um dabei die Rechenzeit auf ein Minimum zu reduzieren, wird folgendes vorgeschlagen:
Zu jeder Position I, II des Scanfensters 8 wird einerseits der maximale Helligkeitswert und andererseits auch die Position des Bildpunktes 6 mit diesem maximalen Wert abgespeichert. Bei der aktuellen Position II des Scanfensters 8 wird dann überprüft, ob der Bildpunkt 6 mit dem maximalen Wert aus der vorherigen Position I innerhalb des Überlappungsbereiches 9 liegt oder nicht. Ist dies nicht der Fall und liegt dieser Bildpunkt 6 in einem Bereich 10 außerhalb des aktuellen Scanfensters 8, so werden bei der aktuellen Position II alle Bildpunkte 6 des Scanfensters 8 daraufhin überprüft, welcher der Bildpunkte 6 den maximalen Wert aufweist. Liegt der Bildpunkt 6 mit dem maximalen Wert aus der vorherigen Position I hingegen in dem Überlappungsbereich 9, so werden bei der aktuellen Position II ausschließlich Bildpunkte überprüft, welche innerhalb eines Bereiches 11 des Scanfensters 8 außerhalb des Überlappungsbereiches 9 liegen. Ausschließlich die in diesem Bereich 11 liegenden Bildpunkte 6 werden somit daraufhin überprüft, ob sie einen größeren Helligkeitswert als der maximale Wert aus der vorherigen Position I aufweisen. Auf diese Art und Weise kann die Rechenzeit erheblich reduziert werden, nämlich im Vergleich zu einer Ausführungsform, bei welcher immer alle Bildpunkte des gesamten Scanfensters 8 überprüft werden.
-
Dadurch wird bei einem 7 × 7-Scanfenster 8 die benötigte Rechenzeit um 40% reduziert. Wird das Fenster 8 vergrößert, kann sogar noch eine größere Reduktion der Rechenzeit ermöglicht werden. So beträgt die benötigte Rechenzeit bei einem 18 × 18-Scanfenster 8 nur noch etwa 28% der Rechenzeit, die bei Berücksichtigung aller Bildpunkte benötigt wird.
-
Nach der Filterung mit dem Maximumfilter MAX wird somit ein Bild 5 bereitgestellt, bei welchem anstelle der Zielbildpunkte 7 jeweils der maximale Wert aus der Umgebung dieses Bildpunktes 7 angegeben ist. Einer solchen Filterung werden dabei alle Bilder 5 der ausgewählten Sequenz unterzogen.
-
Bezug nehmend weiterhin auf 2 wird in einem weiteren Schritt S5 nunmehr eine zeitliche Komponente hinzugefügt. Zu jeder Position I, II des Scanfensters 8 und somit zu jedem Zielbildpunkt 7 wird nun eine zeitliche Folge von maximalen Werten bestimmt, nämlich über eine Vielzahl von Bildern 5. Jeder maximale Wert des aktuellen Bilds 5 wird somit jeweils einer zeitlichen Folge hinzugefügt, so dass über der Zeit betrachtet eine Vielzahl von Folgen von maximalen Werten bereitgestellt wird, wobei jedem Zielbildpunkt 7 eine separate zeitliche Folge zugeordnet ist.
-
Eine beispielhafte zeitliche Folge 12 von maximalen Werten ist über der Zeit t in 5 dargestellt. Diese zeitliche Folge 12 ist beispielsweise dem Zielbildpunkt 7 gemäß 4 zugeordnet. In dem Schritt S5 gemäß 2 wird jede zeitliche Folge 12 einem rekursiven Glättungsfilter zugeführt, welches ein IIR-Filter ist. Mittels dieses Glättungsfilters wird die Folge 12 – ähnlich wie mittels eines Kondensators – geglättet, und es wird eine geglättete Folge 13 bereitgestellt, wie sie beispielhaft in 4 abgebildet ist. Das Glättungsfilter kann in einer Programmiersprache beispielsweise folgendermaßen implementiert werden:
falls M ≥ CF, dann: CF = M; ansonsten: falls M < CF, dann: CF = αM + (1 – α)CF
-
Hierbei bezeichnet M den aktuellen Wert der Folge 12, während CF das aktuelle Ergebnis des Glättungsfilters bezeichnet. α stellt einen IIR-Filterkoeffizient dar, der die „Stärke“ des Filters definiert und in einem Wertebereich von 0 bis 1 liegen kann.
-
Eine solche geglättete Folge 13 kann nun mit einem Grenzwert TH verglichen werden, nämlich gemäß einem weiteren Schritt S6 (2). Dieser Grenzwert TH kann auch im Betrieb der Kamera 4 eingestellt werden, beispielsweise in Abhängigkeit von einem aktuellen Rauschpegel R und/oder einem aktuellen Helligkeitsgrad H der Szene, wobei diese Parameter in einem Schritt S7 erfasst werden.
-
Der verdeckte Zustand der Kamera 4 wird dann detektiert, wenn die geglättete Folge 13 den Grenzwert T unterschreitet.
-
Als Ergebnis des Verfahrens gemäß 2 kann insbesondere eine Matrix M ausgegeben werden, deren Größe in Abhängigkeit von der Anzahl von Bildzellen definiert wird, zu denen separat bestimmt wird ob die Kamera 4 in Bezug auf die jeweilige Bildzelle verdeckt ist oder nicht. Das Bild 5 kann nämlich in eine Vielzahl von Bildzellen unterteilt werden, welche jeweils mehrere Zielbildpunkte 7 beinhalten. Jeder Bildzelle ist somit auch eine Vielzahl von geglätteten Folgen 13 zugeordnet. Es ist somit möglich, für jede Bildzelle des Bilds 5 den Grad der Verdeckung der Kamera 4 zu bestimmen. Dies kann beispielsweise so aussehen, dass die Anzahl der Zielbildpunkte 7 bestimmt wird, bei denen die Folge 13 den Grenzwert TH unterschreitet. Diese Anzahl kann dann mit der Anzahl aller Zielbildpunkte 7 innerhalb der jeweiligen Bildzelle ins Verhältnis gesetzt werden, und dieses Verhältnis gibt dann den Grad der Verdeckung der Kamera 4 in Bezug auf die jeweilige Bildzelle an.
