-
Stand der Technik
-
Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Ermitteln eines blinden Bereichs einer Kamera, auf eine entsprechende Vorrichtung sowie auf ein entsprechendes Computerprogrammprodukt.
-
Zur Verbesserung der Sicherheit und der Prozessabläufe werden im Automobilbereich sowie in der Industrie immer häufiger Kameras, z. B. Videokameras, eingesetzt. Im Einsatz können die verwendeten videobasierten Fahrerassistenzsysteme und Sicherheits- oder Industriekamerasysteme durch blinde Bereiche der Kamera in ihrer Funktionalität beeinträchtigt werden. Derartige blinde Bereiche können z. B. durch einen Bildsensorausfall oder eine unbeabsichtigte teilweise oder komplette Abdeckung des Sichtbereichs der verwendeten Kamera, z. B. durch teils große auf der Kamera festklebende Partikel, verursacht werden.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund wird mit dem hier vorgestellten Ansatz ein Verfahren zum Ermitteln eines blinden Bereichs einer Kamera, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
-
Ein Vergleich von auf Grauwertveränderungen basierenden Signalverläufen für Bilddaten zweier zeitlich aufeinanderfolgender Kameraaufnahmen ermöglicht eine schnell und ressourcenschonend durchführbare automatische Detektion eines blinden Bereichs einer Kamera.
-
In einer Weiterführung des hier vorgestellten Konzepts kann ansprechend auf die Detektion des blinden Bereichs beispielsweise ein Verfahren zum automatischen Reinigen des verschmutzen Kamerasichtbereichs oder zur Ausgabe eines Warnsignals an einen Nutzer ausgeführt werden.
-
Das hierin vorgestellte Verfahren zum Erkennen eines blinden Kamerabereichs kann sehr effizient durchgeführt werden und ist damit auch bei den nur begrenzten Rechen- und Speicherkapazitäten, die einer Vielzahl der Fahrerassistenzsysteme und Industrie- und Sicherheitskameras zur Verfügung stehen, einsetzbar. Ein dem Verfahren zugrunde liegender Algorithmus zum Bilddatenvergleich kann für eine Echtzeitberechnung für jedes einzelne Zeitfenster ausgelegt werden, indem er so gestaltet ist, dass auf redundante Informationsverarbeitung und Rechenvorgänge, die viel Speicherplatz benötigen, verzichtet werden kann. Ferner eignet sich der Algorithmus für eine Vorverarbeitung der Bilddaten durch ein FPGA und eine Berechnung und Erfassung des blinden Bereichs durch einen Mikrokontroller.
-
Besondere Vorteile des hierin vorgestellten Verfahrens und einer entsprechenden Vorrichtung zeigen sich bei einem Einsatz einer Kamera in sicherheitskritischen Anwendungen wie kamerabasierten Fahrerassistenzsystemen, wo z. B. die Entstehung eines blinden Bereichs durch ein auf einem Objektiv der Kamera festklebendes Partikel keine Seltenheit darstellt. Hier kann die automatisch detektierte Beeinträchtigung des Kamerasichtbereichs entweder eine sofortige Reinigung oder eine Benachrichtigung des Nutzers einleiten, damit dieser sofort die notwendigen Maßnahmen zur Wiederherstellung der Sicherheit ergreifen kann. So kann die Objekterkennungs- oder Spurerkennungsfunktionalität der Kamera auf einfache und schnelle Weise erhalten bzw. wiederhergestellt werden.
-
Es wird ein Verfahren zum Ermitteln eines blinden Bereichs einer Kamera vorgestellt, wobei das Verfahren die folgenden Schritte aufweist:
Bilden eines ersten Signalverlaufs einer Mehrzahl von Gradienten, die in Abhängigkeit von Grauwerten benachbarter Bildpunkte eines Bildabschnitts eines ersten von der Kamera aufgenommenen Bildes bestimmt wurden, und eines zweiten Signalverlaufs einer Mehrzahl von Gradienten, die in Abhängigkeit von Grauwerten der benachbarten Bildpunkte des Bildabschnitts eines zweiten von der Kamera aufgenommenen Bildes bestimmt wurden, wobei das zweite Bild mit einem zeitlichen Versatz gegenüber dem ersten Bild aufgenommen wurde; und
Erkennen des blinden Bereichs, wenn ein Vergleich des ersten Signalverlaufs mit dem zweiten Signalverlauf ergibt, dass zumindest ein Abschnitt des ersten Signalverlaufs mit einem entsprechenden Abschnitt des zweiten Signalverlaufs innerhalb eines Toleranzbereichs identisch oder identisch ist.
-
Das Verfahren kann in einer Kamera oder in einer mit der Kamera gekoppelten Vorrichtung ausgeführt werden. Bei der Kamera kann es sich beispielsweise um eine digitale Videokamera handeln.
-
Der blinde Bereich der Kamera kann dadurch charakterisiert sein, dass an dieser Stelle keine realgetreue Aufnahme eines von der Kamera auch nur minimal entfernten Umfelds der Kamera möglich ist. Ein Grund dafür kann sein, dass ein Objektiv der Kamera an dieser Stelle von außen abgedeckt ist, beispielsweise durch einen an dem Objektiv anhaftenden Schmutzpartikel oder ein Objekt, das sich an dieser Stelle an das Objektiv angelegt hat, wie z. B. ein Laubblatt. Als weitere Ursache für den blinden Bereich ist ein partieller Ausfall eines Bildsensors der Kamera an dieser Stelle denkbar.
-
Der erste und zweite Signalverlauf können jeweils als ein horizontaler, unregelmäßig wellenförmiger Graph dargestellt werden, dessen Wellenform durch eine unterschiedliche Ausprägung der ihm zugrunde liegenden Gradienten charakterisiert sein kann. In ein kartesisches Koordinatensystem eingetragen, können der erste und zweite Signalverlauf identisch oder zumindest sehr ähnlich, jedoch aufgrund des Zeitversatzes zwischen der Aufnahme des ersten und des zweiten Bildes phasenverschoben sein.
-
Die Bildpunkte können auch als Pixel bezeichnet werden, wobei eine Steigung bzw. ein Gefälle eines Gradienten auf einer Größe eines Unterschiedes zwischen den Grauwerten der benachbarten Bildpunkte basieren kann. Der Grauwert eines Bildpunktes kann eine scheinbare Helligkeit des Bildpunktes bezeichnen, also ein Maß dafür sein, wie hell oder dunkel der betreffende Bildpunkt für das menschliche Auge erscheint.
-
Als der Bildabschnitt kann ein sich von einer Kante zur gegenüberliegenden Kante des ersten bzw. zweiten Bildes erstreckender streifenförmiger Ausschnitt aus dem ersten bzw. zweiten Bild gelten. Der Bildabschnitt kann dabei horizontal oder vertikal über das Bild verlaufen. Der Bildabschnitt kann ferner dadurch charakterisiert sein, dass er in dem ersten Bild und dem zweiten Bild jeweils übereinstimmende Bildkoordinaten aufweist.
-
Unter einem Toleranzbereich kann ein Bereich verstanden werden, in dem eine Differenz zwischen entsprechenden Werten des Abschnitts des ersten Signalverlaufs und entsprechenden Werten des Abschnitts des zweiten Signalverlaufs beispielsweise um nicht mehr als 10 Prozent von den betreffenden Werten des Abschnitts des ersten bzw. zweiten Signalverlaufs abweicht.
-
Der Abschnitt des ersten Signalverlaufs und der entsprechende Abschnitt des zweiten Signalverlaufs können basierend auf denselben Bildpunkten erstellt worden sein. Der zeitliche Versatz zwischen dem ersten und dem zweiten Bild kann sich im Milli- oder Nanosekundenbereich bewegen.
-
Gemäß einer Ausführungsform des Verfahrens kann in dem Schritt des Bildens der erste Signalverlauf und/oder der zweite Signalverlauf auf der Basis von Gradienten gebildet werden, die je unter Verwendung einer Summe einer vordefinierten Anzahl von benachbarten Bildpunkten bestimmt werden. Mit dieser vorteilhaften Fensterung der Datenverarbeitung können die Signalverläufe in kürzerer Zeit und mit weniger Rechenaufwand gebildet werden.
-
Ferner kann in dem Schritt des Erkennens der blinde Bereich erkannt werden, wenn der Vergleich des ersten Signalverlaufs mit dem zweiten Signalverlauf ergibt, dass der Abschnitt des ersten Signalverlaufs und der entsprechende Abschnitt des zweiten Signalverlaufs innerhalb eines Toleranzbereichs keine Steigung aufweisen. Der Toleranzbereich kann sich dabei auf einen Grad der Steigung des ersten bzw. zweiten Signalverlaufs beziehen. Beispielsweise können sowohl der Abschnitt des ersten Signalverlaufs als auch der entsprechende Abschnitt des zweiten Signalverlaufs jeweils eine positive oder negative Steigung im Toleranzbereich von 0 % bis 2 % aufweisen. Diese Ausführungsform des Verfahrens kann aufgrund der leichten und schnellen Identifizierbarkeit der steigungslosen bzw. steigungsarmen Abschnitte im Signalverlauf eine gleichzeitig robuste und ressourcensparende Methode zum Erkennen von blinden Kamerabereichen darstellen.
-
Gemäß einer weiteren Ausführungsform kann in dem Schritt des Bildens ferner ein dritter Signalverlauf einer Mehrzahl von Gradienten, die in Abhängigkeit von Grauwerten benachbarter Bildpunkte eines zweiten Bildabschnitts des ersten von der Kamera aufgenommenen Bildes bestimmt wurden, gebildet werden, und ein vierter Signalverlauf einer Mehrzahl von Gradienten, die in Abhängigkeit von Grauwerten der benachbarten Bildpunkte des zweiten Bildabschnitts des zweiten von der Kamera aufgenommenen Bildes bestimmt wurden, gebildet werden. Entsprechend kann in dem Schritt des Erkennens der blinde Bereich erkannt werden, wenn ferner ein Vergleich des dritten Signalverlaufs mit dem vierten Signalverlauf ergibt, dass zumindest ein Abschnitt des dritten Signalverlaufs mit einem entsprechenden Abschnitt des vierten Signalverlaufs identisch ist. Mit dieser Ausführungsform kann aufgrund der mittels des zweiten Bildabschnitts bereitgestellten zusätzlichen Bildinformation ohne Weiteres auf eine Größe und/oder Form des blinden Kamerabereichs geschlossen werden.
-
Beispielsweise kann in dem Schritt des Bildens ein in einem vorbestimmten Abstand parallel zu dem ersten Bildabschnitt verlaufender Bildabschnitt als der zweite Bildabschnitt bestimmt werden. Die Parallelität ist hier örtlich, nicht zeitlich, zu verstehen. Alternativ kann in dem Schritt des Bildens ein Bildabschnitt als der zweite Bildabschnitt bestimmt werden, der zumindest einen Bildpunkt mit dem ersten Bildabschnitt gemeinsam hat. Beispielsweise kann der zweite Bildabschnitt so gewählt werden, dass er den ersten Bildabschnitt im rechten Winkel kreuzt. Mit diesen Ausführungsformen des Verfahrens sind zwei sinnvolle Möglichkeiten für eine Rasterung der Bildfläche einer Kameraaufnahme zur optimalen Identifikation von Form und Größe des blinden Bereichs der Kamera gegeben. Welche der beiden Ausführungsformen im konkreten Fall gewählt wird, kann von einer individuellen Spezifikationsvorgabe für das Verfahren abhängig sein.
-
Gemäß einer weiteren Ausführungsform des Verfahrens kann in dem Schritt des Bildens ferner ein fünfter Signalverlauf einer Mehrzahl von Gradienten, die in Abhängigkeit von Grauwerten benachbarter Bildpunkte eines dritten Bildabschnitts des ersten von der Kamera aufgenommenen Bildes bestimmt wurden, gebildet werden, und ein sechster Signalverlauf einer Mehrzahl von Gradienten, die in Abhängigkeit von Grauwerten der benachbarten Bildpunkte des dritten Bildabschnitts des zweiten von der Kamera aufgenommenen Bildes bestimmt wurden, gebildet werden. Es kann dabei ein in einem vorbestimmten Abstand parallel zu dem zweiten Bildabschnitt verlaufender Bildabschnitt als der dritte Bildabschnitt bestimmt werden. So kann eine vorteilhafte Verfeinerung der oben erwähnten Rasterung realisiert werden, mittels der die Größen- und Formbestimmung des blinden Bereichs noch detaillierter erfolgen kann.
-
Beispielsweise kann der Schritt des Bildens in einer festverdrahteten Hardwarestruktur und/oder der Schritt des Erkennens in einer programmgesteuerten Rechenstruktur ausgeführt werden. Diese Ausführungsform ermöglicht ein Durchführen des Verfahrens unter der Verwendung einfach aufgebauter elektronischer Elemente, die in großer Stückzahl kostengünstig produzierbar sind.
-
Es wird ferner eine Vorrichtung zum Ermitteln eines blinden Bereichs einer Kamera vorgestellt, wobei die Vorrichtung die folgenden Merkmale aufweist:
eine Einrichtung zum Bilden eines ersten Signalverlaufs einer Mehrzahl von Gradienten, die in Abhängigkeit von Grauwerten benachbarter Bildpunkte eines Bildabschnitts eines ersten von der Kamera aufgenommenen Bildes bestimmt wurden, und eines zweiten Signalverlaufs einer Mehrzahl von Gradienten, die in Abhängigkeit von Grauwerten der benachbarten Bildpunkte des Bildabschnitts eines zweiten von der Kamera aufgenommenen Bildes bestimmt wurden, wobei das zweite Bild mit einem zeitlichen Versatz gegenüber dem ersten Bild aufgenommen wurde; und
eine Einrichtung zum Erkennen des blinden Bereichs, wenn ein Vergleich des ersten Signalverlaufs mit dem zweiten Signalverlauf ergibt, dass zumindest ein Abschnitt des ersten Signalverlaufs mit einem entsprechenden Abschnitt des zweiten Signalverlaufs identisch ist.
-
Bei der Vorrichtung kann es sich um beispielsweise um eine Videokamera oder ein mit einer Videokamera gekoppeltes Gerät handeln.
-
Die Vorrichtung kann ausgebildet sein, um die Schritte einer Variante des hier vorgestellten Verfahrens in ihren entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Der hier vorgestellte Ansatz wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
-
1 ein Blockschaltbild einer Vorrichtung zum Ermitteln eines blinden Bereichs einer Kamera, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
-
2 eine Darstellung eines Kamerabildes ohne blinden Bereich mit zeilenweisen und spaltenweisen Signalverläufen summenbasierter Gradienten, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
-
3 eine Darstellung eines Kamerabildes mit blindem Bereich mit zeilenweisen und spaltenweisen Signalverläufen summenbasierter Gradienten, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
-
4 eine Darstellung eines Vergleichs von Signalverläufen bei Fehlen eines blinden Bereichs, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
-
5 eine Darstellung eines Vergleichs von Signalverläufen bei Vorliegen eines blinden Bereichs, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
-
6 ein Ablaufdiagramm eines Verfahrens zum Ermitteln eines blinden Bereichs einer Kamera, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
-
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt ein Blockschaltbild einer Vorrichtung 100 zum Ermitteln eines blinden Bereichs einer Kamera, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Vorrichtung 100 umfasst eine Einrichtung 102 zum Bilden von Signalverläufen und eine Einrichtung 104 zum Erkennen des blinden Bereichs und ist hier über ein Leitungssystem mit einer Kamera 106 gekoppelt. Gemäß alternativen Ausführungsbeispielen kann die Vorrichtung 100 in die Kamera 106 integriert sein. Bei der Kamera 106 kann es sich gemäß Ausführungsbeispielen beispielsweise um eine Fahrzeugvideokamera eines videobasierten Fahrerassistenzsystems, eine Sicherheitskamera oder eine Industriekamera zur Überwachung von Prozessabläufen etc. handeln. Gemäß Ausführungsbeispielen kann die Kamera 106 Teil eines Mono-, Stereo-, 360°- oder anderen Kamerasystems sein.
-
Wie die Darstellung in 1 zeigt, weist die Kamera 106 einen blinden Bereich 108 auf, der hier durch ein auf einem Objektiv 110 der Kamera 106 anhaftendes Objekt gebildet wird. Durch den blinden Bereich 108 ist die Kamera 106 in ihrer Funktionalität beeinträchtigt, da an der Stelle des blinden Bereichs 108 keine Aufnahme des hinter dem Objekt befindlichen Kameraumfelds erzeugt werden kann. Bei dem den blinden Bereich 108 verursachenden Objekt kann es sich beispielsweise um klebende Schmutzpartikel wie z. B. fallendes Laub, Eis, Schnee, Vogelexkremente oder um klebrige chemische Partikel handeln, wie sie in einem industriellen Umfeld vorhanden sein können. Alternativ zu dem gezeigten Ausführungsbeispiel kann dem blinden Bereich 108 anstelle eines an der Kamera anhaftenden Objekts auch ein z. B. teilweiser Ausfall eines Bildsensors der Kamera 106 zugrunde liegen.
-
Bei dem in 1 gezeigten Ausführungsbeispiel der Vorrichtung 100 weist die Einrichtung 102 eine festverdrahtete Hardwarestruktur wie beispielsweise ein FPGA (Field Programmable Gate Array), also eine im Anwendungsfeld programmierbare Logikgatteranordnung, auf, das geeignet ist, die Signalverläufe zu bilden. FPGAs und ähnlich aufgebaute elektronische Bauelemente zeichnen sich dadurch aus, dass sie sich besonders zur effizienten parallelen Ausführung wiederholter Rechenvorgänge eignen. Aus diesem Grund ist es sinnvoll, die im Sinne einer Vorverarbeitung zu verstehende Bildung bzw. Berechnung der Signalverläufe in einem FPGA auszuführen und an einen Mikrocontroller zur Weiterverarbeitung bereitzustellen. Die Einrichtung 104 weist bei dem gezeigten Ausführungsbeispiel eine programmgesteuerte Rechenstruktur, z. B. einen Mikrocontroller, auf, die geeignet ist, um die Signalverläufe zu vergleichen, um den blinden Bereich zu erkennen.
-
Wie die Darstellung in 1 zeigt, ist die Kamera 106 ausgebildet, um der Vorrichtung 100 Bilddaten eines ersten Bildes 112 und eines zeitlich versetzt zu dem ersten Bild 112 erzeugten zweiten Bildes 114 über eine gemeinsame Schnittstelle zu übermitteln. Bei dem ersten Bild 112 und dem zweiten Bild 114 kann es um Aufnahmen eines Umfelds bzw. einer Umgebung der Kamera 106 handlen. Der Zeitversatz zwischen den Aufnahmen kann im Milli- oder Nanosekundenbereich liegen. Die Einrichtung 102 ist ausgebildet, um basierend auf den empfangenen Bilddaten des ersten Bildes 112 einen ersten Signalverlauf 116 einer Mehrzahl von Gradienten, die in Abhängigkeit von Grauwerten benachbarter Bildpunkte eines Bildabschnitts des ersten Bildes 112 bestimmt wurden, zu bilden. Die Einrichtung 102 ist ferner ausgebildet, um basierend auf den empfangenen Bilddaten des zweiten Bildes 114 einen zweiten Signalverlauf 118 einer Mehrzahl von Gradienten, die in Abhängigkeit von Grauwerten benachbarter Bildpunkte eines Bildabschnitts des zweiten Bildes 114 bestimmt wurden, zu bilden.
-
Über eine Schnittstelle werden die Signalverläufe 116, 118 von der Einrichtung 102 an die Einrichtung 104 übergeben, wo in einer Vergleichsoperation eine Korrelation des ersten Signalverlaufs 116 mit dem zweiten Signalverlauf 118 durchgeführt wird. Der blinde Bereich 108 wird erkannt, wenn die Vergleichsoperation ergibt, dass wenigstens ein Abschnitt des ersten Signalverlaufs 116 mit einem entsprechenden Abschnitt des zweiten Signalverlaufs 118 identisch ist. Bei erkanntem blinden Bereich 108 gibt die Vorrichtung 100 über eine Schnittstelle ein Signal 120 aus. Gemäß einem Ausführungsbeispiel wird das Signal 120 an eine Reinigungsvorrichtung für die Kamera 106 bereitgestellt, die ansprechend auf das Signal 120 eine Reinigung des Objektivs 110 einleitet. Gemäß einem weiteren Ausführungsbeispiel wird das Signal 120 an eine Ausgabeeinrichtung bereitgestellt, die ausgebildet ist, um einen Warnton an einen Nutzer der Kamera 106 auszugeben.
-
2 zeigt eine Darstellung eines beispielhaften Kamerabildes, das ohne Vorhandensein eines blinden Bereichs einer Kamera erzeugt wurde. Gezeigt ist ein beispielhaftes erstes Bild 112 der Kamera aus 1. Hier wird die Kamera in einem Fahrzeug als Teil eines Fahrerassistenzsystems eingesetzt. Entsprechend zeigt das erste Bild 112 eine Fahrzeugumgebung, genauer einen Ausschnitt eines vor dem Fahrzeug liegenden Straßenabschnitts.
-
Wie in 1 erläutert, wird die Aufnahme bzw. das erste Bild 112 in der Einrichtung zum Bilden von Signalverläufen unter Verwendung eines FPGAs oder eines ähnlichen elektronischen Elements vorverarbeitet. Für die Generierung der Signalverläufe werden Bildabschnitte des ersten Bildes 112 betrachtet, bei dem in 2 gezeigten Ausführungsbeispiel ein Bildabschnitt 200, ein zweiter Bildabschnitt 202 ein dritter Bildabschnitt 204 sowie ein vierter Bildabschnitt 205, die jeweils horizontal bzw. zeilenweise zwischen gegenüberliegenden Kanten des Bildes 112 verlaufen, sowie ein fünfter Bildabschnitt 206, ein sechster Bildabschnitt 208, ein siebter Bildabschnitt 210, ein achter Bildabschnitt 212, ein neunter Bildabschnitt 214 sowie ein zehnter Bildabschnitt 215, die jeweils vertikal bzw. spaltenweise zwischen gegenüberliegenden Kanten des Bildes 112 verlaufen.
-
Wie die Darstellung in 2 zeigt, sind die Bildabschnitte 200, 202, 204, 205, 206, 208, 210, 212, 214, 215 als schmale Bildstreifen ausgebildet, die jeweils eine Mehrzahl benachbarter Bildpunkte bzw. Pixel umfassen. Die Bildstreifen bzw. Bildabschnitte 200, 202, 204, 205, 206, 208, 210, 212, 214, 215 verlaufen stets parallel zu den jeweiligen gegenüberliegenden Seitenkanten des ersten Bildes 212. Die spaltenweisen Bildabschnitte 206, 208, 210, 212, 214, 215 verlaufen parallel zueinander und schneiden die ebenfalls parallel zueinander laufenden zeilenweisen Bildabschnitte 200, 202, 204, 205 im rechten Winkel. Entsprechend haben die zeilenweisen Bildabschnitte 200, 202, 204, 205 an jedem Schnittpunkt der Bildabschnitte 200, 202, 204, 205, 206, 208, 210, 212, 214, 215 jeweils zumindest einen Bildpunkt mit den spaltenweisen Bildabschnitten 206, 208, 210, 212, 214, 215 gemeinsam. Bei dem in 2 gezeigten Ausführungsbeispiel sind die horizontalen Bildabschnitte 200, 202, 204, 205 um einen stets gleichbleibenden Abstand 216 voneinander beabstandet. Die vertikalen Bildabschnitte 206, 208, 210, 212, 214, 215 sind um denselben Abstand 216 voneinander beabstandet. Damit wird dem ersten Bild 112 ein gleichmäßiges gitterförmiges Raster untergelegt, mit dem Grauwertunterschiede in dem ersten Bild 112 mit wenig Rechenaufwand erfasst werden können.
-
Die Einrichtung zum Bilden von Signalverläufen ist ausgebildet, um basierend auf Grauwerten bzw. Grauwertunterschieden der benachbarten Bildpunkte jedes Bildabschnitts 200, 202, 204, 205, 206, 208, 210, 212, 214, 215 des ersten Bildes 112 für jeden Bildabschnitt 200, 202, 204, 205, 206, 208, 210, 212, 214, 215 einen zugeordneten Signalverlauf zu bilden und basierend auf Grauwerten bzw. Grauwertunterschieden der benachbarten Bildpunkte jedes Bildabschnitts 200, 202, 204, 205, 206, 208, 210, 212, 214, 215 des – in 2 nicht gezeigten – zweiten Bildes wiederum für jeden Bildabschnitt 200, 202, 204, 205, 206, 208, 210, 212, 214, 215 einen zugeordneten Signalverlauf zu bilden. In der Darstellung in 2 sind die einzelnen Signalverläufe der Übersichtlichkeit halber direkt anschließend an die Bildabschnitte 200, 202, 204, 205, 206, 208, 210, 212, 214, 215 des ersten Bildes 112 dargestellt.
-
Entsprechend wird basierend auf den Grauwertunterschieden der benachbarten Bildpunkte des Bildabschnitts 200 des ersten Bildes 112 der erste Signalverlauf 116 gebildet. In 2 nicht gezeigt ist, dass basierend auf den Grauwertunterschieden der benachbarten Bildpunkte des Bildabschnitts 200 des zweiten Bildes der zweite Signalverlauf aus 1 gebildet wird. Nach demselben Prinzip wird für den zweiten Bildabschnitt 202 des ersten Bildes 112 der dritte Signalverlauf 218 gebildet, für den dritten Bildabschnitt 204 des ersten Bildes 112 der fünfte Signalverlauf 220 gebildet, für den vierten Bildabschnitt 205 des ersten Bildes 112 der siebte Signalverlauf 222 gebildet, für den fünften Bildabschnitt 206 des ersten Bildes 112 der neunte Signalverlauf 224 gebildet, für den sechsten Bildabschnitt 208 des ersten Bildes 112 der elfte Signalverlauf 226 gebildet, für den siebten Bildabschnitt 210 des ersten Bildes 112 der dreizehnte Signalverlauf 228 gebildet, für den achten Bildabschnitt 212 des ersten Bildes 112 der fünfzehnte Signalverlauf 230 gebildet, für den neunten Bildabschnitt 214 des ersten Bildes 112 der siebzehnte Signalverlauf 232 gebildet und für den zehnten Bildabschnitt 215 des ersten Bildes 112 der neunzehnte Signalverlauf 234 gebildet.
-
Wie die Darstellung in 2 zeigt, setzen sich die Signalverläufe 116, 218, 220, 222, 224, 226, 228, 230, 232, 234 jeweils aus einer Mehrzahl unterschiedlicher ausgeprägter Gradienten 236 zusammen, von denen der Übersichtlichkeit halber lediglicher einer beispielhaft mit einem Bezugszeichen versehen ist. Die Ausprägung eines Gradienten wird durch die Grauwertunterschiede benachbarter Pixel des jeweiligen Bildstreifens 200, 202, 204, 205, 206, 208, 210, 212, 214, 215 bestimmt. Je größer die Grauwert- bzw. Helligkeitsunterschiede zwischen benachbarten Bildpunkten, desto ausgeprägter der Gradient 236. Wie aus 2 ersichtlich, zeigt jeder der Signalverläufe 116, 218, 220, 222, 224, 226, 228, 230, 232, 234 ein individuelles, unregelmäßiges Wellen- bzw. Zackenmuster, das auf den Grauwertveränderungen innerhalb des jeweiligen zugeordneten Bildstreifens 200, 202, 204, 205, 206, 208, 210, 212, 214, 215 beruht.
-
Bei dem in 2 gezeigten Ausführungsbeispiel werden die Signalverläufe 116, 218, 220, 222, 224, 226, 228, 230, 232, 234 auf der Basis von Gradienten 236 gebildet, die je unter Verwendung einer Summe einer vordefinierten Anzahl von benachbarten Bildpunkten bestimmt werden. Basierend auf der zeilenweisen bzw. spaltenweisen Ausrichtung der zugrunde liegenden Bildabschnitte 200, 202, 204, 205, 206, 208, 210, 212, 214, 215 basieren die Signalverläufe 116, 218, 220, 222 auf Gradienten 236 einer zeilenweisen gefensterten Aufsummierung von Grauwertunterschieden benachbarter Bildpunkte und die Signalverläufe 224, 226, 228, 230, 232, 234 auf Gradienten 236 einer spaltenweisen gefensterten Aufsummierung von Grauwertunterschieden benachbarter Bildpunkte.
-
Kurz zusammengefasst erfolgt in einer beispielhaften Einrichtung zum Bilden von Signalverläufen unter Verwendung eines FPGAs also zunächst eine Aufteilung des Gesamtbildbereichs des ersten Bildes 112 und des zweiten Bildes in horizontale, als Zeilen angelegte, äquidistante Streifen 200, 202, 204, 205 und vertikale, als Spalten angelegte, äquidistante Streifen 206, 208, 210, 212, 214, 215. Die Streifengröße bzw. -breite ist als ein veränderbarer Parameter ausgelegt. Anschließend wird die zeilenweise und spaltenweise Grauwertsummierung in jedem Streifenbereich 200, 202, 204, 205, 206, 208, 210, 212, 214, 215 sowie für jeden Streifen 200, 202, 204, 205, 206, 208, 210, 212, 214, 215 der eindimensionale Signalgradient 236 jedes Summensignals berechnet.
-
3 zeigt eine Darstellung eines weiteren beispielhaften Kamerabildes, das bei Vorliegen eines blinden Bereichs einer Kamera erzeugt wurde. Wiederum ist das erste Bild 112 von zwei aufeinanderfolgend erzeugten Bildern einer Kamera gezeigt, mit derselben Rasterung durch Bildabschnitte wie in 2. Es ist der gleiche Fahrzeugumgebungsausschnitt wie in 2 gezeigt, mit dem Unterschied, dass der blinde Bereich 108 der Kamera als durchgängig dunkler Fleck mit unregelmäßigem Umriss ohne Grauwertunterschiede im rechten oberen Bildviertel des ersten Bildes 112 präsent ist.
-
Der durch den dunklen Fleck im Bild 112 repräsentierte blinde Bereich 108 erstreckt sich über Teile der horizontalen Bildabschnitte 200 und 202 sowie Teile der vertikalen Bildabschnitte 212 und 214. Entsprechend weisen die zugeordneten horizontalen Signalverläufe 116 und 218 sowie vertikalen Signalverläufe 230 und 232 in ihren einer Position des blinden Bereichs 108 in den Bildstreifen 200, 202, 212, 214 entsprechenden Bereichen jeweils Abschnitte 300 auf, die innerhalb eines Toleranzbereichs keine oder eine kaum merkliche Steigung aufweisen. Bei dem in 3 gezeigten Ausführungsbeispiel sind die Abschnitte 300 durch Gradienten mit einer Steigung bei null gekennzeichnet und unterscheiden sich damit in ihrer gleichbleibend horizontalen Ausprägung deutlich von dem wellenförmigen Erscheinungsbild der Restabschnitte jedes der Signalverläufe 116, 218, 230, 232.
-
Die hierin vorgestellte Vorrichtung ist ausgebildet, um den blinden Bereich 108 zu erkennen, wenn in dem mit zeitlichem Abstand zu dem ersten Bild 112 erzeugten (hier nicht gezeigten) zweiten Bild die gleichen Signalverläufe an gleicher Stelle identische horizontale Signalverläufe aufweisen. Die nachfolgenden 4 und 5 gehen darauf anhand eines beispielhaften Vergleichs zweier Signalverläufe in jeder Figur genauer ein. Die gezeigten Graphen illustrieren anschaulich die zwei Situationen Vorliegen und Fehlen des blinden Bereichs und die entsprechenden Detektionskriterien.
-
4 zeigt eine Darstellung eines Vergleichs von Signalverläufen bei Fehlen eines blinden Bereichs, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Gezeigt ist ein kartesisches Koordinatensystem, in dem ein beispielhafter erster Signalverlauf 116 eines zu einem Zeitpunkt t aufgenommen ersten Bildes einer Kamera und ein beispielhafter zweiter Signalverlauf 118 eines in einem späteren, gleich langen, Zeitfenster t-1 aufgenommen zweiten Bildes der Kamera aufgetragen sind. Der erste Signalverlauf 116 wird durch einen Graphen mit durchgezogener Linie repräsentiert, der zweite Signalverlauf 118 wird durch einen Graphen mit unterbrochener Linie repräsentiert.
-
Die Abszisse des Koordinatensystems wird durch einen beispielhaften horizontalen bzw. zeilenweisen Bildabschnitt 200 repräsentiert. Gemäß einem alternativen Ausführungsbeispiel kann die Abszisse auch durch einen beispielhaften vertikalen bzw. spaltenweisen Bildabschnitt repräsentiert sein. Auf der Ordinate des Koordinatensystems wird ein Wert bzw. Betrag jedes der Mehrzahl von Gradienten 236, aus denen sich die Signalverläufe 116 und 118 zusammensetzen, aufgetragen.
-
Wie die Darstellung in 4 zeigt, sind der erste Signalverlauf 116 sowie der zweite Signalverlauf 118 jeweils durch ein durchgehendes unregelmäßiges Wellenmuster geprägt. Abschnitte mit einer Steigung nahe oder bei null sind in keinem der Signalverläufe 116, 118 vorhanden. Zudem sind die Wellenmuster des ersten Signalverlaufs 116 und zweiten Signalverlaufs 118 absolut betrachtet zwar im Wesentlichen identisch. Mit der auf dem Zeitversatz zwischen der Aufnahme des ersten und des zweiten Bildes beruhenden Phasenverschiebung der Graphen in dem Diagramm weisen beide Signalverläufe 116, 118 jedoch keine identischen, also sich vollständig überlappenden Abschnitte auf. Daraus kann geschlossen werden, dass die Kamera, die das erste und zweite Bild aufgenommen hat, keinen blinden Bereich aufweist.
-
Das Konzept dieses anhand der 4 illustrierten Abschnitts des hier vorgestellten Verfahrens basiert im Wesentlichen auf einem Bildbereichvergleich oder einer Korrelation eines in dem ersten Zeitfenster t und eines nachfolgend in dem zweiten Zeitfenster t-1 aufgenommenen Bildes. Der verwendete Algorithmus ist für eine Echtzeitberechnung für jedes Zeitfenster ausgelegt.
-
Der anhand der Darstellung in 4 illustrierte Abschnitt des hierin vorgestellten Verfahrens zum Ermitteln eines blinden Bereichs einer Kamera wird gemäß Ausführungsbeispielen in einem Mikrocontroller durchgeführt, der die geeigneten Berechnungen ausführt. Zunächst empfängt der Mikrocontroller die Zeilen- und Spaltensummensignale 116, 118 vom FPGA für die zwei aufeinanderfolgenden Bilder zum Zeitpunkt t und Zeitpunkt t-1. Zum Erfüllen der gegebenen Detektionskriterien führt der Mikrocontroller anschließend mittels Kreuzkorrelationsverfahren und Überprüfung der Signale auf Veränderung oder Verschiebung einen Vergleich von Signalbereichen der zwei aufeinanderfolgenden Zeilen- bzw. Spaltensummensignale 116, 118 durch. Wird eine Veränderung oder Verschiebung in dem Bild detektiert, besteht eine hohe Wahrscheinlichkeit, dass der Bildbereich nicht von einem Schmutzpartikel abgedeckt ist.
-
5 zeigt eine Darstellung eines Vergleichs von Signalverläufen bei Vorliegen eines blinden Bereichs, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Wiederum zeigt ein kartesisches Koordinatensystem mit einem beispielhaften horizontalen bzw. zeilenweisen Bildabschnitt 200 als Abszisse einen beispielhaften ersten Signalverlauf 116 eines in einem Zeitfenster t aufgenommen ersten Bildes einer Kamera und einen beispielhafter zweiten Signalverlauf 118 eines in einem späteren, gleich langen, Zeitfenster bzw. in einem vordefinierten Zeitintervall nachgelagerten Zeitpunkt t-1 aufgenommen zweiten Bildes der Kamera aufgetragen sind. Wieder ist der erste Signalverlauf 116 durch einen Graphen mit durchgezogener Linie repräsentiert und der zweite Signalverlauf 118 durch einen Graphen mit unterbrochener Linie repräsentiert.
-
Auffällig in der Darstellung in 5 ist eine vollkommene Übereinstimmung bzw. Überlappung der Abschnitte 300 des ersten Signalverlaufs 116 und zweiten Signalverlaufs 118. Zum einen weisen beide Abschnitte 300 der Signalverläufe 116, 118 keine Steigung auf. Zum anderen zeigt der Vergleich der Signalverläufe 116, 118 im Bereich der beiden Abschnitte 300 keine Phasenverschiebung wie im Rest des ersten Signalverlaufs 116 sowie des zweiten Signalverlaufs 118. Beide Abschnitte 300 beginnen und enden im in 5 gezeigten Diagramm an denselben Positionen. Aus den übereinstimmenden Abschnitten 300 der Profile beider Signalverläufe 116, 118 wird gemäß dem vorgestellten Ansatz geschlossen, dass die Kamera einen blinden Bereich aufweist, beispielsweise in Form eines an einem Objektiv der Kamera festklebendes Schmutzpartikels.
-
Zeigen also zwei aufeinanderfolge Signalbereiche der Signale 116, 118, wie die Abschnitte 300, keine Verschiebung oder Veränderung des Signalverlaufs, wird detektiert, dass der entsprechende Bereich der Kamera durch ein festklebendes Schmutzpartikel abgedeckt ist.
-
6 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 600 zur Erfassung von blinden Bereichen einer Kamera, z. B. wegen Verschmutzung durch auf der Kamera festklebende Schmutzpartikel. Das Verfahren kann beispielsweise in der in 1 gezeigten Vorrichtung zum Ermitteln eines blinden Bereichs einer Kamera ausgeführt werden.
-
In einem Schritt 602 wird basierend auf Grauwertunterschieden benachbarter Bildpunkte zumindest eines Bildabschnitts in einem ersten Kamerabild ein erster Signalverlauf gebildet und basierend auf Grauwertunterschieden der benachbarten Bildpunkte des Bildabschnitts in einem zweiten, zeitlich nachfolgenden, Kamerabild ein zweiter Signalverlauf gebildet. In einem Schritt 604 wird der blinde Bereich detektiert, wenn in einem Vergleich des ersten Signalverlaufs mit dem zweiten Signalverlauf festgestellt wird, dass ein Abschnitt des ersten Signalverlaufs mit einem entsprechenden Abschnitt des zweiten Signalverlaufs identisch ist. In einem Schritt 606 wird basierend auf der Detektion des blinden Bereichs ein Signal an eine automatische Reinigungseinrichtung zum Reinigen der Kamera oder alternativ ein Warnsignal an einen Nutzer der Kamera über eine geeignete Schnittstelle ausgegeben.
-
Das hierin vorgestellte Verfahren findet in Fahrzeugkamerasystemen oder statischen Sicherheits- oder Industriekameras in einem Umfeld beweglicher Objekte mögliche Anwendung.
-
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden.
-
Ferner können die hier vorgestellten Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
