DE102014211889A1

DE102014211889A1 - Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren zum Entfernen von Regenschlieren aus Bilddaten

Info

Publication number: DE102014211889A1
Application number: DE102014211889.1A
Authority: DE
Inventors: Won Seok Lee; Byung Cheol Song; Hak Gu Kim; Seung Ji Seo
Original assignee: Hyundai Motor Co; Kia Motors Corp; Inha Industry Partnership Institute
Current assignee: Hyundai Motor Co; Inha Industry Partnership Institute; Kia Corp
Priority date: 2013-12-19
Filing date: 2014-06-20
Publication date: 2015-06-25
Also published as: CN104732489A; KR101534973B1; US20150178902A1; KR20150072001A

Abstract

Es werden eine Bildverarbeitungsvorrichtung und -Verfahren zum Entfernen von Regenschlieren aus Bilddaten bereitgestellt. Die Vorrichtung umfasst zumindest eine Bildgebungsvorrichtung, die eingerichtet ist, um Bilddaten zu erlangen, und eine Steuerung, die eingerichtet ist, um eine Regenschliere in den Bilddaten zu erfassen und zu entfernen. Zusätzlich ist die Steuerung eingerichtet, um Bilddaten an einem Bereich wiederherzustellen, wo die entfernte Regenschliere war, um ausgegeben zu werden.

Description

HINTERGRUND
Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren zum Entfernen von Regenschlieren aus Bilddaten und insbesondere eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren zum Entfernen von Regenschlieren aus Bilddaten, in denen ein Regentropfen in Bilddaten, die durch Erfassen einer Regenszene erlangt werden, erfasst und entfernt/ausgeblendet wird und Bilddaten eines Pixels, wo ein Regentropfen entfernt/ausgeblendet wird, wiederhergestellt werden.
Beschreibung des Standes der Technik
In einem außen liegenden Video-Überwachungssystem stellt eine Wetterbedingung einen von verschiedenen Faktoren dar, der die Qualität von Bilddaten und wiederum die Leistung des Systems verschlechtern kann. Bestehende Bilddatenverarbeitungsalgorithmen arbeiten unter der Annahme, dass die eingegebenen Bilddaten von ausreichender Qualität sind. Demzufolge, um die Leistung des Systems zu verbessern, ist eine Vorverarbeitung erforderlich, um die Qualität der äußeren Bilddaten zu verbessern.
ZUSAMMENFASSUNG
Dementsprechend stellt die vorliegende Erfindung eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren zum Entfernen/Ausblenden von Regenschlieren aus Bilddaten bereit, in denen ein Regentropfen in durch eine Bildgebungsvorrichtung erlangten Bilddaten erfasst und entfernt/ausgeblendet wird, wenn Regen erfasst wird, und Bilddaten eines Pixels, wo ein Regentropfen erfasst wird, wiederhergestellt werden, um ausgegeben zu werden.
In einer Ausgestaltung der vorliegenden Erfindung kann eine Bildverarbeitungsvorrichtung zum Entfernen/Ausblenden von Regenschlieren aus Bilddaten umfassen: zumindest eine Bildgebungsvorrichtung (z. B. eine Kamera, Videokamera, etc.), die eingerichtet ist, um Bilddaten zu erlangen; und eine Steuerung, die eingerichtet ist, um eine Regenschlieren in den Bilddaten zu erfassen und zu entfernen/auszublenden, und um Bilddaten in einem Bereich wiederherzustellen, wo die entfernte/ausgeblendete Regenschliere war, um sie auszugeben.
Die Steuerung kann eingerichtet sein, um die Helligkeit eines Pixels in den Bilddaten zu erfassen und um die Helligkeit der Pixel um das Pixel zu erfassen (z. B. benachbarte Pixel). Die Steuerung kann eingerichtet sein, um das hellste Pixel als einen Kandidatenbereich für eine Regenschliere aus den erfassten Pixeln auszuwählen und um die als Kandidatenbereiche für eine Regenschliere ausgewählten Pixel zu verbinden, um eine einzelne Regenschliere zu erzeugen. Die Steuerung kann ebenfalls eingerichtet sein, um einen Winkel und eine Länge der einzelnen Regenschliere zu messen, um endgültige Kandidatenbereiche für eine Regenschliere auszuwählen und um einen Regenschlierenbereich in Pixel um die ausgewählten endgültigen Kandidatenbereiche auszudehnen. Die Steuerung kann eingerichtet sein, um Daten der Pixel zu löschen, die den Regenschlierenbereichen entsprechen.
Darüber hinaus kann die Steuerung eingerichtet sein, um einen Bildblock mit Bezug auf die Pixel, aus denen die Daten entfernt werden, zu erzeugen, und um zumindest einen vorhergehenden Rahmen zu einem gegenwärtigen Rahmen zu extrahieren, um einen Kandidatenblock von dem vorhergehenden Rahmen zu extrahieren. Die Steuerung kann eingerichtet sein, um eine Ähnlichkeit zwischen dem Bildblock und dem Kandidatenblock zu erfassen, um die Pixel, aus denen die Daten entfernt werden, mit dem Kandidatenblock wiederherzustellen. Die Steuerung kann ebenfalls eingerichtet sein, um einen Scheibenwischer eines Fahrzeugs automatisch zu betreiben, wenn eine Regenschliere in den Bilddaten erfasst wird. Die Steuerung kann eingerichtet sein, um eine Leuchte einschließlich eines Scheinwerfers und eines Rücklichts eines Fahrzeugs automatisch einzuschalten, wenn eine Regenschliere in den Bilddaten erfasst wird. Die Bildverarbeitungsvorrichtung kann ferner umfassen: einen Sensor, der eingerichtet ist, um Regen/Niederschlag zu erfassen.
In einer weiteren Ausgestaltung der vorliegenden Erfindung kann ein Bildverarbeitungsverfahren zum Entfernen/Ausblenden einer Regenschliere in Bilddaten umfassen: Erlangen, durch eine Steuerung, von Bilddaten; Erfassen, durch die Steuerung, einer Regenschliere in den erlangten Bilddaten; Entfernen/Ausblenden, durch die Steuerung, der erfassten Regenschliere; Wiederherstellen, durch die Steuerung, von Bilddaten in einem Bereich, wo die entfernte/ausgeblendete Regenschliere war, um sie auszugeben; und Ausgeben, durch die Steuerung, der wiederhergestellten Bilddaten.
Die Erfassung einer Regenschliere kann umfassen: Erfassen einer Helligkeit eines Pixels in den Bilddaten; Erfassen einer Helligkeit von Pixeln um das Pixel (z. B. benachbarte Pixel); Auswählen des hellsten Pixels als einen Kandidatenbereich für eine Regenschliere; Verbinden von Pixeln, die als Kandidatenbereiche für eine Regenschliere ausgewählt werden, um eine einzelnen Regenschliere zu erzeugen; Messen eines Winkels und einer Länge der einzelnen Regenschliere; und Einstellen von endgültigen Kandidatenbereichen für die Regenschliere, um einen Regenschlierenbereich in Pixel um die ausgewählten endgültigen Kandidatenbereiche auszudehnen. Die Entfernung/Ausblendung der erfassten Regenschliere kann ein Löschen von Daten der Pixel umfassen, die den Regenschlierenbereichen entsprechen. Die Wiederherstellung der Bilddaten kann umfassen: Erzeugen eines Bildblocks mit Bezug auf die Pixel, von dem die Daten entfernt/ausgeblendet werden; Extrahieren von zumindest einem vorhergehenden Rahmen zu einem derzeitigen Rahmen; Extrahieren eines Kandidatenblocks von dem vorhergehenden Rahmen; und Erfassen einer Ähnlichkeit zwischen dem Bildblock und dem Kandidatenblock, um das Pixel, von dem Daten entfernt/ausgeblendet werden, mit dem Kandidatenblock wiederherzustellen.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Die obigen und weiteren Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden aus der folgenden ausführlichen Beschreibung in Verbindung mit den beigefügten Zeichnungen deutlicher. In den Figuren zeigen:
1 ein beispielhaftes Blockdiagramm, das die Bestandteile einer Bildverarbeitungsvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt;
2 ein beispielhaftes Flussdiagramm zum Darstellen eines Bildverarbeitungsverfahrens gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
3 ein beispielhaftes Flussdiagramm zum Darstellen eines Verfahrens zum Erfassen von Regenschlieren aus Bilddaten gemäß einem Ausführungsbeispiel der vorliegenden Erfindung im Detail;
4A bis 4C beispielhafte Bildschirmansichten eines Erfassen von Regenschlieren aus Bilddaten gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
5 ein beispielhaftes Flussdiagramm zum Darstellen eines Verfahrens zum Wiederherstellen von Bilddaten, von denen Regenschlieren entfernt/ausgeblendet werden, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung im Detail.
AUSFÜHRLICHE BESCHREIBUNG
Es versteht sich, dass der Ausdruck ”Fahrzeug” oder ”Fahrzeug-” oder andere gleichlautende Ausdrücke wie sie hierin verwendet werden, Kraftfahrzeuge im Allgemeinen wie z. B. Personenkraftwagen einschließlich Sports Utility Vehicles (SUV), Busse, Lastwägen, verschiedene Nutzungsfahrzeuge, Wasserfahrzeuge, einschließlich einer Vielfalt von Booten und Schiffen, Luftfahrzeugen und dergleichen einschließen, und Hybridfahrzeuge, Elektrofahrzeuge, Fahrzeuge mit Verbrennungsmotor, Plug-In-Hybridelektrofahrzeuge, Wasserstoff-angetriebene Fahrzeuge, Brennstoffzellenfahrzeuge und andere Fahrzeuge mit alternativen Kraftstoff umfassen (beispielsweise Kraftstoff, der von anderen Quellen als Erdöl gewonnen wird).
Obwohl das Ausführungsbeispiel derart beschrieben wird, dass es eine Mehrzahl von Einheiten verwendet, um den beispielhaften Prozess durchzuführen, versteht es sich, dass die beispielhaften Prozesse ebenfalls durch ein oder eine Mehrzahl von Modulen durchgeführt werden können. Darüber hinaus versteht es sich, dass sich der Ausdruck Steuerung/Steuereinheit auf eine Hardware-Vorrichtung bezieht, die einen Speicher und einen Prozessor umfasst. Der Speicher ist eingerichtet, um die Module zu speichern, und der Prozessor ist insbesondere eingerichtet, um die besagten Module auszuführen, um einen oder mehrere Prozesse durchzuführen, die weiter unten beschrieben werden.
Darüber hinaus kann die Steuerlogik der vorliegenden Erfindung als nichtflüchtige computerlesbare Medien auf einem computerlesbaren Medium ausgeführt werden, das ablauffähige Programmbefehle umfasst, die durch einen Prozessor, eine Steuerung/Steuereinheit oder dergleichen ausgeführt werden. Beispiele von computerlesbaren Speichermedien umfassen in nicht einschränkender Weise ROM, RAM, Compact-Disc(CD)-ROMs, Magnetbänder, Floppydisks, Flash-Laufwerke, Smart Cards und optische Datenspeichervorrichtungen. Das computerlesbare Aufzeichnungsmedium kann ebenfalls in netzgekoppelten Computersystemen dezentral angeordnet sein, so dass das computerlesbare Medium in einer verteilten Art und Weise gespeichert und ausgeführt wird, z. B. durch einen Telematik-Server oder ein Controller Area Network (CAN).
Die hierin verwendete Terminologie ist zum Zwecke der Beschreibung bestimmter Ausführungsformen vorgesehen und ist nicht dazu bestimmt, die Erfindung einzuschränken. Wie hierin verwendet, sind die Singularformen ”ein”, ”eine/einer” und ”der/die/das” dazu vorgesehen, dass sie ebenso die Pluralformen umfassen, wenn aus dem Zusammenhang nicht eindeutig etwas anderes hervorgeht. Es versteht sich ferner, dass die Ausdrücke ”aufweisen” und/oder ”aufweisend”, wenn sie in dieser Beschreibung verwendet werden, die Anwesenheit der angegebenen Merkmale, Zahlen, Schritte, Operationen, Elemente und/oder Komponenten beschreiben, aber nicht das Vorhandensein oder die Hinzufügung von einen oder mehreren Merkmalen, Zahlen, Schritten, Operationen, Elementen, Komponenten und/oder Gruppen davon ausschließen. Wie hierin verwendet, umfasst der Ausdruck ”und/oder” jede und sämtliche Kombinationen von einem oder mehreren der zugeordneten aufgeführten Elemente.
Nachstehend werden Ausführungsbeispiele der vorliegenden Erfindung unter Bezugnahme auf die beigefügten Zeichnungen ausführlich beschrieben. In den folgenden Beschreibungen werden Merkmale, die im Stand der Technik gut bekannt sind und die vorliegende Erfindung nicht direkt betreffen, nicht beschrieben. Dies deshalb, um den Kern der vorliegenden Erfindung klar zu verdeutlichen, ohne dass er unklar gemacht wird, indem unnötige Beschreibungen weggelassen werden.
1 zeigt ein beispielhaftes Blockdiagramm, das die Bestandteile einer Bildverarbeitungsvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt. Unter Bezugnahme auf 1 kann die Bildverarbeitungsvorrichtung einen Sensor 110, eine Bildgebungsvorrichtung 120, eine Anzeige 130, einen Speicher 140 und eine Steuerung 150 umfassen.
Der Sensor 110 kann außerhalb (z. B. an einer Außenseite) eines Fahrzeugs angeordnet sein, um einen Regenzustand außerhalb des Fahrzeugs zu erkennen/abzutasten (z. B. erfassen). Dementsprechend kann der Sensor 110 als ein Regensensor ausgeführt sein. Der Sensor 110 kann eingerichtet sein, um Abtastinformationen in Bezug auf das Wetter in Echtzeit zu erlangen und um die Abtastinformationen an die Steuerung 150 zu liefern. Die Bildgebungsvorrichtung 120 (z. B. eine Kamera, eine Videokamera oder dergleichen) kann eingerichtet sein, um Bilddaten außerhalb des Fahrzeugs gemäß dem Betrieb der Steuerung 150 zu erlangen oder zu erfassen. Eine Mehrzahl von Bildgebungsvorrichtungen 120 kann an einer Vorderseite und Rückseite des Fahrzeugs angeordnet sein. Die Anzeige 130 kann eingerichtet sein, um einen Bildschirm anzuzeigen, der in der Bildverarbeitungsvorrichtung 100 durchgeführten Arbeitsabläufen entspricht. Insbesondere kann die Anzeige 130, gemäß dem Betrieb der Steuerung 150, eingerichtet sein, um durch die Bildgebungsvorrichtung 120 erlangte Bilddaten anzuzeigen und um Bilddaten anzuzeigen, von denen Regenschlieren bei Regen entfernt werden. Demzufolge kann die Anzeige 130 eine Flüssigkristallanzeige (liquid crystal display – LCD) oder dergleichen sein und kann ebenfalls als eine Eingabevorrichtung arbeiten, wenn die Anzeige ein Touchscreen ist. Der Speicher 140 kann eingerichtet sein, um verschiedene Programme für in der Bildverarbeitungsvorrichtung 100 durchgeführte Arbeitsabläufe zu speichern. Insbesondere kann die Anzeige 130, gemäß dem Betrieb der Steuerung 150, eingerichtet sein, um durch die Bildgebungsvorrichtung 120 erlangte Bilddaten anzuzeigen und um Bilddaten anzuzeigen, von denen Regenschlieren bei Regen entfernt werden.
Die Steuerung 150 kann eingerichtet sein, um Regenschlieren in den durch die Bildgebungsvorrichtung 120 erlangten Bilddaten zu erfassen, um die Regenschlieren aus den Bilddaten zu entfernen/auszublenden und um Bilddaten an Bereichen wiederherzustellen, wo die entfernten/ausgeblendeten Regenschlieren waren, um die Bilddaten auszugeben. Genauer gesagt kann die Steuerung 150 eingerichtet sein, um einen Regenzustand außerhalb auf der Grundlage der von dem Sensor 110 bereitgestellten Abtastinformationen zu bestimmen und um den in dem Speicher 140 gespeicherten Bildverarbeitungsalgorithmus in Erwiderung auf ein Bestimmen des Regenzustandes zu aktivieren. Die Steuerung 150 kann eingerichtet sein, um die durch die Bildgebungsvorrichtung 120 erlangten Bilddaten zu analysieren und um Regenschlieren in den Bilddaten unter Verwendung des Bildverarbeitungsalgorithmus zu erfassen. Die Steuerung 150 kann eingerichtet sein, um ein Pixel aus den durch die Bildgebungsvorrichtung 120 erlangten Bilddaten auszuwählen und um eine Helligkeit des ausgewählten Pixels zu erfassen. Dann kann die Steuerung 150 eingerichtet sein, um die Helligkeit der Pixel in der Nähe des ausgewählten Pixels (z. B. benachbarte Pixel) zu erfassen.
Ferner kann die Steuerung 150 eingerichtet sein, um beispielsweise drei Pixel an der rechten Seite und drei Pixel an der linken Seite des ausgewählten Pixels zu erfassen (kann z. B. Pixel beidseitig des ausgewählten Pixels erfassen). Die Steuerung 150 kann eingerichtet sein, um das hellste Pixel aus den sieben Pixeln auszuwählen, um das hellste Pixel als einen Kandidatenbereich für eine Regenschliere auszuwählen. Wenn eine Differenz zwischen dem Maximalwert und dem Minimalwert der Helligkeit gleich oder größer als ein Schwellenwert ist, kann die Steuerung 150 eingerichtet sein, um zu bestimmen, dass die Pixel einer Grenzlinie in den Bilddaten entsprechen, und kann dann jene Pixel aus Kandidatenbereichen für eine Regenschlieren ausschließen.
Zusätzlich kann die Steuerung 150 eingerichtet sein, um die Helligkeit von jedem Pixel in den Bilddaten in der oben beschriebenen Weise zu erfassen und um Pixel, die als Kandidatenbereiche für eine Regenschliere ausgewählt werden, zu verbinden, um eine Regenschliere zu erzeugen. Die Steuerung 150 kann eingerichtet sein, um den Winkel und die Länge einer einzelnen Regenschliere zu messen, um endgültige Kandidatenbereiche für eine Regenschliere auszuwählen. Insbesondere wenn die Länge der einzelnen Regenschliere weniger als eine vorgegebene Länge beträgt, kann die Steuerung 150 eingerichtet sein, um die einzelne Regenschliere aus den endgültigen Kandidatenbereichen auszuschließen. Die Steuerung 150 kann eingerichtet sein, um den durchschnittlichen/mittleren Winkel der Kandidatenbereiche für eine Regenschliere zu erfassen und um eine Regenschliere aus den endgültigen Kandidatenbereichen auszuschließen, die einen Winkel aufweist, der von dem erfassten durchschnittlichen/mittleren Winkel um mehr als einen Schwellenwert abweicht. Darüber hinaus kann die Steuerung 150 eingerichtet sein, um einen Regenschlierenbereich in Pixel um die ausgewählten endgültigen Kandidatenbereiche zu erweitern/auszudehnen. Da sich die Helligkeit der Regenschlierenbereiche gemäß der Gaußschen Verteilung ändern kann, kann es wünschenswert sein, den Regenschlierenbereich in benachbarte Pixelbereiche gemäß der Gaußschen Verteilung zu erweitern/auszudehnen.
Des Weiteren kann die Steuerung 150 eingerichtet sein, um Daten der Pixel zu löschen, die den Regenschlierenbereichen entsprechen, die als die endgültigen Kandidatenbereiche ausgewählt werden. Dann kann die Steuerung 150 eingerichtet sein, um Bilddaten des Pixels wiederherzustellen, in denen Daten gelöscht worden sind. Demzufolge, wenn wiederhergestellte Bilddaten auf der Anzeige 130 angezeigt werden, kann die Steuerung 150 eingerichtet sein, um Bilddaten aus dem vorhergehenden Rahmen zu dem Rahmen zu extrahieren, in dem das Pixel gelöscht wird, um die Bilddaten beim Wiederherstellen von Bilddaten zu verwenden, so dass ein Fahrer nicht das Gefühl eines Unterschieds wahrnimmt. Insbesondere kann die Steuerung 150 eingerichtet sein, um einen Bildblock in dem Rahmen der Bilddaten einschließlich der Pixel zu erzeugen, in denen Daten gelöscht worden sind. Die Steuerung 150 kann eingerichtet sein, um drei bis fünf vorhergehende Rahmen zu dem Rahmen zu extrahieren, in dem der Bildblock erzeugt wird. Die Steuerung 150 kann eingerichtet sein, um Blöcke von dem Rahmen, in dem der Bildblock erzeugt wird, mit Blöcken von den vorhergehenden Rahmen abzustimmen/anzupassen, um Kandidatenblöcke von den vorhergehenden Rahmen zu erzeugen. Demzufolge, wenn es stark regnet, können Regenschlieren an ähnlichen Positionen von Bilddaten über mehrere Rahmen erfasst werden. Demzufolge kann die Steuerung 150 eingerichtet sein, um Blöcke in den vorhergehenden Rahmen an ähnlichen Positionen zu Positionen erzeugen, wo Bildblöcke erzeugt werden.
Die Steuerung 150 kann ferner eingerichtet sein, um die Ränge der Kandidatenblöcke zu bestimmen, um zu veranlassen, dass ein Block mit einer kleineren Summe der Differenz (sum of difference – SAD) mit dem Bildblock einen höheren Rang aufweist. Da optimaler Bewegungsvektor, der unter Verwendung einer Blockanpassung abgeleitet wird, und ein optimaler Block, der dem entspricht, keine ausreichende Menge an verfügbaren Informationen bereitstellen können, können die Bilddaten nicht genau wiederhergestellt werden. Demzufolge kann die Steuerung 150 eingerichtet sein, um mehrere Kandidatenblöcke zu bestimmen.
Die Steuerung 150 kann eingerichtet sein, um eine Ähnlichkeit zwischen dem Bildblock und den Kandidatenblöcken zu bestimmen. Die Steuerung 150 kann ebenfalls eingerichtet sein, um einen Kandidatenblock als einen zuverlässigen Kandidatenblock zu bestimmen, wenn die Ähnlichkeit weniger als ein Schwellenwert beträgt, und um einen Kandidatenblock als einen unzuverlässigen Kandidatenblock zu bestimmen, wenn die Ähnlichkeit größer als ein Schwellenwert ist. Die Steuerung 150 kann eingerichtet sein, um zuverlässige Kandidatenblöcke zum Wiederherstellen von Bilddaten eines Bereichs zu verwenden, wo die entfernte Regenschliere in dem Bildblock war. Die Steuerung 150 kann dann eingerichtet sein, um Gewichtungen von Kandidatenblöcken zu berechnen, um Daten der Pixel wiederherzustellen, von den Regenschlieren entfernt werden, um zu veranlassen, dass die Helligkeit den Gewichtungen entspricht. Darüber hinaus kann die Steuerung 150 eingerichtet sein, um automatisch einen Scheibenwischer des Fahrzeugs zu betreiben oder um automatisch Leuchten wie einen Schweinwerfer oder ein Rücklicht des Fahrzeugs einzuschalten, wenn Regenschlieren in den Bilddaten erfasst werden, wodurch der Fahrkomfort für den Fahrer verbessert wird. Wenn dieser Betrieb stattfindet, kann die Steuerung 150 eingerichtet sein, um die Betriebsgeschwindigkeit des Scheibenwischers oder die Helligkeit der Leuchten auf der Grundlage der Menge der erfassten Regenschlieren einzustellen.
2 zeigt ein beispielhaftes Flussdiagramm zum Darstellen eines Bildverarbeitungsverfahrens gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. 3 zeigt ein beispielhaftes Flussdiagramm zum Darstellen eines Verfahrens zum Erfassen von Regenschlieren aus Bilddaten gemäß einem Ausführungsbeispiel der vorliegenden Erfindung im Detail. 4A bis 4C zeigen beispielhafte Bildschirmansichten eines Beispiels zum Erfassen von Regenschlieren aus Bilddaten gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. 5 zeigt ein beispielhaftes Flussdiagramm zum Darstellen eines Verfahrens zum Wiederherstellen von Bilddaten, von denen Regenschlieren entfernt/ausgeblendet werden, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung im Detail.
Unter Bezugnahme auf 1 bis 5 kann in Schritt S11 die Steuerung 150 eingerichtet sein, um einen Regenzustand eines Fahrzeugs auf der Grundlage von Abtastinformationen von dem Sensor 110 zu bestimmen. In Schritt S13, in Erwiderung auf das Bestimmen des Regenzustandes, kann die Steuerung 150 eingerichtet sein, um durch die Bildgebungsvorrichtung 120 erlangte Bilddaten zu empfangen. In Schritt S15 kann die Steuerung 150 eingerichtet sein, um die empfangenen Bilddaten zu analysieren. Demzufolge kann die Steuerung 150 eingerichtet sein, um einen in dem Speicher 140 gespeicherten Bildverarbeitungsalgorithmus zu aktivieren. In Schritt S17 kann die Steuerung 150 eingerichtet sein, um Regenschlieren aus den Bilddaten zu erfassen. Obwohl ein Regenzustand außerhalb eines Fahrzeugs auf der Grundlage der Abtastinformationen von dem Sensor 110 in diesem Ausführungsbeispiel bestimmt werden kann, ist die vorliegende Erfindung nicht darauf beschränkt und der Regenzustand kann auf der Grundlage einer Eingabe des Fahrers oder eines Analyseergebnisses der durch die Bildgebungsvorrichtung 120 erlangten Bilddaten bestimmt werden.
Ferner kann in Schritt S171 von 3 die Steuerung 150 eingerichtet sein, um ein Pixel aus den Bilddaten auszuwählen, um die Helligkeit des ausgewählten Pixels zu erfassen. In Schritt S713 kann die Steuerung 150 eingerichtet sein, um die Helligkeit der Pixel in der Nähe des ausgewählten Pixels (z. B. benachbarte Pixel) zu erfassen. Insbesondere kann die Steuerung 150 eingerichtet sein, um zum Beispiel drei Pixel an der rechten Seite und drei Pixel an der linken Seite des ausgewählten Pixels zu erfassen. In Schritt S715 kann die Steuerung 150 eingerichtet sein, um das hellste Pixel aus den sieben Pixeln auszuwählen, um das hellste Pixel als einen Kandidatenbereich für eine Regenschliere auszuwählen. Wenn eine Differenz zwischen dem Maximalwert und dem Minimalwert der Helligkeit des Pixels gleich oder größer als ein Schwellenwert ist, kann die Steuerung 150 eingerichtet sein, um zu bestimmen, dass die Pixel einer Grenzlinie in den Bilddaten entsprechen, so dass die Steuerung 150 eingerichtet sein kann, um das Pixel von Kandidatenbereichen für eine Regenschliere auszuschließen.
Anschließen kann in Schritt S177 die Steuerung 150 eingerichtet sein, um Pixel, die als Kandidatenbereiche für eine Regenschliere ausgewählt werden, zu verbinden, um eine einzelnen Regenschliere zu erzeugen. In Schritt S179 kann die Steuerung 150 eingerichtet sein, um den Winkel und die Länge der erzeugten einzelnen Regenschliere zu messen. Dann kann in Schritt S181 die Steuerung 150 eingerichtet sein, um endgültige Kandidatenbereiche für eine Regenschliere auszuwählen. Dies kann wie in 4A und 4B gezeigt dargestellt werden. Wenn die Länge einer erzeugten einzelnen Regenschliere 411 in 4A weniger als eine vorgegebene Länge beträgt, kann die Steuerung 150 eingerichtet sein, um die Regenschliere aus Kandidatenbereichen für eine Regenschliere auszuschließen. Ferner kann die Steuerung 150 eingerichtet sein, um den durchschnittlichen/mittleren Winkel der Kandidatenbereiche für eine Regenschliere zu erfassen und um Regenschlieren 412 und 413 in 4A aus Kandidatenbereichen für eine Regenschliere auszuschließen, welche Winkel aufweisen, die von dem überprüften durchschnittlichen/mittleren Winkel um mehr als einen Schwellenwert abweichen.
Zusätzlich kann in Schritt S183 die Steuerung 150 eingerichtet sein, um den Regenschlierenbereich in Pixel um die ausgewählten endgültigen Kandidatenbereiche in Schritt S181 zu erweitern/auszudehnen. Die Steuerung 150 kann eingerichtet sein, um Regenschlierenbereiche in im Wesentlichen glatte benachbarte Pixel gemäß der Gaußschen Verteilung basierend auf der Tatsache zu erweitern/auszudehnen, dass die Helligkeitsänderung in der angenäherten Mitte der Regenschlierenbereiche, die in Schritt S181 endgültig ausgewählt werden, gemäß der Gaußschen Verteilung auftritt. Dies kann wie in 4C gezeigt dargestellt werden. Wieder Bezug nehmend auf 2 kann in Schritt S19 die Steuerung 150 eingerichtet sein, um die bestätigten Regenschlieren aus den Bilddaten zu entfernen/auszublenden. Insbesondere kann die Steuerung 150 eingerichtet sein, um Daten der Pixel zu löschen, die den erweiterten/ausgedehnten Regenschlierenbereichen in Schritt S183 von 3 entsprechen.
In Schritt S21 kann die Steuerung 150 eingerichtet sein, um Bilddaten des Pixels wiederherzustellen, in denen Daten in Schritt S19 gelöscht worden sind. Insbesondere kann in Schritt S211 von 5 die Steuerung 150 eingerichtet sein, um einen Bildblock in dem Rahmen der Bilddaten einschließlich der Pixel zu erzeugen, in denen Daten gelöscht worden sind. Anschließend geht der Prozess weiter zu Schritt S213, in dem die Steuerung 150 eingerichtet sein kann, um einen vorhergehenden Rahmen zu dem Rahmen zu extrahieren, in dem der Bildblock erzeugt wird. Die Steuerung 150 kann eingerichtet sein, um drei bis fünf vorhergehende Rahmen zu dem Rahmen zu extrahieren, in dem der Bildblock erzeugt wird. In Schritt S215 kann die Steuerung 150 eingerichtet sein, um eine Blockanpassung des Rahmens, in dem der Bildblock erzeugt wird, mit dem extrahierten vorhergehenden Rahmen durchzuführen. In Schritt S217 kann die Steuerung 150 eingerichtet sein, um Kandidatenblöcke zu erzeugen.
Dementsprechend, wenn es stark regnet, können Regenschlieren an ähnlichen Positionen von Bilddaten über mehrere Rahmen erfasst werden. Demzufolge kann die Steuerung 150 eingerichtet sein, um Blöcke in den vorhergehenden Rahmen an im Wesentlichen ähnlichen Positionen zu Positionen zu erzeugen, wo Bildblöcke erzeugt werden. Die Steuerung 150 kann eingerichtet sein, um die Ränge der Kandidatenblöcke zu bestimmen, so dass ein Block mit einer kleineren Summe der Differenz (sum of difference – SAD) mit dem Bildblock einen höheren Rang aufweisen kann. Da ein optimaler Bewegungsvektor, der unter Verwendung einer Blockanpassung abgeleitet wird, und ein optimaler Block, der dem entspricht, keine ausreichende Menge an verfügbaren Informationen bereitstellen können, können die Bilddaten nicht genau wiederhergestellt werden. Demzufolge kann die Steuerung 150 eingerichtet sein, um mehrere Kandidatenblöcke zu bestimmen. In Schritt S219 kann die Steuerung 150 eingerichtet sein, um eine Ähnlichkeit zwischen dem Bildblock und den Kandidatenblöcken zu erfassen. Insbesondere kann die Steuerung 150 eingerichtet sein, um zuverlässige Blöcke von unzuverlässigen Blöcken unter den Kandidatenblöcken unter Verwendung der nachfolgenden Gleichung 1 zu trennen: Gleichung 1
wobei SAD_{_max} den Maximalwert von SAD bezeichnet, SAD_{_min} den Minimalwert der SAD bezeichnet, SAD_{_i} einen SAD-Wert zwischen dem i-ten Kandidatenblock und dem Bildblock bezeichnet und ε einen Wert zum Bestimmen eines Kandidatenblocks mit einem SAD-Wert gleich dem Durchschnittswert bezeichnet. Die Ähnlichkeit kann einen niedrigeren Wert aufweisen, wenn SAD-Werte der Kandidatenblöcke in einem engeren Bereich verteilt sind oder in einem Hauptbereich in der gesamten Verteilung verteilt sind, während sie einen höheren Wert aufweisen kann, wenn SAD-Werte der Kandidatenblöcke in einem größeren Bereich verteilt sind oder nicht in einem Hauptbereich in der gesamten Verteilung verteilt sind. Wenn sich die somit berechnete Ähnlichkeit der Kandidatenblöcke unterhalb eines Schwellenwertes befindet, kann der Block als ein zuverlässiger Kandidatenblock bestimmt werden, und ansonsten kann der Block als ein unzuverlässiger Kandidatenblock bestimmt werden.
In Schritt S221 kann die Steuerung 150 eingerichtet sein, um die Kandidatenblöcke, die als zuverlässige Kandidatenblöcke bestimmt werden, zu verwenden, um Bilddaten des Bereichs wiederherzustellen, wo die entfernte Regenschliere in dem Bildblock war. Die Steuerung 150 kann eingerichtet sein, um Gewichtungen von Kandidatenblöcken zu berechnen, um Daten von Pixeln wiederherzustellen, von denen Regenschlieren entfernt werden, so dass sie eine Helligkeit aufweisen, die den Gewichtungen entspricht. Demzufolge kann die Steuerung 150 eingerichtet sein, um die nachfolgenden Gleichungen 2 und 3 zu verwenden: Gleichung 2
wobei R(j) ein Verhältnis von Regenpixeln in Kandidatenblöcken bezeichnet. Gleichung 3
wobei w(i, j) die Gewichtung bezeichnet, Z(i) eine Ausgleichsbedingung bezeichnet und h eine Variable entsprechend einer Abweichung in der Exponentialfunktion bezeichnet. Die Gewichtung gemäß der Ähnlichkeit kann durch Einstellen der Variable h eingestellt werden.
Anschließend kann in Schritt S23 die Steuerung 150 eingerichtet sein, um die wiederhergestellten Bilddaten auf der Anzeige 130 auszugeben. Damit kann ein Fahrer Bilddaten sehen, von denen Regenschlieren entfernt/ausgeblendet werden, um mit einer klaren Sicht bei Regen bereitgestellt zu werden, und demzufolge kann die Rate der Unfälle, die aufgrund unklarer Sicht verursacht wird, verringert werden.
Wie oben dargelegt, kann gemäß den Ausführungsbeispielen der vorliegenden Erfindung bei Regen ein Regentropfen erfasst werden und in durch eine Bildgebungsvorrichtung erlangten Bilddaten entfernt/ausgeblendet werden, und Bilddaten eines Pixels, wo ein Regentropfen erfasst wird, können wiederhergestellt werden, um ausgegeben zu werden, um die Qualität der Bilddaten zu verbessern und um das Risiko eines Unfalls zu verringern. So weit sind die Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren zum Entfernen/Ausblenden von Regenschlieren aus Bilddaten gemäß den Ausführungsbeispielen beschrieben worden. Obwohl die ausführliche Beschreibung und die beigefügten Zeichnungen mit Bezug auf die Ausführungsbeispiele beschrieben worden sind und bestimmte Ausdrücke/Begriffe verwendet worden sind, werden diese lediglich zum Zwecke einer einfachen Beschreibung der vorliegenden Erfindung verwendet, aber werden nicht verwendet, um den Umfang der vorliegenden Erfindung zu beschränken. Es ist für den Durchschnittsfachmann offensichtlich, dass verschiedenste Änderungen/Modifikationen neben den hierin beschriebenen Ausführungsbeispielen gemacht werden können, ohne von dem Umfang der vorliegenden Erfindung abzuweichen.
Bezugszeichenliste

110: SENSOR
120: KAMERA
130: ANZEIGE
140: SPEICHER
150: STEUERUNG
S11: REGEN ERFASST?
S13: BILDDATEN ERLANGEN
S15: BILDDATEN ANALYSIEREN
S17: REGENSCHLIERE ERFASSEN
S19: REGENSCHLIERE ENTFERNEN/AUSBLENDEN
S21: BILDDATEN WIEDERHERSTELLEN
S23: BILDDATEN AUSGEBEN
S171: HELLIGKEIT VON PIXEL PRÜFEN
S173: HELLIGKEIT VON BENACHBARTEN PIXELN PRÜFEN
S175: KANDIDATENBEREICHE FÜR REGENSCHLIERE AUSWÄHLEN
S177: EINZELNE REGENSCHLIERE ERZEUGEN
S179: WINKEL UND LÄNGE MESSEN
S181: ENDGÜLTIGE KANDIDATENBEREICHE AUSWÄHLEN
S183: REGENSCHLIERENBEREICH IN BENACHBARTE PIXEL AUSDEHNEN/ERWEITERN
S211: BILDBLOCK ERZEUGEN
S213: VORHERGEHENDEN RAHMEN EXTRAHIEREN
S215: BLOCK ANPASSEN
S217: KANDIDATENBLÖCKE ERZEUGEN
S219: ÄHNLICHKEIT PRÜFEN
S221: BILDDATEN WIEDERHERSTELLEN

Claims

Bildverarbeitungsvorrichtung zum Entfernen von Regenschlieren aus Bilddaten, die Bildverarbeitungsvorrichtung aufweisend: einen Speicher, der eingerichtet ist, um Programmbefehle zu speichern; und einen Prozessor, der eingerichtet ist, um die Programmbefehle auszuführen, wobei die Programmbefehle, wenn sie ausgeführt werden, eingerichtet sind, um: eine Bildgebungsvorrichtung zu betreiben, um Bilddaten zu erlangen; eine Regenschliere in den Bilddaten zu erfassen und zu entfernen; und Bilddaten an einem Bereich wiederherzustellen, wo die entfernte Regenschliere war, um ausgegeben zu werden.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Programmbefehle, wenn sie ausgeführt werden, ferner eingerichtet sind, um eine Helligkeit eines Pixels in den Bilddaten zu erfassen und um eine Helligkeit von zu dem Pixel benachbarten Pixeln zu erfassen.
Bildverarbeitungsvorrichtung nach Anspruch 2, wobei die Programmbefehle, wenn sie ausgeführt werden, ferner eingerichtet sind, um ein hellstes Pixel als einen Kandidatenbereich für die Regenschliere aus den erfassten Pixeln auszuwählen und um Pixel, die als Kandidatenbereiche für die Regenschliere ausgewählt werden, zu verbinden, um eine einzelnen Regenschliere zu erzeugen.
Bildverarbeitungsvorrichtung nach Anspruch 3, wobei die Programmbefehle, wenn sie ausgeführt werden, ferner eingerichtet sind, um einen Winkel und eine Länge der einzelnen Regenschliere zu messen, um endgültige Kandidatenbereiche für die Regenschliere auszuwählen und um einen Regenschlierenbereich in Pixel in der Nähe des endgültigen Kandidatenbereichs für die Regenschliere auszudehnen.
Bildverarbeitungsvorrichtung nach Anspruch 4, wobei die Programmbefehle, wenn sie ausgeführt werden, ferner eingerichtet sind, um Daten von Pixeln zu löschen, die dem Regenschlierenbereich entsprechen.
Bildverarbeitungsvorrichtung nach Anspruch 5, wobei die Programmbefehle, wenn sie ausgeführt werden, ferner eingerichtet sind, um einen Bildblock mit Bezug auf Pixel zu erzeugen, von denen die Daten entfernt werden, und um zumindest einen vorhergehenden Rahmen zu einem derzeitigen Rahmen zu extrahieren, um einen Kandidatenblock von dem vorhergehenden Rahmen zu extrahieren.
Bildverarbeitungsvorrichtung nach Anspruch 6, wobei die Programmbefehle, wenn sie ausgeführt werden, ferner eingerichtet sind, um eine Ähnlichkeit zwischen dem Bildblock und dem Kandidatenblock zu erfassen, um die Pixel, von denen Daten entfernt werden, mit dem Kandidatenblock wiederherzustellen.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Programmbefehle, wenn sie ausgeführt werden, ferner eingerichtet sind, um automatisch einen Scheibenwischer eines Fahrzeugs zu betreiben, wenn die Regenschliere in den Bilddaten erfasst wird.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Programmbefehle, wenn sie ausgeführt werden, ferner eingerichtet sind, um automatisch eine Leuchte einschließlich eines Schweinwerfers und einer Rückleuchte eines Fahrzeugs einzuschalten, wenn die Regenschliere in den Bilddaten erfasst wird.
Bildverarbeitungsvorrichtung nach Anspruch 1, ferner aufweisend: einen Sensor, der eingerichtet ist, um einen Regenzustand außerhalb eines Fahrzeugs abzutasten.
Bildverarbeitungsverfahren zum Entfernen einer Regenschliere in Bilddaten, das Bildverarbeitungsverfahren aufweisend: Erlangen, durch eine Steuerung, von Bilddaten; Erfassen, durch die Steuerung, der Regenschliere in den erlangten Bilddaten; Entfernen, durch die Steuerung, der erfassten Regenschliere aus den Bilddaten; Wiederherstellen, durch die Steuerung, von Bilddaten an einem Bereich, wo die entfernte Regenschliere war; und Ausgeben, durch die Steuerung, der wiederhergestellten Bilddaten.
Bildverarbeitungsverfahren nach Anspruch 11, wobei die Erfassung der Regenschliere umfasst: Erfassen, durch die Steuerung, einer Helligkeit eines Pixels in den Bilddaten; Erfassen, durch die Steuerung, einer Helligkeit von zu dem Pixel benachbarten Pixeln; Auswählen, durch die Steuerung, eines hellsten Pixels als einen Kandidatenbereich für die Regenschliere; Verbinden, durch die Steuerung, von Pixeln, die als Kandidatenbereiche für die Regenschliere ausgewählt werden, um eine einzelnen Regenschliere zu erzeugen; Messen, durch die Steuerung, eines Winkels und einer Länge der einzelnen Regenschliere; und Einstellen, durch die Steuerung, von endgültigen Kandidatenbereichen für die Regenschliere, um einen Regenschlierenbereich in Pixel in der Nähe des endgültigen Kandidatenbereichs für eine Regenschliere auszudehnen.
Bildverarbeitungsverfahren nach Anspruch 12, wobei die Entfernung der erfassten Regenschliere ein Löschen, durch die Steuerung, von Daten der Pixel umfasst, die dem Regenschlierenbereich entsprechen.
Bildverarbeitungsverfahren nach Anspruch 13, wobei die Wiederherstellung der Bilddaten umfasst: Erzeugen, durch die Steuerung, eines Bildblocks mit Bezug auf das Pixel, von dem Daten entfernt werden; Extrahieren, durch die Steuerung, von zumindest einem vorhergehenden Rahmen zu einem derzeitigen Rahmen; Extrahieren, durch die Steuerung, eines Kandidatenblocks von dem vorhergehenden Rahmen; und Erfassen, durch die Steuerung, einer Ähnlichkeit zwischen dem Bildblock und dem Kandidatenblock, um das Pixel, von dem Daten entfernt werden, mit dem Kandidatenblock wiederherzustellen.
Nichtflüchtiges computerlesbares Medium, das Programmbefehle umfasst, die durch eine Steuerung ausgeführt werden, das computerlesbare Medium aufweisend: Programmbefehle, die Bilddaten erlangen; Programmbefehle, die eine Regenschliere in den erlangten Bilddaten erfassen; Programmbefehle, die die erfasste Regenschliere aus den Bilddaten entfernen; Programmbefehle, die Bilddaten an einem Bereich wiederherstellen, wo die entfernte Regenschliere war; und Programmbefehle, die die wiederhergestellten Bilddaten ausgeben.
Nichtflüchtiges computerlesbares Medium nach Anspruch 15, wobei die Erfassung der Regenschliere ferner umfasst: Programmbefehle, die eine Helligkeit eines Pixels in den Bilddaten erfassen; Programmbefehle, die eine Helligkeit von zu dem Pixel benachbarten Pixeln erfassen; Programmbefehle, die ein hellstes Pixel als einen Kandidatenbereich für die Regenschliere auswählen; Programmbefehle, die Pixel, die als Kandidatenbereiche für die Regenschliere ausgewählt werden, verbinden, um eine einzelne Regenschliere zu erzeugen; Programmbefehle, die einen Winkel und eine Länge der einzelnen Regenschliere messen; und Programmbefehle, die endgültige Kandidatenbereiche für die Regenschliere einstellen, um einen Regenschlierenbereich in Pixel in der Nähe des endgültigen Kandidatenbereichs für eine Regenschliere auszudehnen.
Nichtflüchtiges computerlesbares Medium nach Anspruch 16, wobei die Entfernung der erfassten Regenschliere Programmbefehle umfasst, die Daten der Pixel löschen, die dem Regenschlierenbereich entsprechen.
Nichtflüchtiges computerlesbares Medium nach Anspruch 17, wobei die Wiederherstellung der Bilddaten umfasst: Programmbefehle, die einen Bildblock mit Bezug auf das Pixel, von dem Daten entfernt werden, erzeugen; Programmbefehle, die zumindest einen vorhergehenden Rahmen zu einem derzeitigen Rahmen extrahieren; Programmbefehle, die einen Kandidatenblock von dem vorhergehenden Rahmen extrahieren; und Programmbefehle, die eine Ähnlichkeit zwischen dem Bildblock und dem Kandidatenblock erfassen, um so das Pixel, von dem Daten entfernt werden, mit dem Kandidatenblock wiederherzustellen.