DE112020007845T5

DE112020007845T5 - Verfahren und Einrichtung zur Bildverarbeitung

Info

Publication number: DE112020007845T5
Application number: DE112020007845.0T
Authority: DE
Inventors: Hao Sun; Ze Cheng; Yu Gao; Marc Patrick Zapf; Wei Wang
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-12-15
Filing date: 2020-12-15
Publication date: 2023-10-05
Also published as: CN116615734A; WO2022126355A1

Abstract

In der vorliegenden Erfindung wird ein Verfahren zur Verarbeitung basierend auf einem einzelnen Bild bereitgestellt. Das Verfahren umfasst: Empfangen des einzelnen Bildes, in dem zumindest ein Regentropfen oder eine Schneeflocke abgebildet ist; und Eingabe des einzelnen Bildes in ein erstes neurales Faltungsnetzwerk, um eine auf Computervision basierende Verarbeitung des einzelnen Bildes durchzuführen, wobei das erste neurale Faltungsnetzwerk durch Training mit einem ersten Bild und einem zweiten Bild erhalten wurde, wobei im ersten Bild zumindest ein Regentropfen oder eine Schneeflocke abgebildet ist und das zweite Bild durch Stilisierung des ersten Bildes erhalten wird. Dadurch werden für ein Bild mit einem Regentropfen oder einer Schneeflocke die Robustheit und die Genauigkeit der auf Computervision basierenden Verarbeitung/Wahrnehmung verbessert. Zudem kann eine Verarbeitung/Wahrnehmung in Echtzeit realisiert werden.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft das Gebiet von auf Bild basierender Verarbeitung/Wahrnehmung, insbesondere die Verwendung einer künstlichen Intelligenz im Bereich der auf Computervision basierenden Verarbeitung/Wahrnehmung.
Stand der Technik
Um die Funktionen, wie Zielerfassung, Zielverfolgung, Bildsortierung, Zielsegmentierung und Instanzsegmentierung, bei einer herkömmlichen auf Computervision basierenden Verarbeitung/Wahrnehmung zu realisieren, soll ein maschinelles Lernen der Eigenschaften bekannter Bilder unter Verwendung der künstlichen Intelligenz durchgeführt werden, so dass ein entsprechendes neurales Faltungsnetzwerk für die Ausführung der auf Computervision basierenden Verarbeitung/Wahrnehmung erhalten wird.
Bei schlechtem Wetter verschlechtert sich auch das aufgenommene Bild, und damit wird die Genauigkeit der Bildwahrnehmung beeinträchtigt. Insbesondere bei Regen wird das Bild nicht nur durch den Regentropfen, sondern auch durch den mit einem starken Regen einhergehenden Nebel verschlechtert.
Zurzeit bestehen zwei Verfahren zur Verbesserung der Qualität eines bei Regen aufgenommenen Bildes, die auf Video bzw. auf einem einzelnen Bild basieren. Das auf Video basierende Verfahren ist für die Entfernung des Regentropfens auf die Zeitinformation zwischen Videoframes angewiesen, während bei einem auf einem einzelnen Bild basierenden Verfahren das Maschinenlernen zur Gewinnung eines Bildes, in dem der Regentropfen bereits entfernt ist, verwendet wird.
Dadurch soll in einer Anwendung der auf Computervision basierenden Verarbeitung/Wahrnehmung zunächst das verschlechterte Bild bearbeitet werden, um die Bildqualität zu verbessern, wie z. B. um den Regen von einem deswegen verschlechterten Bild zu entfernen. Danach wird das Bild, in dem der Regen bereits entfernt ist, in ein trainiertes neurales Faltungsnetzwerk für die Ausführung der auf Computervision basierenden Verarbeitung/Wahrnehmung eingegeben. Ein solches Verfahren kann die Anforderungen der echtzeitigen Verarbeitung nicht erfüllen und kein zufriedenstellendes Wahrnehmungsergebnis erhalten.
Offenbarung der Erfindung
Hierbei wird ein verbessertes, auf Computervision basierendes Verarbeitungsverfahren bereitgestellt, welches zum Lernen der Formmerkmale eines Beispielbildes neigt und die Robustheit und die Genauigkeit eines neuralen Faltungsnetzwerks gleichzeitig erhöhen kann.
Der Erfinder hat herausgefunden, dass die auf Computervision basierende Verarbeitung/Wahrnehmung (wie z. B. Zielerfassung, Zielverfolgung, Bildsortierung, Zielsegmentierung und Instanzsegmentierung) bei den herkömmlichen auf Computervision basierenden Forschungen und Anwendungen darauf angewiesen ist, ein neurales Faltungsnetzwerk mehr hinsichtlich der Texturmerkmale des Bildes und demgegenüber weniger hinsichtlich der Formmerkmale zu trainieren. Der Erfinder hat auch herausgefunden, dass bei Regen der Regentropfen als Hochfrequenzgeräusch die hauptsächliche Ursache für die Verschlechterung der Texturmerkmale des Bildes ist. Daher kann kein zufriedenstellendes Ergebnis wegen der Verschlechterung der Texturmerkmale des Bildes erhalten werden, wenn für die auf Computervision basierende Verarbeitung/Wahrnehmung eines solchen Bildes mit Regentropfen ein neurales Faltungsnetzwerk, das durch ein auf die Texturmerkmale fokussiertes Training erhalten wurde, verwendet wird. Dagegen ist die Verschlechterung der Formmerkmale des Bildes durch den Regentropfen relativ leicht. In praktischen Bedingungen werden für die Erkennung eines Objekts die Formmerkmale und die Texturmerkmale kombiniert berücksichtigt, und daher ist die Neigung zu den Texturmerkmalen gegenüber den Formmerkmalen beim Training des neuralen Faltungsnetzwerks deutlich unangemessen.
In den Ausführungsbeispielen gemäß verschiedenen Aspekten der Offenbarung werden ein erstes Bild und ein zweites Bild, welches durch die Stilisierung des ersten Bildes erhalten wird, zum Training des neuralen Faltungsnetzwerks verwendet. Durch die Stilisierung des ersten Bildes wird das Maß, in dem das Objekt durch die Texturmerkmale gekennzeichnet werden kann, reduziert und demgegenüber das Maß, in dem das Objekt durch die Formmerkmale gekennzeichnet werden kann, hervorgehoben. Ein auf einem solchen Merkmal-Training basierendes neurales Faltungsnetzwerk fokussiert sich mehr auf die Formmerkmale des Beispielbildes für Training, so dass die Wichtigkeit der Texturmerkmale erniedrigt wird. Bei der Verwendung eines dadurch trainierten neuralen Faltungsnetzwerks für die auf Computervision basierende Verarbeitung/Wahrnehmung eines bei Regen aufgenommenen Bildes kann ein besseres Ergebnis der Verarbeitung/Wahrnehmung erhalten werden, da sich dieses neurale Faltungsnetzwerk mehr auf die weniger verschlechterte Formmerkmale fokussiert. Darüber hinaus wird auf eine vorherige Verarbeitung zur Entfernung des Regentropfens verzichtet, so dass das Bild unmittelbar in das neurale Faltungsnetzwerk für die auf Computervision basierende Verarbeitung/Wahrnehmung eingegeben werden kann, was die Verarbeitung/Wahrnehmung basierend auf Bilder in Echtzeit ermöglicht. Zusammenfassend werden durch ein derart ausgestaltetes neurales Faltungsnetzwerk die Robustheit und die Genauigkeit für ein bei Regen aufgenommenes Bild verbessert, und eine Verarbeitung/Wahrnehmung kann auch in Echtzeit realisiert werden.
Gemäß einem ersten Aspekt wird ein Verfahren zur Verarbeitung eines einzelnen Bildes bereitgestellt. Das Verfahren umfasst: Empfangen des einzelnen Bildes, in dem zumindest ein Regentropfen oder eine Schneeflocke abgebildet ist; und Eingabe des einzelnen Bildes in ein erstes neurales Faltungsnetzwerk, um eine auf Computervision basierende Verarbeitung des einzelnen Bildes durchzuführen, wobei das erste neurale Faltungsnetzwerk durch Training mit einem ersten Bild und einem zweiten Bild erhalten wurde, wobei im ersten Bild zumindest ein Regentropfen oder eine Schneeflocke abgebildet ist und das zweite Bild durch Stilisierung des ersten Bildes erhalten wird.
Gemäß einem weiteren Aspekt wird eine Einrichtung zur Verarbeitung eines einzelnen Bildes bereitgestellt. Die Einrichtung umfasst: eine Empfangseinheit, die das einzelne Bild, in dem zumindest ein Regentropfen oder eine Schneeflocke abgebildet ist, empfängt; und eine Verarbeitungseinheit, die das einzelne Bild in ein erstes neurales Faltungsnetzwerk eingibt, um eine auf Computervision basierende Verarbeitung des einzelnen Bildes durchzuführen, wobei das erste neurale Faltungsnetzwerk durch Training mit einem ersten Bild und einem zweiten Bild erhalten wurde, wobei im ersten Bild zumindest ein Regentropfen oder eine Schneeflocke abgebildet ist und das zweite Bild durch Stilisierung des ersten Bildes erhalten wird.
Gemäß einem weiteren Aspekt wird ein Verfahren zum Training eines neuralen Faltungsnetzwerks basierend auf einem einzelnen Bild bereitgestellt. Das Verfahren umfasst: Empfangen eines ersten Bildes, in dem zumindest ein Regentropfen oder eine Schneeflocke abgebildet ist; Stilisierung des ersten Bildes, um ein zweites Bild zu erhalten; und Training eines ersten neuralen Faltungsnetzwerks für die Durchführung einer auf Computervision basierenden Verarbeitung in Abhängigkeit vom ersten Bild und zweiten Bild.
Gemäß einem weiteren Aspekt wird eine Einrichtung zum Training eines neuralen Faltungsnetzwerks basierend auf einem einzelnen Bild bereitgestellt. Die Einrichtung umfasst: eine Empfangseinheit, die ein erstes Bild, in dem zumindest ein Regentropfen oder eine Schneeflocke abgebildet ist, empfängt; eine Stilisierungseinheit, die das erste Bild stilisiert, um ein zweites Bild zu erhalten; und eine Trainingseinheit, die ein erstes neurales Faltungsnetzwerk für die Durchführung einer auf Computervision basierenden Verarbeitung in Abhängigkeit vom ersten Bild und zweiten Bild trainiert.
In einem anderen Aspekt wird ein Computersystem bereitgestellt, umfassend: einen oder mehrere Prozessoren; und einen oder mehrere Speicher, auf dem oder denen computerausführbare Anweisungen gespeichert sind, die beim Ausführen durch den Prozessor oder die Prozessoren den Prozessor oder die Prozessoren veranlassen, das Verfahren nach den Ausführungsbeispielen der Offenbarung durchzuführen.
In einem noch anderen Aspekt wird ein maschinenlesbares Medium bereitgestellt, auf dem computerausführbare Anweisungen gespeichert sind, die beim Ausführen einen Computer oder Prozessor veranlassen, das Verfahren nach den Ausführungsbeispielen der Offenbarung durchzuführen.
Kurzbeschreibung der Figuren
Die Ausführungsbeispiele werden in den Figuren nur beispielhaft, aber nicht beschränkt beschrieben. In den Figuren beziehen sich die ähnlichen Bezugszeichen auf ähnliche Elemente.

1 zeigt ein Verfahren zum Training eines neuralen Faltungsnetzwerks basierend auf einem einzelnen Bild gemäß einem Ausführungsbeispiel der Erfindung;
2A und 2B zeigen das Beispiel eines ursprünglichen Bildes und eines stilisierten Bildes;
3 zeigt ein Verfahren zur Verarbeitung/Wahrnehmung basierend auf einem einzelnen Bild gemäß einem Ausführungsbeispiel der Erfindung;
4 zeigt eine Einrichtung zum Training eines neuralen Faltungsnetzwerks basierend auf einem einzelnen Bild gemäß einem Ausführungsbeispiel der Erfindung;
5 zeigt eine Einrichtung zur Verarbeitung/Wahrnehmung basierend auf einem einzelnen Bild gemäß einem Ausführungsbeispiel der Erfindung; und
6 zeigt eine schematische Ansicht eines Computersystems gemäß einem Ausführungsbeispiel der Erfindung.

Die einzelnen Aspekte und Merkmale der erfindungsgemäßen Ausführungsbeispiele werden in Bezug auf die obigen Zeichnungen beschrieben. Diese Zeichnungen sind nur schematisch, aber nicht einschränkend. Die Größe, die Form, das Bezugszeichen, oder das Aussehen der Elemente in den Figuren können verändert werden, ohne von dem Sinn der Erfindung abzuweichen. Darüber hinaus sind nicht alle Teile des Kopfhörers oder der Vorrichtung gemäß den Ausführungsbeispielen der Erfindung in den Figuren mit Bezugszeichen eingezeichnet, und in einigen Figuren sind lediglich die betroffenen Komponenten eingezeichnet. Die Teile werden trotzdem nicht ausschließlich auf die in den Figuren gezeigten Teile beschränkt.
Ausführliche Ausführungsformen
Obwohl nachfolgend die Erfindung in Zusammenhang mit einem Bild, in dem ein Regentropfen abgebildet ist, beschrieben wird, ist es auch zu verstehen, dass diese technische Lösung ebenfalls für ein Bild, in dem eine Schneeflocke abgebildet ist, gilt.
In der Anwendung der auf Computervision basierenden Verarbeitung/Wahrnehmung (wie z. B. Zielerfassung, Zielverfolgung, Bildsortierung, Zielsegmentierung und Instanzsegmentierung) ist beim Training eines neuralen Faltungsnetzwerks die Auswahl der Training-Merkmale von großer Bedeutung. In heutigen Forschungen wird das Training eines neuralen Faltungsnetzwerks in Abhängigkeit von Texturmerkmalen betont. Gemäß der vorliegenden Offenbarung ist bekannt, dass der Regentropfen die Texturmerkmale eines Bildes verschlechtert. Daher kann kein zufriedenstellendes Ergebnis erhalten werden, wenn für die auf Computervision basierende Verarbeitung/Wahrnehmung eines solchen Bildes ein neurales Faltungsnetzwerk, das durch ein auf die Texturmerkmale fokussiertes Training erhalten wurde, verwendet wird. Daher wird in der Offenbarung demgegenüber das Training des neuralen Faltungsnetzwerks mehr auf die Formmerkmale fokussiert, und mit einem derart trainierten neuralen Faltungsnetzwerk werden die Funktionen der auf Computervision basierenden Verarbeitung/Wahrnehmung erreicht. Da es hier bekannt ist, dass der Regentropfen eine relativ kleine Verschlechterung der Formmerkmale verursacht, kann ein derart trainiertes neurales Faltungsnetzwerk auch für ein Bild mit abgebildeten Regentropfen eine gute Robustheit und Genauigkeit bereitstellen. Zudem ist es hierbei nicht nötig, an dem Bild vor seiner Eingabe in das neurale Faltungsnetzwerk eine Verarbeitung zur Entfernung des Regentropfens durchzuführen, so dass eine auf Computervision basierende Verarbeitung/Wahrnehmung in Echtzeit ermöglicht wird.
1 zeigt ein Verfahren 100 zum Training eines neuralen Faltungsnetzwerks basierend auf einem einzelnen Bild gemäß einem Ausführungsbeispiel der Erfindung.
Wie in 1 gezeigt, wird nach diesem Trainingsverfahren in Schritt 110 ein erstes Bild empfangen, in dem zumindest ein Regentropfen abgebildet ist und ein zu erfassendes Objekt auch erwartet wird. In Schritt 120 wird das empfangene erste Bild stilisiert, um ein zweites Bild zu erhalten. Insbesondere wird mit einem Algorithmus der Stil des ersten Bildes verändert, wie z. B. eine Übertragung des Stils, um den Stil des ersten Bildes in einen vorbestimmten Stil zu wechseln. Der Stil des so erhaltenen zweiten Bildes unterscheidet sich von dem Stil des ersten Bildes. 2A und 2B zeigen jeweils das Beispiel eines ursprünglichen Bildes und eines stilisierten Bildes. Unterschiedliche Stilisierungen des ersten Bildes sind erwartbar, um entsprechende unterschiedlich stilisierte erste Bilder zu erhalten. In diesem Fall können mehrere zweite Bilder erhalten werden. Nach der Stilisierung bleiben die Formmerkmale des ersten Bildes erhalten, aber die Texturmerkmale werden angemessen zerstört.
In Schritt 130 wird ein erstes neurales Faltungsnetzwerk für die Durchführung einer auf Computervision basierenden Verarbeitung in Abhängigkeit vom ersten Bild und zweiten Bild trainiert. Das derart erhaltene erste neurale Faltungsnetzwerk fokussiert mehr auf die Erfassung des Objekts basierend auf den Formmerkmalen. Deswegen kann es das Objekt robust und genau erfassen, auch wenn der Regentropfen die Texturmerkmale des Bildes zerstört.
Bei Regen besteht in der Regel auch ein Nebel, welcher die Formmerkmale des Bildes zerstören würde. Daher soll die Beeinflussung des Nebels entfernt werden.
Gemäß diesem Verfahren zum Training 100 wird in Schritt 115 ein drittes Bild empfangen, in dem zumindest ein Nebel, insbesondere ein durch Regen bedingter Nebel, abgebildet ist. In einem Ausführungsbeispiel kann das dritte Bild das erste Bild umfassen. In Schritt 125 wird ein zweites neurales Faltungsnetzwerk für Entnebelung bei überwachtem Lernen in Abhängigkeit von dem dritten Bild trainiert.
Insbesondere wurde das zweite neurale Faltungsnetzwerk durch Training mit dem folgenden Modell erhalten: $I (x) = (J (x) + R (x)) t (x) + A (1 - t (x))$
worin I(x) für das dritte Bild, x für ein Pixel, J(x) für das zu entnebelnde dritte Bild, R(x) für ein Modell, das den Effekt des Regenwassers repräsentiert, A für das Niveau der globalen Beleuchtung und t(x) für die Durchsichtigkeit der Atmosphäre steht.
Dabei bezieht sich die Durchsichtigkeit der Atmosphäre t(x) auf den Anteil des die Kamera erreichenden Lichts, welcher mit dem Abstand zur Kamera reduziert wird. Die globale Beleuchtung steht für das Maß, in dem das Bild überall vernebelt wird. Gemäß dem oben beschriebenen physikalischen Modell weist ein Objekt in einem größeren Abstand zur Kamera kleinere t(x) und größere A(1 - t(x)), d. h. eine schlechtere Sichtbarkeit des Objekts, auf. Zudem wird bei stärkerem Nebel A größer, so dass A(1 - t(x)) größer wird und die Sichtbarkeit des Objekts schlechter wird. Das derart ausgestaltete physikalische Modell spiegelt genau die Auswirkung des Regens und Nebels wider, und das auf dieser Basis trainierte neurale Faltungsnetzwerk ist für die auf Computervision basierende Verarbeitung/Wahrnehmung eines bei Regen aufgenommenen Bildes besser geeignet.
Nach dem Training des ersten und zweiten neuralen Faltungsnetzwerks werden sie in Schritt 135 miteinander kombiniert, um ein eigentliches neurales Faltungsnetzwerk zu erhalten und damit die auf Computervision basierende Verarbeitung/Wahrnehmung des bei Regen aufgenommenen Bildes durchzuführen.
Das derart erhaltene neurale Faltungsnetzwerk umfassend das erste und zweite neurale Faltungsnetzwerk kann die auf Computervision basierende Verarbeitung eines einzelnen Bildes günstig durchführen. Der Benutzer soll einfach das Bild eingeben, welches mittels des zweiten neuralen Faltungsnetzwerks automatisch entnebelt werden kann und automatisch in das erste neurale Faltungsnetzwerk eingegeben werden kann, um eine Ende-zu-Ende-Verarbeitung zu erzielen.
3 zeigt ein Verfahren 200 zur Verarbeitung/Wahrnehmung basierend auf einem einzelnen Bild gemäß einem Ausführungsbeispiel der Erfindung, wobei im Verfahren 200 das neurale Faltungsnetzwerk, das wie oben bezugnehmend auf 1 trainiert wurde, verwendet wird.
Gemäß dem Verfahren 200 wird in Schritt 210 ein einzelnes Bild, das basierend auf Computervision zu verarbeiten bzw. wahrzunehmen ist, empfangen. Beispielsweise wird ein einzelnes Bild für Bildsortierung empfangen. Im einzelnen Bild ist zumindest ein Regentropfen und/oder Nebel abgebildet. Es ist auch denkbar, dass darin auch ein zu sortierendes Objekt abgebildet ist.
In einem Ausführungsbeispiel wird zunächst in Schritt 220 das empfangene einzelne Bild in das wie oben trainierte zweite neurale Faltungsnetzwerk für Entnebelung eingegeben, und dann wird in Schritt 230 das entnebelte einzelne Bild in das wie oben trainierte erste neurale Faltungsnetzwerk für auf Computervision basierende Verarbeitung/Wahrnehmung eingegeben.
Wenn kein Nebel im einzelnen Bild abgebildet ist, kann auf den obigen Schritt 220 verzichtet werden, so dass das einzelne Bild unmittelbar in das erste neurale Faltungsnetzwerk eingegeben wird.
In Schritt 240 wird das Ergebnis der auf Computervision basierenden Verarbeitung/Wahrnehmung des einzelnen Bildes ausgegeben. Das Ergebnis kann in eine andere Komponente für Weiterverarbeitung ausgegeben werden. Beispielsweise kann auf dem Gebiet automatischen Fahrens bei der Erkennung eines anderen Fahrzeugs in diesem Bild das Ergebnis an eine Steuerung ausgegeben werden, und die Steuerung gibt nach dem Ergebnis ein Fahrsteuerungssignal aus, um den Betrieb des Fahrzeugs zu steuern.
4 zeigt eine Einrichtung 10 zum Training eines neuralen Faltungsnetzwerks basierend auf einem einzelnen Bild gemäß einem Ausführungsbeispiel der Erfindung. Die Einrichtung 10 zum Training umfasst eine Empfangseinheit 11, eine Stilisierungseinheit 12, eine Trainingseinheit 13 und eine Kombinationseinheit 14.
Die Empfangseinheit 11 empfängt Beispielbilder für das Training des neuralen Faltungsnetzwerks, die ein erstes Bild, in dem zumindest ein Regentropfen abgebildet ist, umfasst. In einem Ausführungsbeispiel umfassen die Beispielbilder ferner ein drittes Bild, in dem zumindest ein Nebel abgebildet ist. Das erste Bild kann das dritte Bild umfassen, insbesondere bei einem Bild, welches bei Regen aufgenommen wird und in welchem ein durch Regen bedingter Nebel abgebildet ist. Die Empfangseinheit 11 gibt das empfangene erste Bild in die Stilisierungseinheit 12 ein, um das erste Bild zu stilisieren und damit ein zweites Bild zu erhalten. Dann wird das zweite Bild in die Trainingseinheit 13 für das Training des ersten neuralen Faltungsnetzwerks CNN1 eingegeben.
Die Empfangseinheit 11 gibt auch das empfangene dritte Bild in die Trainingseinheit 13 für das Training eines zweiten neuralen Faltungsnetzwerks CNN2 bei überwachtem Lernen ein. Das zweite neurale Faltungsnetzwerk wird zur Entnebelung verwendet und insbesondere basierend auf das oben erwähnte physikalische Modell trainiert. Ein neurales Faltungsnetzwerk anderer Art oder Struktur ist auch denkbar, solange sie die Funktion der Entnebelung erfüllen kann.
Nachdem die Trainingseinheit 13 das erste und zweite neurale Faltungsnetzwerk mit ausreichenden Proben trainiert hat, kombiniert die Kombinationseinheit 14 das erste und zweite neurale Faltungsnetzwerk zu einem eigentlichen neuralen Faltungsnetzwerk.
5 zeigt eine Einrichtung 20 zur Verarbeitung/Wahrnehmung basierend auf einem einzelnen Bild gemäß einem Ausführungsbeispiel der Erfindung. Die Einrichtung 20 umfasst eine Empfangseinheit 21 und eine Verarbeitungseinheit 22.
Die Empfangseinheit 21 empfängt ein einzelnes Bild, in dem zumindest ein Regentropfen abgebildet ist. Die Verarbeitungseinheit 22 gibt das empfangene einzelne Bild in das wie oben trainierte erste neurale Faltungsnetzwerk CNN1 ein, um eine auf Computervision basierende Verarbeitung des einzelnen Bildes durchzuführen.
Wenn das einzelne Bild entnebelt werden soll, wird in einem Ausführungsbeispiel zunächst das einzelne Bild in das wie oben trainierte zweite neurale Faltungsnetzwerk CNN2 für Entnebelung eingegeben, und das entnebelte einzelne Bild wird in das trainierte erste neurale Faltungsnetzwerk CNN1 für die auf Computervision basierende Verarbeitung/Wahrnehmung eingegeben.
6 zeigt eine schematische Ansicht eines Computersystems 30 gemäß einem Ausführungsbeispiel der Erfindung. 6 zeigt eine schematische Ansicht eines Computersystems 30 gemäß einem Ausführungsbeispiel der Offenbarung. Wie in 6 gezeigt, kann das Computersystem 30 zumindest einen Prozessor 31, einen Speicher (wie einen nichflüchtigen Speicher) 32, einen Arbeitsspeicher 33 und eine Kommunikationsschnittstelle 34 umfassen. Der zumindest eine Prozessor 31, der Speicher 32, der Arbeitsspeicher 33 und die Kommunikationsschnittstelle 34 sind über einen Bus 36 miteinander verbunden. Der zumindest eine Prozessor 31 führt zumindest eine computerlesbare Anweisung, die in dem Speicher gespeichert oder kodiert ist (also die als Software implementierten, oben erwähnten Elemente), aus.
In einem Ausführungsbeispiel sind in dem Speicher computerausführbare Anweisungen gespeichert, die beim Ausführen den zumindest einen Prozessor 31 veranlassen, die oben in Zusammenhang mit 1-3 beschriebenen Betätigungen und Funktionen nach den Ausführungsbeispielen der Offenbarung durchzuführen.
Gemäß einem Ausführungsbeispiel wird ein Computerprogrammprodukt, wie etwa ein maschinenlesbares Medium (z. B. ein nicht temporäres maschinenlesbares Medium), bereitgestellt. Das maschinenlesbare Medium kann Anweisungen (also die als Software implementierten, oben erwähnten Elemente) aufweisen, die beim Ausführen durch eine Maschine die Maschine veranlassen, die oben in Zusammenhang mit 1-3 beschriebenen Betätigungen und Funktionen nach den Ausführungsbeispielen der Offenbarung durchzuführen. Insbesondere kann ein System oder eine Einrichtung mit einem lesbaren Speichermedium, in dem Softwareprogrammcodes für Realisierung der Funktion nach einem der oben beschriebenen Ausführungsbeispiele gespeichert sind, bereitgestellt werden, und die im lesbaren Speichermedium gespeicherten Anweisungen sind von einem Computer bzw. einem Prozessor des Systems oder der Einrichtung auslesbar und ausführbar.
Die beispielhaften Ausführungsbeispiele der Offenbarung umfassen sowohl das Computerprogramm bzw. die Software, das bzw. die ursprünglich gemäß der Offenbarung erstellt/verwendet wird, als auch das Computerprogramm bzw. die Software, das bzw. die mittels einer Aktualisierung in ein Computerprogramm bzw. eine Software gemäß der Offenbarung umgewandelt wird.
Es ist auch möglich, das Computerprogramm für die Durchführung der Ausführungsbeispiele der Offenbarung in einer anderen Form herauszugeben, wie über Internet oder ein anderes verdrahtetes oder drahtloses Telekommunikationssystem.
Das Computerprogramm kann auch auf einem Netzwerk, wie z. B. auf dem Web, bereitgestellt werden und von einem solchen Netzwerk in einen Arbeitscomputer eines Mikroprozessors heruntergeladen werden.
Es sollte angemerkt werden, dass die Ausführungsbeispiele der Offenbarung in Zusammenhang mit unterschiedlichen Gegenständen beschrieben wurden. Insbesondere wurden einige Ausführungsbeispiele in Zusammenhang mit Verfahrensansprüchen und andere Ausführungsbeispiele in Zusammenhang mit Einrichtungsansprüchen beschrieben. Jedoch ist von dem Fachmann von der obigen und nachfolgenden Beschreibung zu verstehen, dass neben der Möglichkeit, die zu einem einzelnen Gegenstand gehörenden Merkmale beliebig miteinander zu kombinieren, auch die Möglichkeit besteht, dass die unterschiedliche Gegenstände betreffenden Merkmale beliebig miteinander kombiniert werden können, wenn nicht anders angegeben. Des Weiteren können alle Merkmale miteinander kombiniert werden, um einen Synergieeffekt, der besser als das Ergebnis einfacher Addition der einzelnen Merkmale ist, zur Verfügung zu stellen.
Oben wurden bestimmte Ausführungsbeispiele der Offenbarung beschrieben. Die anderen Ausführungsbeispiele befinden sich im Umfang der beigefügten Ansprüche. Gegebenenfalls können die in den Ansprüchen angegebenen Aktionen bzw. Schritte in einer Reihenfolge anders als die in den Ausführungsbeispielen angegebenen durchgeführt werden, ohne das erwünschte Ergebnis zu beeinträchtigen. Des Weiteren muss der in den Figuren dargestellte Vorgang nicht unbedingt die gezeigte bestimmte Reihenfolge oder durchgängige Reihenfolge erfordern, um das erwünschte Ergebnis zu erreichen. In bestimmten Ausführungsbeispielen sind Multitasking und parallele Verarbeitung auch möglich oder vorteilhaft.
Gemäß der oben in Bezug auf bestimmte Ausführungsbeispiele beschriebenen Offenbarung ist von dem Fachmann zu verstehen, dass die technischen Lösungen der Offenbarung auf verschiedene Weise realisiert werden können, ohne von dem Geist und den grundlegenden Merkmalen der Offenbarung abzuweichen. Die konkreten Ausführungsbeispiele sind nur schematisch, aber nicht einschränkend. Des Weiteren können diese Ausführungsbeispiele miteinander beliebig kombiniert werden, um die Aufgabe der Offenbarung zu lösen. Der beanspruchte Umfang der Offenbarung ist durch die beigefügten Ansprüche definiert.
Der Begriff „umfassen“ in der Beschreibung und in den Ansprüchen schließt das Vorhandensein eines anderen Elements oder Schritts nicht aus. Die Reihenfolge und die Anzahl der Schritte sollen nicht durch die Ausdrücke, wie „erster Schritt“, „zweiter Schritt“, usw. sowie die in den Figuren gezeigte Sequenz der Schritte definiert werden. Die Funktionen der einzelnen Elemente, die in der Beschreibung erläutert werden oder in den Ansprüchen angegeben werden, können auch unterteilt bzw. miteinander kombiniert werden und mittels mehrerer Elemente bzw. eines einzigen Elements realisiert werden.

Claims

Verfahren zur Verarbeitung basierend auf einem einzelnen Bild, umfassend: Empfangen des einzelnen Bildes, in dem zumindest ein Regentropfen oder eine Schneeflocke abgebildet ist; und Eingabe des einzelnen Bildes in ein erstes neurales Faltungsnetzwerk, um eine auf Computervision basierende Verarbeitung des einzelnen Bildes durchzuführen, wobei das erste neurale Faltungsnetzwerk durch Training mit einem ersten Bild und einem zweiten Bild erhalten wurde, wobei im ersten Bild zumindest ein Regentropfen oder eine Schneeflocke abgebildet ist und das zweite Bild durch Stilisierung des ersten Bildes erhalten wird.
Verfahren zur Verarbeitung nach Anspruch 1, wobei im einzelnen Bild auch ein Nebel abgebildet ist, und wobei das Verfahren ferner umfasst: Eingabe des einzelnen Bildes in ein zweites neurales Faltungsnetzwerk, um eine Entnebelung des einzelnen Bildes durchzuführen; und Eingabe des entnebelten einzelnen Bildes in das erste neurale Faltungsnetzwerk.
Verfahren zur Verarbeitung nach Anspruch 2, wobei das zweite neurale Faltungsnetzwerk bei überwachtem Lernen durch Training mit einem dritten Bild erhalten wurde, wobei in dem dritten Bild ein Nebel abgebildet ist.
Verfahren zur Verarbeitung nach Anspruch 3, wobei das zweite neurale Faltungsnetzwerk durch Training mit dem folgenden Modell erhalten wurde: $I (x) = (J (x) + R (x)) t (x) + A (1 - t (x))$
worin I(x) für das dritte Bild, x für ein Pixel, J(x) für das zu entnebelnde dritte Bild, R(x) für ein Modell, das den Effekt des Regenwassers oder Schnees repräsentiert, A für das Niveau der globalen Beleuchtung und t(x) für die Durchsichtigkeit der Atmosphäre steht.
Einrichtung zur Verarbeitung basierend auf einem einzelnen Bild, umfassend: eine Empfangseinheit, die das einzelne Bild, in dem zumindest ein Regentropfen oder eine Schneeflocke abgebildet ist, empfängt; und eine Verarbeitungseinheit, die das einzelne Bild in ein erstes neurales Faltungsnetzwerk eingibt, um eine auf Computervision basierende Verarbeitung des einzelnen Bildes durchzuführen, wobei das erste neurale Faltungsnetzwerk durch Training mit einem ersten Bild und einem zweiten Bild erhalten wurde, wobei im ersten Bild zumindest ein Regentropfen oder eine Schneeflocke abgebildet ist und das zweite Bild durch Stilisierung des ersten Bildes erhalten wird.
Einrichtung zur Verarbeitung nach Anspruch 5, wobei im einzelnen Bild auch ein Nebel abgebildet ist, und wobei die Verarbeitungseinheit das einzelne Bild in ein zweites neurales Faltungsnetzwerk eingibt, um eine Entnebelung des einzelnen Bildes durchzuführen, und das entnebelte einzelne Bild in das erste neurale Faltungsnetzwerk eingibt.
Einrichtung zur Verarbeitung nach Anspruch 6, wobei das zweite neurale Faltungsnetzwerk bei überwachtem Lernen durch Training mit einem dritten Bild erhalten wurde, wobei in dem dritten Bild zumindest ein Nebel abgebildet ist.
Einrichtung zur Verarbeitung nach Anspruch 7, wobei das zweite neurale Faltungsnetzwerk durch Training mit dem folgenden Modell erhalten wurde: $I (x) = (J (x) + R (x)) t (x) + A (1 - t (x))$
worin I(x) für das dritte Bild, x für ein Pixel, J(x) für das zu entnebelnde dritte Bild, R(x) für ein Modell, das den Effekt des Regenwassers oder Schnees repräsentiert, A für das Niveau der globalen Beleuchtung und t(x) für die Durchsichtigkeit der Atmosphäre steht.
Verfahren zum Training eines neuralen Faltungsnetzwerks basierend auf einem einzelnen Bild, umfassend: Empfangen eines ersten Bildes, in dem zumindest ein Regentropfen oder eine Schneeflocke abgebildet ist; Stilisierung des ersten Bildes, um ein zweites Bild zu erhalten; und Training eines ersten neuralen Faltungsnetzwerks für die Durchführung einer auf Computervision basierenden Verarbeitung in Abhängigkeit vom ersten Bild und zweiten Bild.
Verfahren zum Training eines neuralen Faltungsnetzwerks nach Anspruch 9, ferner umfassend: Empfangen eines dritten Bildes, in dem zumindest ein Nebel abgebildet ist; und Training eines zweiten neuralen Faltungsnetzwerks für Entnebelung bei überwachtem Lernen in Abhängigkeit vom dritten Bild.
Verfahren zum Training eines neuralen Faltungsnetzwerks nach Anspruch 10, ferner umfassend: Kombinieren des ersten neuralen Faltungsnetzwerks und des zweiten neuralen Faltungsnetzwerks.
Einrichtung zum Training eines neuralen Faltungsnetzwerks basierend auf einem einzelnen Bild, umfassend: eine Empfangseinheit, die ein erstes Bild, in dem zumindest ein Regentropfen oder eine Schneeflocke abgebildet ist, empfängt; eine Stilisierungseinheit, die das erste Bild stilisiert, um ein zweites Bild zu erhalten; und eine Trainingseinheit, die ein erstes neurales Faltungsnetzwerk für die Durchführung einer auf Computervision basierenden Verarbeitung in Abhängigkeit vom ersten Bild und zweiten Bild trainiert.
Einrichtung zum Training eines neuralen Faltungsnetzwerks nach Anspruch 12, wobei die Empfangseinheit auch ein drittes Bild, in dem zumindest ein Nebel abgebildet ist, empfängt; und wobei die Trainingseinheit auch ein zweites neurales Faltungsnetzwerk für Entnebelung bei überwachtem Lernen in Abhängigkeit vom dritten Bild trainiert.
Computersystem, umfassend: einen oder mehrere Prozessoren; und einen oder mehrere Speicher, auf dem oder denen computerausführbare Anweisungen gespeichert sind, die beim Ausführen durch den Prozessor oder die Prozessoren den Prozessor oder die Prozessoren veranlassen, ein Verfahren nach einem der Ansprüche 1-4 und 9-11 durchzuführen.
Computerlesbares Medium, auf dem computerausführbare Anweisungen gespeichert sind, die beim Ausführen den Computer bzw. den Prozessor oder die Prozessoren veranlassen, ein Verfahren nach einem der Ansprüche 1-4 und 9-11 durchzuführen.