-
Die Erfindung betrifft ein Verfahren zur Erkennung einer Verdeckung eines Kamerasensors. Die Erfindung betrifft ferner ein Kamerasensorsystem, insbesondere ein Kamerasystem für ein Fahrzeug.
-
Stand der Technik
-
Für Fahrerassistenzsysteme bzw. für die Steuerung von Fahrzeugen, insbesondere die autonome Steuerung, werden vermehrt Kamerasensoren zur Ausführung einer Umfelderfassung des Fahrzeugs verwendet. Die Kamerasensoren sind hierbei Umwelteinflüssen ausgesetzt und es besteht die Gefahr von Verschmutzung bzw. Verdeckung der Sensoren. Für eine fehlerfreie Umfelderfassung basierend auf den Bilddaten solcher Kamerasensoren ist eine Detektion derartiger Verschmutzungen bzw. Verdeckungen essentiell, um eine entsprechende Korrektur der Ergebnisse der Umfelderfassung durchführen zu können.
-
Es ist eine Aufgabe der Erfindung, ein verbessertes Verfahren zur Erkennung einer Verdeckung eines Kamerasensors und einen verbessertes Kamerasensorsystem bereitzustellen.
-
Diese Aufgabe wird durch das Verfahren zur Erkennung einer Verdeckung eines Kamerasensors und das Kamerasensorsystem der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind Gegenstand der untergeordneten Ansprüche.
-
Nach einem Aspekt der Erfindung wird ein Verfahren zur Erkennung einer Verdeckung eines Kamerasensors, insbesondere für ein Fahrzeug bereitgestellt, umfassend:
- Empfangen von ersten Bilddaten des Kamerasensors, wobei die ersten Bilddaten ein Umfeld des Kamerasensors aus einer ersten Perspektive abbilden;
- Empfangen von zweiten Bilddaten, wobei die zweiten Bilddaten das Umfeld des Kamerasensors aus einer zweiten Perspektive wenigstens teilweise abbilden;
- Vergleichen der ersten Bilddaten mit den zweiten Bilddaten; und Detektieren einer Verdeckung des Kamerasensors basierend auf einem ersten Merkmal der erste Bilddaten, für das die zweiten Bilddaten kein entsprechendes zweites Merkmal aufweisen; und
- Ausgeben einer die Verdeckung des Kamerasensors anzeigenden Verdeckungsnachricht.
-
Hierdurch kann der technische Vorteil erreicht werden, dass ein verbessertes Verfahren zur Erkennung einer Verdeckung eines Kamerasensors bereitgestellt werden kann. Hierzu werden erste Bilddaten des Kamerasensors empfangen, die ein Umfeld des Kamerasensors in einer ersten Perspektive abbilden. Ferner werden zweite Bilddaten empfangen, die das Umfeld des Kamerasensors wenigstens teilweise aus einer zweiten Perspektive abbilden. Die ersten und zweiten Bilddaten werden miteinander verglichen und eine Verdeckung des Kamerasensors wird basierend auf wenigstens einem Merkmal der ersten Bilddaten detektiert, das keine Entsprechung in den zweiten Bilddaten aufweist. Durch das Vergleichen der ersten und zweiten Bilddaten können somit Verdeckungen des Kamerasensors detektiert werden, ohne, dass hierzu eine aufwändige Erkennung der Verdeckungen, inklusive einer Positionsbestimmung und einer Klassifikation der erkannten Verdeckung, die beispielsweise durch Ausführung einer auf eine Verdeckungserkennung trainierte künstliche Intelligenz bewirkt wird, auszuführen ist. Durch die unterschiedlichen Perspektiven der ersten und zweiten Bilddaten kann eine Detektion einer Verdeckung des Kamerasensors durch Vergleich der Bilddaten miteinander einfacher zu bewirken. Insbesondere lassen sich Verdeckungen des Kamerasensors von statischen Objekten im Umfeld durch die unterschiedlichen Perspektiven unterscheiden, da bei Änderung der Perspektive des Kamerasensors bei einer Verdeckung des Kamerasensors die Verdeckung von der Perspektivenänderung unberücksichtigt bleibt. Dies ermöglicht eine vereinfachte und präzise Detektion von Verdeckungen eines Kamerasensors.
-
Nach einer Ausführungsform umfasst das Vergleichen der ersten Bilddaten mit den zweiten Bilddaten:
- Extrahieren von ersten Merkmalen der ersten Bilddaten und Extrahieren von zweiten Merkmalen der zweiten Bilddaten;
- Verketten der ersten Merkmale der ersten Bilddaten mit den zweiten Merkmalen der zweiten Bilddaten;
- Klassifizieren der verketteten ersten und zweiten Merkmale durch einen Klassifikator, wobei der Klassifikator eingerichtet ist, unter Berücksichtigung der zweiten Merkmale der zweiten Billdaten zu entscheiden, ob erste Merkmale der ersten Bilddaten auf einer Verdeckung des Kamerasensors basieren.
-
Hierdurch kann der technische Vorteil erreicht werden, dass ein präziser Vergleich der ersten und zweiten Bilddaten und damit verbunden eine präzise Detektion von Verdeckungen ermöglicht ist. Hierzu werden ersten und zweite Merkmale aus den ersten und zweiten Bilddaten extrahiert, zu einem Merkmalsvektor verkettet und eine Klassifikation basierend auf den verketteten Merkmalen ausgeführt. Die Klassifikation wird hierbei durch einen entsprechend trainierten Klassifikator ausgeführt, der ausgebildet ist, basierend auf den ersten Merkmalen der ersten Bilddaten zu entscheiden, ob diese mit Bezug auf die zweiten Merkmale der zweiten Bilddaten auf tatsächlichen Objekten des Umfelds oder auf einer Verdeckung des Kamerasensors basieren. Durch den entsprechend trainierten Klassifikator ist eine präzise Detektion der Verdeckungen basierend auf den Merkmalen der ersten und zweiten Bilddaten ermöglicht.
-
Nach einer Ausführungsform wird das Extrahieren der ersten und zweiten Merkmale durch ein gemeinsames Merkmalsextraktionsmodul ausgeführt.
-
Hierdurch kann der technische Vorteil erreicht werden, dass durch das gemeinsame Merkmalsextraktionsmodul eine vergleichbare Merkmalsextraktion zwischen den ersten und zweiten Bilddaten garantiert ist. Dies ermöglicht eine präzise Klassifikation durch den Klassifikator und damit verbunden eine präzise Detektion der möglichen Verdeckung des Kamerasensors. Durch das gemeinsame Merkmalsextraktionsmodul kann gewährleistet werden, dass in den ersten und zweiten Bilddaten vergleichbare erste und zweite Merkmale extrahiert werden. Dies ermöglicht im späteren Klassifikationsschritt eine präzise Klassifikation der extrahierten Merkmale und damit verbunden eine präzise Detektion möglicher Verdeckungen.
-
Nach einer Ausführungsform umfasst das Vergleichen der ersten Bilddaten mit den zweiten Bilddaten:
- Verketten der ersten Bilddaten mit den zweiten Bilddaten Klassifizieren der verketteten ersten und zweiten Bilddaten durch einen Klassifikator, wobei der Klassifikator eingerichtet ist, unter Berücksichtigung der zweiten Billdaten zu entscheiden, ob erste Merkmale der ersten Bilddaten auf einer Verdeckung des Kamerasensors basieren.
-
Hierdurch kann der technische Vorteil erreicht werden, dass eine präzise Detektion von möglichen Verdeckungen ermöglicht ist. Hierzu werden unmittelbar die ersten und zweiten Bilddaten miteinander verkettet und die verketteten Bilddaten über einen entsprechenden trainierten Klassifikator klassifiziert. Durch das gemeinsame Klassifizieren der ersten und zweiten Bilddaten ist das Detektieren der möglichen Verdeckungen, die sich als Merkmale innerhalb der ersten Bilddaten auszeichnen, die in den zweiten Bilddaten in der gleichen Weise nicht vorhanden sind, durch Ausführen des Klassifikators gemeinsam auf die verketteten ersten und zweiten Bilddaten kann dieser besser auf die Detektion der möglichen Verkettungen bzw. auf das Aufspüren der Unterschiede zwischen den ersten und zweiten Bilddaten ausgebildet werden. Insbesondere bei einer Ausbildung des Klassifikators als künstliche Intelligenz, kann durch das gemeinsame Ausführen auf die ersten und zweiten Bilddaten der Klassifikator besser auf das Detektieren von Verdeckungen trainiert werden.
-
Nach einer Ausführungsform werden das Extrahieren von Merkmalen und das Klassifizieren in Bezug auf Regionen von Interesse der ersten und zweiten Bilddaten ausgeführt, wobei der Klassifikator eingerichtet ist anzugeben, ob eine Region von Interesse der ersten Bilddaten in Bezug auf eine entsprechende Region der zweiten Bilddaten verdeckt ist.
-
Hierdurch kann der technische Vorteil erreicht werden, dass eine präzise Detektion von möglichen Verdeckungen ermöglicht ist. Hierbei werden die ersten und zweiten Bilddaten in Bezug auf Regionen von Interesse (Region of interest ROI) analysiert und die entsprechend detektierten Verdeckungen in Bezug auf die genannten Regionen von Interesse detektiert. Dies ermöglicht eine vereinfachte Verarbeitung der Bilddaten indem die Regionen von Interesse über die gesamten ersten und zweiten Bilddaten gerastert werden können und somit die ersten und zweiten Bilddaten lückenlos analysiert werden können.
-
Nach einer Ausführungsform ist der Klassifikator eingerichtet, einen Verdeckungsgrad der Region von Interesse der ersten Bilddaten in Bezug auf eine entsprechende Region der zweiten Bilddaten anzugeben.
-
Hierdurch kann der technische Vorteil erreicht werden, dass neben der bloßen Detektion der Verdeckung zusätzliche Information bereitgestellt werden kann. Der Verdeckungsgrad gibt hierbei einen prozentualen Anteil der jeweiligen Region von Interesse an, der verdeckt ist.
-
Nach einer Ausführungsform ist der Klassifikator als eine entsprechend trainierte künstliche Intelligenz, beispielsweise eine Support Vector Machine oder ein Faltungsnetzwerk, ausgebildet.
-
Hierdurch kann der technische Vorteil erreicht werden, dass eine präziser und leistungsfähiger Klassifikator bereitgestellt werden kann.
-
Nach einer Ausführungsform umfassen die Verdeckungen des Kamerasensors: Verschmutzungen, Flüssigkeitstropfen, Laubverdeckungen, Beschädigungen des Kamerasensors.
-
Hierdurch kann der technische Vorteil erreicht werden, dass mit dem erfindungsgemäßen Verfahren vielfältige verschiedene Verdeckungen detektiert werden können, die im üblichen Betrieb eines Kamerasensors insbesondere in einem Fahrzeug auftreten können. Da die Verdeckungen lediglich über die Abweichung zu den Referenzbildern der zweiten Bilddaten detektiert werden und keine wirkliche Objekterkennung durchgeführt, können beliebige Verdeckungen detektiert werde.
-
Nach einem weiteren Aspekt wird eine Recheneinheit bereitgestellt, die eingerichtet ist, das Verfahren zur Erkennung einer Verdeckung eines Kamerasensors, insbesondere für ein Fahrzeug, nach einer der voranstehenden Ausführungsformen auszuführen.
-
Nach einem weiteren Aspekt wird ein Computerprogrammprodukt umfassend Befehle bereitgestellt, die bei der Ausführung des Programms durch eine Datenverarbeitungseinheit diese veranlassen, das Verfahren zur Erkennung einer Verdeckung eines Kamerasensors, insbesondere für ein Fahrzeug, nach einer der voranstehenden Ausführungsformen auszuführen.
-
Nach einem weiteren Aspekt wird ein Kamerasensorsystem, insbesondere für ein Fahrzeug bereitgestellt, umfassend einen Kamerasensor und eine erfindungsgemäße Recheneinheit.
-
Hierdurch kann der technische Vorteil erreicht werden, dass ein verbessertes Kamerasensorsystem bereitgestellt werden kann, dass eingerichtet ist, das erfindungsgemäße Verfahren zur Erkennung einer Verdeckung eines Kamerasensors mit den oben genannten technischen Vorteilen auszuführen.
-
Nach einer Ausführungsform umfasst das Kamerasensorsystem ferner einen weiteren Kamerasensor zum Bereitstellen der zweiten Bilddaten.
-
Hierdurch kann der technische Vorteil erreicht werden, dass durch den weiteren Kamerasensor die Verdeckung des Kamerasensors präzise ermittelt werden können, da es unwahrscheinlich, dass der weitere Kamerasensor die gleiche Verdeckung aufweist.
-
Nach einer Ausführungsform sind der Kamerasensor und der weitere Kamerasensor Kamerasensoren einer Stereokamera.
-
Hierdurch kann der technische Vorteil erreicht werden, dass ein leistungsfähiges und breit einsetzbares Kamerasensorsystem bereitgestellt werden kann.
-
Nach einer Ausführungsform ist der Kamerasensor zwischen einer ersten Position und einer zweiten Position bewegbar und eingerichtet, in der ersten Position die ersten Bilddaten und in der zweiten Position die zweiten Bilddaten aufzunehmen.
-
Hierdurch kann der technische Vorteil erreicht werden, dass kein zusätzlicher Kamerasensor zur Ausführung des erfindungsgemäßen Verfahrens benötigt wird.
-
Ausführungsbeispiele der Erfindung werden anhand der folgenden Zeichnungen erläutert. In den Zeichnungen zeigen:
- 1 eine schematische Darstellung eines Systems zur Erkennung einer Verdeckung eines Kamerasensors;
- 2 eine graphische Darstellung eines Verfahrens zur Erkennung einer Verdeckung eines Kamerasensors gemäß einer Ausführungsform;
- 3 eine weitere graphische Darstellung des Verfahrens zur Erkennung einer Verdeckung eines Kamerasensors gemäß einer weiteren Ausführungsform;
- 4 eine weitere graphische Darstellung von Verfahrensschritten des Verfahrens zur Erkennung einer Verdeckung eines Kamerasensors gemäß einer weiteren Ausführungsform;
- 5 ein Flussdiagramm des Verfahrens zur Erkennung einer Verdeckung eines Kamerasensors; und
- 6 eine schematische Darstellung eines Computerprogrammprodukts.
-
1 zeigt eine schematische Darstellung eines Systems 200 zur Erkennung einer Verdeckung 204 eines Kamerasensors 203.
-
1 zeigt ein auf einer Fahrbahn 215 fahrendes Fahrzeug 202. Das Fahrzeug 202 weist ein erfindungsgemäßes Kamerasensorsystem 201 auf. In der gezeigten Ausführungsform umfasst das Kamerasensorsystem 201 einen ersten Kamerasensor 203 und einen zweiten Kamerasensor 205. Die zwei Kamerasensoren 203, 205 können beispielsweise zwei Kameras einer Stereokamera sein. Die Kamerasensoren 203, 205 können eingerichtet sein, entsprechende Videoaufnahme eines Umfelds 206 des Kamerasensorsystems 201 bzw. des Fahrzeugs 202 aufzunehmen. In der gezeigten Ausführungsform sind die beiden Kamerasensoren 203, 205 zueinander beabstandet angeordnet und sind in der Lage, das Umfeld 206 des Fahrzeugs 202 aus zwei verschiedenen Perspektiven abzubilden.
-
Das Fahrzeug 202 weist ferner eine Recheneinheit 211 auf. Die Recheneinheit 211 ist eingerichtet, das erfindungsgemäß Verfahren zur Erkennung einer Verdeckung des Kamerasensors 203 auszuführen. Hierzu weist die Recheneinheit 211 ein Verdeckungsdetektionsmodul 213 auf.
-
Zur Erkennung einer Verdeckung des Kamerasensors 203 werden durch die Recheneinheit 211 zunächst Bilddaten 207 des ersten Kamerasensors 203 empfangen. Darüber hinaus werden zweite Bilddaten 209 des zweiten Kamerasensors 205 empfangen. Wie beschrieben, bilden die ersten und zweiten Bilddaten 207, 209 das Umfeld 206 des Fahrzeugs 202 aus zwei unterschiedlichen Perspektiven ab.
-
Zum Erkennen der Verdeckung des Kamerasensors 203 werden erfindungsgemäß durch die Recheneinheit 211 bzw. das Verdeckungsdetektionsmodul 213 die ersten Bilddaten 207 des ersten Kamerasensors 203 mit den zweiten Bilddaten 209 des Kamerasensors 205 verglichen. Weisen die ersten Daten 207 wenigstens ein Merkmal auf, für das es keine Entsprechung in den zweiten Bilddaten 209 gibt, so wird basierend auf dem detektierten Merkmal der ersten Bilddaten 207 eine Verdeckung des Kamerasensors 203 detektiert. Da die beiden Kamerasensoren 203, 205 das gleiche Umfeld 206 aus zwei unterschiedlichen Perspektiven abbilden, so müssen die Objekte bzw. Merkmale des Umfelds 206 in beiden Bilddaten 207, 209 zwar aus unterschiedlichen Perspektiven jedoch vergleichbar zueinander abgebildet sein. Weisen die ersten Bilddaten 207 hingegen ein Merkmal auf, das in den zweiten Bilddaten 209 keine Entsprechung aufweist, so muss dieses Merkmal erfindungsgemäß auf einer Verdeckung des Kamerasensors 203 basieren und stammt nicht von einem tatsächlich im Umfeld 206 positionierten Objekt.
-
Gemäß einer Ausführungsform kann zum Vergleichen der ersten und zweiten Bilddaten 207, 209 eine Merkmalsextraktion von ersten Merkmalen aus den ersten Bilddaten 207 und zweiten Merkmalen aus den zweiten Bilddaten 209 vorgenommen werden. Die Merkmalsextraktion kann gemäß einer Ausführungsform durch ein gemeinsames Merkmalsextraktionsmodul 217 ausgeführt werden. Das gemeinsame Merkmalsextraktionsmodul 217 kann durch einen aus dem Stand der Technik bekannten Algorithmus gegeben sein, der eingerichtet ist, entsprechende Merkmale aus Bilddaten zu extrahieren. Die Merkmale können sich hierbei auf einzelne Farbgebungen, Formgebungen, die durch Pixelgruppen der Bildaufnahmen gegeben sind, oder durch tatsächlich im Umfeld angeordnete Objekte innerhalb der Bilddaten 207, 209 beziehen.
-
Gemäß der Ausführungsform können die extrahierten ersten und zweiten Merkmale der ersten und zweiten Bilddaten 207, 209 zu einem Merkmalsvektor verkettet werden. Der Merkmalsvektor kann darauffolgend durch einen Klassifikator klassifiziert werden, der eingerichtet ist, unter Berücksichtigung der zweiten Merkmale der zweiten Bilddaten 209 eine Verdeckung innerhalb der ersten Bilddaten 207 zu detektieren. Der Klassifikator kann gemäß einer Ausführungsform als eine entsprechend trainierte künstliche Intelligenz, beispielsweise eine Support-Vektor-Machine oder ein Faltungsnetzwerk, ausgebildet sein, die oder das darauf trainiert ist, basierend auf den extrahierten Merkmalen Verdeckungen innerhalb der ersten Bilddaten 207 des ersten Kamerasensors 203 zu detektieren.
-
Alternativ kann in einer weiteren Ausführungsform zum Vergleichen der ersten und zweiten Bilddaten 207, 209 eine Verkettung der ersten und zweiten Bilddaten 207, 209 bewirkt werden. Die verketteten ersten und zweiten Bilddaten 207, 209 können darauffolgend durch einen entsprechend ausgebildeten Klassifikator klassifiziert werden, der darauf ausgebildet ist, unter Berücksichtigung der zweiten Bilddaten 209 in den ersten Bilddaten 207 eine entsprechende Verdeckung zu ermitteln. Der Klassifikator kann wiederum als eine entsprechend darauf trainierte künstliche Intelligenz ausgebildet sein.
-
Erfindungsgemäß dienen die zweiten Bilddaten 209 des zweiten Kamerasensors 205 als Referenzdaten für die ersten Bilddaten 207 des ersten Kamerasensors 203. Unter Berücksichtigung der Referenzdaten können somit Unterschiede der ersten Bilddaten 207 zu den Referenzdaten zweiten Bilddaten 209 ermittelt werden. Da beide Bilddaten 207, 209 wenigstens teilweise das gleiche Umfeld 206 abbilden, und somit die im Umfeld 206 angeordneten Objekte in beiden Bilddaten abgebildet sein müssen, können Abweichungen der ersten Bilddaten 207 von den zweiten Bilddaten 209 auf Verdeckungen basierend interpretiert werden, die den ersten Kamerasensor 203 direkt betreffen, und die jeweiligen Merkmale innerhalb der ersten Bilddaten 207 somit mit keinen tatsächlichen Objekten innerhalb des Umfelds 206 in Verbindung stehen.
-
Durch das entsprechende Trainieren des Klassifikators kann dieser eingerichtet sein, die entsprechenden Bilddaten 207, 209 in Bezug auf verdeckte Bereiche und nicht verdeckte Bereiche zu klassifizieren. Dies ermöglicht eine einfache Detektion von Verdeckungen, ohne dass die tatsächliche Verdeckung durch das Verdeckungsdetektionsmodul 213 im Sinne einer Objekterkennung tatsächlich erkannt wird, sprich eine Positionsangabe und eine Klassifikation der Art der jeweiligen Verdeckung, ausgeführt werden muss.
-
Gemäß einer Ausführungsform kann das Extrahieren der Merkmale und das Klassifizieren der ersten und zweiten Bilddaten 207, 209 in Bezug auf Regionen von Interesse (Region of Interest ROI) ausgeführt werden. Der Klassifikator kann hierbei eingerichtet sein, die Detektion der Verdeckungen in Bezug auf die Regionen von Interesse auszuführen. Die ersten und zweiten Bilddaten 207, 209 können somit in Form eines verschiebbaren Fensters (sliding window) abgerastert bzw. untersucht werden.
-
Alternativ zu der gezeigten Ausführungsform, in der das Kamerasensorsystem 201 neben dem ersten Kamerasensor 203 einen zweiten Kamerasensor 205 zum Bereitstellen der zweiten Bilddaten 209 aufweist, kann das Kamerasensorsystem 201 lediglich den ersten Kamerasensor 203 umfassen. Dieser kann hierbei eingerichtet sein, zwischen zwei Positionen hin und her bewegt zu werden, wobei in einer ersten Position der Kamerasensor 203 die ersten Bilddaten 207 aufnimmt und in einer zweiten Position die zweiten Bilddaten 209 aufnimmt.
-
Durch das Verschieben des Kamerasensors 203 zwischen den zweite zueinander beabstandeten Position ist dieser in der Lage, die ersten und zweiten Bilddaten 207, 209 aufzunehmen, die das Umfeld 206 aus zwei unterschiedlichen Perspektiven abbilden. In dieser Ausführungsform werden zum Detektieren der Verdeckungen des Kamerasensors 203 weiterhin die ersten und zweiten Bilddaten 207, 209 miteinander verglichen und eine Verdeckung detektiert, falls in den ersten Bilddaten 207 Merkmale existieren, die keine Entsprechung in den zweiten Bilddaten 209 aufweisen.
-
Da in diesem Fall der Kamerasensor 203 die Verdeckungen sowohl in der ersten Position aufweist, in der der Kamerasensor 203 die ersten Bilddaten 207 aufnimmt, als auch in der zweiten Position, in der die zweiten Bilddaten 209 aufgenommen werden, sind die Merkmale der ersten Bilddaten 207, die auf die jeweilige Verdeckung zurückzuführen sind, ebenfalls in den zweiten Bilddaten 209 vorhanden. Da die ersten und zweiten Bilddaten 207, 209 jedoch das Umfeld 206 aus zwei unterschiedlichen Perspektiven abbilden, und da die Verdeckung durch die Positionierung direkt am Kamerasensor 203 von der Perspektivänderung zwischen den ersten zweiten Bilddaten 207, 209 unberücksichtigt bleibt, ist die Verdeckung dadurch erkennbar, dass die Verdeckung bzw. auf die Verdeckung zurückzuführenden Merkmale innerhalb der zweiten Bilddaten 209 nicht zu der vorliegenden Perspektivänderung mit Bezug auf die ersten Bilddaten 207 passen.
-
Die Positionierung der Merkmale der Verdeckung innerhalb der ersten Bilddaten 207 entspricht somit exakt der Positionierung der durch die Verdeckung hervorgehobenen Merkmale der zweiten Bilddaten 209. Während die Merkmale der tatsächlich im Umfeld 206 positionierten Objekte durch die Verschiebung des Kamerasensors 203 zwischen den zwei vorbestimmten Positionen von der jeweiligen Perspektivverschiebung betroffen sind, bleiben die auf die Verdeckung zurückzuführenden Merkmale von der Perspektivänderung unbeeinflusst. Erfindungsgemäß bedeutet dies somit, dass die auf die Verdeckung des Kamerasensors 203 zurückzuführenden Merkmale der ersten Bilddaten 207 keine Entsprechung in den zweiten Bilddaten 209 aufweisen, da die auf die Verdeckung zurückzuführenden Merkmale in den zweiten Bilddaten 209 von der Perspektivänderung unbeeinflusst sind.
-
Der oben beschriebene Klassifikator kann darauf trainiert sein, die auf Verdeckungen zurückzuführenden Merkmale unter Berücksichtigung der Perspektivänderung zwischen den ersten und zweiten Bilddaten 207, 209 zu detektieren.
-
2 zeigt eine graphische Darstellung eines Verfahrens zur Erkennung einer Verdeckung 204 eines Kamerasensors 203 gemäß einer Ausführungsform.
-
In der gezeigten Ausführungsform weist das Verdeckungsdetektionsmodul 213 ein Merkmalsextraktionsmodul 217 zum Extrahieren der Merkmale aus den ersten und zweiten Bilddaten 207, 209 und ein Klassifikationsmodul 219 zum Klassifizieren der Merkmale und zum Detektieren der Verwendung auf. In der gezeigten Ausführungsform zeigen die ersten und zweiten Bilddaten 207, 209 ein Umfeld eines Fahrzeugs, insbesondere eine Verkehrssituation auf einer Autobahn. Aufgrund von Witterungsverhältnissen weisen die Bilddaten 207 eine Verdeckung 204 des jeweiligen Kamerasensors auf. Die gezeigte Verdeckung 204 ist durch einen Flüssigkeitstropfen, beispielsweise einen Regentropfen, der auf der Linse des Kamerasensors platziert ist, repräsentiert. Die Bilddaten 209 weisen hingegen keine Verdeckung 204 in Form des gezeigten Flüssigkeitstropfens auf. Die zweiten Bilddaten 209 sind somit gemäß der Ausführungsform in 1 durch einen zweiten Kamerasensor 205 bereitgestellt.
-
Zum Detektieren der Verdeckung 204 werden nach Aufnahme der ersten und zweiten Bilddaten 207, 209 durch das gemeinsame Extraktionsmodul 217 erste und zweite Merkmale der ersten und zweiten Bilddaten 207, 209 extrahiert. Wie oben bereits beschrieben, können die Merkmale Farbgestaltungen oder geometrische Formgestaltungen von Objekten innerhalb der Bilddaten 207, 209 umfassen. Gemäß einer Ausführungsform können auch Informationen bzgl. eines optischen Flusses innerhalb der Bilddaten berücksichtigt werden. Die Bilddaten 207, 209 können hierbei jeweils aus einem einzelnen Frame bestehen oder eine Mehrzahl von zeitlich aufeinanderfolgenden Frames der durch die jeweiligen Kamerasensoren 203, 205 aufgenommenen Bilddaten umfassen.
-
Nach Extraktion der jeweiligen Merkmale erfolgt eine Verkettung der extrahierten Merkmale zu einem Merkmalsvektor. Zur Extraktion der auf der Verdeckung 204 basierenden Merkmale wird der oben bereits beschriebene Klassifikator 219 auf den Merkmalsvektor der verketteten Merkmale der Bilddaten 207, 209 ausgeführt. Der Klassifikator 219 ist hierbei dazu eingerichtet, unter Berücksichtigung der zweiten Bilddaten 209 die auf die Verdeckung 204 zurückzuführenden Merkmale der ersten Bilddaten 207 zu detektieren und somit die Verdeckung 204 zu detektieren. Der Klassifikator 219 erstellt hierzu klassifizierte Bilddaten 208, 210, die jeweils in Bereiche der Verdeckung 212 und Bereiche ohne Verdeckung 214 unterteilt sind. Der Klassifikator 219 kann hierzu eine aus dem Stand der Technik bekannte Segmentierung der Bilddaten 207, 209 in die beschriebenen Bereiche ausführen.
-
Basierend auf den segmentierten Bilddaten 207, 209 kann somit die Verdeckung 204 des ersten Kamerasensors 203 detektiert werden und eine entsprechende Verdeckungsnachricht ausgegeben werden. Mittels der Verdeckungsnachricht kann der Fahrzeugsteuerung beispielsweise die Verdeckung 204 des Kamerasensors 203 übermittelt werden. Basierend auf der Verdeckungsnachricht können somit Maßnahmen eingeleitet werden, die Verdeckung 204 zu entfernen. Alternativ kann die Verdeckung 204 dadurch berücksichtigt werden, dass die ersten Bilddaten 207 des ersten Kamerasensors 203 unter Vorbehalt berücksichtigt werden.
-
3 zeigt eine weitere graphische Darstellung des Verfahrens zur Erkennung einer Verdeckung 204 eines Kamerasensors 203 gemäß einer weiteren Ausführungsform.
-
3 zeigt die oben beschriebene Ausführungsform, in der die Merkmalsextraktion bzw. die Klassifikation der Bilddaten 207, 209 unter Berücksichtigung von Regionen von Interesse 221 erfolgt. Die Bilddaten 207, 209 werden hierbei gemäß einem verschiebbaren Fenster (sliding Window) für verschiedene Regionen von Interesse 221 untersucht. Die Merkmalsextraktion erfolgt somit ebenfalls in Bezug auf die verschiedenen Regionen von Interesse 221 und ein entsprechender mehrdimensionaler Merkmalsvektor 223 kann generiert werden.
-
4 zeigt eine weitere graphische Darstellung von Verfahrensschritten des Verfahrens zur Erkennung einer Verdeckung 204 eines Kamerasensors 203 gemäß einer weiteren Ausführungsform.
-
In der gezeigten Ausführungsform weist das Detektionsmodul 213 ausschließlich den Klassifikator 219 auf. In der gezeigten Ausführungsform werden zur Verdeckungsdetektion unmittelbar die ersten und zweiten Bilddaten 207, 209 miteinander verkettet. Auf die verketteten Bilddaten 207, 209 wird der entsprechend hierzu trainierte Klassifikator 219 ausgeführt und die segmentierten Bilddaten 208, 210 mit den Verdeckungsbereichen 212 und den nicht verdeckten Bereichen 214 generiert. Wie oben bereits angeführt, kann der Klassifikator 219 als eine entsprechend trainierte künstliche Intelligenz, beispielsweise ein Faltungsnetzwerk, ausgebildet sein.
-
5 zeigt ein Flussdiagramm des Verfahrens 100 zur Erkennung einer Verdeckung 204 eines Kamerasensors 203.
-
Erfindungsgemäß werden in einem ersten Schritt 101 zunächst erste Bilddaten 207 eines ersten Kamerasensors 203 empfangen.
-
In einem weiteren Verfahrensschritt 103 werden zweiten Bilddaten 209 empfangen. Die ersten und zweiten Bilddaten bilden hierbei das Umfeld des Kamerasensorsystems 201 aus zwei unterschiedlichen Perspektiven ab.
-
In einem weiteren Verfahrensschritt 105 werden die ersten und zweiten Bilddaten 207, 209 miteinander verglichen.
-
Hierzu können gemäß einem weiteren Verfahrensschritt 111 erste Merkmale aus den ersten Bilddaten 207 und zweite Merkmale aus den zweiten Bilddaten 209 extrahiert werden.
-
Ferner können die ersten und zweiten Merkmale der ersten und zweiten Bilddaten 207, 209 in einem weiteren Verfahrensschritt 113 miteinander verkettet und ein Merkmalsvektor generiert werden.
-
In einem weiteren Verfahrensschritt können die verketteten ersten und zweiten Merkmale durch einen Klassifikator 219 klassifiziert werden. Der Klassifikator 219 ist hierbei eingerichtet, unter Berücksichtigung der zweiten Merkmale der zweiten Bilddaten 209 zu entscheiden, ob erste Merkmale der ersten Bilddaten 207 auf einer Verdeckung 204 des Kamerasensors 203 basieren.
-
Alternativ oder zusätzlich können in einem weiteren Verfahrensschritt 117 die ersten Bilddaten 207 und die zweiten Bilddaten 209 miteinander verkettet werden.
-
In einem weiteren Verfahrensschritt 119 können die verketteten ersten und zweiten Bilddaten 207, 209 durch den Klassifikator 219 klassifiziert werden. Der Klassifikator 219 ist hierbei eingerichtet, unter Berücksichtigung der zweiten Bilddaten 209 zu entscheiden, ob erste Merkmale der ersten Bilddaten 207 auf der Verdeckung 204 des Kamerasensors 203 basieren.
-
In einem weiteren Verfahrensschritt 107 wird eine Verdeckung 204 des Kamerasensors 203 detektiert, falls die ersten Bilddaten 207 Merkmale aufweisen, die in den zweiten Bilddaten 209 keine Entsprechung finden.
-
In einem weiteren Verfahrensschritt 109 wird darauf basierend eine die Verdeckung 204 des Kamerasensors 203 anzeigende Verdeckungsnachricht ausgegeben.
-
6 zeigt eine schematische Darstellung eines Computerprogrammprodukts 300, umfassend Befehle, die bei der Ausführung des Programms durch eine Recheneinheit dieses veranlassen, das Verfahren 100 zur Erkennung einer Verdeckung 204 eines Kamerasensors 203, insbesondere eines Kamerasensors 203 für ein Fahrzeug 202, auszuführen.
-
Das Computerprogrammprodukt 300 ist in der gezeigten Ausführungsform auf einem Speichermedium 301 gespeichert. Das Speichermedium 301 kann hierbei ein beliebiges aus dem Stand der Technik bekanntes Speichermedium sein.
