-
Die Erfindung betrifft ein Verfahren zur Auswertung von mittels einer Kamera eines Fahrzeugs erfassten Bildern.
-
Aus dem Stand der Technik ist, wie in der
DE 10 2010 023 591 A1 beschrieben, ein Stereokamerasystem bekannt. Bei dem Stereokamerasystem, das zum Einsatz in Kraftfahrzeugen hinter einer geneigten Windschutzscheibe ausgebildet ist, weist mindestens eines der mindestens zwei Kameramodule des Systems ein zusätzliches partiell angeordnetes, zeitweise zugeführtes oder als Strahlteiler wirkendes optisches Element auf und kann dadurch als mindestens bifokales optisches Kameramodul mit mindestens zwei unterschiedlichen Schärfentiefenbereichen auf einem Bildsensor verwendet werden. Der Bildsensor beinhaltet dadurch mindestens zwei Teilbereiche mit unterschiedlichen optischen Objektweiten, wobei eine optische Objektweite zur Erfassung eines Objekts im Nahbereich, das zum Ausrichten der Stereokameraanordnung dient, vorgesehen ist.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Auswertung von mittels einer Kamera eines Fahrzeugs erfassten Bildern anzugeben.
-
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zur Auswertung von mittels einer Kamera eines Fahrzeugs erfassten Bildern mit den Merkmalen des Anspruchs 1.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In einem erfindungsgemäßen Verfahren zur Auswertung von mittels einer Kamera eines Fahrzeugs erfassten Bildern, insbesondere zur Detektion von Beschlag, d. h. von Feuchtigkeitsbeschlag, auf mindestens einer Linse der Kamera, wird zumindest in den bei einer niedrigen Fahrzeuggeschwindigkeit mittels der Kamera erfassten Bildern eine räumliche Frequenzanalyse, beispielsweise eine Hough-Transformation und/oder Fourier-Transformation, durchgeführt und es wird ein Beschlag auf der mindestens einen Linse der Kamera detektiert, wenn in diesen bei der niedrigen Fahrzeuggeschwindigkeit mittels der Kamera erfassten Bildern keine hochfrequenten Bildanteile vorhanden sind.
-
Die räumliche Frequenzanalyse ist im Allgemeinen eine mehrdimensionale räumliche Frequenzanalyse. Im hier geschilderten Fall sind die zwei Dimensionen des jeweiligen mittels der Kamera erfassten Bildes gemeint. Es handelt sich hier bei der räumlichen Frequenzanalyse somit insbesondere um eine zweidimensionale räumliche Frequenzanalyse.
-
In diesem Verfahren wird somit vorteilhafterweise auf das jeweilige mittels der Kamera erfasste Bild eine Frequenzanalyse, zum Beispiel mittels der Fourier-Transformation und/oder Hough-Transformation, angewandt, so dass das Bild auf diese Weise in den Frequenzraum transformiert bzw. überführt wird. In diesem Frequenzraum können Bereiche mit hohen Frequenzen durch hohe Amplituden detektiert werden. Typischerweise sind statische Objekte, beispielsweise Schmutz auf der mindestens einen Linse der Kamera, dadurch gekennzeichnet, dass sie hochfrequent sind und ein dynamischer Hintergrund durch Motion Blur Effekte, d. h. durch Bewegungsunschärfeeffekte, niederfrequent ist. Ist die mindestens eine Linse der Kamera beschlagen, so weist das jeweilige mittels der Kamera erfasste Bild im Frequenzraum keine hochfrequenten Bildanteile auf, d. h. es gibt keine erkennbaren scharfen Kanten im Originalbild, da aufgrund des Beschlags alles milchig, d. h. trüb und verschwommen, aussieht. Mit dem erfindungsgemäßen Verfahren kann somit eine beschlagene Linse von verdreckten und sauberen Linsen unterschieden werden.
-
Das erfindungsgemäße Verfahren ist insbesondere für den Betrieb eines oder mehrerer Assistenzsysteme des Fahrzeugs vorteilhaft, welche die Kamera, insbesondere deren erfasste Bilder, verwenden. Diese Assistenzsysteme sind auf die Funktionsfähigkeit der Kamera angewiesen. Durch Beschlag, insbesondere Feuchtigkeitsbeschlag, auf der mindestens einen Linse der Kamera kann diese Funktionsfähigkeit jedoch beeinträchtigt sein, da eine Bildqualität der erfassten Bilder durch den Beschlag beeinträchtigt ist.
-
Mit bisher verwendeten Algorithmen ist das Detektieren von Beschlag nicht oder zumindest nicht zuverlässig möglich, da im jeweiligen erfassten Bild nicht die hierfür benötigten oder nicht ausreichend Informationen vorhanden sind. So erfolgt beispielsweise eine Detektion von Verschmutzungen durch die Erkennung statischer Bereiche in den erfassten Bildern. Beschlag ist auf diese Weise jedoch nicht oder zumindest nicht zuverlässig detektierbar.
-
Das erfindungsgemäße Verfahren ermöglicht im Gegensatz dazu eine erheblich verbesserte Detektion des Beschlags, basierend auf der räumlichen Frequenzanalyse im jeweiligen erfassten Bild. Das durch die beschlagene Linse erfasste Bild ist im Gegensatz zu einem durch eine saubere Linse oder auch durch eine verschmutzte Linse erfassten Bild frei, zumindest im Wesentlichen frei, von hochfrequenten Bildanteilen. Dieses Fehlen von hochfrequenten Bildanteilen, insbesondere in niedrigen Fahrzeuggeschwindigkeitsbereichen, wird mittels des erfindungsgemäßen Verfahrens zur Detektion der beschlagenen Linse der Kamera, d. h. zur Detektion des Beschlags auf der Linse, verwendet.
-
Eine maximale Fahrzeuggeschwindigkeit, bis zu welcher das Verfahren sicher funktioniert und bis zu welcher das Verfahren daher zweckmäßigerweise durchgeführt wird, ist beispielsweise abhängig oder mindestens abhängig von einer Belichtungszeit der Kamera, von einem HDR-Bereich der Kamera, von einem HDR-Bereich einer nachgelagerten Bildverarbeitung (HDR=High Dynamic Range), von einer Art der Bildaufbereitung (zum Beispiel Tone Mapping), von einer Framerate der Kamera, von einer Umgebungsbeleuchtung, von nahen bzw. entfernten Objekten in der Umgebung, von einer Einbaulage der Kamera und/oder von einer Stärke des zu detektierenden Beschlags.
-
Es kann beispielsweise vorgesehen sein, dass das Verfahren insbesondere oder ausschließlich bei Fahrzeuggeschwindigkeiten durchgeführt wird, welche für einen Parkbetrieb und/oder erweiterten Manövrierbetrieb des Fahrzeugs und/oder für einen innerstädtischen Betrieb des Fahrzeugs vorgesehen sind und/oder das Verfahren wird beispielsweise nur auf innerstädtische Anwendungsbereiche begrenzt.
-
Mittels des erfindungsgemäßen Verfahrens können somit beschlagene Linsen von Kameras, die zu erheblichen funktionalen Einschränkungen führen, detektiert werden.
-
Dadurch werden beispielsweise Fehlfunktionen von die Bilder der jeweiligen Kamera nutzenden Assistenzsystemen vermieden.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
Dabei zeigt:
- 1 schematisch ein Fahrzeug mit einer Kamera.
-
1 zeigt eine schematische Darstellung eines Fahrzeugs 1, welches eine Kamera 2 aufweist. Von der Kamera 2 erfasste Bilder werden beispielsweise von mindestens einem Assistenzsystem des Fahrzeugs 1 verwendet. Dabei ist das Assistenzsystem auf die Funktionsfähigkeit der Kamera 2 angewiesen. Problematisch für diese Funktionsfähigkeit sind beispielsweise Schmutz oder Beschlag, insbesondere Feuchtigkeitsbeschlag, auf mindestens einer Linse der Kamera 2, d. h. die Funktionsfähigkeit der Kamera 2 kann dadurch beeinträchtigt sein.
-
Mit bisher verwendeten Algorithmen, welche insbesondere zum Detektieren von Verschmutzungen verwendet werden, ist das Detektieren von Beschlag nicht oder zumindest nicht zuverlässig möglich, da im jeweiligen erfassten Bild nicht die hierfür benötigten oder nicht ausreichend Informationen vorhanden sind. So erfolgt beispielsweise eine Detektion von Verschmutzungen durch die Erkennung statischer Bereiche in den erfassten Bildern. Beschlag ist auf diese Weise jedoch nicht oder zumindest nicht zuverlässig detektierbar.
-
Daher ist im hier beschriebenen Verfahren zur Auswertung von mittels der Kamera 2 des Fahrzeugs 1 erfassten Bildern, insbesondere zur Detektion von Beschlag, d. h. von Feuchtigkeitsbeschlag, auf mindestens einer Linse der Kamera 2, vorgesehen, dass in den mittels der Kamera 2 erfassten Bildern, zumindest in den bei einer niedrigen Fahrzeuggeschwindigkeit mittels der Kamera 2 erfassten Bildern, eine räumliche Frequenzanalyse, beispielsweise eine Hough-Transformation und/oder Fourier-Transformation, durchgeführt wird. Für den Fall, dass in den bei der niedrigen Fahrzeuggeschwindigkeit erfassten Bildern keine hochfrequenten Bildanteile vorhanden sind, befindet sich ein Beschlag auf der mindestens einen Linse, d. h. in diesem Fall wird der Beschlag detektiert.
-
In diesem Verfahren wird somit auf das jeweilige mittels der Kamera 2 erfasste Bild eine Frequenzanalyse, zum Beispiel mittels der Fourier-Transformation und/oder Hough-Transformation, angewandt, so dass das Bild auf diese Weise in den Frequenzraum transformiert bzw. überführt wird. In diesem Frequenzraum können Bereiche mit hohen Frequenzen durch hohe Amplituden detektiert werden. Typischerweise sind statische Objekte, beispielsweise Schmutz auf der mindestens einen Linse der Kamera 2, dadurch gekennzeichnet, dass sie hochfrequent sind und ein dynamischer Hintergrund durch Motion Blur Effekte, d. h. durch Bewegungsunschärfeeffekte, niederfrequent ist. Ist die mindestens eine Linse der Kamera 2 beschlagen, so weist das jeweilige mittels der Kamera 2 erfasste Bild im Frequenzraum keine hochfrequenten Bildanteile auf, d. h. es gibt keine erkennbaren scharfen Kanten im Originalbild, da aufgrund des Beschlags alles milchig, d. h. trüb und verschwommen, aussieht. Mit diesem Verfahren kann somit eine beschlagene Linse von verdreckten und sauberen Linsen unterschieden werden.
-
Das Verfahren ermöglicht somit eine erheblich verbesserte Detektion, vorteilhafterweise eine zuverlässige Detektion, des Beschlags, basierend auf der räumlichen Frequenzanalyse im jeweiligen erfassten Bild. Das durch die beschlagene Linse erfasste Bild ist im Gegensatz zu einem durch eine saubere Linse oder auch durch eine verschmutzte Linse erfassten Bild frei, zumindest im Wesentlichen frei, von hochfrequenten Bildanteilen. Dieses Fehlen von hochfrequenten Bildanteilen, insbesondere in niedrigen Fahrzeuggeschwindigkeitsbereichen, wird mittels des Verfahrens zur Detektion der beschlagenen Linse der Kamera 2, d. h. zur Detektion des Beschlags auf der Linse, verwendet.
-
Mittels des Verfahrens können somit beschlagene Linsen von Kameras 2, die zu erheblichen funktionalen Einschränkungen führen, detektiert werden. Dadurch werden beispielsweise Fehlfunktionen von die Bilder der jeweiligen Kamera 2 nutzenden Assistenzsystemen vermieden.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 2
- Kamera
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102010023591 A1 [0002]
