-
Die Erfindung betrifft ein Verfahren zur Erfassung von Feuchtigkeit und/oder einer Verschmutzung auf einer Außenseite einer Abdeckung, insbesondere auf einem Kameraobjektiv, eines Bildsensors einer an einem Fahrzeug angeordneten Kamera anhand einer Auswertung mittels der Kamera erfasster Bilder.
-
Die Erfindung betrifft weiterhin eine Vorrichtung zur Erfassung von Feuchtigkeit und/oder einer Verschmutzung auf einem Kameraobjektiv einer Kamera anhand einer Auswerteeinheit zur Auswertung mittels der Kamera erfasster Bilder.
-
Ferner betrifft die Erfindung eine Verwendung einer solchen Vorrichtung zur Reinigung einer Außenseite einer Abdeckung, insbesondere eines Kameraobjektivs, eines Bildsensors einer Kamera.
-
Aus der
DE 10 2004 048 346 A1 ist ein Verfahren zur Beeinflussung einer Funktion einer Fahrassistenzvorrichtung eines Fahrzeugs mit einem am Fahrzeug angeordneten Sensor zur Sichtweitenmessung, zur Abstandsmessung und zur Messung einer Verschmutzung der Sensoroberfläche bekannt. Bei der Messung der Sichtweite wird die gemessene Verschmutzung der Sensoroberfläche berücksichtigt, wobei oberhalb eines Verschmutzungsschwellenwerts für die Sensoroberfläche eine automatische Reinigungsvorrichtung für die Sensoroberfläche ausgelöst oder ein Fahrer des Fahrzeugs zur Reinigung der Sensoroberfläche aufgefordert wird. Zur Messung eines Grads der Verschmutzung ist ein Verschmutzungssensor vorgesehen.
-
Weiterhin ist aus der
DE 10 2005 021 671 A1 eine Vorrichtung zur Sichtbarmachung der Umgebung eines Kraftfahrzeugs bei Dunkelheit mit einer eine Kamera aufweisenden Kameravorrichtung zum Bereitstellen eines Abbilds der Umgebung bekannt. Der Kameravorrichtung ist eine mechanisch wirkende Reinigungsvorrichtung zugeordnet, die einen Strahlungseintrittsbereich, insbesondere eine Objektivoberfläche, der Kamera unmittelbar von Verunreinigungen zu befreien vermag. Zum Erfassen einer Verschmutzung ist ein Schmutzsensor vorgesehen, wobei der Schmutzsensor in der Lage ist, Verschmutzungen und Nässe des Strahlungseintrittsbereichs getrennt zu erfassen. Alternativ erfolgt die sensorische Überwachung der Verschmutzung mittels der Kameravorrichtung, indem diese eine Qualität der von ihr aufgenommenen Bilder auswertet.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren und eine verbesserte Vorrichtung zur Erfassung von Feuchtigkeit und/oder einer Verschmutzung auf einer Außenseite einer Abdeckung, insbesondere eines Kameraobjektivs, eines Bildsensors einer Kamera sowie eine Verwendung einer solchen Vorrichtung anzugeben.
-
Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale, hinsichtlich der Vorrichtung durch die im Anspruch 4 angegebenen Merkmale und hinsichtlich der Verwendung durch die im Anspruch 5 angegebenen Merkmale gelöst.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In dem Verfahren zur Erfassung von Feuchtigkeit und/oder einer Verschmutzung auf einer Außenseite einer Abdeckung, insbesondere auf einem Kameraobjektiv, eines Bildsensors einer an einem Fahrzeug angeordneten Kamera anhand einer Auswertung mittels der Kamera erfasster Bilder werden erfindungsgemäß während einer Bewegung des Fahrzeugs mittels der Kamera zeitlich nacheinander Bilder einer Fahrzeugumgebung erfasst und Korrespondenzen von Merkmalen in den zeitlich nacheinander erfassten Bildern ermittelt. Anhand einer Verteilung und/oder Positionierung der Korrespondenzen in den Bildern über einen vorgegebenen Zeitraum wird ein Vorhandensein von Feuchtigkeit und/oder einer Verschmutzung detektiert.
-
Das Verfahren ermöglicht in einfacher und zuverlässiger Weise die Erfassung von Feuchtigkeit und/oder einer Verschmutzung auf dem Kameraobjektiv ohne das Erfordernis eines zusätzlichen Sensors. Hierdurch wird eine erhöhte Verfügbarkeit von auf den mittels der Kamera erfassten Bildern basierenden Fahrzeugfunktionen und/oder Fahrerassistenzfunktion erreicht. Weiterhin können aufgrund der zuverlässigen Erfassung eine bedarfsgerechte und ebenfalls zuverlässige automatische Reinigung des Kameraobjektivs und/oder eine bedarfsgerechte und zuverlässige Benachrichtigung, insbesondere eine Fahrerbenachrichtigung, realisiert werden.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
-
1 schematisch eine perspektivische Ansicht auf eine Unterseite eines Außenspiegels eines Fahrzeugs mit einer Kamera,
-
2 schematisch eine perspektivische Ansicht eines Ausschnitts eines Fahrzeugs im Bereich des Außenspiegels gemäß 1,
-
3 schematisch eine Frontansicht des Fahrzeugs gemäß 2 sowie ein auf eine Bodenebene projiziertes Bild der Kamera,
-
4 schematisch einen Ausschnitt des auf die Bodenebene projizierten Bildes gemäß 3 sowie eine Auswertung des Bildes in einem vorgegebenen Bildbereich,
-
5 schematisch eine Häufigkeitsverteilung von Korrespondenzen von Merkmalen mit unverschmutzter Kamera, und
-
6 schematisch eine Häufigkeitsverteilung von Korrespondenzen von Merkmalen mit verschmutzter Kamera.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
In den 1 und 2 ist in verschiedenen perspektivischen Ansichten ein Außenspiegel 1 eines Fahrzeugs 2 in einem Ausschnitt des Fahrzeugs 2 dargestellt, wobei an einer Unterseite des Außenspiegels 1 eine in Richtung einer Fahrbahn gerichtete Kamera 3 angeordnet ist. Der Außenspiegel 1 ist dabei mit der Kamera 3 an einer Längsseite des Fahrzeugs 2 angeordnet. Die folgende Beschreibung zur 1 und den weiteren 2 bis 6 ist dabei nicht auf die im Außenspiegel 1 des Fahrzeugs 2 angeordnete Kamera 3 beschränkt, sondern trifft analog auch auf andere am Fahrzeug 2 angeordnete, nicht näher dargestellte Kameras und Bilderfassungseinheiten, beispielsweise weitere Außenspiegelkameras, Rückfahrkameras und Frontkameras, zu.
-
Die Kamera 3 ist zur Erfassung einer Fahrzeugumgebung vorgesehen und Bestandteil einer nicht gezeigten Fahrerassistenzvorrichtung zur Fahrspurerkennung, zur Erfassung einer Fahrdynamik des Fahrzeugs 2 und/oder zur Unterstützung eines Fahrers bei einem Einparkvorgang. Bei einer Verwendung der Kamera 3 zur Unterstützung des Fahrers bei einem Einparkvorgang sind mittels dieser insbesondere Bilddaten erzeugbar, welche zur Darstellung einer Fahrzeugumgebung aus einer Vogelperspektive, auch als Surroundview-Funktionalität bezeichnet, verwendet werden. Hierzu umfasst die Kamera 3 in nicht näher dargestellter Weise ein als so genanntes Fischaugenobjektiv ausgebildetes Kameraobjektiv.
-
Aufgrund der Ausbildung des Kameraobjektivs der Kamera 3 als Fischaugenobjektiv weist die Kamera 3 einen verhältnismäßig großen und in 3 näher dargestellten Erfassungsbereich E1 auf. Die Darstellungen der Fahrzeugumgebung mit einem mittels der Kamera 3 erfassten Bild sind jedoch aufgrund der optischen Eigenschaften der Fischaugenobjektive verzerrt.
-
Eine Entzerrung des Bildes im Bereich einer Bodenebene erfolgt in allgemein bekannter Weise durch Projektion des Bildes auf eine virtuelle Bodenebene, wodurch ein in 3 dargestelltes projiziertes Bild PB erzeugt wird.
-
Diese Projektion des Bildes auf die virtuelle Bodenebene erfolgt in allgemein bekannter Weise unter Berücksichtigung von extrinsischen und intrinsischen Parametern der Kamera 3, so dass das projizierte Bild PB im Bereich der Bodenebene entzerrt dargestellt ist. Dabei ist es besonders vorteilhaft, dass aufgrund der Anordnung der Kamera 3 im Außenspiegel 1 stets ein Abstand der Kamera 3 zum relativ zur Kamera 3 statisch angeordneten Boden bekannt ist. Durch diese Entzerrung werden aus den optischen Eigenschaften resultierende Verzerrungen des Bildes im Bereich der Bodenebene entzerrt.
-
Unter intrinsischen Parametern werden dabei interne Parameter der Kamera 3, insbesondere Parameter des Kameraobjektivs der Kamera 3 und Parameter eines Bildsensors der Kamera 3 verstanden, welche beispielsweise einen Hauptpunkt, eine Brennweite, Aberrationen des Kameraobjektivs, radiale Verzeichnungen erster und höherer Ordnung, eine Bildpunkt- oder Pixelgröße, d. h. eine Bildauflösung, tangentiale Verzerrungen und weitere interne Parameter umfassen.
-
Unter extrinsischen Parametern der Kamera 3 werden dabei so genannte Einbauparameter verstanden, welche eine Relation der Kamera 3 zu deren Umgebung darstellen und in Abhängigkeit einer Anordnung der Kamera 3 am oder im Fahrzeug 2 durch drei nicht näher dargestellte Raumkoordinaten und drei ebenfalls nicht näher dargestellte Richtungswinkel gekennzeichnet sind.
-
Bei der Verwendung der Kamera 3 für eine Fahrerassistenzvorrichtung zur Fahrspurerkennung, zur Erfassung einer Fahrdynamik des Fahrzeugs 2 und/oder zur Unterstützung eines Fahrers bei einem Einparkvorgang ist eine zuverlässige und eine möglichst fehlerfreie Erfassung und Vermessung der Fahrzeugumgebung erforderlich.
-
Eine zuverlässige und möglichst fehlerfreie Erfassung kann jedoch durch Verschmutzungen V, wie beispielsweise Salzrückstände, und/oder Feuchtigkeit F im Bereich einer Außenseite einer Abdeckung eines Bildsensors der Kamera 3, insbesondere im Bereich einer Außenseite des Kameraobjektivs, beeinträchtigt werden.
-
3 zeigt eine Frontansicht des Fahrzeugs 2 sowie ein auf eine Bodenebene projiziertes Bild PB der Kamera 3, wobei das projizierte Bild PB einen Ausschnitt der Fahrzeugumgebung sowie einen Anschnitt des Fahrzeugs 2 mit einem Vorderrad 2.1 und einem Hinterrad 2.2 aus einer Vogelperspektive zeigt.
-
Eine in der Bodenebene befindliche Straßenoberfläche wird mittels der Kamera 3 signaltheoretisch als so genanntes ”weißes Rauschen” erfasst, dessen Informationsgehalt sich für das Wiedererkennen von Mustern eignet. Diese Informationen werden beim so genannten ”optischen Lokalisieren” und bei so genannten ”optischen Eigenbewegungsvermessungen” verwendet.
-
Das optische Lokalisieren basiert dabei auf einer Detektion von Bodenmerkmalen, beispielsweise diskriminative Beschreibungen beliebiger Punktmuster eines Asphalts, Betons, Garagenbodens, von Flecken oder weiteren Oberflächen. Die Lokalisierung wird anhand in zeitlich nacheinander erfassten Bildern der Kamera 3 ermittelter korrespondierender Merkmale und/oder durch einen Vergleich von aktuell erfassten Merkmalen und in einer Datenbank gespeicherten Merkmalen durchgeführt. Statistisch gesehen treten solche in 4 näher dargestellte Korrespondenzen K1 bis Kn der Merkmale über die Zeit bei nicht gestörten Sichtstrahlen, d. h. bei unverschmutzter und nicht mit Feuchtigkeit F behafteter Abdeckung der Kamera 3 in einen Vermessungsbereich des Bildes gleichverteilt auf.
-
Aufgrund einer zum Rand des Erfassungsbereichs E1 der Kamera 3 zunehmenden Unschärfe ist nur ein vorgegebener Abschnitt E1' des Erfassungsbereichs E1 und daraus folgend ein vorgegebener Bildbereich ROI, auch als Region of Interest bezeichnet, zu oben genannter Ermittlung und Auswertung von Korrespondenzen K1 bis Kn im projizierten Bild PB geeignet.
-
Eine solche Ermittlung von Korrespondenzen K1 bis Kn in einem vorgegebenen Bildbereich ROI zeigt 4.
-
Innerhalb des Bildbereichs ROI ermittelte Korrespondenzen K1 bis Kn zeitlich nacheinander erfasster Bilder der Kamera 3 werden über mehrere Zeitschritte in einem Häufigkeitsakkumulator H abgetragen, so dass eine Häufigkeitsverteilung der Korrespondenzen K1 bis Kn gebildet wird.
-
Hierbei wird in einem so genannten Grid des Häufigkeitsakkumulators H für jeden Zeitschritt eine Anzahl der gefundenen Korrespondenzen K1 bis Kn abgetragen und gespeichert.
-
In 5 ist ein Häufigkeitsakkumulator H mit einer Häufigkeitsverteilung von Korrespondenzen K1 bis Kn von Merkmalen dargestellt, welche typisch für eine unverschmutzte Abdeckung des Bildsensors der Kamera 3 ist. Eine solche über eine Vielzahl von Zeitschritten erzeugte Häufigkeitsverteilung zeichnet sich dabei durch im Wesentlichen gleichmäßige Häufigkeiten benachbarter Bereiche aus.
-
Bei starken Ungleichheiten von Häufigkeiten in verschiedenen, insbesondere benachbarten Bereichen, wird ein Vorhandensein von Feuchtigkeit F und/oder einer Verschmutzung V detektiert.
-
Einen Häufigkeitsakkumulator H mit einer Häufigkeitsverteilung von Korrespondenzen K1 bis Kn von Merkmalen, welche typisch für eine verschmutzte und/oder mit Feuchtigkeit F behaftete Abdeckung des Bildsensors der Kamera 3 ist, zeigt 6, wobei in einem oberen linken Bereich des Häufigkeitsakkumulators H und somit im Bildbereich ROI eine Häufigkeit von Korrespondenzen K1 bis Kn signifikant geringer ist als in den übrigen Bereichen des Häufigkeitsakkumulators H.
-
Diese Ungleichheit der Häufigkeit der Korrespondenzen K1 bis Kn resultiert aus dem Umstand, dass an Stellen mit Verschmutzungen V und/oder Feuchtigkeit F weniger Korrespondenzen K1 bis Kn ermittelt werden oder keine Korrespondenzen K1 bis Kn von Merkmalen vorliegen. Somit kann anhand einer Verteilung und/oder Positionierung der Korrespondenzen K1 bis Kn in den Bildern über einen vorgegebenen Zeitraum das Vorhandensein von Feuchtigkeit F und/oder von Verschmutzungen V detektiert werden.
-
Aufgrund der somit erfassten Feuchtigkeit F und/oder Verschmutzung V ist es möglich, eine Reinigungsvorrichtung zur automatischen Reinigung der Abdeckung der Kamera 3 entsprechend anzusteuern und/oder eine Benachrichtigung, insbesondere eine Fahrerbenachrichtigung, auszugeben, welche einen Nutzer des Fahrzeugs 2 auf die Feuchtigkeit F und/oder Verschmutzung V hinweist.
-
Auch bei einer Anwendung der Kamera 3 als Heckkamera oder Frontkamera ist das beschriebene Verfahren anwendbar, da in mittels einer Heckkamera oder Frontkamera erfassten Bildern zumindest in Bildbereichen unterhalb des Horizonts eine Gleichverteilung von Korrespondenzen K1 bis Kn vorliegt und somit Feuchtigkeit F und eine Verschmutzung V auf der Abdeckung der Kamera 3 erfasst werden können. Zur Detektion wird der auszuwertende Bildbereich ROI insbesondere unterhalb des Horizonts gewählt.
-
Bezugszeichenliste
-
- 1
- Außenspiegel
- 2
- Fahrzeug
- 2.1
- Vorderrad
- 2.2
- Hinterrad
- 3
- Kamera
- E1
- Erfassungsbereich
- E1'
- Abschnitt
- F
- Feuchtigkeit
- H
- Häufigkeitsakkumulator
- K1 bis Kn
- Korrespondenz
- PB
- projiziertes Bild
- ROI
- Bildbereich
- V
- Verschmutzung
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102004048346 A1 [0004]
- DE 102005021671 A1 [0005]
