DE102011013527A1

DE102011013527A1 - Method and device for detecting water on a vehicle window

Info

Publication number: DE102011013527A1
Application number: DE102011013527A
Authority: DE
Inventors: Dr. rer. nat. Gehrig Stefan; Dipl.-Inf. Hahn Stefan
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2011-03-10
Filing date: 2011-03-10
Publication date: 2012-01-05
Also published as: WO2012119627A1

Abstract

Die Erfindung betrifft ein Verfahren zur Ermittlung von Wasser auf einer Fahrzeugscheibe (2). Erfindungsgemäß werden mittels einer in einem Fahrzeuginnenraum hinter der Fahrzeugscheibe (2) angeordneten Bilderfassungsanordnung (3) durch zumindest zwei Bereiche der Fahrzeugscheibe (2) hindurch über einen Zeitraum hinweg eine Mehrzahl von Einzelbildern erfasst und durch eine stereoskopische Bildauswertung jeweils gleichzeitig erfasster Einzelbilder korrespondierende Bildpunkte und/oder korrespondierende Bildbereiche in den Einzelbildern ermittelt. Auf Grundlage einer zeitlichen Auswertung eines Ähnlichkeitsverlaufes der korrespondierenden Bildpunkte und/oder korrespondierenden Bildbereiche in nachfolgend erfassten Einzelbildern wird ein Auftreffen von Wasser auf die Fahrzeugscheibe (2) dann ermittelt, wenn sich die Ähnlichkeit korrespondierender Bildpunkte und/oder korrespondierender Bildbereiche im zeitlichen Verlauf verringert. Des Weiteren betrifft die Erfindung eine Vorrichtung zur Durchführung des Verfahrens.The invention relates to a method for determining water on a vehicle window (2). According to the invention, by means of an image acquisition arrangement (3) arranged in a vehicle interior behind the vehicle window (2) through at least two areas of the vehicle window (2) over a period of time, a plurality of individual images are recorded and, by means of a stereoscopic image evaluation, corresponding image points and / or or corresponding image areas are determined in the individual images. On the basis of a temporal evaluation of a similarity curve of the corresponding image points and / or corresponding image areas in subsequently recorded individual images, an impact of water on the vehicle window (2) is determined when the similarity of corresponding image points and / or corresponding image areas decreases over time. The invention also relates to a device for carrying out the method.

Description

Die Erfindung betrifft ein Verfahren zur Ermittlung von Wasser auf einer Fahrzeugscheibe nach den Merkmalen des Oberbegriffs des Anspruchs 1 und eine Vorrichtung zur Durchführung des Verfahrens nach den Merkmalen des Oberbegriffs des Anspruchs 5.The invention relates to a method for determining water on a vehicle window according to the features of the preamble of claim 1 and to an apparatus for carrying out the method according to the features of the preamble of claim 5.

Aus dem Stand der Technik ist, wie in der DE 10 2006 016 774 A1 beschrieben, ein Regensensor bekannt. Der Regensensor ist in einem Fahrzeug angeordnet und umfasst eine Kamera und einen Prozessor. Die Kamera nimmt durch eine Windschutzscheibe des Fahrzeugs ein Bild einer Szene außerhalb des Fahrzeugs mit einer unendlichen Brennweite auf. Der Prozessor erfasst Regen auf der Grundlage eines Streuungsgrades von Intensitäten von Pixeln in dem Bild gegenüber einer durchschnittlichen Intensität von Pixeln.From the prior art, as in the DE 10 2006 016 774 A1 described, a rain sensor known. The rain sensor is disposed in a vehicle and includes a camera and a processor. The camera takes an image of a scene outside the vehicle with an infinite focal length through a windshield of the vehicle. The processor detects rain based on a degree of scattering of intensities of pixels in the image against an average intensity of pixels.

Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zur Ermittlung von Wasser auf einer Fahrzeugscheibe und eine Vorrichtung zur Durchführung des Verfahrens anzugeben.The invention has for its object to provide an improved method for detecting water on a vehicle window and an apparatus for performing the method.

Die Aufgabe wird erfindungsgemäß durch ein Verfahren zur Ermittlung von Wasser auf einer Fahrzeugscheibe mit den Merkmalen des Anspruchs 1 und eine Vorrichtung zur Durchführung des Verfahrens mit den Merkmalen des Anspruchs 5 gelöst.The object is achieved by a method for detecting water on a vehicle window with the features of claim 1 and an apparatus for performing the method with the features of claim 5.

Bevorzugte Ausgestaltungen und Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.Preferred embodiments and further developments of the invention are specified in the dependent claims.

In einem Verfahren zur Ermittlung von Wasser auf einer Fahrzeugscheibe werden erfindungsgemäß mittels einer in einem Fahrzeuginnenraum hinter der Fahrzeugscheibe angeordneten Bilderfassungsanordnung durch zumindest zwei Bereiche der Fahrzeugscheibe hindurch über einen Zeitraum hinweg eine Mehrzahl von Einzelbildern erfasst und durch eine stereoskopische Bildauswertung jeweils gleichzeitig erfasster Einzelbilder korrespondierende Bildpunkte und/oder korrespondierende Bildbereiche in den Einzelbildern ermittelt. Auf Grundlage einer zeitlichen Auswertung eines Ähnlichkeitsverlaufes der korrespondierenden Bildpunkte und/oder korrespondierenden Bildbereiche in nachfolgend erfassten Einzelbildern wird ein Auftreffen von Wasser auf die Fahrzeugscheibe dann ermittelt, wenn sich die Ähnlichkeit korrespondierender Bildpunkte und/oder korrespondierender Bildbereiche im zeitlichen Verlauf verringert.In a method for determining water on a vehicle window, a plurality of individual images are captured by at least two regions of the vehicle window over a period of time by means of an image capture arrangement arranged in a vehicle interior behind the vehicle window and corresponding pixels and stereoscopic image evaluations of simultaneously acquired individual images / or corresponding image areas determined in the individual images. On the basis of a temporal evaluation of a similarity course of the corresponding pixels and / or corresponding image areas in subsequently acquired individual images, an impact of water on the vehicle window is determined when the similarity of corresponding pixels and / or corresponding image areas decreases over time.

Mittels dieses Verfahrens ist die Bilderfassungsanordnung, welche vorzugsweise eine Stereokamera ist, als ein Regensensor verwendbar, wobei auf der Fahrzeugscheibe neben Wasser, selbstverständlich auch in anderen Aggregatzuständen, beispielsweise als Schnee oder Eis, auch andere Partikel oder Stoffe, beispielsweise Schmutz ermittelbar sind. Durch eine Kopplung der Bilderfassungsanordnung bzw. einer Auswerteeinheit, in welcher die von der Bilderfassungsanordnung erfassten Einzelbilder ausgewertet werden, mit einer Steuereinheit einer Scheibenreinigungsanlage des Fahrzeugs, insbesondere von Scheibenwischern des Fahrzeugs, ist die Scheibenreinigungsanlage derart ansteuerbar, dass die Fahrzeugscheibe bei Regen und/oder Verschmutzungen automatisch, d. h. ohne einen zusätzlichen Eingriff eines Fahrzeugführers, ordnungsgemäß gereinigt wird.By means of this method, the image acquisition device, which is preferably a stereo camera, can be used as a rain sensor, whereby other particles or substances, for example dirt, can be determined on the vehicle window in addition to water, of course also in other states of aggregation, for example as snow or ice. By coupling the image acquisition device or an evaluation unit, in which the captured by the image acquisition assembly images are evaluated, with a control unit of a windscreen cleaning system of the vehicle, in particular windscreen wipers of the vehicle, the windscreen cleaning system is controlled such that the vehicle window in case of rain and / or dirt automatically, d. H. is cleaned properly without any additional intervention by a driver.

Die für diese Zwecke verwendete Bilderfassungsanordnung ist vorzugsweise eine bereits für andere Einsatzzwecke verwendete und daher ohnehin im Fahrzeug im Bereich der Fahrzeugscheibe, vorzugsweise im Bereich der Frontscheibe verbaute Bilderfassungsanordnung. Derartige Bilderfassungsanordnungen werden beispielsweise für eine Umgebungsüberwachung des Fahrzeugs verwendet, zum Beispiel zur Hinderniserkennung und Kollisionsvermeidung. Durch die Verwendung dieser Bilderfassungsanordnung auch zur Ermittlung von Wasser auf der Fahrzeugscheibe ist kein zusätzlicher Regensensor erforderlich, welcher mit der Bilderfassungsanordnung um einen Bauraum hinter der Fahrzeugscheibe, üblicherweise im Bereich eines Innenspiegels, konkurrieren würde, so dass der dort vorhandene Bauraum optimal für die Bilderfassungsanordnung nutzbar ist und keine weiteren Bereiche der Fahrzeugscheibe verdeckt werden, d. h. insbesondere ein Sichtfeld des Fahrzeugführers wird auf diese Weise nicht eingeschränkt. Des Weiteren werden durch diese Einsparung eines zusätzlichen Regensensors Kosten des Fahrzeugs und zusätzlich eine Komplexität von Assistenzvorrichtungen des Fahrzeugs reduziert.The image acquisition device used for this purpose is preferably an image capture device already used for other purposes and therefore already installed in the vehicle in the area of the vehicle window, preferably in the region of the windscreen. Such image acquisition devices are used, for example, for environmental monitoring of the vehicle, for example for obstacle detection and collision avoidance. By using this image acquisition arrangement also for the determination of water on the vehicle window no additional rain sensor is required, which would compete with the image acquisition arrangement by a space behind the vehicle window, usually in the region of an interior mirror, so that the space available there optimally usable for the image acquisition device is and no further areas of the vehicle window are hidden, d. H. in particular, a field of vision of the driver is not restricted in this way. Furthermore, this saving of an additional rain sensor reduces vehicle costs and, in addition, complexity of vehicle assistance devices.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.Embodiments of the invention will be explained in more detail below with reference to a drawing.

Dabei zeigt:Showing:

1 ein Fahrzeug mit einer Vorrichtung zur Durchführung eines Verfahrens zur Ermittlung von Wasser auf einer Fahrzeugscheibe. 1 a vehicle with a device for carrying out a method for determining water on a vehicle window.

1 zeigt ein Fahrzeug 1 mit einer Vorrichtung zur Durchführung eines Verfahrens zur Ermittlung von Wasser auf einer Fahrzeugscheibe 2. Die Vorrichtung umfasst eine in einem Fahrzeuginnenraum hinter der Fahrzeugscheibe 2, d. h. hinter einer Frontscheibe des Fahrzeugs 1 angeordnete Bilderfassungsanordnung 3, mittels welcher durch zumindest zwei Bereiche der Fahrzeugscheibe 2 hindurch Einzelbilder erfassbar sind. Zu diesem Zweck ist die Bilderfassungsanordnung 3 vorzugsweise als eine Stereokamera ausgebildet, mittels welcher Einzelbilder auf zumindest zwei optischen Pfaden erfassbar sind, d. h. eine Szenerie ist gleichzeitig in Einzelbildern aus zumindest zwei unterschiedlichen Perspektiven erfassbar. Die Bilderfassungsanordnung 3 kann aber beispielsweise auch eine Mehrzahl von Einzelkameras umfassen. Zur Bildauswertung der von der Bilderfassungsanordnung 3 erfassten Einzelbilder, insbesondere zur stereoskopischen Bildauswertung, ist die Bilderfassungsanordnung 3 mit einer Auswerteeinheit 4 gekoppelt. 1 shows a vehicle 1 with a device for carrying out a method for determining water on a vehicle window 2 , The device comprises one in a vehicle interior behind the vehicle window 2 ie behind a windshield of the vehicle 1 arranged image capture arrangement 3 , by means of which by at least two areas of the vehicle window 2 through frames are detected. To this end is the image capture arrangement 3 Preferably, it is designed as a stereo camera, by means of which individual images can be detected on at least two optical paths, ie a scene can be detected simultaneously in individual images from at least two different perspectives. The picture-taking arrangement 3 but may for example include a plurality of individual cameras. For image analysis of the image capture arrangement 3 Captured individual images, in particular for stereoscopic image analysis, is the image capture device 3 with an evaluation unit 4 coupled.

Im Verfahren zur Ermittlung von Wasser auf der Fahrzeugscheibe 2, wobei neben Wasser in verschiedenen Aggregatzuständen, beispielsweise auch als Eis oder Schnee, auch andere Partikel oder Stoffe, zum Beispiel Schmutz ermittelt werden können, werden mittels der Bilderfassungsanordnung 3 durch die zumindest zwei verschiedenen Bereiche der Fahrzeugscheibe 2 hindurch über einen Zeitraum hinweg eine Mehrzahl von Einzelbildern erfasst und durch eine stereoskopische Bildauswertung jeweils gleichzeitig erfasster Einzelbilder korrespondierende Bildpunkte und/oder korrespondierende Bildbereiche in den Einzelbildern ermittelt. Diese korrespondierenden Bildpunkte bzw. Bildbereiche weisen, da sie jeweils den gleichen Bereich einer aufgenommenen Szenerie aus unterschiedlichen Perspektiven darstellen, unter optimalen Aufnahmebedingungen eine sehr hohe Ähnlichkeit auf. Die optimalen Aufnahmebedingungen beziehen sich dabei insbesondere auf ein von äußeren Einflüssen ungestörtes Sichtfeld, insbesondere auf eine klare und ungestörte Sicht durch die Fahrzeugscheibe 2 hindurch, so dass optische Pfade der Bilderfassungsanordnung 3 durch die Fahrzeugscheibe 2 hindurch nicht gestört sind.In the process of detecting water on the vehicle window 2 , wherein in addition to water in different states of aggregation, for example, as ice or snow, other particles or substances, for example, dirt can be determined by the image detection device 3 through the at least two different areas of the vehicle window 2 through a plurality of individual images detected and determined by a stereoscopic image evaluation of each simultaneously detected individual images corresponding pixels and / or corresponding image areas in the individual images. These corresponding image points or image areas, since they each represent the same area of a recorded scene from different perspectives, have a very high similarity under optimal recording conditions. The optimum recording conditions relate in particular to an undisturbed by external influences field of view, in particular to a clear and undisturbed view through the vehicle window 2 through, making optical paths of the imaging assembly 3 through the vehicle window 2 through are not disturbed.

Wird diese Sicht durch beispielsweise Wasser auf der Fahrzeugscheibe 2, zum Beispiel Regentropfen oder Schnee, oder durch Schmutzpartikel gestört, so wird die Ähnlichkeit zwischen den korrespondierenden Bildpunkten bzw. Bildbereichen der jeweiligen gleichzeitig erfassten Einzelbilder aufgrund von Lichtreflexionen, Lichtbrechungen und/oder Lichtundurchlässigkeiten, verursacht durch das Wasser oder den Schmutz auf der Fahrzeugscheibe 2, deutlich verringert. Beispielsweise weist der erste Bereich der Fahrzeugscheibe 2, durch welchen das erste Einzelbild erfasst wird, einen Regentropfen auf, so dass die Erfassung der Szenerie im ersten Einzelbild durch den Regentropfen gestört ist, da der Regentropfen den optischen Pfad zwischen der Bilderfassungsanordnung 3 und der zu erfassenden Szenerie stört. Der zweite Bereich der Fahrzeugscheibe 2, durch welchen gleichzeitig das jeweils andere, zweite Einzelbild erfasst wird, weist den selben Regentropfen nicht auf, so dass die Szenerie im zweiten Einzelbild ungestört erfasst wird, da hier der optische Pfad nicht gestört ist. Durch die stereoskopische Auswertung der gleichzeitig erfassten Einzelbilder aus zwei Perspektiven sind dann zwar die korrespondierenden Bildpunkte und/oder Bildbereiche noch immer ermittelbar, sie weisen jedoch eine wesentlich geringere Ähnlichkeit auf als unter optimalen Bedingungen, d. h. bei trockener, klarer und optimal durchsichtiger Fahrzeugscheibe 2 ohne Störungen des jeweiligen optischen Pfades.Is this view through, for example, water on the vehicle window 2 , For example, raindrops or snow, or disturbed by dirt particles, the similarity between the corresponding pixels or image areas of the respective simultaneously captured frames due to light reflections, refractions and / or opaque, caused by the water or dirt on the vehicle window 2 , significantly reduced. For example, the first area of the vehicle window 2 , by which the first frame is detected, a raindrop, so that the detection of the scene in the first frame is disturbed by the raindrop, since the raindrop the optical path between the image sensing device 3 and disturbs the scene to be captured. The second area of the vehicle window 2 , by which the other, the second single image is detected at the same time, does not have the same raindrop, so that the scene in the second frame is detected undisturbed, since the optical path is not disturbed here. Although the corresponding pixels and / or image areas are then still detectable by the stereoscopic evaluation of the simultaneously acquired individual images from two perspectives, they have a much lower similarity than under optimal conditions, ie with a dry, clear and optimally transparent vehicle window 2 without disturbances of the respective optical path.

Dieser Effekt wird zur Ermittlung von Wasser, beispielsweise Regentropfen oder Schnee, oder von anderen Substanzen auf der Fahrzeugscheibe 2 genutzt. Auf diese Weise ist die Bilderfassungsanordnung 3, bei welcher es sich vorzugsweise um eine bereits für andere Zwecke, zum Beispiel für eine Umgebungserfassung verwendete und daher ohnehin im Fahrzeug 1 verbaute Bilderfassungsanordnung 3 handelt, als Regensensor nutzbar. Durch eine Kopplung der Bilderfassungsanordnung 3 bzw. der Auswerteeinheit 4 mit einer hier nicht näher dargestellten Steuereinheit einer Scheibenreinigungsanlage des Fahrzeugs 1, insbesondere von Scheibenwischern des Fahrzeugs 1, ist die Scheibenreinigungsanlage derart ansteuerbar, dass die Fahrzeugscheibe 2 bei Regen und/oder Verschmutzungen automatisch, d. h. ohne einen zusätzlichen Eingriff eines Fahrzeugführers, ordnungsgemäß gereinigt wird.This effect is used to detect water, such as raindrops or snow, or other substances on the vehicle window 2 used. In this way, the image capture assembly 3 in which it is preferably one already used for other purposes, for example for environmental detection and therefore anyway in the vehicle 1 built-in image capture assembly 3 acts as a rain sensor usable. By coupling the image capture device 3 or the evaluation unit 4 with a control unit, not shown, of a windscreen cleaning system of the vehicle 1 , in particular windscreen wipers of the vehicle 1 , the windscreen cleaning system is controlled such that the vehicle window 2 in case of rain and / or dirt automatically, ie without an additional intervention of a driver, properly cleaned.

Durch die Verwendung dieser Bilderfassungsanordnung 3, welche beispielsweise zur Objekterfassung und Kollisionsvermeidung verwendet wird, auch zur Ermittlung von Wasser auf der Fahrzeugscheibe 2, ist kein zusätzlicher Regensensor erforderlich, welcher mit der Bilderfassungsanordnung 3 um einen Bauraum hinter der Fahrzeugscheibe 2, üblicherweise im Bereich eines Innenspiegels, konkurrieren würde, so dass der dort vorhandene Bauraum optimal für die Bilderfassungsanordnung 3 nutzbar ist und keine weiteren Bereiche der Fahrzeugscheibe 2 verdeckt werden, d. h. insbesondere ein Sichtfeld des Fahrzeugführers wird auf diese Weise nicht eingeschränkt. Des Weiteren werden durch diese Einsparung eines zusätzlichen Regensensors Kosten des Fahrzeugs 1 und zusätzlich eine Komplexität von Assistenzvorrichtungen des Fahrzeugs 1 reduziert.By using this image capture assembly 3 , which is used for example for object detection and collision avoidance, also for the determination of water on the vehicle window 2 , no additional rain sensor is required, which with the image capture assembly 3 around a space behind the vehicle window 2 , usually in the region of an interior mirror, would compete, so that the space available there optimally for the image capture arrangement 3 is usable and no other areas of the vehicle window 2 be covered, ie in particular a field of view of the driver is not limited in this way. Furthermore, this saving of an additional rain sensor costs the vehicle 1 and additionally a complexity of assistance devices of the vehicle 1 reduced.

Im Verfahren zur Ermittlung von Wasser auf der Fahrzeugscheibe 2 werden unter Ausnutzung des Effektes der verringerten Ähnlichkeit der korrespondierenden Bildpunkte und/oder Bildbereiche gleichzeitig erfasster Einzelbilder bei einer Sichtbehinderung der Bilderfassungsanordnung 3 durch Wasser oder Schmutz auf der Fahrzeugscheibe 2, wie bereits beschrieben, über einen Zeitraum hinweg durch die verschiedenen Bereiche der Fahrzeugscheibe 2 hindurch eine Mehrzahl von Einzelbildern erfasst und durch die stereoskopische Bildauswertung jeweils gleichzeitig erfasster Einzelbilder korrespondierende Bildpunkte und/oder korrespondierende Bildbereiche in den Einzelbildern ermittelt.In the process of detecting water on the vehicle window 2 are taking advantage of the effect of the reduced similarity of the corresponding pixels and / or image areas simultaneously detected individual images in a visual obstruction of the image capture device 3 through water or dirt on the vehicle window 2 as already described, over a period of time through the various areas of the vehicle window 2 through a plurality of individual images and detected by the stereoscopic image evaluation each simultaneously captured individual images corresponding pixels and / or corresponding image areas determined in the individual images.

Auf Grundlage einer zeitlichen Auswertung des Ähnlichkeitsverlaufes der korrespondierenden Bildpunkte und/oder korrespondierenden Bildbereiche in nachfolgend erfassten Einzelbildern wird ein Auftreffen von Wasser auf die Fahrzeugscheibe 2 dann ermittelt, wenn sich die Ähnlichkeit korrespondierender Bildpunkte und/oder korrespondierender Bildbereiche im zeitlichen Verlauf verringert. Beispielsweise werden zu einem ersten Zeitpunkt, an welchem es noch nicht regnet, Einzelbilder durch die unterschiedlichen Bereiche der Fahrzeugscheibe 2 hindurch aus zwei Perspektiven erfasst und stereoskopisch ausgewertet. Da es noch nicht regnet und sich daher auf der Fahrzeugscheibe 2 keinerlei Sichtbehinderungen für die Stereokamera, d. h. keinerlei Störungen des jeweiligen optischen Pfades zur Erfassung des jeweiligen Einzelbildes befinden, weisen die jeweils zum gleichen Zeitpunkt aufgenommenen Einzelbilder eine hohe Ähnlichkeit auf.On the basis of a temporal evaluation of the similarity course of the corresponding pixels and / or corresponding image areas in subsequently captured individual images, an impingement of water on the vehicle window 2 then determined when the similarity of corresponding pixels and / or corresponding image areas decreases over time. For example, at a first time, at which it is not raining, individual images through the different areas of the vehicle window 2 through two perspectives and evaluated stereoscopically. Since it is not raining and therefore on the vehicle window 2 no visual obstructions for the stereo camera, ie no interference of the respective optical path for capturing the respective individual image, the individual images taken at the same time exhibit a high degree of similarity.

Nachfolgend werden zu einem zweiten Zeitpunkt, an dem es bereits regnet, erneut Einzelbilder durch die beiden Bereiche der Fahrzeugscheibe 2 hindurch aus zwei Perspektiven erfasst und stereoskopisch ausgewertet. Aufgrund der Regentropfen auf der Fahrzeugscheibe 2 treten während der Erfassung der Einzelbilder durch die unterschiedlichen Bereiche der Fahrzeugscheibe 2 hindurch nun unterschiedliche Sichtbehinderungen während der Aufnahme jedes der Einzelbilder auf, da jeder der beiden optischen Pfade unterschiedlich gestört wird, so dass in der nachfolgenden stereoskopischen Bildauswertung die ermittelten korrespondierenden Bildpunkte und/oder Bildbereiche eine wesentlich geringere Ähnlichkeit aufweisen als in den vorher erfassten Einzelbildern. Auf diese Weise wird festegestellt, dass sich Regentropfen auf der Fahrzeugscheibe 2 befinden und es können entsprechend die Scheibenwischer des Fahrzeugs 1 angesteuert werden.Subsequently, at a second time, at which it is already raining, again frames through the two areas of the vehicle window 2 through two perspectives and evaluated stereoscopically. Due to raindrops on the vehicle window 2 occur during the capture of the individual images through the different areas of the vehicle window 2 now different visual obstructions during the recording of each of the individual images, since each of the two optical paths is disturbed differently, so that in the subsequent stereoscopic image evaluation, the determined corresponding pixels and / or image areas have a much lower similarity than in the previously acquired frames. In this way, it is found that raindrops on the vehicle window 2 and it can according to the wiper of the vehicle 1 be controlled.

Solange die Regentropfen durch die Scheibenwischer des Fahrzeugs 1 noch nicht entfernt werden, ist für die betreffenden korrespondierenden Bildpunkte und/oder Bildbereiche die festgestellte verringerte Ähnlichkeit konstant, da die Regentropfen auf der Fahrzeugscheibe 2 sensorfest sind, d. h. sich mit dem Fahrzeug 1 und der Stereokamera mitbewegen und daher jeweils in den selben Bildbereichen auftreten. Die Ähnlichkeitsinformationen verändern sich erst wieder durch den Einsatz der Scheibenwischer, wodurch die Ähnlichkeiten zwischen den betreffenden korrespondierenden Bildpunkten und/oder Bildbereichen wieder verbessert werden, oder durch das Auftreffen weiterer Regentropfen, wodurch die Ähnlichkeiten zwischen den betreffenden korrespondierenden Bildpunkten und/oder Bildbereichen weiter verschlechtert werden.As long as the raindrops through the windshield wipers of the vehicle 1 are not yet removed, the detected reduced similarity is constant for the relevant corresponding pixels and / or image areas, since the raindrops on the vehicle window 2 Sensorfest are, ie with the vehicle 1 and the stereo camera and therefore each occur in the same image areas. The similarity information only changes again through the use of the windshield wipers, whereby the similarities between the corresponding corresponding pixels and / or image areas are again improved, or by the impact of further raindrops, whereby the similarities between the corresponding corresponding pixels and / or image areas are further deteriorated ,

Anhand einer Anzahl der korrespondierenden Bildpunkte und/oder Bildbereiche, bei welchen die zeitliche Änderung der Ähnlichkeitsinformationen festgestellt wird, kann auf eine Stärke der Beeinträchtigungen durch den Regen während der Bilderfassung der Einzelbilder und dadurch auf die Stärke des auf die Fahrzeugscheibe 2 auftreffenden Regens geschlossen werden. Mittels dieser Informationen kann eine Geschwindigkeit bzw. ein Intervall der Scheibenwischerbetätigung automatisch entsprechend angepasst werden.Based on a number of the corresponding pixels and / or image areas, in which the temporal change of the similarity information is detected, can on a strength of the adverse effects of the rain during the image capture of the individual images and thereby on the strength of the vehicle window 2 closing rain. By means of this information, a speed or an interval of the windscreen wiper actuation can be automatically adjusted accordingly.

Sind nach dem Wischvorgang der Scheibenwischer die Regentropfen von der Fahrzeugscheibe 2 entfernt und treffen keine weiteren Regentropfen auf, weil der Regen aufgehört hat, so erhöht sich die Ähnlichkeit der korrespondierenden Bildpunkte und/oder Bildbereiche in nachfolgend aufgenommenen Einzelbildern wieder, so dass die Scheibenwischer aufgrund der gesäuberten Fahrzeugscheibe 2 automatisch wieder abgestellt werden. Bleibt die Ähnlichkeit der korrespondierenden Bildpunkte und/oder Bildbereiche in nachfolgend aufgenommenen Einzelbildern hingegen weiterhin gering, so ist auf einen anhaltenden Regen zu schließen und die Scheibenwischer bleiben weiterhin aktiviert.Are after the wiping of the windscreen wiper, the raindrops from the vehicle window 2 removed and meet no more raindrops, because the rain has stopped, so the similarity of the corresponding pixels and / or image areas increased in subsequently captured frames again, so that the windshield wipers due to the cleaned vehicle window 2 be automatically turned off again. On the other hand, if the similarity of the corresponding pixels and / or image areas in subsequently recorded individual images remains low, it is to be concluded that the rain is continuing and the windscreen wipers remain activated.

Dabei ändern sich die Ähnlichkeitsinformationen für die jeweiligen korrespondierenden Bildpunkte und/oder Bildbereiche jedoch ständig, da die Regentropfen permanent durch die Scheibenwischer entfernt werden und an anderen Stellen neue Regentropfen auftreffen. Sind die Ähnlichkeiten hingegen in bestimmten korrespondierenden Bildpunkten und/oder Bildbereichen trotz des Einsatzes der Scheibenwischer konstant verringert, so lässt dies auf stärker verschmutzte Stellen auf der Fahrzeugscheibe 2 schließen, welche nicht durch einfaches Wischen entfernt werden. Ist die Vorrichtung nicht nur mit den Scheibenwischern der Scheibenreinigungsanlage gekoppelt, um diese automatisch zu betätigen, sondern auch mit einer Pumpe zum Sprühen von Scheibenreinigungsflüssigkeit, so kann in einem derartigen Fall auch diese Pumpe automatisch aktiviert werden, um durch den Einsatz der Scheibenwischer und zusätzlich der Scheibenreinigungsflüssigkeit die Fahrzeugscheibe 2 auch von derartigen hartnäckigen Verschmutzungen automatisch zu befreien.However, the similarity information for the respective corresponding pixels and / or image areas is constantly changing as the raindrops are permanently removed by the windshield wipers and new raindrops strike at other locations. By contrast, if the similarities in certain corresponding pixels and / or image areas are constantly reduced despite the use of the windshield wipers, this leaves more heavily soiled areas on the vehicle window 2 which are not removed by simply wiping. If the device coupled not only with the windshield wipers of the windscreen cleaning system to operate them automatically, but also with a pump for spraying windscreen cleaning fluid, then in such a case, this pump can be automatically activated by the use of windscreen wipers and in addition the Windscreen cleaning fluid the vehicle window 2 also automatically rid of such stubborn dirt.

In einer vorteilhaften Ausführungsform des Verfahrens kann zusätzlich zur stereoskopischen Bildauswertung der Einzelbilder des Weiteren eine Frequenzanalyse der Einzelbilder mittels Fouriertransformation durchgeführt werden, wobei bei einer Reduzierung von Frequenzwerten in nachfolgend erfassten Einzelbildern des gleichen optischen Pfades, d. h. bei fallenden Frequenzwerten, das Auftreffen von Wasser oder anderen Partikeln auf die Fahrzeugscheibe 2 ermittelt wird. Zur Optimierung des Verfahrens und um insbesondere Positionen der Regentropfen oder anderer Partikel auf der Fahrzeugscheibe 2, beispielsweise Schnee, Eis oder Schmutzpartikel, lokalisieren zu können, wird die Frequenzanalyse vorzugsweise nicht für das gesamte Einzelbild durchgeführt, sondern die Einzelbilder werden jeweils in Bildausschnitte unterteilt und die Frequenzanalyse sowie die Auswertung des zeitlichen Frequenzverlaufs werden für jeden Bildausschnitt separat durchgeführt. Mittels der Frequenzanalyse kann auch eine Dichteermittlung durchgeführt werden, so dass beispielsweise ermittelt werden kann, ob es sich zum Beispiel um Wasser, beispielsweise in Form von Regen, um Schnee, Eis oder um Schmutzflecken auf der Fahrzeugscheibe 2 handelt.In an advantageous embodiment of the method, in addition to the stereoscopic image evaluation of the individual images, a frequency analysis of the individual images can be carried out by means of Fourier transformation, with a reduction of frequency values in subsequently acquired individual images of the same optical path, ie with falling frequency values, the impingement of water or others Particles on the vehicle window 2 is determined. To optimize the procedure and in particular positions of the Raindrops or other particles on the vehicle window 2 For example, to be able to locate snow, ice or dirt particles, the frequency analysis is preferably not performed for the entire frame but the frames are each divided into frames and the frequency analysis and the evaluation of the temporal frequency response are performed separately for each frame. By means of the frequency analysis, a density determination can also be carried out so that, for example, it can be determined whether it is, for example, water, for example in the form of rain, snow, ice or stains on the vehicle window 2 is.

Bestehen keine Sichtbehinderungen für die Bilderfassungsanordnung 3, d. h. die Sicht durch die Fahrzeugscheibe 2 ist nicht beeinträchtigt und ist im Zeitverlauf konstant, so ist ein Kontrast in aufeinander folgend aufgenommenen Einzelbildern des jeweiligen optischen Pfades relativ konstant. Treten nun Sichtbehinderungen beispielsweise durch Regentropfen auf der Fahrzeugscheibe 2 auf, so brechen die ermittelten Frequenzen ein, d. h. es erfolgt ein signifikanter Abfall der Frequenzwerte. Es werden daher für die jeweiligen Bildausschnitte die Frequenzverläufe analysiert, insbesondere die jeweiligen maximalen Frequenzwerte. Verringern sich diese im jeweiligen Bildausschnitt in zeitlich aufeinander folgenden Einzelbildern, so deutet dies auf Substanzen auf der Fahrzeugscheibe 2 hin, welche die Sicht für die Bilderfassungsanordnung 3 durch die Fahrzeugscheibe 2 hindurch behindern und dadurch den jeweiligen optischen Pfad stören, beispielsweise auf Wasser in Form von Regentropfen, auf Schnee, Eis oder Schmutzpartikel. Je weniger hohe Frequenzen zu finden sind, desto wahrscheinlicher ist das Auftreffen von Regen oder anderen den optischen Pfad behindernde Substanzen auf die Fahrzeugscheibe 2.There are no visual obstructions for the image capture assembly 3 ie the view through the vehicle window 2 is not affected and is constant over time, a contrast in consecutively captured frames of the respective optical path is relatively constant. Occur now, for example, visual obstructions by raindrops on the vehicle window 2 On, the frequencies determined break, ie there is a significant drop in the frequency values. Therefore, the frequency profiles are analyzed for the respective image sections, in particular the respective maximum frequency values. If these reduce in the respective image section in temporally successive individual images, this indicates substances on the vehicle window 2 which gives the view for the image capture assembly 3 through the vehicle window 2 hinder and thereby disturb the respective optical path, for example, water in the form of raindrops, on snow, ice or dirt particles. The less high frequencies are to be found, the more likely is the impact of rain or other obstructing the optical path substances on the vehicle window 2 ,

Durch die Einteilung der Einzelbilder in Bildausschnitte kann nun ermittelt werden, in welchen den jeweiligen Bildausschnitten zugeordneten Bereichen der Fahrzeugscheibe 2 sich diese Sichtbehinderungen befinden und wie stark diese sind. Treten beispielsweise nur in einzelnen Bildausschnitten verringerte Frequenzwerte auf, so deutet dies beispielsweise auf einige wenige Regentropfen hin. Treten die verringerten Frequenzwerte in sehr vielen der Bildausschnitte auf, so deutet dies auf starken Regen hin. Dies kann zur Ansteuerung der Scheibenwischer genutzt werden, um deren Geschwindigkeit bzw. Intervall entsprechend einzustellen. Durch die Aktivität der Scheibenwischer bessern sich die ermittelten Frequenzwerte zwischenzeitlich wieder, d. h. sie erhöhen sich bei durch die Scheibenwischer gesäuberter Fahrzeugscheibe 2 kurzzeitig wieder, brechen aber bei anhaltendem Regen durch erneut auftreffende Regentropfen in nachfolgend aufgenommenen und analysierten Einzelbildern erneut ein.By dividing the individual images into image sections, it can now be determined in which regions of the vehicle window assigned to the respective image sections 2 these obstructions are and how strong they are. If, for example, reduced frequency values occur only in individual image sections, this indicates, for example, a few raindrops. If the reduced frequency values appear in many of the image sections, this indicates heavy rainfall. This can be used to control the windscreen wipers to adjust their speed or interval accordingly. Due to the activity of the windshield wipers, the frequency values determined improve again in the meantime, ie they increase when the windscreen wiper cleans the vehicle window 2 briefly again, but break again in continuous rain by re-incident raindrops in subsequently recorded and analyzed individual images.

Diese Frequenzanalyse, welche im hier erläuterten Verfahren zusätzlich zur stereoskopischen Auswertung der Einzelbilder durchgeführt wird, kann alternativ auch unabhängig von dieser stereoskopischen Auswertung durchgeführt werden, da auch bereits durch die Frequenzanalyse allein Wasser in Form von Regen, Schnee oder Eis, oder auch andere Partikel auf der Fahrzeugscheibe 2 ermittelt werden können, durch eine Frequenzanalyse in einem Zeitraum erfasster Einzelbilder und eine Auswertung eines zeitlichen Frequenzverlaufs. Dafür wäre dann nicht unbedingt eine Stereokamera oder eine Bilderfassungsanordnung 3 mit mehreren Kameras erforderlich, sondern es ist bereits eine einzelne Kamera mit lediglich einem optischen Pfad ausreichend, da die Frequenzanalyse stets jeweils nur in nachfolgend erfassten Einzelbildern des gleichen optischen Pfades durchgeführt wird.This frequency analysis, which is carried out in the method explained here in addition to the stereoscopic evaluation of the individual images, can alternatively be carried out independently of this stereoscopic evaluation, as already by the frequency analysis alone water in the form of rain, snow or ice, or other particles on the vehicle window 2 can be determined by a frequency analysis in a period of detected frames and an evaluation of a temporal frequency response. For that would not necessarily be a stereo camera or an imaging device 3 With several cameras required, but it is already a single camera with only one optical path is sufficient, since the frequency analysis is always performed only in subsequently captured frames of the same optical path.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: Fahrzeugvehicle
22: Fahrzeugscheibevehicle window
33: BilderfassungsanordnungImage capture arrangement
44: Auswerteeinheitevaluation

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102006016774 A1 [0002]

Claims

Method for determining water on a vehicle window ( 2 ), characterized in that by means of a in a vehicle interior behind the vehicle window ( 2 ) arranged image acquisition device ( 3 ) by at least two areas of the vehicle window ( 2 ) over a period of time, a plurality of individual images is detected and determined by a stereoscopic image evaluation each simultaneously detected frames corresponding pixels and / or corresponding image areas in the individual images and that on the basis of a temporal evaluation of a similarity course of the corresponding pixels and / or corresponding image areas in subsequent captured individual images an impact of water on the vehicle window ( 2 ) is determined when the similarity of corresponding pixels and / or corresponding image areas decreases over time.

A method according to claim 1, characterized in that the individual images are detected by means of a stereo camera.

A method according to claim 1 or 2, characterized in that a frequency analysis of the individual images is performed, wherein in a reduction of frequency values in subsequently captured individual images, the impact of water on the vehicle window ( 2 ) is determined.

A method according to claim 3, characterized in that the frequency analysis is performed for a plurality of image areas of the individual images.

Device for carrying out the method according to one of claims 1 to 4, comprising one in a vehicle interior behind a vehicle window ( 2 ) arranged image acquisition arrangement ( 3 ) for capturing a plurality of individual images over a period of time through at least two regions of the vehicle window ( 2 ) and an evaluation unit ( 4 ) for the stereoscopic image evaluation of respectively simultaneously acquired individual images, in order to determine corresponding pixels and / or corresponding image areas in the individual images, and for determining an impingement of water on the vehicle window ( 2 ) on the basis of a temporal evaluation of a similarity course of the corresponding pixels and / or corresponding image areas in subsequently acquired individual images.

Device according to Claim 5, characterized in that the image acquisition device ( 3 ) is a stereo camera.