DE102005004513A1

DE102005004513A1 - Motor vehicle windscreen surface condensation detecting method, involves concluding focus width on condensation when object is identified in picture data set and when object has high picture sharpness than in picture data set

Info

Publication number: DE102005004513A1
Application number: DE200510004513
Authority: DE
Inventors: Stefan Dipl.-Inform. Hahn; Hans-Georg Dipl.-Ing. Metzler
Original assignee: DaimlerChrysler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2005-01-31
Filing date: 2005-01-31
Publication date: 2006-03-09

Abstract

The method involves changing a camera focus width between two picture recordings for detecting a condensation to choose the width such that a camera focus is found in an immediate closeness to the surface. The width is concluded on the condensation on the surface when an object is identified in a picture data set and when the object has high picture sharpness than in the set which is obtained with another focus width of the camera. An independent claim is also included for a device for detecting a condensation on a surface of a windscreen of a motor vehicle.

Description

Die Erfindung betrifft ein Verfahren und eine zur Durchführung des Verfahrens geeignete Vorrichtung zur Detektion von Niederschlägen auf der Oberfläche einer Scheibe, insbesondere auf der Windschutzscheibe eines Kraftfahrzeuges, nach dem Oberbegriff der Patentansprüche 1 und 4.The The invention relates to a method and to carrying out the Method suitable device for the detection of rainfall the surface a disc, in particular on the windshield of a motor vehicle, according to the preamble of claims 1 and 4.

Aus der Messtechnik sind eine Vielzahl von Systemen bekannt, welche mittels direkt auf einer Oberfläche aufgebrachten resistiven, kapazitiven oder thermischen Sensoren darauf befindlichen Niederschlag erkennen können.Out In metrology, a variety of systems are known which by means of directly on a surface applied resistive, capacitive or thermal sensors can detect precipitation thereon.

Systeme deren Sensoren keinen direkten Kontakt zu dem auf der zu beobachtenden Oberfläche Niederschlag aufweisen sind in der Kraftfahrzeugtechnik weit verbreitet. Hierbei handelt es sich um Systeme, oft Regensensoren genannt, welche den Niederschlag von Feuchtigkeit auf der Windschutzscheibe eines Kraftfahrzeuges detektieren sollen. Hierzu wird ein aus einer hinter der Windschutzscheibe befindlichen Sensoranordnung ein Lichtstrahl, vorzugsweise im Infrarotbereich, unter einem bestimmten Winkel von in die Fahrzeugscheibe eingekoppelt. Ein trockener Zustand der Windschutzscheibenoberfläche führt zu einer Totalreflexion des eingekoppelten Lichts, welches durch das Sensorsystem wieder empfangen wird. Durch die Benetzung der Oberfläche mit Feuchtigkeit werden die Bre chungsbedingungen der Oberfläche jedoch gestört, so dass der durch das Sensorsystem wieder empfangene Lichtanteil entsprechend geringer ausfällt, und hieraus auf einen Feuchtigkeitsniederschlag geschlossen werden kann. Hieraus wird sodann ein Steuersignal für die Scheibenwischanlage abgeleitet. Nachteilig wirkt sich bei solchen Sensorsystemen eine gewisse Einschränkung des Einbauortes aus, welche durch der Notwendigkeit des direkten optischen Kontaktes zur inneren Scheibenoberfläche bzw. von besonderen Maßnahmen zur Ein- und Auskoppelung des Lichtstrahls begründet wird.systems their sensors are not in direct contact with that on the observed surface Having precipitation are widely used in automotive engineering. These are systems, often called rain sensors, which the Precipitation of moisture on the windshield of a motor vehicle to detect. This is one from a behind the windshield located sensor array, a light beam, preferably in the infrared range, at a certain angle of coupled into the vehicle window. A dry condition of the windshield surface leads to a Total reflection of the injected light, which by the sensor system is received again. By wetting the surface with Moisture, however, becomes the breaking conditions of the surface disturbed, so that the light component received again by the sensor system correspondingly lower fails, and from this a moisture precipitate can be closed can. From this, a control signal for the windscreen wiper system is then derived. adversely Affects such sensor systems a certain limitation of Installation location, which by the need of direct optical Contact with the inner pane surface or special measures is justified for coupling and decoupling of the light beam.

In der WO 2004/007255 A2 wird ein System beschrieben, bei welchem mittels einer Videokamera Feuchtigkeitsbeschlag auf der Windschutzscheibe eines Kraftfahrzeuges erkannt werden kann. Hierzu erfolgt nach einer Fokussierung der Optik der Videokamera auf den Bereich der Oberfläche der Windschutzscheibe wenigstens eine Bildaufnahme. Im Anschluss daran werden die mittels der Bildaufnahme gewonnenen Bilddaten auf Feuchtigkeitsbeschlag hin untersucht. Hierzu wird auf a priori Wissen über die Art und Weise der Abbildungseigenschaften des zu erkennenden Niederschlages zurückgegriffen; in Bezug auf Regentropfen wird angenommen, dass diese sich in den Bilddaten als runde Objekte abbilden, während angenommen wird, dass sich von Nebel stammender Niederschlag in den Bilddaten durch die Streuung des Lichtes zu erkennen gibt, welches von Lichtquellen außerhalb des Fahrzeuges abgestrahlt wird. Da das Verfahren von a priori Wissen über die Abbildungseigenschaften des zu detektierenden Niederschlages abhängig ist, ist seine Funktion nicht besonders robust. Insbesondere Situationen, in welchen andere Objekte in den Bilddaten ähnliche Abbildungseigenschaften wie der zu detektierende Niederschlag aufweisen führen zu Fehlern, welche durch geeignete situationsadaptive Filterung vermieden werden muss.In WO 2004/007255 A2 describes a system in which by means of a video camera moisture fitting on the windshield of a Motor vehicle can be detected. This is done after a focus the optics of the video camera on the area of the surface of the Windshield at least one image capture. After that The image data obtained by means of the image acquisition are moisture-proofed examined. For this purpose, a priori knowledge about the nature of the imaging properties of the recourse to discernible precipitation; in terms of raindrops it is assumed that these are reflected in the image data as round objects, while it is assumed that precipitation originating from fog in to recognize the image data by the scattering of the light, which from light sources outside of the vehicle is radiated. Because the process of a priori knowledge of the Figure characteristics of the precipitate to be detected is dependent, its function is not very robust. In particular, situations in which other objects in the image data similar imaging properties as the precipitate to be detected lead to Errors which are avoided by suitable situation adaptive filtering must become.

Ein von einem a priori Wissen über die Abbildungseigenschaften des Feuchtigkeitsniederschlages unabhängiges Detektionsverfahren wird in der Offenlegungsschrift WO 03/097420 A1 beschrieben. Hierzu ist eine Kamera mit einem Bildsensor vorgesehen, welcher eine Vielzahl von in Array-Form angeordneten lichtempfindlichen Pixeln aufweist. Die Fokusweite der Kamera wird so gewählt, dass sich der daraus resultierende Fokuspunkt in weiter Entfernung von der zu beobachtenden Oberfläche einer Scheibe befindet. Des Weiteren ist eine mit der Kamera gekoppelte Lichtquelle zur Beleuchtung des von der Kamera erfassbaren Erfassungsbereichs der Oberfläche vorgesehen. Die Lichtquelle wird in einem vorgebbaren Ein/Aus-Zyklus geschaltet, wobei dieser Zyklus mit der Bildaufnahme der Kamera synchronisiert wird. Ein Niederschlag auf der Oberfläche der Scheibe wird sodann durch Vergleich der durch die Kamera bei ein- und ausgeschalteter Lichtquelle erfassten Bilddaten detektiert. Hierzu muss die Synchronisation zwischen Lichtquelle und Kamera jedoch so erfolgen, dass zwischen jedem Schalten der Lichtquelle die Kamera gerade ein Halbbild bzw. ein Vollbild erfasst. Auf diese Weise weist jede zweite Zeile eines Vollbildes (bei der Aufnahme von Halbbildern) oder jedes zweite Bild (bei der Aufnahme von Vollbildern) dann, wenn im Erfassungsbereich der betreffenden Pixels eine Benetzung der Scheibe zu verzeichnen ist neben der Bildinformation (Helligkeitswert) eine zusätzliche Helligkeitsinformation auf. Insbesondere in Bezug auf die Gestehungskosten des Sensorsystems wirkt sich die Notwendigkeit der Integration einer Lichtquelle mit einer mit dieser synchronisierbaren Kamera aus.One from a priori knowledge about the imaging properties of moisture precipitation independent detection method is described in the publication WO 03/097420 A1. For this a camera is provided with an image sensor which has a plurality in array form having arranged photosensitive pixels. The focus width the camera is chosen that the resulting focus point is far away from the surface to be observed a disc is located. Furthermore, one is coupled with the camera Light source for illuminating the detectable by the camera detection area the surface intended. The light source is in a predetermined on / off cycle Switched, this cycle with the image capture of the camera is synchronized. A precipitate on the surface of the The lens is then adjusted by comparing it with the camera and light source detected detected image data. This requires the synchronization between the light source and the camera however, done so that between each switching of the light source the camera is currently capturing a field or a full screen. To this Way rejects every other line of a frame (when recording of half frames) or every other picture (when taking full frames) when wetting occurs within the detection range of the respective pixels of the disc is next to the image information (brightness value) an additional Brightness information on. In particular, in relation to the cost price of the Sensorsystems affects the need to integrate a Light source with a sync with this camera.

Aufgabe der Erfindung ist es deshalb ein Verfahren und eine zur Durchführung dieses Verfahrens geeignete Vorrichtung zur Detektion von Niederschlägen auf einer Oberfläche, insbesondere auf der Oberfläche der Windschutzscheibe eines Kraft fahrzeuges, zu finden, welche kostengünstig realisierbar und unabhängig von a priori Wissen über die Abbildungseigenschaften des zu detektierenden Niederschlages ist.task The invention is therefore a method and an implementation of this Method suitable device for the detection of rainfall a surface, especially on the surface the windshield of a motor vehicle, to find which cost feasible and independently from a priori knowledge about the imaging properties of the precipitate to be detected is.

Die Aufgabe wird durch ein Verfahren und eine Vorrichtung mit den Merkmalen der Oberbegriffe der Patentansprüche 1 und 4 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind durch die Unteransprüche beschrieben.The The object is achieved by a method and a device having the features the preambles of the claims 1 and 4 solved. Advantageous embodiments and further developments of the invention are characterized by the dependent claims described.

Zur Detektion von Niederschlägen auf einer Oberfläche, insbesondere auf der Oberfläche der Windschutzscheibe eines Kraftfahrzeuges, werden mittels einer Kamera vor deren Optik sich die zu betrachtende Oberfläche befindet mehrere Bildaufnahmen gewonnen. Aus den Unterschieden in den Bilddaten von wenigstens zwei der Bildaufnahmen wird sodann auf das Vorhandensein von Niederschlag auf der Oberfläche geschlossen. In erfinderischer Weise wird hierzu die Fokusweite der Kamera wenigstens zwischen zwei zur Detektion des Niederschlags heranzuziehenden Bildaufnahmen verändert. Dabei wird zumindest eine erste Fokusweiten so gewählt, dass sich der Kamerafokus in unmittelbarer Nähe zu der Oberfläche befindet, auf welcher ein Niederschlag detektiert werden soll. Auf einen Niederschlag auf der Oberfläche wird sodann geschlossen, wenn sich zum einen in dem mit der ersten Fokusweite gewonnen Bilddatensatz Objekte erkennen lassen und wenn zum anderen diese Objekte bei dieser ersten Fokusweite eine höhere Abbildungsschärfe aufweisen, als in Bilddatensätzen, welche mit anderer Fokusweite der Kamera gewonnen wurden. Zur Veränderung der Fokusweite der Kamera ist diese mit einer Kamerasteuerung vorgesehen, welche zumindest eine erste Fokusweiten so wählt, dass sich der Kamerafokus in unmittelbarer Nähe zu der Oberfläche befindet, auf welcher ein Niederschlag detektiert werden soll, und welche die Fokusweite der Kamera zwischen we nigstens zwei zur Detektion des Niederschlages heranzuziehenden Bildaufnahmen verändert.to Detection of precipitation on a surface, especially on the surface the windshield of a motor vehicle, are by means of a Camera in front of the optics is the surface to be considered won several pictures. From the differences in image data at least two of the image recordings will then be for the presence from precipitation on the surface closed. In an inventive way this is the focus the camera at least between two to detect the precipitation altered image recordings changed. This is at least a first focal lengths chosen so that the camera focus is in close proximity to the surface, on which a precipitate is to be detected. On a precipitate on the surface is then closed when, on the one hand, in the first Focus distance won image data set recognize objects and if for other these objects have a higher image sharpness at this first focal length, as in image records, which were won with different focus of the camera. To change the focus distance of the camera is this provided with a camera control, which chooses at least a first focal lengths so that the camera focus close to the surface is located on which a precipitate is to be detected, and which the focus of the camera between at least two for detection the image of the precipitate to be taken.

Die Grundlage der Erfindung bilden Eigenschaft einer variablen Abbildungsschärfe eines Objektes, welche in unmittelbaren Zusammenhang mit der Variation der Fokussierung der bildaufnehmenden Kamera steht, ist im wesentlichen unabhängig von dessen Gestalt und Beschaffenheit. Durch diese Unabhängigkeit dieser Variabilität ist das erfindungsgemäße Verfahren auch unabhängig von a priori Wissen über den zu detektierenden Niederschlag. Da die Detektion von Niederschlägen unter Zuhilfenahme einer variabel fokussierbare Kamera keine besondere Zusatzbeleuchtung erfordert, läst sich die erfindungsgemäße Vorrichtung auch kompakt und kostengünstig fertigen.The Basis of the invention form property of a variable image sharpness of a Object, which is directly related to the variation Focusing the image-receiving camera is essentially independent of its shape and nature. Through this independence this variability is the inventive method also independent from a priori knowledge about the precipitate to be detected. Because the detection of rainfall under With the help of a variably focusable camera no special Additional lighting required, noisy the device according to the invention also compact and inexpensive finished.

Zur Objekterkennung in den einzelnen Bilddatensätzen können beliebige aus dem Stand der Technik bekannte Bildverarbeitungsalgorithmen verwandt werden. Auch zur Bestimmung der Abbildungsschärfe der erkannten Objekte kann auf bekannte Methoden zurückgegriffen werden.to Object recognition in the individual image datasets can be any of the state art known image processing algorithms are used. Also for determining the image sharpness of the detected objects resorted to known methods become.

In besonders vorteilhafter Weise wird die Kamera zur Veränderung ihrer Fokusweite mit einer Splitfokuslinse versehen. Derartige aus dem Stand der Technik bekannte Linsen sind auf einfache Weise elektrisch schaltbar und benötigen nur geringen Bauraum. Sie verfügen deshalb gegenüber aus den aus der Fotographie bekannten „split focus" Linsen über erhebliche Vorteile. Der bei „split focus" Linsen übliche Übergangsbereich größerer Unschärfe würde bei einer praktikablen Verwendung als Kameraoptik in einem Kraftfahrzeug zu einem unakzeptablen Objektivdurchmesser führen. Auch ist der für eine derartig große Versatzoptik benötigte Bauraum für eine prak tikable Fahrzeugintegration nicht gegeben. Bei der vorteilhaften Ausgestaltung der Vorrichtung mit einer Splitfokuslinse ist es denkbar diese entweder als schaltbare Nahlinse vor bestehenden Kameraoptiken zu verwenden oder aber diese direkt in ein Objektivdesign zu integrieren.In Particularly advantageous way, the camera is changing their focus width provided with a split focus lens. Such out Lenses known in the art are simply electrical switchable and need only small space. You have therefore opposite from the known from the photography "split focus" lenses on significant Advantages. The one at "split focus "lenses usual transitional area greater blur would be at a practical use as camera optics in a motor vehicle lead to an unacceptable lens diameter. Also, that is for such a size Offset optics needed Space for a practicable vehicle integration is not given. In the advantageous Embodiment of the device with a split focus lens is conceivable this either as a switchable close-up lens in front of existing camera optics or to integrate them directly into a lens design.

Durch die Verwendung einer Optik, welche es ermöglicht durch die Kamera Bildaufnahmen bei unterschiedlichen Fokusweiten zu gewinnen, wird es möglich das erfindungsgemäße System im Zeitmultiplex sowohl als Niederschlagssensor als auch als Umgebungssensor zu verwenden.By the use of optics, which allows the camera to take pictures It will be possible to win at different focal lengths inventive system in time division both as a precipitation sensor and as an environmental sensor to use.

In besonders vorteilhafter Weise bietet es sich an, die Vorrichtung zur Detektion von Niederschlägen in Verbindung mit einer Einrichtung zur Oberflächenreinigung zu stellen; bei Kraftfahrzeugen wären dies insbesondere die Scheibenwischanlagen der Windschutzscheiben, Heckscheiben und Leuchten. Dadurch dass das Detektionsverfahren nicht nur Feuchtigkeitsniederschläge sondern auch sonstige Verschmutzungen detektieren kann, wird es hierdurch auch möglich, einen im Winter durch Spritzwasser häufig verursachten Salzschleier auf der Windschutzscheibe zu erkennen und mittels der Scheibenreinigungsanlage zu entfernen. Herkömmliche auf Basis der Veränderung des Brechungsindexes der Windschutzscheibe arbeitende Sensoren sind hierzu nicht in der Lage.In Particularly advantageously, it makes sense, the device for the detection of precipitation in connection with a surface cleaning device; at Motor vehicles would be this particular the windshield wiper systems of the windshields, Rear windows and lights. By doing that the detection process not only moisture precipitation but also other contaminants This will also make it possible to get through in the winter Splashing water frequently to detect salt fog on the windshield and remove it by means of the window cleaning system. conventional based on the change the refractive index of the windshield working sensors are not able to do this.

Bei einer weiteren gewinnbringenden Weiterbildung der Erfindung ist es gleichwohl auch denkbar, zumindest Teile der von der Kamera der Vorrichtung zur Detektion von Niederschlägen auf Scheiben gewonnenen Bilddaten einem weiteren Bildverarbeitungssystem zur Verfügung zu stellen. Durch die Variation der Fokusweite des Kamerasystems, insbesondere hin zu den von der Oberfläche entfernten Bereichen, enthalten die Bild daten auch nutzbare Bildinformation über den Umgebungsbereich der beobachteten Oberfläche. Insbesondere bei der Verwendung des Systems zur Erkennung des Niederschlages auf der Windschutzscheibe eines Kraftfahrzeuges enthalten die mittels einer großen Fokusweite erhaltenen Bilddaten Informationen über das Verkehrsumfeld, wie beispielsweise Verkehrszeichen, Ampelanlagen, Hindernisse oder Fahrbahnbegrenzungen. Durch die hohe Wiederholfrequenz der Bildaufnahme selbst bei kostengünstigen Kameras, können im Zeitmultiplex problemlos Bilddaten des Verkehrsumfeld gewonnen werden. Diese Bilddaten können sodann Fahrerassistenzsystemen zur Steigerung von Sicherheit und Fahrkomfort zur Verfügung gestellt werden.In a further profitable development of the invention, it is nevertheless also conceivable to provide at least parts of the image data obtained by the camera of the device for detecting precipitation on panes to a further image processing system. By varying the focus distance of the camera system, in particular towards the areas remote from the surface, the image data also contain usable image information about the surrounding area of the observed surface. In particular, when using the system for detecting the precipitation on the windshield of a motor vehicle, the image data obtained by means of a large focus range contain information about the traffic environment, such as traffic signs, Traffic lights, obstacles or lane boundaries. Due to the high refresh rate of image acquisition even with low-cost cameras, image data of the traffic environment can be easily obtained in the time multiplex. These image data can then be provided to driver assistance systems to increase safety and ride comfort.

In einer weiteren vorteilhaften Ausgestaltung ist es denkbar, die Zeitfenster im Zeitmultiplexbetrieb zwischen Oberflächen- und Umgebungsbeobachtung abhängig von aktuellen Verkehrsgeschehen oder Umgebungs- bzw. Fahrzeugparameter zu gestalten. So ist es möglich, dann wenn ein komplexes Verkehrszenario bei gleichzeitig trockener Witterung gegeben ist, die meiste Zeit mit einer großen Fokusweite, zur besseren Umgebungserkennung, zu arbeiten. Bei starkem Regen und moderater Fahrgeschwindigkeit könnte verstärkt mittels einer auf die Entfernung zur Oberfläche optimierten Fokusweite gearbeitet werden.In In a further advantageous embodiment, it is conceivable that the time window in time-division multiplexing between surface and ambient observation dependent of current traffic events or environmental or vehicle parameters to design. So it is possible then if a complex traffic scenario at the same time dry Weather is given, most of the time with a great focus, for better environment detection, to work. In heavy rain and moderate driving speed could be increased by means of a distance to the surface optimized focus.

Claims

Method for detecting precipitates on a surface, in particular on the surface of the windshield of a motor vehicle, in which a plurality of image recordings are obtained by means of a camera in front of the optics of which the surface to be viewed is obtained, so that from the differences in the image data of at least two of the image recordings is concluded on the presence of precipitation on the surface, characterized in that the focus width of the camera is changed at least between two to be taken to detect the precipitation image recordings, wherein at least a first focus width is selected so that the camera focus in close proximity to the surface is located on which a precipitate is to be detected, and that a precipitate on the surface is then closed when, on the one hand, objects can be recognized in the image dataset obtained with the first focus distance and, on the other hand, these objects have a higher image sharpness at this first focus distance, as in image data sets, which were obtained with different focus distance of the camera.

Method according to claim 1, characterized in that that from the result of precipitation detection a control signal for one Device for surface cleaning is derived.

Method according to one of the preceding claims, characterized characterized in that at least parts of the captured image data a be made available to another image processing system.

Device for detecting precipitation a surface, especially on the surface the windshield of a motor vehicle, at which one Camera in relation to the surface like that arranged that the surface is in front of their optics, full an image memory for storing the image data sets of at least two image recordings, such as comprising an image processing unit, by means of which the differences between the stored image records the presence of precipitation on the surface is closed becomes, characterized, that the camera is designed that way is that their focus is at least between two for detection be changed to the image to be used for the precipitation can, and that a camera control is provided, which at least chooses a first focal length so that the camera focus is in close proximity to the surface, on which a precipitate is to be detected, and which the focus distance of the camera between at least two for detection the image of the precipitate to be taken.

Device according to claim 4, characterized in that that the camera is changing their focus over a split-focus lens.

Device according to one of the preceding claims, characterized in that the device is provided with a device for surface cleaning communicates.

Device according to one of the preceding claims, characterized in that the device is connected to a further image processing system in Connection stands.