EP2646802A1 - Detection of raindrops on a pane by means of a camera and lighting - Google Patents

Detection of raindrops on a pane by means of a camera and lighting

Info

Publication number
EP2646802A1
EP2646802A1 EP11815609.0A EP11815609A EP2646802A1 EP 2646802 A1 EP2646802 A1 EP 2646802A1 EP 11815609 A EP11815609 A EP 11815609A EP 2646802 A1 EP2646802 A1 EP 2646802A1
Authority
EP
European Patent Office
Prior art keywords
camera
light
disc
outside
illumination source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP11815609.0A
Other languages
German (de)
French (fr)
Inventor
Dieter Dr. KRÖKEL
Radhakrishna CHIVUKULA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of EP2646802A1 publication Critical patent/EP2646802A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833—Optical rain sensor
    • B60S1/0844—Optical rain sensor including a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G01N21/552—Attenuated total reflection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/43—Refractivity; Phase-affecting properties, e.g. optical path length by measuring critical angle
    • G01N2021/435—Sensing drops on the contact surface

Definitions

  • the invention relates to an apparatus and a method for detecting raindrops on a pane by means of a light source and a camera.
  • WO2010 / 072198 A1 describes rain detection with the aid of a camera, which is used for automotive driver assistance functions.
  • a bifocal optics is used, which images a portion of the windshield sharply on a partial surface of the image chip or image sensor of the camera.
  • a disadvantage of this idea is that an additional optical element is introduced whose edge causes considerable disturbances both in the beam path for the rain sensor region of the image chip and in the region for the driver assistance functions in the vicinity of the edge.
  • the focus conditions for the driver assistance area and the rain sensor area are very different, which must be compensated for by an increased thickness of the optical element and thereby increased interference and a wide, unusable area on the image chip around the edge leads .
  • WO 2010/072198 A1 In order to be able to recognize raindrops at night, it is proposed in WO 2010/072198 A1 to couple light via a coupling element into the windshield and to guide it via total reflection in the windshield. Through a decoupling element, the totally reflected light is coupled out in the direction of the camera. If there are drops of water on the windshield, part of the light is decoupled and no longer totally reflected to the decoupling element. Another disadvantage is that the integrated camera lighting unit is mechanically adapted to the changed installation conditions for every changed wheel tilt. In US Pat. No. 7,259,367 B2, a rain sensor is also proposed by means of a camera, which provides large-area illumination of the passage window of the camera opening angle with the window.
  • the camera is focused almost at infinity and can therefore be used simultaneously for driver assistance applications. Because of the imaging on the far field, raindrops are only noticeable as disturbances in the image, which are detected by complex differential measurements of the images recorded in synchronization with the pixel clock pulsed or modulated light. Simulation calculations and measurements show, however, that in this type of lighting, only a very small proportion of the light at the raindrops is reflected back into the camera. This circumstance leads to a poor signal-to-noise ratio and consequently to an uncertain rain detection.
  • the object of the present invention is to overcome the mentioned disadvantages of the devices or methods known from the prior art.
  • a device for detecting rain which comprises a camera and a lighting source.
  • the camera is placed behind a disk, in particular inside a vehicle e.g. behind a windshield, and focused on a distant area that lies in front of the disc.
  • the camera preferably comprises a lens for focusing and an image sensor, e.g. a CCD or CMOS sensor.
  • the illumination source for generating at least one light beam directed onto the pane directs the at least one light beam onto the pane such that at least one beam (or partial beam of the light beam directed onto the pane) from the outside of the pane impinges on the camera.
  • the illumination source can be designed as one or more light-emitting diodes (LEDs) or as a light band.
  • the amount of light of the at least one beam impinging on the camera can be measured by the camera.
  • the invention provides a simple but reliable way to detect rain with a vehicle camera, in particular with a driver assistance camera. Since essentially only one quantity of light has to be measured, no complex image processing algorithm is necessary. Due to the active illumination, the device is relatively susceptible to external influences such as sun reflexes and shadows.
  • the amount of rain can e.g. In the case of multi-beam illumination sources, a reduction in the amount of light in the light reflections (on the image sensor) of the outer windscreen and / or the number of light reflections affected are determined.
  • the angle of incidence of the light beam generated by the illumination source is set so that more of the beam (portion) which strikes the outside of the disc than the disc is coupled out, if no rain on the outside the disc is.
  • the device comprises an evaluation unit which determines from the measured amount of light of the beam reflected on the outside of the disk, if and if so, how much rain is present on the outside of the disk.
  • the evaluation unit for rain detection can preferably compare the measured amount of light of the beam reflected on the outside of the pane with a threshold value.
  • the threshold value can be changed in particular to a changed strength the illumination and / or adapted to a changed sensitivity of the camera, for example by regular calibrations with a dry disc. Also several thresholds can be used.
  • the evaluation unit determines a temporal change of the light values, measured by the image sensor of the camera, of the beam reflected on the outside of the pane. For this, a sequence of pictures can be taken with the camera.
  • the illumination source directs the at least one light beam onto the pane in such a way that the rays reflected from the inside and outside of the pane impinge on the camera as at least two spatially separated rays.
  • the amounts of light of the at least two impinging on the camera beams can be measured by the camera in this case.
  • This type of detection with the illumination proposed here is not necessarily dependent on a camera, but can be used by any optical sensor that can determine the amount of light from two spatially separated beams.
  • the advantage of the detection method presented here in comparison to conventional diode rain sensors is based on the fact that no coupling optics is required and at the same time a reference beam for a comparison measurement is available.
  • the camera is used for one or more additional driver assistance functions, which are based on an evaluation of the focussed distant range.
  • the illumination source is structurally integrated into the camera or into the housing of the camera.
  • the illumination source can preferably be arranged under a screen or a view funnel of the camera within the camera body.
  • the illumination source advantageously generates light in the infrared wavelength range
  • the viewing diaphragm is transparent in the infrared wavelength range, at least in a partial area which is located above the illumination source or in the beam direction of the illumination source.
  • the illumination source can in this case be arranged in particular on a circuit carrier or a circuit board of the camera.
  • the illumination source preferably only generates light having a wavelength in a specific wavelength range, for example in the (near) infrared wavelength range.
  • a first spectral filter is arranged in the region in which run the at least two spatially separated reflected beams.
  • the first spectral filter allows light of one wavelength to be SEM certain wavelength range at least largely by (eg infrared-transmissive).
  • a second spectral filter is arranged in the area of the beam path in which the at least two spatially separated reflected beams do not run, the second spectral filter blocking light having a wavelength in the particular wavelength range (e.g., infrared cutoff filters).
  • the first or both spectral filters can preferably be applied directly to pixels of the image sensor of the camera.
  • the illumination source generates a collimated light beam.
  • the light beam generated by the illumination source can be detected by means of a light guide, such as a light guide.
  • a glass fiber to be directed to the disc.
  • the invention further relates to a method for detecting rain on the outside of a disc.
  • a prerequisite for this is also a camera arranged behind the pane, which is focused on a distant area in front of the pane, and an illumination source for producing at least one light ray directed onto the pane.
  • the illumination source directs the at least one light beam onto the disk such that at least one beam reflected from the outside of the disk strikes the camera.
  • the amount of light of the at least one beam reflected from the outside of the disk is detected by means of the camera. measure up. By evaluating the measured amount of light of the at least one beam reflected from the outside of the disk, rain on the outside of the disk can be detected.
  • a preferred method for detecting rain on the outside of a pane uses a device according to the invention.
  • the camera first takes a first picture with the illumination source switched off. Subsequently, a second image is taken with the illumination source switched on. The difference image from the second and first image is formed. In the differential image, the amount of light of the at least one reflected beam on the outside of the disc for the detection of rain on the outside of the disc is evaluated.
  • a short visible light pulse adapted to the intensity of the external brightness. This would require only a short exposure time and image capture time for the rain sensor image, which in turn has little effect on the driver assistance function.
  • Such a light pulse would be perceived in daylight only when looking directly at the lighting. At night, little light is needed for rain detection.
  • the intensity can be regulated down accordingly, so that the lighting does not disturb at night.
  • a preferred adjustment of the illumination intensity - regardless of the wavelength range used - brings a further advantage.
  • the rain sensor light reflections are well visible even during the day and at night it is avoided that the images get saturated and thus a quantitative evaluation would be prevented.
  • the illumination may be advantageous over individual light emitting diodes, e.g. arranged in series can be realized. It could alternatively be used a light band. Preferably, a sufficiently directed radiation characteristic of e.g. less than ⁇ 20 ° ensured.
  • FIG. 1 shows schematically the basic principle of a possible arrangement of the illumination source and the camera with beam paths in the case of a dry pane
  • FIG. 3 shows signals detected by an image sensor of a camera, which indicate rain
  • Fig. 6 a shows a Bayer pattern as a filter pixel matrix
  • Fig. 6b shows a modified Bayer pattern with a colorless filter pixel element
  • FIG. 7 schematically shows an alternative arrangement of illumination source and camera, in which the illumination source is arranged on a circuit carrier below the viewing aperture of the camera;
  • Fig. 8 shows schematically the changed beam paths of the alternative arrangement in the rain on the disk
  • FIGS. 9 and 10 schematically show an additional possibility with the alternative arrangement of detecting rain by measuring a portion of the main beam of the illumination source which is reflected in the raindrop and which strikes the camera when it rains;
  • Fig. 11 shows an arrangement in which the light from the illumination source is guided via a light guide to the disc.
  • Fig. 1 illustrates the principle of operation of a first embodiment of the invention.
  • the rain detection presented here is based on a far-field-focused camera (1) and illumination (3), which uses one or more focused beams (h) in contrast to the large-area illumination of US Pat. No. 7,259,367 B2.
  • a light beam (h) generated by an illumination source (3) is directed onto the disc (2) in such a way that the light beam from the Inside (2.1) and outside (2.2) of the disc reflected rays as two spatially separated rays (r1, r2) impinge on the lens or the camera (1). Because of the focus on the far field, the border of the ray bundles is only imaged on the image chip (5). But both beams (r1, r2) are sufficiently separated and their respective amount of light can be measured with the image sensor (5).
  • the main beam (h) of the illumination source (3) is used, therefore, the light of the illumination source may be preferably bundled.
  • the portion (rl) of the main beam reflected at the air-disk interface (or disk inside (2.1)) serves as a reference beam. From the portion that is transmitted (tl) into the disk, the portion serves as measuring beam (r2), which is reflected at the disk-air interface (or disk outside (2.2)) and hits the camera (1). Not shown is the proportion of the beam, which is reflected several times within the disc (2) (on the inside (2.1) disc-air after it has been reflected on the outside (2.2) disc - air).
  • This arrangement offers the advantage of a pronounced signal change in the presence of rain (4) on the outside of the pane (2.2), as will be explained with reference to FIG. 2.
  • the signal (r2') which is reduced in the rainfall (4) can be measured so easily and a windshield wiper can be controlled accordingly.
  • the CCD or CMOS image chips (5) used have a high sensitivity.
  • the CCD or CMOS image chips (5) used have a high sensitivity.
  • the section of the picture chip (5) which is hit by the beam pairs (r1, r2 / r2 '), can be provided with a spectral bandpass, which provides a high transmittance for the wavelength of the illumination (3).
  • FIG. 3 shows, in the upper part (6) of the image sensor (5), which serves rain detection, seven pairs of illumination reflections (8, 9) which are illuminated by seven LEDs, for example. be generated source (3). These are due to the focus on infinity camera (1) not sharply displayed but perceptible. In particular, the light intensity or quantity can be measured.
  • the upper illuminating reflections ⁇ 8 ⁇ are generated by rays (rl) reflected on the inside (2.1) of the windshield (2), which generates lower (9) of rays (r2, r2 ') reflected on the outside of the windshield.
  • the light bundle pairs (8, 9) must not disturb the driver assistance image (7).
  • a region (6) is selected in Fig. 3, which lies outside the driver assistance image (7) on the image chip (5).
  • FIG. 3 thus shows an exemplary division of the driver assistance area (7) and the rain sensor area (6) on the image chip (5).
  • the illumination reflections from the outer windshield (9) over which a raindrop (4) lies are attenuated in intensity.
  • These illuminating reflections (9) originate from rays (r2 ') reflected on the outside (2.2) of the windshield (2) and are of reduced intensity because a large part of the beam (t1) transmitted into the windshield (2) is separated by raindrops (4). decoupled from the windshield (t2 ') and thus not reflected back to the camera (1) (r2') is.
  • These illuminating reflections (9) thus bear the information as to whether rain (4) is present on the outside (2.2) of the pane (2), and their amount of light could be used as measuring signal alone.
  • the evaluation can eg by comparison with a threshold value, by comparing the amounts of light of a plurality of these illumination reflections (9) with one another and / or by analyzing the temporal changes of the amount of light of at least one of these illumination reflexes (9).
  • an infrared blocking filter can additionally be vapor-deposited on a cover glass of the image chip (5) up to the upper edge of the driver assistance area (7).
  • a bandpass filter for the wavelength of the illumination (3) can be deposited over the rain sensor detection area (6).
  • the filters could also be applied directly to the pixels of the image sensor (5). This would have the advantage that a parallax offset, which is generated by the edge of the different filters for the rain sensor area (6) and driver assistance area (7) on the cover glass, is avoided.
  • An advantage here would be a process that corresponds to the current application of the pixel color filter.
  • the two areas (6, 7) can be separated with pixel precision, thus avoiding additional mechanical tolerance reserves resulting from the production process.
  • 4 shows a partial illustration of the illumination spots or reflections (8) on the image chip (5).
  • the upper area for the rain sensor (6) need not necessarily contain the reflections (8) from the inner surface of the windshield (2.1), since the change of light by rain (4) on the lower light spots (9) is visible , These alone can therefore suffice as a measuring signal and e.g. be compared with a Lichtmen- genschwellwert. If the measurement signal is greater than or equal to the threshold value, it is detected that the disc is dry. On the other hand, if the measurement signal lies below the threshold value, rain (4) is detected on the outside (2.2) of the disk (2). The more the measuring signal falls below the threshold, the more rain is present on the disc (2). This embodiment variant offers the possibility that the area for the rain sensor (6) can be greatly reduced.
  • the upper rain sensor region (6) can preferably only be reduced to the extent that the upper light spots (8) are still partially visible. This is shown in Fig. 4.
  • FIG. 5 shows a spatial overlap of the driver assistance area (7) or of the far-range imaging with the rain sensor area (6) or the blurred image of the illumination reflexes (8, 9). If the image chip (5) or the structural integration of the lighting is not sufficient Allow size for the spatially separated image of the light spots (8, 9) and the driver assistance area (7), as could be recorded alternately with the driver assistance image an extra image of the rain sensor light spots. For this purpose, the lighting (3) is turned off during the recording of the driver assistance image and turned on again for recording the rain sensor image.
  • this offers the advantage for rain sensing that a differential image can be formed with the preceding driver assistance image, whereby the background signal is greatly reduced and ideally only the rain sensor image of the light spots (8, 9) remains.
  • driver assistance cameras (1) have an infrared cut filter to reduce the spectral requirements on the optics and / or to enable better color recognition.
  • the color filters (R, G, B) on the individual pixels of the image chips (5) used today frequently have a high transmission in the infrared spectral range and thus impair the color selectivity.
  • either no infrared blocking filter can be used, or the wavelength of the illumination (3) should be pushed into the visible area.
  • Fig. 6a shows the very common Bayer Pattern R-G-G-B, red-green-green-blue.
  • Fig. 6b shows an example of a modified pattern R-N-G-B in which the neutral pixel (N) has no color filter at all and thus is transparent to the visible and infrared light. Only these "white" pixels (N) are used for rain sensing, and they could also be used for the driver assistance functions, with the temporal separation of the two shots, to increase the dynamics of the image chip (5) and the sensitivity in dark situations. 1 and 2, an illumination (3) with a beam path is shown which is close to the angle of total reflection in the disc 2. In the arrangement shown there, the signal change when raindrops (4) appear on the disc (FIG. 2) particularly pronounced.
  • Figures 7 and 8 show an alternative arrangement which offers the advantage that the illumination source (3) can be integrated into the camera (1), more precisely into the camera body.
  • the illumination source (3) also within the camera (1) are placed on a board (12) of the camera body. This results in a significant integration advantage.
  • the relative effect between the beam (r2) reflected on the outside (2.2) and the beam (rl) of the secondary beam (n) of the illumination source (3) reflected on the inside proves to be readily measurable and sufficient to allow raindrops (4 ) on the disc (2) reliably detect.
  • the viewing aperture (11) must be at least in the area through which the light ray (s) from the illumination source
  • Fig. 8 shows the change in the presence of raindrops
  • Raindrops (4) also cause a stronger coupling (t2 ') of light from the disk into the area in front of the disk.
  • the camera (1) measures a reduced intensity of the partial beam ⁇ r2 ') which has been reflected on the outside (2.2) of the pane (2).
  • a secondary beam (s) the reflections on the disc (2) than at least two spatially separated partial beams (r1; r2; r2 ') strike the camera (1).
  • the beam paths and components are comparable to those shown in FIGS. 1 and 2, the reference numerals are used identically.
  • the detection method illustrated in FIGS. 1 and 2 and FIGS. 7 and 8 is based on detecting a reduction in light, comparable to the classical optical rain sensor, when the outside (2.2) of the pane (2) is wet.
  • the light (rh) of the main beam (h) reflected by the raindrop (4) can also be used to detect rain. This is shown in FIGS. 9 and 10.
  • FIG. 9 shows the situation with a dry disk (2): while, as in FIG. 7, the secondary beam (n) of the portion (rnl) reflected on the inside (2.1) of the disk (2) causes a reference intensity on the image sensor (5) , the main beam (h) is not displayed on the image sensor. As long as only illumination reflections of the reference beam (rnl) are detected, it can therefore be recognized that there is no rain (4) on the disc (2). As shown in FIG. 10, raindrops (4) on the outside (2.2) of the windshield (2) cause a small portion (rh) of the main jet in the raindrop (4) to be reflected so as to reach the camera (1). meets. In this case, the occurrence of one or more illumination reflexes in addition to illumination reflexes of the Reference jet (rnl) on the presence of rain (4) are closed.
  • FIG. 11 shows a further embodiment in which the arrangement comprises a light guide (13).
  • the arrangement comprises a light guide (13).
  • an optical waveguide (13) is used here.
  • the principle of rain detection is the same as explained in FIGS. 7 and 8, but instead of the secondary beam (n in FIGS. 7 and 8) of the illumination (3), the main beam (h) is guided accordingly by means of the light guide (13).
  • r2 ' corresponds to r2 in the rain on the outside of the window t2' corresponds to t2 in rain on the outside of the window th1 proportion of the main beam transmitted to the inside of the disk
  • th.2 equals th.2 in case of rain on the outside of the disk rh Share of th2' reflecting itn raindrops to the camera
  • R Filter element that transmits light in the red wavelength range
  • G Filter element that transmits light in the green wavelength range
  • N Filter element that lets light through in the visible and / or infrared wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

The invention relates to a device or a method for detecting rain (4), said device or method comprising a camera (1) and a lighting source (3). The camera (1) is disposed behind a pane (2), in particular in the interior of a vehicle behind a windshield, and focused onto a remote region that lies in front of the pane (2). The lighting source (3) for generating at least one light beam (h; n) that is directed at the pane (2) directs the at least one light beam (h; n) towards the pane (2) such that at least one beam (r2; r2') that is reflected from the outer face (2.2) of the pane impinges on the camera (1). The light quantity of the at least one beam (r2; r2') that impinges on the camera (1) can be measured by the camera (1).

Description

Detektion von Regentropfen auf einer Scheibe mittels einer  Detection of raindrops on a disc by means of a
Kamera und Beleuchtung  Camera and lighting
Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Detektion von Regentropfen auf einer Scheibe mittels einer Beleuchtungsquelle und einer Kamera. The invention relates to an apparatus and a method for detecting raindrops on a pane by means of a light source and a camera.
In der WO2010/072198 A1 wird eine Regenerkennung mit Hilfe einer Kamera beschrieben, die für automotive Fahrerassis- tenzfunktionen eingesetzt wird. Zur Regenerkennung wird eine bifokale Optik genutzt, die einen Teilbereich der Windschutzscheibe scharf auf eine Teilfläche des Bildchips bzw. Bildsensors der Kamera abbildet. Ein Nachteil dieser Idee besteht darin, dass ein zusätzliches optisches Element eingebracht wird, dessen Kante erhebliche Störungen sowohl im Strahlverlauf für den Regensensorbereich des Bildchips als auch im Bereich für die Fahrerassistenzfunktionen in der Nähe der Kante verursacht. Insbesondere für Implementierungen mit kleinen Ausmaßen sind die Fokusbedingungen für den Fahrerassistenzbereich und den Regensensorbereich stark unterschiedlich, was durch eine erhöhte Dicke des optischen Elements ausgeglichen werden muss und dadurch zu erhöhten Störungen und eines brei- ten, nicht nutzbaren Bereichs auf dem Bildchip um die Kante herum führt . WO2010 / 072198 A1 describes rain detection with the aid of a camera, which is used for automotive driver assistance functions. For rain detection, a bifocal optics is used, which images a portion of the windshield sharply on a partial surface of the image chip or image sensor of the camera. A disadvantage of this idea is that an additional optical element is introduced whose edge causes considerable disturbances both in the beam path for the rain sensor region of the image chip and in the region for the driver assistance functions in the vicinity of the edge. Especially for small-scale implementations, the focus conditions for the driver assistance area and the rain sensor area are very different, which must be compensated for by an increased thickness of the optical element and thereby increased interference and a wide, unusable area on the image chip around the edge leads .
Ein weiterer Nachteil ergibt sich bei unterschiedlichen Scheibenneigungen, die unterschiedliche optische Wegstre- cken zwischen Regensensordetektionsbereich auf dem Bildchip und der auf der Scheibe korrespondierenden Regensensorfläche zur Folge haben. Um weiterhin eine scharfe optische Abbildung zu gewährleisten, muss für jede veränderte Einbausituation die Dicke des optischen Elements angepasst wer- den. Another disadvantage arises with different disc inclinations, the different optical distances between the rain sensor detection area on the image chip and the corresponding on the disc rain sensor surface result. In order to continue to ensure a sharp optical image, the thickness of the optical element must be adjusted for each changed installation situation.
Um auch bei Nacht Regentropfen erkennen zu können, ist in WO 2010/072198 AI vorgeschlagen, Licht über ein Einkoppelelement in die Windschutzscheibe einzukoppeln und über Totalreflexion in der Scheibe zu führen. Durch ein Auskoppelelement wird das totalreflektierte Licht in Richtung der Kamera ausgekoppelt. Befinden sich Wassertropfen auf der Windschutzscheibe, wird ein Teil des Lichts ausgekoppelt und nicht mehr zum Auskoppelelement totalreflek- tiert . Nachteilig wirkt sich auch hier wieder aus, dass für jede veränderte Scheibenneigung die integrierte Kamera- Beleuchtungseinheit mechanisch an die veränderte Einbaubedingung anzupassen ist. In der US 7,259,367 B2 wird ebenfalls mittels einer Kamera eine Regensensierung vorgeschlagen, die eine großflächige Beleuchtung des Durchtrittsfensters des Kameraöffnungswinkels mit der Scheibe vorsieht. Die Kamera ist nahezu auf unendlich fokussiert und damit gleichzeitig für Fahreras- sistenzapplikationen nutzbar. Wegen der Abbildung auf den Fernbereich sind Regentropfen nur als Störungen im Bild bemerkbar, die durch aufwendige Differenzmessungen der mit in Synchronisation des Pixeltaktes gepulsten oder modulierten Lichtes aufgenommen Bildern detektiert werden. Aus Simulationsrechnungen und Messungen zeigt sich jedoch, dass bei dieser Art der Beleuchtung nur ein sehr geringer Anteil des Lichtes an den Regentropfen in die Kamera zurück reflektiert wird. Dieser Umstand führt zu einem schlechten Signal- zu Rauschverhältnis und in der Folge zu einer unsicheren Regenerkennung . In order to be able to recognize raindrops at night, it is proposed in WO 2010/072198 A1 to couple light via a coupling element into the windshield and to guide it via total reflection in the windshield. Through a decoupling element, the totally reflected light is coupled out in the direction of the camera. If there are drops of water on the windshield, part of the light is decoupled and no longer totally reflected to the decoupling element. Another disadvantage is that the integrated camera lighting unit is mechanically adapted to the changed installation conditions for every changed wheel tilt. In US Pat. No. 7,259,367 B2, a rain sensor is also proposed by means of a camera, which provides large-area illumination of the passage window of the camera opening angle with the window. The camera is focused almost at infinity and can therefore be used simultaneously for driver assistance applications. Because of the imaging on the far field, raindrops are only noticeable as disturbances in the image, which are detected by complex differential measurements of the images recorded in synchronization with the pixel clock pulsed or modulated light. Simulation calculations and measurements show, however, that in this type of lighting, only a very small proportion of the light at the raindrops is reflected back into the camera. This circumstance leads to a poor signal-to-noise ratio and consequently to an uncertain rain detection.
Aufgabe der vorliegenden Erfindung ist es, die genannten Nachteile der aus dem Stand der Technik bekannten Vorrich- tungen bzw. Verfahren zu überwinden. The object of the present invention is to overcome the mentioned disadvantages of the devices or methods known from the prior art.
Diese Aufgabe wird gelöst durch eine Vorrichtung zur Erkennung von Regen, die eine Kamera und eine Beleuchtungsquelle umfasst. Die Kamera ist hinter einer Scheibe angeordnet, insbesondere im Inneren eines Fahrzeugs z.B. hinter einer Windschutzscheibe, und auf einen Fernbereich fokussiert, der vor der Scheibe liegt. Die Kamera umfasst bevorzugt ein Objektiv zur Fokussierung und einen Bildsensor, z.B. einen CCD- oder CMOS-Sensor. Die Beleuchtungsquelle zur Erzeugung mindestens eines auf die Scheibe gerichteten Lichtstrahls richtet den mindestens einen Lichtstrahl so auf die Scheibe, dass mindestens ein von Außenseite der Scheibe reflektierter Strahl (bzw. Teilstrahl des auf die Scheibe gerichteten Lichtstrahls) auf die Kamera auftrifft. Die Beleuch- tungsquelle kann als eine oder mehrere Leuchtdioden (LEDs) oder als ein Lichtband ausgebildet sein. This object is achieved by a device for detecting rain, which comprises a camera and a lighting source. The camera is placed behind a disk, in particular inside a vehicle e.g. behind a windshield, and focused on a distant area that lies in front of the disc. The camera preferably comprises a lens for focusing and an image sensor, e.g. a CCD or CMOS sensor. The illumination source for generating at least one light beam directed onto the pane directs the at least one light beam onto the pane such that at least one beam (or partial beam of the light beam directed onto the pane) from the outside of the pane impinges on the camera. The illumination source can be designed as one or more light-emitting diodes (LEDs) or as a light band.
Die Lichtmenge des mindestens einen auf die Kamera auftreffenden Strahls kann von der Kamera gemessen werden kann. Die Erfindung stellt eine einfache aber zuverlässige Möglichkeit dar, Regen mit einer Fahrzeugkamera, insbesondere mit einer Fahrerassistenzkamera zu detektieren. Da im Wesentlichen nur eine Lichtmenge gemessen werden muss, ist kein aufwendiger Bildverarbeitungsalgorithmus notwendig. Durch die aktive Beleuchtung ist die Vorrichtung relativ störunanfällig gegenüber äußeren Einflüssen wie Sonnenreflexen und Schlagschatten. The amount of light of the at least one beam impinging on the camera can be measured by the camera. The invention provides a simple but reliable way to detect rain with a vehicle camera, in particular with a driver assistance camera. Since essentially only one quantity of light has to be measured, no complex image processing algorithm is necessary. Due to the active illumination, the device is relatively susceptible to external influences such as sun reflexes and shadows.
Die Regenmenge kann z.B. bei mehrstrahligen Beleuchtungs- quellen über eine Lichtmengenverminderung aller Lichtreflexe (auf dem Bildsensor) von der äußeren Windschutzscheibe und/oder über die Anzahl der beeinflussten Lichtreflexe bestimmt werden. In einer bevorzugten Ausführungsform ist der Einfallswinkel des von der Beleuchtungsquelle erzeugten Lichtstrahls so eingerichtet, dass von dem Strahl ( -teil ) , der auf die Außenseite der Scheibe trifft, mehr reflektiert als aus der Scheibe ausgekoppelt wird, wenn kein Regen auf der Außen- seite der Scheibe ist.  The amount of rain can e.g. In the case of multi-beam illumination sources, a reduction in the amount of light in the light reflections (on the image sensor) of the outer windscreen and / or the number of light reflections affected are determined. In a preferred embodiment, the angle of incidence of the light beam generated by the illumination source is set so that more of the beam (portion) which strikes the outside of the disc than the disc is coupled out, if no rain on the outside the disc is.
Gemäß einer vorteilhaften Ausführungsform umfasst die Vorrichtung eine Auswertungseinheit, die aus der gemessenen Lichtmenge des an der Außenseite der Scheibe reflektierten Strahls ermittelt, ob und falls ja wieviel Regen auf der Außenseite der Scheibe vorliegt. According to an advantageous embodiment, the device comprises an evaluation unit which determines from the measured amount of light of the beam reflected on the outside of the disk, if and if so, how much rain is present on the outside of the disk.
Bevorzugt kann die Auswertungseinheit zur Regenermittlung die gemessene Lichtmenge des an der Außenseite der Scheibe reflektierten Strahls mit einem Schwellwert vergleichen. Der Schwellwert kann insbesondere an eine veränderte Stärke der Beleuchtung und/oder an eine veränderte Empfindlichkeit der Kamera z.B. durch regelmäßige Kalibrierungen bei trockener Scheibe angepasst werden. Auch können mehrere Schwellwerte eingesetzt werden. The evaluation unit for rain detection can preferably compare the measured amount of light of the beam reflected on the outside of the pane with a threshold value. The threshold value can be changed in particular to a changed strength the illumination and / or adapted to a changed sensitivity of the camera, for example by regular calibrations with a dry disc. Also several thresholds can be used.
Vorteilhaft ermittelt die Auswertungseinheit eine zeitliche Veränderung der vom Bildsensor der Kamera gemessenen Licht- werte des an der Außenseite der Scheibe reflektierten Strahls. Hierzu kann eine Folge von Bildern mit der Kamera aufgenommen werden. Advantageously, the evaluation unit determines a temporal change of the light values, measured by the image sensor of the camera, of the beam reflected on the outside of the pane. For this, a sequence of pictures can be taken with the camera.
In einer bevorzugten Ausführungsform richtet die Beleuchtungsquelle den mindestens einen Lichtstrahl so auf die Scheibe, dass die von der Innen- und Außenseite der Scheibe reflektierten Strahlen als mindestens zwei räumlich ge- trennte Strahlen auf die Kamera auftreffen. Die Lichtmengen der mindestens zwei auf die Kamera auftreffenden Strahlen können hierbei von der Kamera gemessen werden können. Der (direkt) an der Innenseite der Scheibe reflektierte Strahl, der auf die Kamera auftrifft, dient hierbei bevorzugt als Referenzsignal, da die Lichtmenge dieses Strahls bei An- oder Abwesenheit von Regentropfen auf der Außenseite der Scheibe konstant bleibt. In a preferred embodiment, the illumination source directs the at least one light beam onto the pane in such a way that the rays reflected from the inside and outside of the pane impinge on the camera as at least two spatially separated rays. The amounts of light of the at least two impinging on the camera beams can be measured by the camera in this case. The (directly) reflected on the inside of the disc beam which impinges on the camera, this serves preferably as a reference signal, since the amount of light of this beam remains constant in the presence or absence of raindrops on the outside of the disc.
Diese Art der Detektion mit der hier vorgeschlagenen Beleuchtung ist nicht zwingend auf eine Kamera angewiesen, sondern lässt sich mittels jeden optischen Sensors nutzen, der die Lichtmengen von zwei räumlich getrennten Strahlen bestimmen kann. Der Vorteil der hier vorgestellten Detekti- onsweise gegenüber herkömmlichen Dioden-Regensensoren beruht darauf, dass keine Einkoppeloptik benötigt wird und gleichzeitig ein Referenzstrahl für eine Vergleichsmessung vorhanden ist. This type of detection with the illumination proposed here is not necessarily dependent on a camera, but can be used by any optical sensor that can determine the amount of light from two spatially separated beams. The advantage of the detection method presented here in comparison to conventional diode rain sensors is based on the fact that no coupling optics is required and at the same time a reference beam for a comparison measurement is available.
Bevorzugt wird die Kamera für eine oder mehrere weitere Fahrerassistenzfunktionen eingesetzt, die auf einer Auswertung des fokussiert abgebildeten Fernbereichs beruhen. Preferably, the camera is used for one or more additional driver assistance functions, which are based on an evaluation of the focussed distant range.
Gemäß einer vorteilhaften Ausgestaltung der Erfindung ist die Beleuchtungsquelle baulich in die Kamera bzw. in das Gehäuse der Kamera integriert. Hier kann die Beleuchtungsquelle bevorzugt unter einer Sichtblende bzw. einem Sichttrichter der Kamera innerhalb des Kameragehäuses angeordnet sein . According to an advantageous embodiment of the invention, the illumination source is structurally integrated into the camera or into the housing of the camera. Here, the illumination source can preferably be arranged under a screen or a view funnel of the camera within the camera body.
Vorteilhaft erzeugt hierbei die Beleuchtungsquelle Licht im infraroten Wellenlängenbereich und die Sichtblende ist zumindest in einem Teilbereich, der sich oberhalb der Beleuchtungsquelle bzw. in der Strahlrichtung der Beleuchtungsquelle befindet, im infraroten Wellenlängenbereich durchlässig.  In this case, the illumination source advantageously generates light in the infrared wavelength range, and the viewing diaphragm is transparent in the infrared wavelength range, at least in a partial area which is located above the illumination source or in the beam direction of the illumination source.
Die Beleuchtungsquelle kann hierbei insbesondere auf einem Schaltungsträger bzw. einer Platine der Kamera angeordnet sein. The illumination source can in this case be arranged in particular on a circuit carrier or a circuit board of the camera.
Bevorzugt erzeugt die Beleuchtungsquelle nur Licht mit ei- ner Wellenlänge in einem bestimmten Wellenlängenbereich, wie z.B. im (nahen) infraroten Wellenlängenbereich. Im Strahlengang der Kamera ist ein erster spektraler Filter in dem Bereich angeordnet, in dem die mindestens zwei räumlich getrennten reflektierten Strahlen verlaufen. Der erste spektrale Filter lässt Licht mit einer Wellenlänge in die- sem bestimmten Wellenlängenbereich zumindest weitgehend durch (z.B. infrarot -durchlässig) . The illumination source preferably only generates light having a wavelength in a specific wavelength range, for example in the (near) infrared wavelength range. In the beam path of the camera, a first spectral filter is arranged in the region in which run the at least two spatially separated reflected beams. The first spectral filter allows light of one wavelength to be SEM certain wavelength range at least largely by (eg infrared-transmissive).
Vorteilhaft ist ein zweiter spektraler Filter in dem Be- reich des Strahlengangs angeordnet, in dem die mindestens zwei räumlich getrennten reflektierten Strahlen nicht verlaufen, wobei der zweite spektrale Filter Licht mit einer Wellenlänge in dem bestimmten Wellenlängenbereich sperrt (z.B. Infrarot-Sperrfilter) . Advantageously, a second spectral filter is arranged in the area of the beam path in which the at least two spatially separated reflected beams do not run, the second spectral filter blocking light having a wavelength in the particular wavelength range (e.g., infrared cutoff filters).
Der erste oder beide spektralen Filter können bevorzugt direkt auf Pixel des Bildsensors der Kamera aufgebracht sein. The first or both spectral filters can preferably be applied directly to pixels of the image sensor of the camera.
In einer vorteilhaften Ausführungsform erzeugt die Beleuch- tungsquelle einen gebündelten Lichtstrahl. In an advantageous embodiment, the illumination source generates a collimated light beam.
Bevorzugt kann der von der Beleuchtungsquelle erzeugte Lichtstrahl mittels eines Lichtleiters wie z.B. einer Glasfaser auf die Scheibe gerichtet werden. Preferably, the light beam generated by the illumination source can be detected by means of a light guide, such as a light guide. a glass fiber to be directed to the disc.
Die Erfindung betrifft weiterhin ein Verfahren zur Erkennung von Regen auf der Außenseite einer Scheibe. Voraussetzung sind auch hierfür eine hinter der Scheibe angeordnete Kamera, die auf einen Fernbereich vor der Scheibe fokus- siert ist, und eine Beleuchtungsquelle zur Erzeugung mindestens eines auf die Scheibe gerichteten Lichtstrahls. Die Beleuchtungsquelle richtet den mindestens einen Lichtstrahl so auf die Scheibe, dass mindestens ein von Außenseite der Scheibe reflektierter Strahl auf die Kamera auftrifft. Die Lichtmenge des mindestens einen von der Außenseite der Scheibe reflektierten Strahls wird mittels der Kamera ge- messen. Durch Auswerten der gemessenen Lichtmenge des mindestens einen von der Außenseite der Scheibe reflektierten Strahls kann Regen auf der Außenseite der Scheibe ermittelt werden . The invention further relates to a method for detecting rain on the outside of a disc. A prerequisite for this is also a camera arranged behind the pane, which is focused on a distant area in front of the pane, and an illumination source for producing at least one light ray directed onto the pane. The illumination source directs the at least one light beam onto the disk such that at least one beam reflected from the outside of the disk strikes the camera. The amount of light of the at least one beam reflected from the outside of the disk is detected by means of the camera. measure up. By evaluating the measured amount of light of the at least one beam reflected from the outside of the disk, rain on the outside of the disk can be detected.
Ein bevorzugtes Verfahren zur Erkennung von Regen auf der Außenseite einer Scheibe bedient sich einer erfindungsgemäßen Vorrichtung. Mit der Kamera wird zunächst ein erstes Bild bei ausgeschalteter Beleuchtungsquelle auf- genommen. Anschließend wird ein zweites Bild bei eingeschalteter Beleuchtungsquelle aufgenommen. Das Differenzbild aus zweitem und erstem Bild wird gebildet. Im Differenzbild wird die Lichtmenge des mindestens einen an der Außenseite der Scheibe reflektierten Strahls zur Detektion von Regen auf der Außenseite der Scheibe ausgewertet. A preferred method for detecting rain on the outside of a pane uses a device according to the invention. The camera first takes a first picture with the illumination source switched off. Subsequently, a second image is taken with the illumination source switched on. The difference image from the second and first image is formed. In the differential image, the amount of light of the at least one reflected beam on the outside of the disc for the detection of rain on the outside of the disc is evaluated.
Bei einer vorteilhaften Verwendung von sichtbarem Licht als Beleuchtung muss darauf geachtet werden, dass Verkehrsteilnehmer nicht durch die Beleuchtung gestört werden. In an advantageous use of visible light as lighting must be taken to ensure that road users are not disturbed by the lighting.
Hierzu wird vorgeschlagen, einen kurzen, von der Intensität der äußeren Helligkeit angepassten sichtbaren Lichtpuls zu verwenden. Dies würde eine nur kurze Belichtungszeit und Bildaufnahmezeit für das Regensensorbild erfordern, was wiederum die Fahrerassistenzfunktion wenig beeinflusst. Ein derartiger Lichtpuls würde bei Tageslicht nur wahrgenommen werden, wenn man direkt auf die Beleuchtung blickt. Bei Nacht wird nur wenig Licht für eine Regendetektion benötigt. Hier kann die Intensität entsprechend herunter geregelt werden, so dass auch nachts die Beleuchtung nicht stö- rend wirkt. Eine bevorzugte Anpassung der Beleuchtungsintensität - unabhängig von dem benutzten Wellenlängenbereich - bringt einen weiteren Vorteil. Die Regensensorlichtreflexe sind auch bei Tag gut sichtbar und bei Nacht wird vermieden, dass die Abbilder in Sättigung geraten und damit eine quantitative Auswertung verhindert würde . For this purpose, it is proposed to use a short visible light pulse adapted to the intensity of the external brightness. This would require only a short exposure time and image capture time for the rain sensor image, which in turn has little effect on the driver assistance function. Such a light pulse would be perceived in daylight only when looking directly at the lighting. At night, little light is needed for rain detection. Here, the intensity can be regulated down accordingly, so that the lighting does not disturb at night. A preferred adjustment of the illumination intensity - regardless of the wavelength range used - brings a further advantage. The rain sensor light reflections are well visible even during the day and at night it is avoided that the images get saturated and thus a quantitative evaluation would be prevented.
Die Beleuchtung kann vorteilhaft über einzelne Leuchtdio- den, die z.B. in Reihe angeordnet sind, realisiert werden. Es könnte alternativ ein Lichtband genutzt werden. Vorzugsweise ist hierbei eine ausreichend gerichtete Abstrahlcharakteristik von z.B. kleiner ± 20° gewährleistet. Im Folgenden wird die Erfindung anhand von Figuren und Aus- führungsbeispielen näher erläutert. The illumination may be advantageous over individual light emitting diodes, e.g. arranged in series can be realized. It could alternatively be used a light band. Preferably, a sufficiently directed radiation characteristic of e.g. less than ± 20 ° ensured. The invention is explained in more detail below with reference to figures and exemplary embodiments.
Es zeigen: Show it:
Fig. 1 schematisch das Grundprinzip einer möglichen Anord- nung von Beleuchtungsquelle und Kamera mit Strahlengängen bei einer trockenen Scheibe ;  1 shows schematically the basic principle of a possible arrangement of the illumination source and the camera with beam paths in the case of a dry pane;
Fig. 2 schematisch die veränderten Strahlengänge bei Regen auf der Scheibe;  2 schematically shows the changed beam paths in the rain on the disc.
Fig. 3 von einem Bildsensor einer Kamera detektierte Signa- le, die auf Regen schließen lassen;  FIG. 3 shows signals detected by an image sensor of a camera, which indicate rain; FIG.
Fig. 4 eine Anordnung, bei der die an der Innenseite der Scheibe reflektierten Strahlen nur teilweise auf dem Bildsensor der Kamera abgebildet werden; Fig. 5 eine Anordnung, bei der die reflektierten Strahlen überlagert zum fokussierten Fernbereich auf dem Bildsensor abgebildet werden; 4 shows an arrangement in which the rays reflected on the inside of the pane are only partly imaged on the image sensor of the camera; 5 shows an arrangement in which the reflected beams are superimposed on the focused remote area on the image sensor;
Fig. 6 a ein Bayer-Pattern als Filterpixelmatrix und  Fig. 6 a shows a Bayer pattern as a filter pixel matrix and
Fig. 6 b ein modifiziertes Bayer-Pattern mit einem farblosen Filterpixelelement; Fig. 6b shows a modified Bayer pattern with a colorless filter pixel element;
Fig. 7 schematisch eine alternative Anordnung von Beleuchtungsquelle und Kamera, bei der die Beleuchtungsquelle auf einem Schaltungsträger unterhalb der Sichtblende der Kamera angeordnet ist;  7 schematically shows an alternative arrangement of illumination source and camera, in which the illumination source is arranged on a circuit carrier below the viewing aperture of the camera;
Fig. 8 schematisch die veränderten Strahlengänge der alternativen Anordnung bei Regen auf der Scheibe;  Fig. 8 shows schematically the changed beam paths of the alternative arrangement in the rain on the disk;
Fig. 9 und 10 schematisch eine zusätzliche Möglichkeit mit der alternativen Anordnung Regen zu detektieren durch Mes- sen eines im Regentropfen reflektierten Anteils des Hauptstrahls der Beleuchtungsquelle, der bei Regen auf der Scheibe auf die Kamera trifft; FIGS. 9 and 10 schematically show an additional possibility with the alternative arrangement of detecting rain by measuring a portion of the main beam of the illumination source which is reflected in the raindrop and which strikes the camera when it rains;
Fig. 11 eine Anordnung, bei der das Licht aus der Beleuchtungsquelle über einen Lichtleiter auf die Scheibe geführt wird .  Fig. 11 shows an arrangement in which the light from the illumination source is guided via a light guide to the disc.
Fig. 1 verdeutlicht das Funktionsprinzip einer ersten Ausführungsform der Erfindung. Die hier vorgestellte Regenerkennung basiert auf einer auf den Fernbereich fokussierten Kamera (1) und einer Beleuchtung (3) , die im Gegensatz zur großflächigen Beleuchtung aus US 7,259,367 B2 einen oder mehrere gebündelte Strahlen (h) nutzt. Fig. 1 illustrates the principle of operation of a first embodiment of the invention. The rain detection presented here is based on a far-field-focused camera (1) and illumination (3), which uses one or more focused beams (h) in contrast to the large-area illumination of US Pat. No. 7,259,367 B2.
Ein von einer Beleuchtungsquelle (3) erzeugter Lichtstrahl (h) wird so auf die Scheibe (2) gerichtet, dass die von der Innen- (2.1) und Außenseite (2.2) der Scheibe reflektierten Strahlen als zwei räumlich getrennte Strahlen (r1, r2) auf das Objektiv bzw. die Kamera (1) auftreffen. Wegen der Fo- kussierung auf den Fernbereich ist die Umrandung der Strah- lenbündel nur unscharf auf den Bildchip (5) abgebildet. Aber beide Strahlen (r1, r2) sind ausreichend getrennt und ihre jeweilige Lichtmenge ist mit dem Bildsensor (5) messbar. A light beam (h) generated by an illumination source (3) is directed onto the disc (2) in such a way that the light beam from the Inside (2.1) and outside (2.2) of the disc reflected rays as two spatially separated rays (r1, r2) impinge on the lens or the camera (1). Because of the focus on the far field, the border of the ray bundles is only imaged on the image chip (5). But both beams (r1, r2) are sufficiently separated and their respective amount of light can be measured with the image sensor (5).
Bei dieser Ausführungsform wird der Hauptstrahl (h) der Beleuchtungsquelle (3) verwendet, daher kann das Licht der Beleuchtungsquelle vorzugsweise gebündelt sein. Der an der Luft-Scheibe-Grenzfläche (bzw. Scheibeninnenseite (2.1)) reflektierte Anteil (rl) des Hauptstrahls dient als Referenzstrahl. Vom Anteil, der in die Scheibe transmittiert (tl) wird, dient der Anteil als Messstrahl (r2) , der an der Scheibe-Luft-Grenzfläche (bzw. Scheibenaußenseite (2.2)) reflektiert wird und auf die Kamera (1) trifft. Nicht dargestellt ist der Anteil des Strahls, der mehrfach innerhalb der Scheibe (2) reflektiert wird (an der Innenseite (2.1) Scheibe-Luft, nachdem er an der Außenseite (2.2) Scheibe - Luft reflektiert wurde) . In this embodiment, the main beam (h) of the illumination source (3) is used, therefore, the light of the illumination source may be preferably bundled. The portion (rl) of the main beam reflected at the air-disk interface (or disk inside (2.1)) serves as a reference beam. From the portion that is transmitted (tl) into the disk, the portion serves as measuring beam (r2), which is reflected at the disk-air interface (or disk outside (2.2)) and hits the camera (1). Not shown is the proportion of the beam, which is reflected several times within the disc (2) (on the inside (2.1) disc-air after it has been reflected on the outside (2.2) disc - air).
Diese Anordnung bietet den Vorteil einer ausgeprägten Sig- naländerung bei Vorliegen von Regen (4) auf der Scheibenaußenseite (2.2) wie anhand von Fig. 2 erläutert wird. This arrangement offers the advantage of a pronounced signal change in the presence of rain (4) on the outside of the pane (2.2), as will be explained with reference to FIG. 2.
Wenn nun im Regenfall (4) die Außenseite (2.2) der Windschutzscheibe (2) benetzt wird, wird der überwiegende Teil des Lichts (tl) ausgekoppelt, so dass der reflektierte An- teil (r2') entsprechend geschwächt wird (siehe Fig. 2) . Der von der Innenseite (2.1) reflektierte Strahl (rl) ist davon unbeeinflusst . If, in the rainfall (4), the outside (2.2) of the windshield (2) is wetted, the greater part of the light (t1) is decoupled, so that the reflected portion (r2 ') is correspondingly weakened (see FIG ). Of the from the inside (2.1) reflected beam (rl) is unaffected.
Durch den Vergleich der gemessenen Lichtmengen beider Strahlen (r1 zu r2 bzw. r2 ' ) kann so leicht das im Regenfall (4) verminderte Signal (r2 ' ) gemessen werden und ein Scheibenwischer entsprechend angesteuert werden. By comparing the measured amounts of light of both beams (r1 to r2 or r2 '), the signal (r2') which is reduced in the rainfall (4) can be measured so easily and a windshield wiper can be controlled accordingly.
Um den Fahrer und andere Verkehrsteilnehmer nicht durch die Beleuchtung (3) zu irritieren, kann insbesondere nah infrarotes Licht verwendet werden, für das in der Regel die eingesetzten CCD- oder CMOS-Bildchips (5) eine hohe Empfindlichkeit aufweisen. Um gegenüber Störungen wie Rauschen, Tages- und Sonnenlicht und andere künstliche Lichtquellen unempfindlich zu werden, wird vorgeschlagen, die Lichtquelle (3) vorzugsweise synchron mit dem Bildauslesetakt teilweise oder komplett zeitlich zu modulieren, so dass über einfache Differenzverfah- ren Störungen abgezogen werden können. Dies ist eine Möglichkeit zur Verbesserung des Signal- zu Rauschabstandes. Eine weitere Möglichkeit besteht in geeigneter spektraler Filterung: Der Ausschnitt des Bildchips (5), auf den die Strahlenpaare (r1, r2/r2') treffen, kann mit einem spektra- len Bandpass versehen werden, der eine hohe Durchlässigkeit für die Wellenlänge der Beleuchtung (3) aufweist. In order not to irritate the driver and other road users by the illumination (3), in particular near-infrared light can be used, for which, as a rule, the CCD or CMOS image chips (5) used have a high sensitivity. In order to become insensitive to disturbances such as noise, daylight and sunlight and other artificial light sources, it is proposed to modulate the light source (3) partially or completely in time, preferably synchronously with the image read-out clock, so that interference can be subtracted via simple differential methods. This is a way to improve the signal-to-noise ratio. Another possibility is suitable spectral filtering: The section of the picture chip (5), which is hit by the beam pairs (r1, r2 / r2 '), can be provided with a spectral bandpass, which provides a high transmittance for the wavelength of the illumination (3).
Fig. 3 zeigt im oberen Teil (6) des Bildsensors (5) , der der Regenerkennung dient, jeweils sieben Paare von Beleuch- tungsreflexen (8, 9), die z.B. von sieben LEDs als Beleuch- tungsquelle (3) erzeugt werden. Diese sind aufgrund der auf unendlich fokussierten Kamera (1) nicht scharf abgebildet aber wahrnehmbar. Insbesondere kann die LichtIntensität bzw. -menge gemessen werden. Die oberen Beleuchtungsreflexe {8} werden von an der Innenseite (2.1) der Windschutzscheibe (2) reflektierten Strahlen (rl) erzeugt, die unteren (9) von an der Außenseite der Windschutzscheibe reflektierten Strahlen (r2, r2 ' ) erzeugt. Um gleichzeitig mit dem Kamerabild Fahrerassistenzfunktionen realisieren zu können, dürfen die Lichtbündelpaare (8, 9) das Fahrerassistenzbild (7) nicht stören. Hierzu wird in Fig. 3 ein Bereich (6) gewählt, der außerhalb des Fahrerassistenzbildes (7) auf dem Bildchip (5) liegt. FIG. 3 shows, in the upper part (6) of the image sensor (5), which serves rain detection, seven pairs of illumination reflections (8, 9) which are illuminated by seven LEDs, for example. be generated source (3). These are due to the focus on infinity camera (1) not sharply displayed but perceptible. In particular, the light intensity or quantity can be measured. The upper illuminating reflections {8} are generated by rays (rl) reflected on the inside (2.1) of the windshield (2), which generates lower (9) of rays (r2, r2 ') reflected on the outside of the windshield. In order to be able to realize driver assistance functions simultaneously with the camera image, the light bundle pairs (8, 9) must not disturb the driver assistance image (7). For this purpose, a region (6) is selected in Fig. 3, which lies outside the driver assistance image (7) on the image chip (5).
Fig. 3 zeigt somit eine beispielhafte Aufteilung des Fahrerassistenzbereiches (7) und des Regensensorbereiches (6) auf dem Bildchip (5) . Die Beleuchtungsreflexe von der äußeren Windschutzscheibe (9), über denen ein Regentropfen (4) liegt, sind in der Intensität abgeschwächt. Diese Beleuchtungsreflexe (9) stammen von an der Außenseite (2.2) der Windschutzscheibe (2) reflektierten Strahlen (r2') und sind von verringerter Intensität, weil ein Großteil des in die Windschutzscheibe (2) transmittierten Strahls (t1) durch Regentropfen (4) aus der Windschutzscheibe ausgekoppelt (t2') und somit nicht zurück zur Kamera (1) reflektiert (r2') wird. Diese Beleuchtungsreflexe (9) tragen also die Information in sich, ob Regen (4) auf der Außenseite (2.2) der Scheibe (2) vorliegt, und deren Lichtmenge könnte al- leine als Messsignal verwendet werden. Die Auswertung kann z.B. durch Vergleich mit einem Schwellwert, durch Vergleich der Lichtmengen mehrerer dieser Beleuchtungsreflexe (9) untereinander und/oder durch Analyse der zeitlichen Veränderungen der Lichtmenge zumindest eines dieser Beleuchtungs- reflexe (9) erfolgen. FIG. 3 thus shows an exemplary division of the driver assistance area (7) and the rain sensor area (6) on the image chip (5). The illumination reflections from the outer windshield (9) over which a raindrop (4) lies are attenuated in intensity. These illuminating reflections (9) originate from rays (r2 ') reflected on the outside (2.2) of the windshield (2) and are of reduced intensity because a large part of the beam (t1) transmitted into the windshield (2) is separated by raindrops (4). decoupled from the windshield (t2 ') and thus not reflected back to the camera (1) (r2') is. These illuminating reflections (9) thus bear the information as to whether rain (4) is present on the outside (2.2) of the pane (2), and their amount of light could be used as measuring signal alone. The evaluation can eg by comparison with a threshold value, by comparing the amounts of light of a plurality of these illumination reflections (9) with one another and / or by analyzing the temporal changes of the amount of light of at least one of these illumination reflexes (9).
Um Störungen durch die Beleuchtung (3) weitestgehend zu vermeiden, kann zusätzlich auf einem Abdeckglas des Bildchips (5) bis zur oberen Kante des Fahrerassistenzbereichs (7) ein Infrarot-Sperrfilter aufgedampft werden. Zusätzlich kann, wie bereits oben erwähnt, über dem Regensensordetek- tionsbereich (6) ein Bandpassfilter für die Wellenlänge der Beleuchtung (3) aufgedampft werden. Alternativ könnten die Filter auch direkt auf die Pixel des Bildsensors (5) aufgebracht sein. Dies hätte den Vorteil, dass ein Parallaxenversatz, der durch die Kante der unterschiedlichen Filter für den Regensensorbereich (6) und Fahrerassistenzbereich (7) auf dem Abdeckglas erzeugt wird, vermieden wird. Vorteilhaft wäre hier ein Prozess, der dem jetzigen Aufbringen der Pixel-Farbfilter entspricht. Dadurch können die beiden Bereiche (6, 7) pixelgenau getrennt werden, womit zusätzliche mechanische Toleranzvorhalte, die sich durch den Produktionsprozess ergeben, vermieden wer- den. In diesem Zuge würde man auf das Aufbringen von Farbfiltern (R, G, B) für den Regensensorbereich (6) verzichten und dadurch die Empfindlichkeit für die Regendetektion steigern. Fig. 4 zeigt eine teilweise Abbildung der Beleuchtungsflecken bzw. -reflexe (8) auf dem Bildchip (5) . In order to avoid interference by the illumination (3) as far as possible, an infrared blocking filter can additionally be vapor-deposited on a cover glass of the image chip (5) up to the upper edge of the driver assistance area (7). In addition, as already mentioned above, a bandpass filter for the wavelength of the illumination (3) can be deposited over the rain sensor detection area (6). Alternatively, the filters could also be applied directly to the pixels of the image sensor (5). This would have the advantage that a parallax offset, which is generated by the edge of the different filters for the rain sensor area (6) and driver assistance area (7) on the cover glass, is avoided. An advantage here would be a process that corresponds to the current application of the pixel color filter. As a result, the two areas (6, 7) can be separated with pixel precision, thus avoiding additional mechanical tolerance reserves resulting from the production process. In this case, one would dispense with the application of color filters (R, G, B) for the rain sensor area (6) and thereby increase the sensitivity for rain detection. 4 shows a partial illustration of the illumination spots or reflections (8) on the image chip (5).
Der obere Bereich für den Regensensor (6) muss gemäß einer Ausführungsvariante nicht notwendigerweise die Reflexe (8) von der inneren Fläche der Windschutzscheibe (2.1) enthalten, da die Veränderung des Lichtes durch Regen (4) auf den unteren Lichtflecken (9) sichtbar ist. Diese alleine können daher als Messsignal genügen und z.B. mit einem Lichtmen- genschwellwert verglichen werden. Ist das Messsignal größer oder gleich dem Schwellwert, wird erkannt, dass die Scheibe trocken ist. Liegt das Messsignal dagegen unterhalb des Schwellwerts, wird Regen (4) auf der Außenseite (2.2) der Scheibe (2) erkannt. Je stärker das Messsignal den Schwellwert unterschreitet, desto mehr Regen liegt auf der Scheibe (2) vor. Diese Ausführungsvariante bietet die Möglichkeit, dass der Bereich für den Regensensor (6) sehr stark verkleinert werden kann.  The upper area for the rain sensor (6) according to one embodiment need not necessarily contain the reflections (8) from the inner surface of the windshield (2.1), since the change of light by rain (4) on the lower light spots (9) is visible , These alone can therefore suffice as a measuring signal and e.g. be compared with a Lichtmen- genschwellwert. If the measurement signal is greater than or equal to the threshold value, it is detected that the disc is dry. On the other hand, if the measurement signal lies below the threshold value, rain (4) is detected on the outside (2.2) of the disk (2). The more the measuring signal falls below the threshold, the more rain is present on the disc (2). This embodiment variant offers the possibility that the area for the rain sensor (6) can be greatly reduced.
Damit entfällt jedoch der obere Fleck (8) aus Fig. 4 bei dieser Ausführungsvariante als Referenzlichtmenge, was sich bei BeieuchtungsSchwankungen nachteilig auswirken könnte. Um diesen Nachteil zu vermeiden, kann der obere Regensensorbereich (6) bevorzugt nur soweit verkleinert werden, dass die oberen Lichtflecken (8) noch teilweise sichtbar sind. Dies ist in Fig. 4 dargestellt.  However, this eliminates the upper spot (8) of Fig. 4 in this embodiment as a reference light amount, which could be detrimental to Beikuchtungsschwankungen. In order to avoid this disadvantage, the upper rain sensor region (6) can preferably only be reduced to the extent that the upper light spots (8) are still partially visible. This is shown in Fig. 4.
Fig. 5 zeigt eine räumliche Überlappung des Fahrerassistenzbereichs (7) bzw. der Fernbereichsabbildung mit dem Regensensorbereich (6) bzw. der unscharfen Abbildung der Beleuchtungsreflexe (8, 9). Sollte der Bildchip (5) oder die bauliche Integration der Beleuchtung keine ausreichende Größe für die räumlich getrennte Abbildung der Lichtflecke (8, 9) und des Fahrerassistenzbereichs (7) zulassen, so könnte z.B. alternierend mit dem Fahrerassistenzbild ein Extrabild der Regensensorlichtflecken aufgenommen werden. Hierzu wird die Beleuchtung (3) während der Aufnahme des Fahrerassistenzbildes abgeschaltet und für die Aufnahme des Regensensorbildes wieder angeschaltet. FIG. 5 shows a spatial overlap of the driver assistance area (7) or of the far-range imaging with the rain sensor area (6) or the blurred image of the illumination reflexes (8, 9). If the image chip (5) or the structural integration of the lighting is not sufficient Allow size for the spatially separated image of the light spots (8, 9) and the driver assistance area (7), as could be recorded alternately with the driver assistance image an extra image of the rain sensor light spots. For this purpose, the lighting (3) is turned off during the recording of the driver assistance image and turned on again for recording the rain sensor image.
Dies bietet für die Regensensierung gleichzeitig den Vorteil, dass ein Differenzbild mit dem vorhergehenden Fahrer- assistenzbild gebildet werden kann, wodurch das Hintergrundsignal stark vermindert wird und idealer Weise nur das Regensensorbild der Lichtflecken (8, 9) übrig bleibt.  At the same time, this offers the advantage for rain sensing that a differential image can be formed with the preceding driver assistance image, whereby the background signal is greatly reduced and ideally only the rain sensor image of the light spots (8, 9) remains.
Häufig besitzen Fahrerassistenzkameras (1) ein Infrarot- Sperrfilter, um die spektralen Anforderungen an die Optik zu reduzieren und/oder eine bessere Farberkennung zu ermöglichen. Die Farbfilter (R, G, B) auf den einzelnen Pixeln der heutzutage eingesetzten Bildchips (5) besitzen im infraroten Spektralbereich häufig wieder eine hohe Transmissi- on und verschlechtern damit die Farbselektivität. Frequently, driver assistance cameras (1) have an infrared cut filter to reduce the spectral requirements on the optics and / or to enable better color recognition. The color filters (R, G, B) on the individual pixels of the image chips (5) used today frequently have a high transmission in the infrared spectral range and thus impair the color selectivity.
Bei räumlicher Überlappung des Fahrerassistenzbereichs (7) mit dem Regensensorbereich (6) wie in Fig. 5 dargestellt kann entweder kein Infrarotsperrfilter genutzt werden, oder die Wellenlänge der Beleuchtung (3) sollte in den sichtba- ren Bereich geschoben werden.  When the driver assistance area (7) overlaps spatially with the rain sensor area (6), as shown in FIG. 5, either no infrared blocking filter can be used, or the wavelength of the illumination (3) should be pushed into the visible area.
Wenn bessere Farbfilter (R, G, B) eingesetzt werden, die das infrarote Licht nicht mehr durchlassen, kann durch eine geschickte Wahl des Farbfiltertnusters gleichzeitig und räumlich überdeckt die Regensensorflecken (8, 9) und das Fahrerassistenzbild (7) aufgenommen werden. If better color filters (R, G, B) are used, which can no longer transmit the infrared light, can by a clever choice of Farbfiltertnusters simultaneously and spatially covered the rain sensor patches (8, 9) and the driver assistance image (7) are recorded.
Fig. 6a zeigt das sehr verbreitete Bayer Pattern R-G-G-B, rot -grün-grün-blau . Fig. 6a shows the very common Bayer Pattern R-G-G-B, red-green-green-blue.
Fig. 6b zeigt ein Beispiel für ein modifiziertes Muster R- N-G-B, bei dem der neutrale Pixel (N) überhaupt kein Farbfilter besitzt und somit für das sichtbare und das infrarote Licht durchlässig ist. Nur diese „weißen" Pixel (N) werden für die Regensensierung genutzt. Zusätzlich könnten sie, bei zeitlicher Trennung der beiden Aufnahmen, auch für die Fahrerassistenzfunktionen genutzt werden, um die Dynamik des Bildchips (5) und die Empfindlichkeit in dunklen Situationen zu erhöhen. In Fig. 1 und 2 ist eine Beleuchtung (3) mit einem Strahlengang dargestellt, der nahe am Winkel der Totalreflexion in der Scheibe (2) liegt. In der dort dargestellten Anordnung ist die Signaländerung bei Auftreten von Regentropfen (4) auf der Scheibe (2) besonders ausgeprägt. Fig. 6b shows an example of a modified pattern R-N-G-B in which the neutral pixel (N) has no color filter at all and thus is transparent to the visible and infrared light. Only these "white" pixels (N) are used for rain sensing, and they could also be used for the driver assistance functions, with the temporal separation of the two shots, to increase the dynamics of the image chip (5) and the sensitivity in dark situations. 1 and 2, an illumination (3) with a beam path is shown which is close to the angle of total reflection in the disc 2. In the arrangement shown there, the signal change when raindrops (4) appear on the disc (FIG. 2) particularly pronounced.
Allerdings ist die Beleuchtungsquelle (3) weit unterhalb der Kamera (1) außerhalb des kompakten Kameragehäuses angeordnet, was bauliche Einschränkungen und Nachteile mit sich bringt . Fig. 7 und 8 zeigen eine alternative Anordnung, die den Vorteil bietet, dass die Beleuchtungsquelle (3) in die Kamera (1) , genauer in das Kameragehäuse integriert werden kann. However, the illumination source (3) is located far below the camera (1) outside of the compact camera body, resulting in structural limitations and disadvantages. Figures 7 and 8 show an alternative arrangement which offers the advantage that the illumination source (3) can be integrated into the camera (1), more precisely into the camera body.
Wenn der Öffnungswinkel der Beleuchtung (üblicherweise mit- tels LEDs) groß genug ist, kann die Beleuchtungsquelle (3) auch innerhalb der Kamera (1), z.B. wie dargestellt auf einer Platine (12) des Kameraaufbaus platziert werden. Hierdurch ergibt sich ein erheblicher Integrationsvorteil. Der relative Effekt zwischen dem an der Außenseite (2.2) reflektiertem Strahl (r2) und dem an der Innenseite reflektierten Strahl (rl) des Nebenstrahls (n) der Beleuchtungs- quelle (3) erweist sich als gut messbar und ausreichend, um Regentropfen (4) auf der Scheibe (2) zuverlässig erkennen zu können. If the opening angle of the illumination (usually by LEDs) is large enough, the illumination source (3) also within the camera (1), for example, as shown, are placed on a board (12) of the camera body. This results in a significant integration advantage. The relative effect between the beam (r2) reflected on the outside (2.2) and the beam (rl) of the secondary beam (n) of the illumination source (3) reflected on the inside proves to be readily measurable and sufficient to allow raindrops (4 ) on the disc (2) reliably detect.
Wenn für die Beleuchtung infrarotes Licht verwendet wird und die Beleuchtungsquelle (3) wie in Fig. 7 unterhalb einer Sichtblende bzw. eines Sichttrichters (11) angeordnet ist, muss die Sichtblende (11) zumindest in dem Bereich, durch den der Lichtstrahl (n) aus der BeleuchtungsquelleIf infrared light is used for the illumination and the illumination source (3) is arranged below a viewing aperture or funnel (11) as in FIG. 7, the viewing aperture (11) must be at least in the area through which the light ray (s) from the illumination source
(3) zur Scheibe (2) tritt, für infrarotes Licht transparent sein. Fig. 8 zeigt die Veränderung bei Vorliegen von Regentropfen(3) to the disc (2), be transparent to infrared light. Fig. 8 shows the change in the presence of raindrops
(4) auf der Außenseite (2.2) der Scheibe (2): (4) on the outside (2.2) of the disc (2):
Auch hier bewirken Regentropfen (4) eine stärkere Auskopplung (t2') von Licht aus der Scheibe in den Bereich vor der Scheibe. Dadurch wird von der Kamera (1) eine verringerte Intensität des Teilstrahls {r2') gemessen, der an der Außenseite (2.2) der Scheibe (2) reflektiert wurde.  Raindrops (4) also cause a stronger coupling (t2 ') of light from the disk into the area in front of the disk. As a result, the camera (1) measures a reduced intensity of the partial beam {r2 ') which has been reflected on the outside (2.2) of the pane (2).
Bei dieser Ausführungsform wird nicht der Hauptstrahl (h) der Beleuchtungsquelle genutzt, sondern ein Nebenstrahl (n) , der über Reflexionen an der Scheibe (2) als mindestens zwei räumlich getrennte Teilstrahlen (r1; r2 ; r2 ' ) auf die Kamera (1) trifft. Ansonsten sind die Strahlenverläufe und -anteile den in Fig. 1 und 2 gezeigten vergleichbar, die Bezugszeichen werden entsprechend gleich verwendet. In this embodiment, not the main beam (h) of the illumination source is used, but a secondary beam (s), the reflections on the disc (2) than at least two spatially separated partial beams (r1; r2; r2 ') strike the camera (1). Otherwise, the beam paths and components are comparable to those shown in FIGS. 1 and 2, the reference numerals are used identically.
Die in Fig. 1 und 2 sowie Fig. 7 und 8 dargestellte Detek- tionsweise beruht darauf, vergleichbar zum klassischen optischen Regensensor, eine Lichtverminderung zu detektieren, wenn die Außenseite (2.2) der Scheibe (2) nass ist. The detection method illustrated in FIGS. 1 and 2 and FIGS. 7 and 8 is based on detecting a reduction in light, comparable to the classical optical rain sensor, when the outside (2.2) of the pane (2) is wet.
Zusätzlich kann bei dieser Anordnung auch das am Regentropfen (4) reflektierte Licht (rh) des Hauptstrahls (h) genutzt werden, um Regen zu detektieren. Dies ist in Fig. 9 und 10 dargestellt. In addition, in this arrangement, the light (rh) of the main beam (h) reflected by the raindrop (4) can also be used to detect rain. This is shown in FIGS. 9 and 10.
Fig. 9 zeigt die Situation bei trockener Scheibe (2) : während wie in Fig. 7 vom Nebenstrahl (n) der an der Innenseite (2.1) der Scheibe (2) reflektierte Anteil (rnl) eine Referenzintensität auf dem Bildsensor (5) bewirkt, wird der Hauptstrahl (h) nicht auf den Bildsensor abgebildet. Solange ausschließlich Beleuchtungsreflexe des Referenzstrahls (rnl) detektiert werden, kann daher erkannt werden, dass kein Regen (4) auf der Scheibe (2) ist. Wie in Fig. 10 dargestellt, bewirken Regentropfen (4) auf der Außenseite (2.2) der Windschutzscheibe (2), dass ein geringer Anteil (rh) des Hauptstrahls im Regentropfen (4) derart reflektiert wird, dass er auf die Kamera (1) trifft. Hier kann also aus dem Auftreten eines oder mehrerer Be- leuchtungsreflexe zusätzlich zu Beleuchtungsreflexen des Referenzstrahls (rnl) auf das Vorliegen von Regen (4) geschlossen werden. FIG. 9 shows the situation with a dry disk (2): while, as in FIG. 7, the secondary beam (n) of the portion (rnl) reflected on the inside (2.1) of the disk (2) causes a reference intensity on the image sensor (5) , the main beam (h) is not displayed on the image sensor. As long as only illumination reflections of the reference beam (rnl) are detected, it can therefore be recognized that there is no rain (4) on the disc (2). As shown in FIG. 10, raindrops (4) on the outside (2.2) of the windshield (2) cause a small portion (rh) of the main jet in the raindrop (4) to be reflected so as to reach the camera (1). meets. In this case, the occurrence of one or more illumination reflexes in addition to illumination reflexes of the Reference jet (rnl) on the presence of rain (4) are closed.
Es können natürlich auch beide Detektionsweisen (aus Fig. 7+8 und aus Fig. 9+10) miteinander kombiniert werden, um die Regenerkennung zu verbessern und gegen störende Umwelteinflüsse (wechselnder Hintergrund, Sonnenreflexe, Scheinwerfer u.a.) robuster zu machen. Fig. 11 zeigt ein weiteres Ausführungsbeispiel, bei dem die Anordnung einen Lichtleiter (13) umfasst. Zur Vereinfachung der Integration der Beleuchtung (3) in das Gehäuse der Kamera (1) und zur Führung des Lichtstrahls (h) an eine bestimmte Stelle der Windschutzscheibe (2), wird hier ein Lichtleiter (13) verwendet. Hierdurch kann insbesondere die Positionierung des Lichtreflexes (9) (für die Regendetekti - on) von dem Teilstrahl (r2; r2 ' ) , der' an der Außenseite (2.2) der Windschutzscheibe (2) reflektiert wird, auf dem Bildchip (5) in einen Bereich, der außerhalb des Fahreras- sistenzbereichs (7) liegt, erleichtert werden. Das Prinzip der Regendetektion ist dasselbe wie bei Fig. 7 und 8 erläutert wurde, nur wird statt des Nebenstrahls (n in Fig. 7+8) der Beleuchtung (3) der Hauptstrahl (h) mittels des Lichtleiters (13) entsprechend geführt. Of course, both methods of detection (from FIGS. 7 and 8 and from FIGS. 9 and 10) can be combined with one another in order to improve rain detection and to make it more robust against disturbing environmental influences (changing background, sun reflexes, headlights, etc.). Fig. 11 shows a further embodiment in which the arrangement comprises a light guide (13). To simplify the integration of the illumination (3) into the housing of the camera (1) and to guide the light beam (h) to a specific position of the windshield (2), an optical waveguide (13) is used here. Thereby, the positioning of the light reflex (9), in particular (for Regendetekti - on) of the sub-beam (r2 r2 '), the' on the outside (2.2) of the windshield (2) is reflected on the image chip (5) in an area that is outside the driver assistance area (7) can be facilitated. The principle of rain detection is the same as explained in FIGS. 7 and 8, but instead of the secondary beam (n in FIGS. 7 and 8) of the illumination (3), the main beam (h) is guided accordingly by means of the light guide (13).
Bezugszeichenliste LIST OF REFERENCE NUMBERS
1 Kamera 1 camera
2 Scheibe  2 disc
2.1 Innenseite der Scheibe  2.1 inside of the disc
2.2 Außenseite der Scheibe  2.2 outside of the disc
3 Beleuchtungsquelle  3 illumination source
4 Regen, Regentropfen  4 rain, raindrops
5 Bildsensor  5 image sensor
6 Regensensorbereich  6 rain sensor area
7 Fahrerassistenzbereich  7 driver assistance area
8 Beleuchtungsreflex von Scheibeninnenseite  8 illumination reflex from the inside of the pane
9 Beleuchtungsreflex von Scheibenaußenseite  9 illumination reflex from the outside of the window
10 Signalveränderung bei Regentropfen  10 Signal change with raindrops
11 Sichtblende  11 screen
12 Schaltungsträger  12 circuit carrier
13 Lichtleiter  13 light guides
h Hauptstrahl h main beam
n Nebenstrahl n secondary beam
r1 Anteil von h bzw. n, der an der Scheibeninnenseite reflektiert wird r1 proportion of h and n, which is reflected at the disk inside
t1 Anteil von h bzw. n, der an der Scheibeninnenseite t1 fraction of h or n, that on the inside of the disk
transmittiert wird  is transmitted
r2 Anteil von t1, der an der Scheibenaußenseite reflektiert wird r2 portion of t1 reflected on the outside of the disk
t2 Anteil von t1, der an der Scheibenaußenseite transmittiert wird t2 part of t1, which is transmitted on the outside of the disk
r2' entspricht r2 bei Regen auf der Scheibenaußenseite t2' entspricht t2 bei Regen auf der Scheibenaußenseite th1 Anteil des Hauptstrahls , der an der Scheibeninnenseite transmittiert wird r2 'corresponds to r2 in the rain on the outside of the window t2' corresponds to t2 in rain on the outside of the window th1 proportion of the main beam transmitted to the inside of the disk
th2 Anteil von thl, der an der Scheibenaußenseite transmittiert wird th2 portion of thl, which is transmitted to the outside of the disk
th.2 ' entspricht th.2 bei Regen auf der Scheibenaußenseite rh Anteil von th2 ' , der itn Regentropfen zur Kamera reflektiert wird th.2 'equals th.2 in case of rain on the outside of the disk rh Share of th2' reflecting itn raindrops to the camera
rn1 Anteil von n, der an der Scheibeninnenseite reflektiert wird rn1 portion of n, which is reflected on the inside of the disk
R Filterelement, das Licht im roten Wellenlängenbereich durchlässt  R Filter element that transmits light in the red wavelength range
G Filterelement, das Licht im grünen Wellenlängenbereich durchlässt  G Filter element that transmits light in the green wavelength range
B Filterelement, das Licht im blauen Wellenlängenbereich durchlässt  B Filter element that transmits light in the blue wavelength range
N Filterelement, das Licht im sichtbaren und/oder infraroten Wellenlängenbereich durchlässt  N Filter element that lets light through in the visible and / or infrared wavelengths

Claims

Patentansprüche 1. Vorrichtung zur Erkennung von Regen (4) umfassend Claims 1. Apparatus for detecting rain (4) comprising
- eine hinter einer Scheibe (2) angeordnete Kamera - A behind a disc (2) arranged camera
(1) , wobei die Kamera auf einen Fernbereich fokussiert ist, der vor der Scheibe (2) liegt, und (1), wherein the camera is focused on a far range, which lies in front of the disc (2), and
- eine Beleuchtungsquelle (3) zur Erzeugung mindestens eines auf die Scheibe gerichteten Lichtstrahls (h; n) , wobei die Beleuchtungsquelle (3) den mindestens einen Lichtstrahl (h; n) so auf die Scheibe (2) richtet, dass mindestens ein von Außenseite (2.2) der Scheibe - An illumination source (3) for generating at least one directed onto the disc light beam (h; n), wherein the illumination source (3) the at least one light beam (h; n) on the disc (2) so that at least one of the outside (2.2) the disc
(2) reflektierter Strahl {r2; r2 ' ) auf die Kamera (1) auftrifft und die Lichtmenge des mindestens einen auf die Kamera (1) auftreffenden Strahls {r2; r2 ' ) von der Kamera (1) gemessen werden kann. 2. Vorrichtung nach Anspruch 1, wobei der Einfallswinkel des von der Beleuchtungsquelle (3) erzeugten Lichtstrahls (h; n) so eingerichtet ist, dass von dem (2) reflected beam {r2; r2 ') impinges on the camera (1) and the quantity of light of the at least one beam impinging on the camera (1) {r2; r2 ') can be measured by the camera (1). 2. Device according to claim 1, wherein the angle of incidence of the light source (h; n) generated by the illumination source (3) is arranged to be independent of the light source
Strahl (tl) , der auf die Außenseite (2.2) der Scheibe (2) trifft, mehr reflektiert als aus der Scheibe ausgekoppelt (t2) wird, wenn kein Regen (4) auf der Außenseite (2. Ray (tl), which hits the outside (2.2) of the disc (2), reflects more than decoupled from the disc (t2), if no rain (4) on the outside (2.
2) der Scheibe (2) ist. 2) of the disc (2).
3. Vorrichtung nach Anspruch 1 oder 2, wobei die Vorrichtung eine Auswertungseinheit umfasst, die aus der gemessenen Lichtmenge des an der Außenseite (2.2) der Scheibe (2) reflektierten Strahls (r2; r2 ' ) ermittelt. ob Regen (4) auf der Außenseite (2.2) der Scheibe (2) vorliegt . 3. Apparatus according to claim 1 or 2, wherein the device comprises an evaluation unit, which determines from the measured amount of light on the outside (2.2) of the disc (2) reflected beam (r2; r2 '). whether rain (4) on the outside (2.2) of the disc (2) is present.
4. Vorrichtung nach Anspruch 3, wobei die Auswertungseinheit die gemessene Lichtmenge des an der Außenseite (2.2) der Scheibe (2) reflektierten Strahls (r2; r2 ' ) mit einem Schwellwert vergleicht. 4. The device according to claim 3, wherein the evaluation unit compares the measured light quantity of the beam (r2 'r2') reflected on the outside (2.2) of the pane (2) with a threshold value.
5. Vorrichtung nach Anspruch 3 oder 4, wobei die Auswertungseinheit eine zeitliche Veränderung der vom Bildsensor (5) der Kamera (1) gemessenen Lichtwerte des an der Außenseite (2.2) der Scheibe (2) reflektierten Strahls (r2; r2 ' ) ermittelt. 5. Apparatus according to claim 3 or 4, wherein the evaluation unit determines a temporal change of the image sensor (5) of the camera (1) measured light values of the outside (2.2) of the disc (2) reflected beam (r2; r2 ').
6. Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Beleuchtungsquelle (3) den mindestens einen Lichtstrahl (h; n) so auf die Scheibe (2) richtet, dass die von der Innen- (2.1) und Außenseite (2.2) der Scheibe reflektierten Strahlen (rl; r2 bzw. r2') als mindestens zwei räumlich getrennte Strahlen (rl; r2 bzw. r2 ' ) auf die Kamera (1) auftreffen und die Lichtmengen der mindestens zwei auf die Kamera (1) auftreffenden Strahlen (rl; r2 bzw. r2 ' ) von der Kamera (1) gemessen werden können. 6. Device according to one of the preceding claims, wherein the illumination source (3) the at least one light beam (h; n) on the disc (2), that of the inside (2.1) and outside (2.2) of the disc reflected Radiation (rl; r2 or r2 ') than at least two spatially separated beams (rl; r2 or r2') impinge on the camera (1) and the amounts of light of the at least two on the camera (1) incident beams (rl; r2 or r2 ') can be measured by the camera (1).
7. Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Beleuchtungsquelle (3) baulich in das Gehäuse der Kamera (1) integriert ist. 7. Device according to one of the preceding claims, wherein the illumination source (3) is structurally integrated into the housing of the camera (1).
8. Vorrichtung nach Anspruch 7, wobei die Beleuchtungsquelle (3) unter einer Sichtblende (11) der Kamera (1) angeordnet ist. 8. Apparatus according to claim 7, wherein the illumination source (3) under a screen (11) of the camera (1) is arranged.
9. Vorrichtung nach Anspruch 8, wobei die Beleuchtungsquelle (3) Licht im infraroten Wellenlängenbereich erzeugt und die Sichtblende (11) zumindest in einem Teilbereich, der sich oberhalb der Beleuchtungsquelle (3) befindet, im infraroten Wellenlängenbereich durchlässig ist. 9. Device according to claim 8, wherein the illumination source (3) generates light in the infrared wavelength range and the viewing aperture (11) is transparent in the infrared wavelength range at least in a partial area located above the illumination source (3).
10. Vorrichtung nach einem der Ansprüche 7 bis 9, wobei die Beleuchtungsquelle (3) auf einem Schaltungsträger (12) der Kamera (1) angeordnet ist. 10. Device according to one of claims 7 to 9, wherein the illumination source (3) on a circuit carrier (12) of the camera (1) is arranged.
11. Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Beleuchtungsquelle (3) nur Licht mit einer Wellenlänge in einem bestimmten Wellenlängenbereich erzeugt und im Strahlengang der Kamera (1) ein erster spektraler Filter in dem Bereich angeordnet ist, in dem der mindestens eine an der Außenseite (2.2) der Scheibe (2) reflektierte Strahl (r2; r2 ' ) verläuft, wobei der erste spektrale Filter Licht mit einer Wellenlänge in dem bestimmten Wellenlängenbereich durchlässt. 11. Device according to one of the preceding claims, wherein the illumination source (3) generates only light having a wavelength in a certain wavelength range and in the beam path of the camera (1), a first spectral filter is disposed in the region in which the at least one of the Outside (2.2) of the disc (2) reflected beam (r2; r2 '), wherein the first spectral filter transmits light having a wavelength in the particular wavelength range.
12. Vorrichtung nach einem der Ansprüche 6 bis 11 , wobei ein zweiter spektraler Filter in dem Bereich des Strahlengangs angeordnet ist, in dem die mindestens zwei räumlich getrennten reflektierten Strahlen (rl; r2 bzw. r2 ' ) nicht verlaufen, wobei der zweite spekt- rale Filter Licht mit einer Wellenlänge in dem bestimmten Wellenlängenbereich sperrt. 12. Device according to one of claims 6 to 11, wherein a second spectral filter is arranged in the region of the beam path in which the at least two spatially separated reflected beams (rl; r2 or r2 ') do not run, wherein the second spekt- rale filter blocks light with a wavelength in the particular wavelength range.
13. Vorrichtung nach Anspruch 11 oder 12, wobei die Kamera (1) einen Bildsensor (5) umfasst und der erste oder beide spektralen Filter direkt auf Pixel des Bildsensors (5) aufgebracht sind. 13. The apparatus of claim 11 or 12, wherein the camera (1) comprises an image sensor (5) and the first or both spectral filters are applied directly to pixels of the image sensor (5).
14. Vorrichtung nach einem der vorhergehenden Ansprüche, wobei die Beleuchtungsquelle (3) einen gebündelten Lichtstrahl (h) erzeugt. 14. Device according to one of the preceding claims, wherein the illumination source (3) generates a collimated light beam (h).
15. Vorrichtung nach einem der vorhergehenden Ansprüche, wobei der von der Beleuchtungsquelle (3) erzeugte Lichtstrahl (h) mittels eines Lichtleiters (13) auf die Scheibe (2) gerichtet wird. 15. Device according to one of the preceding claims, wherein the of the illumination source (3) generated light beam (h) by means of a light guide (13) is directed to the disc (2).
16. Verfahren zur Erkennung von Regen (4) auf der Außenseite (2.2) einer Scheibe (2) mittels 16. A method for detecting rain (4) on the outside (2.2) of a disc (2) by means
- einer hinter der Scheibe (2) angeordneten und auf einen Fernbereich vor der Scheibe fokussierten Kamerad) ,  - a behind the disc (2) arranged and focused on a distant area in front of the disc comrade),
- einer Beleuchtungsquelle (3) zur Erzeugung mindestens eines auf die Scheibe (2) gerichteten Lichtstrahls (h; n) , wobei die Beleuchtungsquelle (3) den mindestens einen Lichtstrahl (h; n) so auf die Scheibe (2) richtet, dass mindestens ein von Außenseite (2.2) der Scheibe (2) reflektierter Strahl (r2; r2 ' ) auf die Kamera (1) auftrifft, durch  - An illumination source (3) for generating at least one of the disc (2) directed light beam (h; n), wherein the illumination source (3) the at least one light beam (h; n) on the disc (2) that at least a beam (r2; r2 ') reflected from the outside (2.2) of the disk (2) impinges on the camera (1)
- Messen der Lichtmenge des mindestens einen von der Außenseite (2.2) der Scheibe (2) reflektierten Strahls (r2; r2 ' ) mittels der Kamera (1) und - Measuring the amount of light of at least one of the outer side (2.2) of the disc (2) reflected beam (r2; r2 ') by means of the camera (1) and
- Auswerten der gemessenen Lichtmenge des mindestens einen von der Außenseite (2.2) der Scheibe (2) reflektierten Strahls (r2; r2 ' ) zur Detektion von Regen (4) auf der Außenseite (2.2) der Scheibe (2).  Evaluating the measured amount of light of the at least one beam (r2 'r2') reflected by the outside (2.2) of the disk (2) for detecting rain (4) on the outside (2.2) of the disk (2).
17. Verfahren zur Erkennung von Regen (4) auf der Außenseite (2.2) einer Scheibe (2) mittels einer Vorrichtung nach einem der Ansprüche 1 bis 15, wobei mit der Kamera (1) : 17. A method for detecting rain (4) on the outside (2.2) of a disc (2) by means of a device according to one of claims 1 to 15, wherein with the camera (1):
- ein erstes Bild bei ausgeschalteter Beleuchtungsquelle (3) aufgenommen wird,  a first image is taken with the illumination source (3) switched off,
- ein zweites Bild bei eingeschalteter Beleuchtungsquelle (3) aufgenommen wird,  a second image is taken with the illumination source (3) switched on,
- das Differenzbild aus zweitem und erstem Bild gebildet wird und  - The difference image is formed from the second and first image and
- im Differenzbild die Lichtmenge des mindestens einen an der Außenseite (2.2) der Scheibe (2) reflektierten Strahlen (r2; r2 ' ) zur Detektion von Regen (4) auf der Außenseite (2.2) der Scheibe (2) ausgewertet wird.  in the difference image, the light quantity of the at least one beam (r2 'r2') reflected at the outside (2.2) of the disk (2) is evaluated for the detection of rain (4) on the outside (2.2) of the disk (2).
EP11815609.0A 2010-11-30 2011-09-20 Detection of raindrops on a pane by means of a camera and lighting Withdrawn EP2646802A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102010052968 2010-11-30
PCT/DE2011/001749 WO2012092911A1 (en) 2010-11-30 2011-09-20 Detection of raindrops on a pane by means of a camera and lighting

Publications (1)

Publication Number Publication Date
EP2646802A1 true EP2646802A1 (en) 2013-10-09

Family

ID=45560604

Family Applications (1)

Application Number Title Priority Date Filing Date
EP11815609.0A Withdrawn EP2646802A1 (en) 2010-11-30 2011-09-20 Detection of raindrops on a pane by means of a camera and lighting

Country Status (7)

Country Link
US (1) US9335264B2 (en)
EP (1) EP2646802A1 (en)
JP (1) JP5944405B2 (en)
KR (1) KR101903981B1 (en)
CN (1) CN103221805B (en)
DE (1) DE112011102968A5 (en)
WO (1) WO2012092911A1 (en)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1758783B1 (en) 2004-05-25 2008-04-16 VDO Automotive AG Monitoring unit in addition to an assist system for motor vehicles
DE112010001879A5 (en) 2009-07-06 2012-10-11 Conti Temic Microelectronic Gmbh Optical module for simultaneous focusing on two viewing areas
DE102011103302A1 (en) 2011-06-03 2012-12-06 Conti Temic Microelectronic Gmbh Camera system for a vehicle
DE102011056051A1 (en) 2011-12-05 2013-06-06 Conti Temic Microelectronic Gmbh Method for evaluating image data of a vehicle camera taking into account information about rain
DE102012103873A1 (en) * 2012-05-03 2013-11-21 Conti Temic Microelectronic Gmbh Detecting raindrops on a glass by means of a camera and lighting
DE102013100292A1 (en) 2013-01-11 2014-07-24 Conti Temic Microelectronic Gmbh Illumination for detecting raindrops on a pane by means of a camera
US20150321644A1 (en) * 2012-08-06 2015-11-12 Conti Temic Microelectronic Gmbh Detection of Raindrops on a Pane by Means of a Camera and Illumination
DE102012108316A1 (en) 2012-08-06 2014-02-06 Conti Temic Microelectronic Gmbh Rain recognizing device for use in vehicle, has camera including image sensor, and camera and illumination source formed and arranged in such manner that camera detects signal of monochrome light, with which disk illuminates source
DE102013000751B4 (en) * 2013-01-17 2024-02-29 HELLA GmbH & Co. KGaA Sensor device for detecting moisture on a pane
DE102013101746A1 (en) 2013-02-21 2014-08-21 Conti Temic Microelectronic Gmbh Optical rain sensor device for a vehicle
JP2015007611A (en) * 2013-05-30 2015-01-15 株式会社リコー Attachment detection device, wiper device, and moving body
DE102013225156A1 (en) 2013-12-06 2015-06-11 Conti Temic Microelectronic Gmbh Illumination for detecting raindrops on a pane by means of a camera
DE102013225155A1 (en) 2013-12-06 2015-06-11 Conti Temic Microelectronic Gmbh Illumination for detecting raindrops on a pane by means of a camera
JP6424586B2 (en) * 2013-12-09 2018-11-21 株式会社リコー Image pickup apparatus, medium type determination apparatus, and image forming apparatus
JP6380843B2 (en) * 2013-12-19 2018-08-29 株式会社リコー Object detection apparatus, mobile device control system including the same, and object detection program
DE102014209197B4 (en) 2014-05-15 2024-09-19 Continental Autonomous Mobility Germany GmbH Device and method for detecting precipitation for a motor vehicle
KR101952617B1 (en) * 2014-07-03 2019-02-28 (주)엘지하우시스 Method of detecting corrosion of glass substrate
EP2965956B1 (en) * 2014-07-07 2019-02-27 Conti Temic microelectronic GmbH Camera based rain sensor for a window pane
DE102014214710B4 (en) * 2014-07-25 2022-02-17 Conti Temic Microelectronic Gmbh rain detection device
EP2977275B1 (en) * 2014-07-25 2017-04-26 Conti Temic microelectronic GmbH Rain detection device
DE102014223671A1 (en) 2014-11-20 2016-05-25 Conti Temic Microelectronic Gmbh Precipitation detector and method for detecting a precipitate
KR102287958B1 (en) * 2015-02-06 2021-08-09 한국전자통신연구원 System and method for remote sensing visible ligth transmittance of car window
US10173687B2 (en) 2015-03-16 2019-01-08 Wellen Sham Method for recognizing vehicle driver and determining whether driver can start vehicle
US9547373B2 (en) 2015-03-16 2017-01-17 Thunder Power Hong Kong Ltd. Vehicle operating system using motion capture
US10703211B2 (en) 2015-03-16 2020-07-07 Thunder Power New Energy Vehicle Development Company Limited Battery pack, battery charging station, and charging method
US9539988B2 (en) * 2015-03-16 2017-01-10 Thunder Power Hong Kong Ltd. Vehicle camera cleaning system
US9533551B2 (en) 2015-03-16 2017-01-03 Thunder Power Hong Kong Ltd. Electric vehicle thermal management system with series and parallel structure
US9550406B2 (en) 2015-03-16 2017-01-24 Thunder Power Hong Kong Ltd. Thermal dissipation system of an electric vehicle
US9954260B2 (en) 2015-03-16 2018-04-24 Thunder Power New Energy Vehicle Development Company Limited Battery system with heat exchange device
US9781361B2 (en) * 2015-09-01 2017-10-03 Delphi Technologies, Inc. Integrated camera, ambient light detection, and rain sensor assembly
DE102015218500A1 (en) 2015-09-25 2017-03-30 Conti Temic Microelectronic Gmbh Illumination and camera-based detection of raindrops on a pane
DE102016205532A1 (en) * 2016-04-04 2017-10-05 Conti Temic Microelectronic Gmbh Device for detecting precipitation on a vehicle window of a vehicle
DK3472074T3 (en) * 2016-06-15 2023-01-30 Laitram Llc Wet house detector in a conveyor belt
US10427645B2 (en) * 2016-10-06 2019-10-01 Ford Global Technologies, Llc Multi-sensor precipitation-classification apparatus and method
DE102016221869A1 (en) 2016-11-08 2018-05-09 Conti Temic Microelectronic Gmbh Detecting raindrops on a glass by means of a camera and lighting
CN109693999B (en) * 2017-10-23 2020-05-01 上海三菱电梯有限公司 Information monitoring device for escalator or sidewalk
CN109057624A (en) * 2018-08-18 2018-12-21 杨文娟 Multi-parameter monitor-type aluminum alloy window frame
CN109050474B (en) * 2018-09-06 2020-05-26 南京牧镭激光科技有限公司 Windshield wiper control method and device and laser detection equipment
US10771665B1 (en) 2019-02-27 2020-09-08 Ford Global Technologies, Llc Determination of illuminator obstruction by known optical properties
DE102021113065A1 (en) * 2021-05-20 2022-11-24 Valeo Schalter Und Sensoren Gmbh RAIN SENSING SYSTEM, VEHICLE AND METHOD FOR DETECTING RAIN

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4960996A (en) * 1989-01-18 1990-10-02 Hochstein Peter A Rain sensor with reference channel
DE19858316A1 (en) * 1998-12-17 2000-06-29 Kostal Leopold Gmbh & Co Kg Method for detecting and localizing diffusely reflective coatings on a translucent pane, and device

Family Cites Families (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS574133A (en) 1980-06-10 1982-01-09 Fujitsu Ltd Device for pattern image pickup
US4515443A (en) 1982-12-29 1985-05-07 The United States Of America As Represented By The Secretary Of The Army Passive optical system for background suppression in starring imagers
SE459128B (en) 1983-03-29 1989-06-05 Svensk Filmindustri PICTURE OBJECTIVE THAT PROVIDES THAT IN A PICTURE PLAN SHARPED PICTURES FOR AT LEAST TWO DIFFERENT DISTANCES FROM THE OBJECTIVE
JPS60125260U (en) 1984-02-03 1985-08-23 三菱自動車工業株式会社 room mirror device
JP2659852B2 (en) 1990-06-29 1997-09-30 株式会社クラレ Manufacturing method of imaging device
US6137529A (en) * 1992-11-23 2000-10-24 Mitsubishi Jukogyo Kabushiki Kaisha Apparatus for position data acquisition and an apparatus for coil position recognition
DE4417385A1 (en) 1994-05-18 1995-11-23 Vdo Schindling Windscreen wiper control circuit
DE59509929D1 (en) 1994-07-06 2002-01-24 Volkswagen Ag Method for determining the visibility, in particular for the movement of a motor vehicle
DE19504606C2 (en) 1995-02-11 1999-01-07 Kostal Leopold Gmbh & Co Kg Optoelectronic device for detecting precipitation which is deposited on the outside of a transparent pane
JPH09189533A (en) 1996-01-11 1997-07-22 Tokai Rika Co Ltd Deposit sensor and deposit-sensitive wiper
EP0879158B1 (en) 1996-02-13 1999-07-28 Marquardt GmbH Optic sensor
JPH1090188A (en) 1996-09-13 1998-04-10 Mitsuba Corp Image recognition device
US5923027A (en) 1997-09-16 1999-07-13 Gentex Corporation Moisture sensor and windshield fog detector using an image sensor
US6681163B2 (en) 2001-10-04 2004-01-20 Gentex Corporation Moisture sensor and windshield fog detector
DE19740364A1 (en) 1997-09-13 1999-03-25 Bosch Gmbh Robert Device for operating an optoelectronic rain sensor
DE19742093A1 (en) 1997-09-24 1999-03-25 Kostal Leopold Gmbh & Co Kg Photoelectric sensor array
DE19749331A1 (en) 1997-11-07 1999-05-20 Kostal Leopold Gmbh & Co Kg Method of detecting objects on motor vehicle windscreen
JP3940487B2 (en) 1998-02-12 2007-07-04 シチズン電子株式会社 Contact image sensor
DE19861428B4 (en) 1998-03-17 2008-01-10 Robert Bosch Gmbh Optical sensor
FR2788131B1 (en) 1998-12-30 2001-02-16 Valeo Systemes Dessuyage DETECTION DETECTOR ON THE SURFACE OF A TRANSPARENT PLATE
DE19909987C2 (en) 1999-03-06 2003-04-10 Kostal Leopold Gmbh & Co Kg Arrangement for detecting objects located on a windshield of a motor vehicle
EP1263626A2 (en) * 2000-03-02 2002-12-11 Donnelly Corporation Video mirror systems incorporating an accessory module
US6392218B1 (en) 2000-04-07 2002-05-21 Iteris, Inc. Vehicle rain sensor
FR2810605B1 (en) 2000-06-22 2002-09-20 Valeo Systemes Dessuyage AUTOMATIC CONTROL EQUIPMENT FOR CLEANING A PLATE SURFACE HAVING VARIOUS DIRT CONDITIONS, AND IMPLEMENTATION METHOD
JP2002197466A (en) * 2000-12-27 2002-07-12 Nec Corp Device and method for extracting object area, and recording medium with object area extraction program recorded thereon
US6614043B2 (en) 2001-04-16 2003-09-02 Valeo Electrical Systems, Inc. Imaging rain sensor illumination positioning system
US6968073B1 (en) * 2001-04-24 2005-11-22 Automotive Systems Laboratory, Inc. Occupant detection system
US6617564B2 (en) 2001-10-04 2003-09-09 Gentex Corporation Moisture sensor utilizing stereo imaging with an image sensor
US20030066955A1 (en) 2001-10-09 2003-04-10 Schaub Michael P. Integrated field flattener for sensors
DE10201522A1 (en) 2002-01-17 2003-07-31 Bosch Gmbh Robert Method and device for detecting visual impairments in image sensor systems
US20060191215A1 (en) 2002-03-22 2006-08-31 Stark David H Insulated glazing units and methods
JP3641250B2 (en) * 2002-04-23 2005-04-20 三菱電機株式会社 Foreign object detection device on translucent surface
DE10219788C1 (en) 2002-05-03 2003-11-13 Bosch Gmbh Robert Method and device for measuring visibility with image sensor systems
DE20207170U1 (en) 2002-05-07 2002-08-14 Sick AG, 79183 Waldkirch Multifocal image acquisition
DE50301758D1 (en) 2002-05-18 2005-12-29 Elmos Semiconductor Ag RAIN SENSOR
DE10230200A1 (en) 2002-07-05 2004-01-22 Robert Bosch Gmbh Method and device for the detection of objects located on a surface of a transparent element
US8180099B2 (en) 2002-07-16 2012-05-15 Trw Limited Rain detection apparatus and method
DE10303047A1 (en) 2003-01-24 2004-08-05 Daimlerchrysler Ag Method and device for improving the visibility and for determining the weather situation
DE10303046A1 (en) 2003-01-24 2004-10-21 Daimlerchrysler Ag Quantitative estimation of visibility in motor vehicle, by using e.g. measurement of sharpness or contrast of image obtained from intensity differences of adjacent pixels
JP2004296453A (en) 2003-02-06 2004-10-21 Sharp Corp Solid-state imaging device, semiconductor wafer, optical device module, method of manufacturing the solid-state imaging device, and method of manufacturing the optical device module
DE10316794A1 (en) 2003-04-11 2004-11-11 Audi Ag Rain sensor for road vehicle windscreen has camera looking forward through windscreen to observe raindrops and connected to transmission module and picture evaluation circuit
DE10322010A1 (en) 2003-05-16 2004-12-02 Daimlerchrysler Ag Image recognition system for detecting precipitation on motor vehicle screen uses defined area of vehicle surface detected by camera through screen as background for image acquisition, processing
JP4326999B2 (en) 2003-08-12 2009-09-09 株式会社日立製作所 Image processing system
WO2005029134A1 (en) 2003-09-19 2005-03-31 Tengchen Sun A device and method for detecting the environment change of windshield
US6947224B2 (en) 2003-09-19 2005-09-20 Agilent Technologies, Inc. Methods to make diffractive optical elements
DE10355205A1 (en) 2003-11-26 2005-07-07 Hella Kgaa Hueck & Co. Mounting for forward-looking camera in car, is fitted to windscreen and incorporates holder for interior rear view mirror
JP2005225250A (en) 2004-02-10 2005-08-25 Murakami Corp On-vehicle surveillance device
JP2005233728A (en) 2004-02-18 2005-09-02 Denso Corp Photosensor device
DE102004015040A1 (en) * 2004-03-26 2005-10-13 Robert Bosch Gmbh Camera in a motor vehicle
JP2005292544A (en) 2004-04-01 2005-10-20 Matsushita Electric Ind Co Ltd Focusing mechanism
DE102004019337A1 (en) 2004-04-21 2005-11-17 Siemens Ag Assistance system for motor vehicles
US20070268470A1 (en) 2004-07-16 2007-11-22 Nikon Corporation Support Method and Support Structure of Optical Member, Optical Unit, Exposure Apparatus, and Device Manufacturing Method
DE102004037871B4 (en) 2004-08-04 2006-10-12 Siemens Ag Optical module for an outer vestibule in the direction of travel of a motor vehicle detecting assistance system
WO2006024247A1 (en) 2004-09-03 2006-03-09 Adc Automotive Distance Control Systems Gmbh Method for detecting precipitation on a windscreen
JP4241561B2 (en) 2004-09-28 2009-03-18 株式会社デンソー Raindrop detector
JP2006184844A (en) 2004-12-03 2006-07-13 Tochigi Nikon Corp Image forming optical system and imaging apparatus using the same
DE102005004513A1 (en) 2005-01-31 2006-03-09 Daimlerchrysler Ag Motor vehicle windscreen surface condensation detecting method, involves concluding focus width on condensation when object is identified in picture data set and when object has high picture sharpness than in picture data set
US7253898B2 (en) 2005-03-31 2007-08-07 Hitachi, Ltd. System for detecting droplets on a translucent surface
JP4353127B2 (en) 2005-04-11 2009-10-28 株式会社デンソー Rain sensor
EP1883940A2 (en) 2005-05-06 2008-02-06 David H. Stark Insulated glazing units and methods
DE102005035812A1 (en) 2005-07-27 2007-02-08 Adc Automotive Distance Control Systems Gmbh Method of detecting soiling on a transparent pane
EP1764835B1 (en) 2005-09-19 2008-01-23 CRF Societa'Consortile per Azioni Multifunctional optical sensor comprising a matrix of photodetectors coupled microlenses
JP2007101649A (en) 2005-09-30 2007-04-19 Oki Electric Ind Co Ltd Optical lens and manufacturing method for optical lens
DE102006008274B4 (en) 2006-02-22 2021-11-25 Continental Automotive Gmbh Motor vehicle with an optical detection device and method for operating a motor vehicle
DE102006010671A1 (en) 2006-03-08 2007-09-13 Leopold Kostal Gmbh & Co. Kg Camera arrangement for a motor vehicle
US20070216768A1 (en) 2006-03-14 2007-09-20 Ford Global Technologies, Llc Device and method for outwardly looking ir camera mounted inside vehicles particularly suited for pre-crash sensing and pedestrian detection
DE102006022404A1 (en) 2006-05-13 2007-11-15 Hella Kgaa Hueck & Co. Camera arrangement for use in inner side of windscreen of motor vehicle, has humidity sensor device for detecting humidification of windscreen of motor vehicle, where humidity sensor device is non-optical humidity sensor device
JP4668838B2 (en) * 2006-05-16 2011-04-13 株式会社日本自動車部品総合研究所 Raindrop detection device and wiper control device
FR2901218B1 (en) 2006-05-22 2009-02-13 Valeo Vision Sa METHOD FOR DETECTING RAIN ON A SPRINKLER
US7722199B2 (en) * 2006-08-23 2010-05-25 Donnelly Corporation Vehicle interior rearview mirror assembly with actuator
FR2908527B1 (en) 2006-11-15 2009-01-16 Valeo Vision Sa PHOTOSENSITIVE SENSOR IN THE AUTOMOBILE DOMAIN
EP1923695A1 (en) 2006-11-20 2008-05-21 Delphi Technologies, Inc. Device for measuring moisture on a plate
EP2081071A4 (en) 2006-11-30 2012-01-25 Nikon Corp Imaging device and microscope
US8013350B2 (en) 2007-02-05 2011-09-06 Panasonic Corporation Optical device and method for manufacturing optical device, and camera module and endoscope module equipped with optical device
JP4340698B2 (en) 2007-04-27 2009-10-07 シャープ株式会社 Optical unit, solid-state imaging device including the same, and electronic apparatus
KR100862486B1 (en) 2007-05-31 2008-10-08 삼성전기주식회사 Camera module package
TWI495337B (en) 2007-08-04 2015-08-01 Omnivision Tech Inc Multi-region imaging systems
US7889086B2 (en) 2007-09-28 2011-02-15 Hella Kgaa Camera arrangement in a motor vehicle
JP4930316B2 (en) 2007-10-05 2012-05-16 株式会社デンソー Raindrop amount detection device, wiper control device and headlight control device using the same
JP2009098477A (en) 2007-10-18 2009-05-07 Canon Inc Imaging apparatus
ATE471254T1 (en) 2007-11-21 2010-07-15 Delphi Tech Inc OPTICAL MODULE
DE102007061725A1 (en) 2007-12-20 2009-06-25 Robert Bosch Gmbh Method for checking the plausibility of at least one light detector of a driving light assistance device of a motor vehicle
EP2277751A2 (en) 2008-04-21 2011-01-26 Fsc Co., Ltd. Raindrop sensor
DE102008001679A1 (en) 2008-05-09 2009-11-12 Robert Bosch Gmbh Method and device for processing recorded image information from a vehicle
JP5359175B2 (en) * 2008-10-16 2013-12-04 株式会社デンソー Visibility state detection device and visibility securing device
DE102008043737A1 (en) 2008-11-14 2010-05-20 Robert Bosch Gmbh Method for detecting raindrops on disk, involves recording measured image in plane of disk and reference image is recorded in plane deviating from plane of disk
DE102008062977A1 (en) 2008-12-23 2010-06-24 Adc Automotive Distance Control Systems Gmbh Optical module with multifocal optics for the detection of distance and near range in one image
DE102009000003A1 (en) 2009-01-02 2010-07-08 Robert Bosch Gmbh Camera arrangement for detecting a wheel condition of a vehicle window
DE102009000004A1 (en) 2009-01-02 2010-07-08 Robert Bosch Gmbh Camera arrangement for a motor vehicle and motor vehicle with a camera arrangement
DE102009000005A1 (en) * 2009-01-02 2010-07-08 Robert Bosch Gmbh Camera arrangement and method for detecting a vehicle environment
US8466960B2 (en) 2009-02-16 2013-06-18 Ricoh Company, Ltd. Liquid droplet recognition apparatus, raindrop recognition apparatus, and on-vehicle monitoring apparatus
DE112010001879A5 (en) 2009-07-06 2012-10-11 Conti Temic Microelectronic Gmbh Optical module for simultaneous focusing on two viewing areas
KR20110060495A (en) 2009-11-30 2011-06-08 동양기전 주식회사 Rain-sensor using light scattering
US8362453B2 (en) 2010-02-24 2013-01-29 Niles Co., Ltd. Rain sensor
DE102011103302A1 (en) 2011-06-03 2012-12-06 Conti Temic Microelectronic Gmbh Camera system for a vehicle
JP5561333B2 (en) 2011-11-02 2014-07-30 株式会社リコー Image processing apparatus, imaging method, program, and vehicle
DE102012200200B4 (en) 2012-01-09 2020-09-17 Robert Bosch Gmbh Camera system, in particular for a vehicle, and a vehicle
DE102012103873A1 (en) 2012-05-03 2013-11-21 Conti Temic Microelectronic Gmbh Detecting raindrops on a glass by means of a camera and lighting

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4960996A (en) * 1989-01-18 1990-10-02 Hochstein Peter A Rain sensor with reference channel
DE19858316A1 (en) * 1998-12-17 2000-06-29 Kostal Leopold Gmbh & Co Kg Method for detecting and localizing diffusely reflective coatings on a translucent pane, and device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO2012092911A1 *

Also Published As

Publication number Publication date
KR20130123412A (en) 2013-11-12
US9335264B2 (en) 2016-05-10
JP2014502360A (en) 2014-01-30
CN103221805A (en) 2013-07-24
JP5944405B2 (en) 2016-07-05
DE112011102968A5 (en) 2013-07-04
KR101903981B1 (en) 2018-10-05
US20130235381A1 (en) 2013-09-12
WO2012092911A1 (en) 2012-07-12
CN103221805B (en) 2016-10-12

Similar Documents

Publication Publication Date Title
WO2012092911A1 (en) Detection of raindrops on a pane by means of a camera and lighting
EP1506108B1 (en) Rain sensor
EP1580092B1 (en) Camera in a vehicle
DE102012103873A1 (en) Detecting raindrops on a glass by means of a camera and lighting
EP2879919B1 (en) Detection of rain drops on a plate by means of a camera and illumination
DE60204567T2 (en) OVERLAPPING MOSAIC IMAGINATING RAIN SENSOR
DE60305124T2 (en) Multifunctional integrated optical system with a CMOS or CCD matrix
DE60214593T2 (en) STEREO ILLUSTRATION WITH MOISTURE SENSOR USING AN IMAGE SENSOR
DE102009000003A1 (en) Camera arrangement for detecting a wheel condition of a vehicle window
DE102014209197B4 (en) Device and method for detecting precipitation for a motor vehicle
EP1813961B1 (en) Device for optoelectronic monitoring of objects
DE102006044786A1 (en) Camera system, method for operating a camera system and sensor device of a camera system
EP1991450A1 (en) Camera arrangment for a motor vehicle
DE3710199C2 (en) Automatic focusing device for cameras
DE102010038566A1 (en) Light running time camera i.e. three dimensional- time-of-flight camera, has light sources arranged such that photo sensor is illuminated during connecting light sources, where light sources are connected with modulator
DE102017222614A1 (en) Device for environmental detection and method for its operation
EP0716292A2 (en) Procedure and device to determine the position of a band or a webbing
DE102010023593A1 (en) Optical device with a bifocal optical element and a mirror element
EP2943377B1 (en) Illumination for the detection of raindrops on a window by means of a camera
EP3077255B1 (en) Illumination for detecting raindrops on a pane by means of a camera
DE102012111199A1 (en) Optical device for camera of vehicle for detecting images of two different distance ranges, has two image acquisition elements that are arranged in different image planes of imaging system
WO2013091619A1 (en) Method and device for determining moisture on a vehicle windscreen
DE102012106030A1 (en) Camera system for detecting the condition of a vehicle window
DE19946448B4 (en) rangefinder
DE102008002553B4 (en) Image pickup assembly and night vision system with an image pickup assembly

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20130330

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20170829

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20200603