DE102014205204B3 - Camera-based driver assistance system for detecting the condition of a road surface - Google Patents

Camera-based driver assistance system for detecting the condition of a road surface Download PDF

Info

Publication number
DE102014205204B3
DE102014205204B3 DE201410205204 DE102014205204A DE102014205204B3 DE 102014205204 B3 DE102014205204 B3 DE 102014205204B3 DE 201410205204 DE201410205204 DE 201410205204 DE 102014205204 A DE102014205204 A DE 102014205204A DE 102014205204 B3 DE102014205204 B3 DE 102014205204B3
Authority
DE
Germany
Prior art keywords
image
camera
image data
driver assistance
assistance system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE201410205204
Other languages
German (de)
Inventor
Markus Zenzinger
Robert Thiel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Mobility Germany GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE201410205204 priority Critical patent/DE102014205204B3/en
Application granted granted Critical
Publication of DE102014205204B3 publication Critical patent/DE102014205204B3/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties

Abstract

Die Erfindung betrifft ein kamerabasiertes Fahrerassistenzsystem (10), das gemäß einer ersten erfindungsgemäßen Lösung mit einer einen ersten und zweiten Bildsensor (1.1, 1.2) aufweisenden Stereokamera (1) zur Erzeugung von Bilddaten der Fahrzeugumgebung ausgebildet ist und deren Bilddaten von einer Bildauswerteeinheit (2) ausgewertet werden. Dem zweiten Bildsensor (1.2) ist ein Polarisationsfilter (P1) vorgeschaltet, welcher horizontal polarisiertes Licht transmittieren lässt. Die Bildauswerteeinheit (2) ist ausgebildet die Intensitäten (I1, I2) der gleichzeitig von dem ersten und zweiten Bildsensor (1.1, 1.2) erzeugten Frames von Bilddaten zu vergleichen und in Abhängigkeit des Vergleichsergebnisses den Fahrbahnzustand anzuzeigen. Gemäß einer zweiten erfindungsgemäßen Lösung weist das kamerabasierte Fahrerassistenzsystem (10) eine einen Bildsensor (1.1) aufweisenden Monokamera (1) zur Erzeugung von Bilddaten der Fahrzeugumgebung auf, deren Bilddaten von einer Bildauswerteeinheit (2) ausgewertet werden. Dem Bildsensor (1.1) ist ein Polarisationsfilter (P1) vorgeschaltet, welcher senkrecht polarisiertes Licht transmittieren lässt, ferner ist dem Polarisationsfilter (P1) eine schaltbare Flüssigkristallzelle (LCZ) vorgeschaltet, welche in einem ersten Zustand die waagerechte Polarisationsebene von Licht in eine senkrechte Polarisationsebene dreht und in einem zweiten Zustand die Polarisationsebene unbeeinflusst lässt. Die Bildauswerteeinheit (2) ist ausgebildet die Intensitäten (I1, I2) von aufeinanderfolgend im ersten und zweiten Zustand der Flüssigkristallzelle (LCZ) aufgenommen Frames von Bilddaten zu vergleichen und in Abhängigkeit des Vergleichsergebnisses den Fahrbahnzustand anzuzeigen.The invention relates to a camera-based driver assistance system (10), which is designed according to a first inventive solution with a first and second image sensor (1.1, 1.2) having stereo camera (1) for generating image data of the vehicle environment and their image data from an image evaluation unit (2). be evaluated. The second image sensor (1.2) is preceded by a polarizing filter (P1), which transmits horizontally polarized light. The image evaluation unit (2) is designed to compare the intensities (I1, I2) of the frames of image data generated simultaneously by the first and second image sensors (1.1, 1.2) and to display the road condition as a function of the comparison result. According to a second inventive solution, the camera-based driver assistance system (10) has an image sensor (1.1) having a single camera (1) for generating image data of the vehicle environment, the image data of an image evaluation unit (2) are evaluated. The image sensor (1.1) is preceded by a polarizing filter (P1), which transmits vertically polarized light, also the polarizing filter (P1) is preceded by a switchable liquid crystal cell (LCZ), which rotates the horizontal plane of polarization of light in a first polarization plane in a first state and in a second state leaves the polarization plane unaffected. The image evaluation unit (2) is designed to compare the intensities (I1, I2) of frames of image data recorded successively in the first and second states of the liquid crystal cell (LCZ) and to display the road condition as a function of the comparison result.

Description

Die Erfindung betrifft ein Kamerabasiertes Fahrerassistenzsystem gemäß Oberbegriff des Patentanspruchs 1.The invention relates to a camera-based driver assistance system according to the preamble of patent claim 1.

Aus der JP 2007 064 888 A ist ein Zustandsdetektor für eine Fahrbahnoberfläche bekannt, welcher mit einer Polarisationsvorrichtung ausgebildet ist, deren Polarisationsebene zwischen einer horizontalen Richtung und einer vertikalen Richtung schaltbar ist. Mittels einer Kamera werden die von der Polarisationsvorrichtung horizontal und vertikal polarisierten Bilder detektiert, die von einer Auswerteeinheit zur Bestimmung einer nassen oder trockenen Fahrbahnoberfläche ausgewertet werden.From the JP 2007 064 888 A For example, a road surface condition detector is known, which is formed with a polarization device whose polarization plane is switchable between a horizontal direction and a vertical direction. By means of a camera, the polarization device horizontally and vertically polarized images are detected, which are evaluated by an evaluation unit for determining a wet or dry road surface.

Des Weiteren ist ein Wasserflächendetektor in der DE 10 2010 020 537 A1 beschrieben, welcher zur Erzeugung von Bilddaten derselben Szene mit zwei Bildsensoren ausgebildet ist, denen jeweils Polarisationsfilter mit senkrecht aufeinander stehenden Polarisationsebenen zugeordnet sind. Als Optik dient ein Objektiv, dem ein polarisierender Strahlteiler zugeordnet ist, so dass die von diesem Strahlteiler erzeugten Strahlen senkrecht linear aufeinander polarisiert werden.Furthermore, a water surface detector is in the DE 10 2010 020 537 A1 described, which is designed to generate image data of the same scene with two image sensors, each of which polarizing filters are associated with mutually perpendicular polarization planes. As an optical lens serves a polarizing beam splitter is assigned, so that the beams generated by this beam splitter are polarized perpendicular to each other linearly.

Ein solcher Zustandsdetektor oder Wasserflächendetektor kann mittels einer Kamera eines Fahrerassistenzsystems nicht realisiert werden, da die mit dem Polarisationsfilter gefilterten Bilddaten nur eine ungenaue Szenenkonstruktion bzw. eine unzureichende Objektdetektion erreicht wird.Such a condition detector or water surface detector can not be realized by means of a camera of a driver assistance system, since the image data filtered with the polarization filter only results in an inaccurate scene construction or an insufficient object detection.

Ferner ist auch aus der DE 10 2011 051 583 A1 eine einen Bildsensor aufweisende Monokamera zur Detektion von Nässe auf einer Fahrbahn bekannt. In zumindest einem ersten Teilbereich vor dem Bildsensor der Monokamera ist ein erster Polarisationsfilter und in zumindest einem zweiten Teilbereich ein weiter Polarisationsfilter angeordnet, die unterschiedliche Polarisationsrichtungen aufweisen. Mittels einer Auswerteeinheit wird durch Vergleich der Intensitäten der unterschiedlich polarisierten Teilbereiche des Bildsensors polarisiertes Licht detektiert und auf das Vorhandensein einer nassen Fahrbahn geschlossen, da die unterschiedlichen Intensitäten das Resultat der unterschiedlichen Reflexion der unterschiedlich polarisierten Anteile des Lichts auf der nassen Fahrbahn sind. So wird parallel polarisiertes Licht stärker transmittiert, während senkrecht polarisiertes Licht stärker auf der nassen Fläche reflektiert wird und somit in höherem Maße vom Bildsensor detektiert werden kann.Furthermore, also from the DE 10 2011 051 583 A1 a mono camera having an image sensor for detecting wet on a roadway known. A first polarization filter is arranged in at least a first partial area in front of the image sensor of the monocamera and a further polarization filter is arranged in at least one second partial area, which have different polarization directions. By means of an evaluation unit, polarized light is detected by comparing the intensities of the differently polarized subregions of the image sensor and concluded that there is a wet roadway, since the different intensities are the result of the different reflection of the differently polarized components of the light on the wet roadway. Thus, parallel polarized light is transmitted more strongly, while vertically polarized light is reflected more strongly on the wet surface and thus can be detected to a greater extent by the image sensor.

Auch eine solche Monokamera gemäß der DE 10 2011 051 583 A1 ist für den Einsatz in einem Fahrerassistenzsystem hinsichtlich einer robusten Objekterkennung unzureichend geeignet.Even such a monocamera according to the DE 10 2011 051 583 A1 is insufficiently suitable for use in a driver assistance system with regard to robust object recognition.

Schließlich ist aus der DE 10 2012 018 121 A1 eine gattungsbildende Bilderfassungsvorrichtung zum Erfassen der Umgebung eines Fahrzeugs mittels einer zwei Bildsensoren umfassenden Stereokamera bekannt, bei der einem der beiden Bildsensoren ein Polarisationsfilter zugeordnet ist, welches zwischen einer Gebrauchsstellung, in der das Polarisationsfilter im Erfassungsbereich des einen Bildsensors angeordnet ist, und einer Nichtgebrauchsstellung, in der das Polarisationsfilter außerhalb des Erfassungsbereichs des einen Bildsensors angeordnet ist, verstellbar ist. Zum einen wird in dieser DE 10 2012 018 121 A1 angegeben, dass mittels eines solchen Polarisationsfilters unerwünschtes und bspw. von einer nassen Fahrbahn und/oder von einer Windschutzscheibe reflektiertes Licht absorbiert werden soll, um dadurch die 3D-Szenenkonstruktion zu verbessern, und zum anderen soll eine Detektion von Wasser auf der Fahrbahn oder eine Detektion von Sonneneinfluss realisiert werden.Finally, out of the DE 10 2012 018 121 A1 a generic image capture device for detecting the surroundings of a vehicle by means of a two-camera image sensor comprehensive stereo camera, in which one of the two image sensors associated with a polarizing filter, which is arranged between a use position in which the polarizing filter in the detection range of an image sensor, and a non-use position the polarization filter is arranged outside the detection range of an image sensor, is adjustable. For one thing, in this DE 10 2012 018 121 A1 indicated that by means of such a polarizing filter undesired and, for example. Reflected by a wet roadway and / or a windscreen to be absorbed, thereby improving the 3D scene design, and on the other hand, a detection of water on the road or a detection be realized by solar influence.

Eine solche Stereokamera mit einem verschwenkbaren Polarisationsfilter erfordert einen aufwändigen Verstellmechanismus und führt daher zu hohen Herstellungskosten der Stereokamera.Such a stereo camera with a pivotable polarizing filter requires a complex adjustment mechanism and therefore leads to high production costs of the stereo camera.

Des Weiteren ist aus der JP 000H02161337 A eine Straßenzustandsüberwachungsvorrichtung mit einer einen Polarisator aufweisenden Kamera für ein Fahrzeug bekannt, wobei diese Kamera mit einem Winkel von ca. 53° auf eine Fahrbahnoberfläche gerichtet ist. Der Polarisator kann zwischen einer Position mit einer vertikalen Polarisationsebene und einer horizontalen Polarisationsebene verdreht werden, wobei in jeder dieser beiden Positionen ein Bild der Fahrbahnoberfläche erzeugt und in einem Bildspeicher abgelegt werden. Nach einer Digitalisierung der Bilddaten und Differenzbildung werden die Daten einem Mikroprozessor zugeführt.Furthermore, from the JP 000H02161337 A a road condition monitoring device with a polarizer having camera for a vehicle, said camera is directed at an angle of about 53 ° on a road surface. The polarizer can be rotated between a position with a vertical polarization plane and a horizontal plane of polarization, wherein in each of these two positions, an image of the road surface is generated and stored in an image memory. After digitizing the image data and subtraction, the data is fed to a microprocessor.

Der Vollständigkeit halber wird auf die DE 10 2010 023 856 A1 verwiesen, die einen Sensor zur Oberflächendetektion einer Fahrbahn für ein Fahrzeug beschreibt. Dieser Sensor umfasst eine Lichtquelleneinheit, einen ersten Detektor zum Erfassen von diffus reflektiertem Licht und einen zweiten Detektor zum Erfassen von reflektiertem Licht. Das an dem zweiten Detektor erfasste reflektierte Licht kann spiegelnd reflektiertes Licht und diffus reflektiertes Licht umfassen. Es sind zumindest zwei Polarisatoren vorgesehen, wobei ein erster Polarisator mit einer ersten Polarisationsrichtung dem ersten Detektor zugeordnet ist. Der Lichtquelleneinheit ist ein Lichtquellenpolarisator und/oder dem zweiten Detektor ein zweiter Polarisator zugeordnet, deren Polarisationsrichtungen senkrecht zu der ersten Polarisationsrichtung des ersten Polarisators ausgerichtet sind. Das an der Fahrbahnoberfläche diffus und spiegelnd reflektierte Licht wird über eine gemeinsame Fokussiereinrichtung mit einer optischen Achse fokussiert und mit einem Strahlteiler auf den ersten Detektor und auf den zweiten Detektor aufgeteilt. Eine optische Achse des von der Lichtquelleneinheit ausgesendeten Lichts bzw. Lichtstrahls ist mit der optischen Achse der Fokussiereinrichtung zumindest teilweise überlagert.The sake of completeness is on the DE 10 2010 023 856 A1 which describes a sensor for surface detection of a roadway for a vehicle. This sensor comprises a light source unit, a first detector for detecting diffusely reflected light and a second detector for detecting reflected light. The reflected light detected at the second detector may include specular reflected light and diffused reflected light. At least two polarizers are provided, wherein a first polarizer having a first polarization direction is assigned to the first detector. The light source unit is associated with a light source polarizer and / or the second detector with a second polarizer whose polarization directions are aligned perpendicular to the first polarization direction of the first polarizer. The diffuse and specularly reflected light on the road surface is focused by means of a common focusing device with an optical axis and split by a beam splitter onto the first detector and onto the second detector. An optical axis of the light or light beam emitted by the light source unit is at least partially superimposed with the optical axis of the focusing device.

Aufgabe der Erfindung ist es, ein kamerabasiertes Fahrerassistenzsystem mit einer Kamera anzugeben, mit welcher der Zustand einer Fahrbahnoberfläche hinsichtlich Nässe bzw. Feuchtigkeit und Eis mit hoher Sicherheit und Robustheit detektiert werden kann, ohne jedoch die Leistungsfähigkeit hinsichtlich einer Szenenkonstruktion und einer Objektdetektion einzuschränken.The object of the invention is to provide a camera-based driver assistance system with a camera, with which the condition of a road surface in terms of moisture or moisture and ice can be detected with high reliability and robustness, but without limiting the performance in terms of scene design and object detection.

Diese Aufgabe wird gelöst durch ein kamerabasiertes Fahrerassistenzsystem mit den Merkmalen des Patentanspruchs 1.This object is achieved by a camera-based driver assistance system having the features of patent claim 1.

Das kamerabasierte Fahrerassistenzsystem mit einer einen ersten und zweiten Bildsensor aufweisenden Stereokamera zur Erzeugung von Bilddaten der Fahrzeugumgebung, bei welchem die Bilddaten von einer Bildauswerteeinheit ausgewertet werden und dem ersten Bildsensor ein Polarisationsfilter vorgeschaltet ist, welcher horizontal polarisiertes Licht transmittieren lässt, zeichnet sich erfindungsgemäß dadurch aus, dass die Bildauswerteeinheit ausgebildet ist, die Intensitäten der gleichzeitig von dem ersten und zweiten Bildsensor erzeugten Frames von Bilddaten zu vergleichen und in Abhängigkeit des Verhältnisses der Intensitäten den Oberflächenzustand der von der Stereokamera aufgenommenen Fahrbahn anzuzeigen.The camera-based driver assistance system with a stereo camera having a first and a second image sensor for generating image data of the vehicle environment, in which the image data are evaluated by an image evaluation unit and the first image sensor is preceded by a polarization filter which transmits horizontally polarized light, is characterized according to the invention by in that the image evaluation unit is designed to compare the intensities of the frames of image data generated simultaneously by the first and second image sensors and to display the surface condition of the lane taken by the stereo camera as a function of the ratio of the intensities.

Bei diesem erfindungsgemäßen kamerabasierte Fahrerassistenzsystem, welches den Polarisationszustand des an der Fahrbahnoberfläche reflektierten Lichtes zur Detektion von Nässe und Eis nutzt, wird lediglich ein Polarisationsfilter mit waagerechter Polarisationsebene statisch in eine einzige Stereokamera eingebaut, ohne jedoch die für eine Objekterkennung und Szenenkonstruktion erforderliche Funktion einzuschränken, da trotz unterschiedlicher Intensitäten der Bilddaten der beiden Bildsensoren eine Disparitätskarte der aufgenommenen Fahrzeugumgebung erstellt werden kann und der zweite Bildsensor nicht polarisierte Rohdaten zur Durchführung einer Objekterkennung liefert.In this camera-based driver assistance system according to the invention, which uses the polarization state of the light reflected at the road surface for the detection of moisture and ice, only a polarization filter with horizontal polarization plane is statically incorporated into a single stereo camera, but without limiting the required function for object recognition and scene design, since despite disparate intensities of the image data of the two image sensors, a disparity map of the recorded vehicle environment can be created and the second image sensor supplies unpolarized raw data for performing an object recognition.

Nach einer vorteilhaften Ausgestaltung der Erfindung ist das Polarisationsfilter mit waagerechter Polarisationsebene statisch in die Stereokamera eingebaut.According to an advantageous embodiment of the invention, the polarization filter with a horizontal polarization plane is statically installed in the stereo camera.

Das erfindungsgemäße kamerabasierte Fahrerassistenzsystem ist geeignet zur Detektion des Oberflächenzustandes der Fahrbahn hinsichtlich Nässe und/oder Feuchtigkeit und/oder Eis, so dass diese Zustände dem Fahrer des Fahrzeugs angezeigt oder bei der Ausführung der Funktionen des Fahrerassistenzsystems berücksichtigt werden können.The camera-based driver assistance system according to the invention is suitable for detecting the surface condition of the roadway with respect to moisture and / or moisture and / or ice, so that these states can be displayed to the driver of the vehicle or taken into account in the execution of the functions of the driver assistance system.

Die Erfindung wird nachfolgend unter Bezugnahme auf die beigefügte 1 näher erläutert.The invention will be described below with reference to the attached 1 explained in more detail.

Diese 1 zeigt ein Blockschaltbild eines erfindungsgemäßen Fahrerassistenzsystems mit einer Stereokamera gemäß der Erfindung.These 1 shows a block diagram of a driver assistance system according to the invention with a stereo camera according to the invention.

Das Fahrerassistenzsystem 10 gemäß 1 für ein Fahrzeug (in der 1 nicht dargestellt) umfasst eine Stereokamera 1, eine Bildauswerteeinheit 2, eine Steuereinheit 3 zur Steuerung von Fahrerassistenzfunktionen über entsprechende Aktuatoren 4 sowie eine Anzeigeeinheit 5.The driver assistance system 10 according to 1 for a vehicle (in the 1 not shown) includes a stereo camera 1 , an image evaluation unit 2 , a control unit 3 for controlling driver assistance functions via corresponding actuators 4 and a display unit 5 ,

Die Stereokamera 1 umfasst einen ersten Bildsensor 1.1 und einen zweiten Bildsensor 1.2, denen jeweils ein Objektiv 1.11 bzw. 1.21 zugeordnet ist. Mit dem Bezugszeichen L ist das an einer Fahrbahnoberfläche in die beiden Objektive 1.11 und 1.21 reflektierte Licht bezeichnet. Ferner ist zwischen dem zweiten Bildsensor 1.2 und dem diesen zugeordneten Objektiv 1.21 ein Polarisationsfilter P1 mit einer auf die x-y-Ebene des Fahrzeugs bezogene waagerechte Polarisationsebene angeordnet.The stereo camera 1 includes a first image sensor 1.1 and a second image sensor 1.2 which each have a lens 1.11 respectively. 1.21 assigned. With the reference L, that is on a road surface in the two lenses 1.11 and 1.21 called reflected light. Further, between the second image sensor 1.2 and the associated lens 1.21 a polarization filter P1 is arranged with a horizontal polarization plane related to the xy plane of the vehicle.

Eine nasse und eine trockene Fahrbahnoberfläche ist durch Vergleich der Werte der Intensitäten der von den beiden Bildsensoren 1.1 und 1.2 aufgenommenen Bildern unterscheidbar, wobei für den Vergleich zeitgleich aufgenommenen Frames der Bilder verwendet werden. Für die von der Stereokamera 1 aufgenommenen Bildern wird idealerweise eine normalisierte Intensität von I = 1 angenommen.A wet and a dry road surface is by comparing the values of the intensities of the two image sensors 1.1 and 1.2 Recorded images distinguishable, and for the comparison at the same time recorded frames of the images are used. For those of the stereo camera 1 images taken is ideally assumed to have a normalized intensity of I = 1.

Die Auswertung der unterschiedlichen Intensitäten der zeitgleich aufgenommenen Bildframes wird anhand der nachfolgenden Tabelle 1 erläutert.The evaluation of the different intensities of the simultaneously recorded image frames will be explained with reference to the following Table 1.

Figure DE102014205204B3_0002
Tab. 1
Figure DE102014205204B3_0002
Tab. 1

Die erste Spalte der Tab. 1 gibt den Zustand der Fahrbahnoberfläche an, die zweite Spalte gibt den Zustand des einfallenden Lichtes L an, die dritte Spalte zeigt die waagerechte Polarisationsebene des Polarisationsfilters P1, die dritte und die vierte Spalte gibt die Intensität I1 bzw. I2 des mit dem ersten Bildsensor 1.1 bzw. dem zweiten Bildsensor 1.2 gleichzeitig aufgenommenen Bildframes und in der fünften und letzten Spalte ist das Intensitätsverhältnis I1/I2 der beiden von dem ersten und zweiten Bildsensor 1.1 bzw. 1.2 aufgenommenen Bildframes eingetragen.The first column of Tab. 1 indicates the state of the road surface, the second column indicates the state of the incident light L, the third column shows the horizontal plane of polarization of the polarization filter P1, the third and the fourth column gives the intensity I1 and I2 of the first image sensor 1.1 or the second image sensor 1.2 simultaneously recorded image frames and in the fifth and last column is the intensity ratio I1 / I2 of the two of the first and second image sensor 1.1 respectively. 1.2 recorded image frames entered.

Bei einer trockenen Fahrbahnoberfläche ist das in die Stereokamera 1 reflektierte Licht L unpolarisiert, so dass aufgrund des Polarisationsfilters P1 nur der waagerecht polarisierte Anteil des einfallenden Lichts L auf den zweiten Bildsensor 1.2 fällt, so dass der Wert der Intensität I2 idealerweise nur den Wert 1/2 des normalisierte Wertes I = 1 beträgt, während von dem ersten Bildsensor 1.1 das Licht L ungefiltert, also unpolarisiert detektiert wird und daher idealerweise den Wert I1 = 1 aufweist. Somit ist das von dem zweiten Bildsensor 1.2 empfangene Bild wesentlich dunkler als jenes vom ersten Bildsensor 1.1.In a dry road surface, this is in the stereo camera 1 reflected light L unpolarized, so that due to the polarization filter P1 only the horizontally polarized portion of the incident light L to the second image sensor 1.2 falls, so that the value of the intensity I2 is ideally only the value 1/2 of the normalized value I = 1, while of the first image sensor 1.1 the light L is unfiltered, ie unpolarized, and therefore ideally has the value I1 = 1. Thus that is from the second image sensor 1.2 received image much darker than that of the first image sensor 1.1 ,

Die Auswertung des Verhältnisses der Intensitäten I1 und I2 durch die Auswerteeinheit 2 führt dazu, dass die Fahrbahnoberfläche als trocken bewertet wird.The evaluation of the ratio of the intensities I1 and I2 by the evaluation unit 2 causes the road surface to be rated as dry.

Bei einer nassen Fahrbahnoberfläche ist das auf die Stereokamera 1 reflektierte Licht L senkrecht zur Straßenoberfläche polarisiert und wird daher von dem Polarisationsfilter P1 im Wesentlichen ungefiltert durchgelassen. Die Intensitäten I1 und I2 zeigen daher im Wesentlichen das gleiche Niveau und weisen idealerweise entsprechend der Tab. 1 die Werte 1 auf, so dass im Wesentlichen auch keine Differenz zwischen den Intensitäten der zum gleichen Zeitpunkt aufgenommenen Bildframes des ersten und zweiten Bildsensors 1.1 und 1.2 detektiert wird und daher das Intensitätsverhältnis I1/I2 gemäß Tab. 1 den Wert 1 aufweist.On a wet road surface this is on the stereo camera 1 reflected light L polarized perpendicular to the road surface and is therefore transmitted by the polarization filter P1 substantially unfiltered. The intensities I1 and I2 therefore show essentially the same level and ideally have the values 1 according to Tab. 1, so that there is essentially no difference between the intensities of the image frames of the first and second image sensors taken at the same time 1.1 and 1.2 is detected and therefore the intensity ratio I1 / I2 according to Tab. 1 has the value 1.

Wird durch die Auswerteeinheit 2 im Wesentlichen keine Differenz zwischen den Intensitäten I1 und I2 detektiert, wird die Fahrbahnoberfläche als nass oder mit Eis bedeckt bewertet. Diese Information wird über die Steuereinheit 3 zum einen der Anzeigeeinheit 5 zur Information an den Fahrer zugeführt und zum anderen wird diese Information aufgrund des verringerten Reibwertes bei Bremsvorgängen im Rahmen der Durchführung von Fahrerassistenzfunktionen von der Steuereinheit 3 berücksichtigt.Is through the evaluation unit 2 If substantially no difference between the intensities I1 and I2 is detected, the road surface is rated as wet or covered with ice. This information is via the control unit 3 on the one hand the display unit 5 for information to the driver and on the other hand this information is due to the reduced coefficient of friction during braking in the context of the implementation of driver assistance functions of the control unit 3 considered.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Stereokamera, MonokameraStereo camera, mono camera
1.11.1
Bildsensorimage sensor
1.111.11
Objektivlens
1.21.2
Bildsensorimage sensor
1.211.21
Objektivlens
22
Auswerteeinheitevaluation
33
Steuereinheitcontrol unit
44
Aktuatoren eines FahrzeugsActuators of a vehicle
55
Anzeigeeinheitdisplay unit
1010
FahrerassistenzsystemDriver assistance system
LL
Licht, LichtstrahlLight, light beam
P1P1
Polarisationsfilterpolarizing filter

Claims (3)

Kamerabasiertes Fahrerassistenzsystem (10) mit einer einen ersten und zweiten Bildsensor (1.1, 1.2) aufweisenden Stereokamera (1) zur Erzeugung von Bilddaten der Fahrzeugumgebung, bei welchem die Bilddaten von einer Bildauswerteeinheit (2) ausgewertet werden und dem zweiten Bildsensor (1.2) ein Polarisationsfilter (P1) vorgeschaltet ist, welcher horizontal polarisiertes Licht transmittieren lässt, dadurch gekennzeichnet, dass die Bildauswerteeinheit (2) ausgebildet ist, die Intensitäten (I1, I2) der gleichzeitig von dem ersten und zweiten Bildsensor (1.1, 1.2) erzeugten Frames von Bilddaten zu vergleichen und in Abhängigkeit des Verhältnisses (I1/I2) der Intensitäten (I1, I2) den Oberflächenzustand der von der Stereokamera (1) aufgenommenen Fahrbahn anzuzeigen.Camera-based driver assistance system ( 10 ) with a first and second image sensor ( 1.1 . 1.2 ) stereo camera ( 1 ) for generating image data of the vehicle environment, in which the image data from an image evaluation unit ( 2 ) and the second image sensor ( 1.2 ) is preceded by a polarizing filter (P1), which transmits horizontally polarized light, characterized in that the image evaluation unit ( 2 ), the intensities (I1, I2) of the first and second image sensors ( 1.1 . 1.2 ), and depending on the ratio (I1 / I2) of the intensities (I1, I2), the surface state of the stereo camera ( 1 ) recorded roadway. Kamerabasiertes Fahrerassistenzsystem (10) nach Anspruch 1, dadurch gekennzeichnet, dass das Polarisationsfilter (P1) mit waagerechter Polarisationsebene statisch in die Stereokamera (1) eingebaut ist.Camera-based driver assistance system ( 10 ) according to claim 1, characterized in that the polarization filter (P1) with a horizontal plane of polarization statically into the stereo camera ( 1 ) is installed. Kamerabasiertes Fahrerassistenzsystem (10) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass als Oberflächenzustand der Fahrbahn Nässe und/oder Feuchtigkeit und/oder Eis angezeigt wird.Camera-based driver assistance system ( 10 ) according to claim 1 or 2, characterized in that the surface condition of the roadway wetness and / or moisture and / or ice is displayed.
DE201410205204 2014-03-20 2014-03-20 Camera-based driver assistance system for detecting the condition of a road surface Active DE102014205204B3 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201410205204 DE102014205204B3 (en) 2014-03-20 2014-03-20 Camera-based driver assistance system for detecting the condition of a road surface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201410205204 DE102014205204B3 (en) 2014-03-20 2014-03-20 Camera-based driver assistance system for detecting the condition of a road surface

Publications (1)

Publication Number Publication Date
DE102014205204B3 true DE102014205204B3 (en) 2015-05-13

Family

ID=52991162

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201410205204 Active DE102014205204B3 (en) 2014-03-20 2014-03-20 Camera-based driver assistance system for detecting the condition of a road surface

Country Status (1)

Country Link
DE (1) DE102014205204B3 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016006326A1 (en) 2016-05-24 2017-11-30 Audi Ag Linear polarized light emission through a vehicle headlight for use in a camera-based driver assistance system
DE102021004337A1 (en) 2021-08-24 2021-10-21 Daimler Ag Device and method for filtering reflections in image data
GB2618782A (en) * 2022-05-13 2023-11-22 Tracsense As Environment detection system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02161337A (en) * 1988-12-14 1990-06-21 Nagoya Denki Kogyo Kk Road surface state detecting device
JP2007064888A (en) * 2005-09-01 2007-03-15 Tokai Rika Co Ltd Road surface condition detector
CN102230884A (en) * 2011-03-29 2011-11-02 南京大学 Detection method for accumulated water and accumulated ice on road surface based on polarization measurement, and apparatus thereof
DE102010020537A1 (en) * 2010-05-14 2011-11-17 H&S Robotic Solutions GbR (vertretungsberechtigter Gesellschafter: Bernd-Helge Schäfer, 67661 Kaiserslautern) Passive water surface detector for use in autonomous system of self-propelled lawn mower moved over area of golf course, has sensor elements connected to data evaluation device and generating image with different polarizations from scene
DE102010023856A1 (en) * 2010-06-15 2011-12-22 Wabco Gmbh Sensor for non-contact determination of the road condition and its use
DE102011051583A1 (en) * 2011-07-05 2013-01-10 Conti Temic Microelectronic Gmbh Image pickup device for a vehicle
DE102012018121A1 (en) * 2012-09-13 2013-04-04 Daimler Ag Image detecting device for detecting images of environment of motor vehicle, has stereo camera unit which has optical unit for detecting images of environment and another optical unit for detecting images of environment

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02161337A (en) * 1988-12-14 1990-06-21 Nagoya Denki Kogyo Kk Road surface state detecting device
JP2007064888A (en) * 2005-09-01 2007-03-15 Tokai Rika Co Ltd Road surface condition detector
DE102010020537A1 (en) * 2010-05-14 2011-11-17 H&S Robotic Solutions GbR (vertretungsberechtigter Gesellschafter: Bernd-Helge Schäfer, 67661 Kaiserslautern) Passive water surface detector for use in autonomous system of self-propelled lawn mower moved over area of golf course, has sensor elements connected to data evaluation device and generating image with different polarizations from scene
DE102010023856A1 (en) * 2010-06-15 2011-12-22 Wabco Gmbh Sensor for non-contact determination of the road condition and its use
CN102230884A (en) * 2011-03-29 2011-11-02 南京大学 Detection method for accumulated water and accumulated ice on road surface based on polarization measurement, and apparatus thereof
DE102011051583A1 (en) * 2011-07-05 2013-01-10 Conti Temic Microelectronic Gmbh Image pickup device for a vehicle
DE102012018121A1 (en) * 2012-09-13 2013-04-04 Daimler Ag Image detecting device for detecting images of environment of motor vehicle, has stereo camera unit which has optical unit for detecting images of environment and another optical unit for detecting images of environment

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CN 102230884 A

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016006326A1 (en) 2016-05-24 2017-11-30 Audi Ag Linear polarized light emission through a vehicle headlight for use in a camera-based driver assistance system
US11002419B2 (en) 2016-05-24 2021-05-11 Audi Ag Linearly polarized light emission by a vehicle headlight for use in a camera-based driver assistance system
DE102021004337A1 (en) 2021-08-24 2021-10-21 Daimler Ag Device and method for filtering reflections in image data
GB2618782A (en) * 2022-05-13 2023-11-22 Tracsense As Environment detection system

Similar Documents

Publication Publication Date Title
EP2733459B1 (en) Device and method for determining the relative position of two coupled shafts to each other
EP3324203B1 (en) Laser distance measuring module with polarization analysis
DE102006053229B4 (en) Optoelectronic sensor and method for detecting objects with polarized light
EP2558336B1 (en) Method and device for assisting a driver while driving a vehicle by detecting weather-related visibility limitations
WO2010076064A1 (en) Camera system and method for capturing the surroundings of a vehicle
DE102014205204B3 (en) Camera-based driver assistance system for detecting the condition of a road surface
DE102016009928A1 (en) Method for detecting wet on a roadway
DE102018216144A1 (en) Anomaly Detection Device and Anomaly Detection Method
DE102019103197A1 (en) PASSENGER MONITORING DEVICE
DE102017207928A1 (en) Operating method and control unit for a LiDAR system, LiDAR system for optically detecting a field of view and working apparatus
DE102012219810A1 (en) Method and device for operating a vehicle with a camera arranged on an exterior mirror
EP1983334A1 (en) Method and apparatus for optically detecting contamination
DE102012015282B4 (en) Method for detecting a covered state of an image capturing device of a motor vehicle, camera system and motor vehicle
DE102019218065A1 (en) Adjustment of size and position of microlenses on an image sensor to correct chromatic aberration
DE102019206316A1 (en) Optical system, in particular LiDAR system, and vehicle
EP2758288A1 (en) Image capturing device for a vehicle
DE102021004337A1 (en) Device and method for filtering reflections in image data
EP2546599A1 (en) Deflectometric assembly for surface inspection
DE102017129737A1 (en) Apparatus for non-contact, 3D optical detection of an end face of a transversely moving, rod-shaped article of the tobacco processing industry
EP3086082B1 (en) Inspection with polarisation filters
DE102013210591A1 (en) MOTION RECOGNITION OF A VEHICLE BY MULTIPLE CAMERAS
DE102016205471A1 (en) Stereo camera device and a method for operating the stereo camera device
DE102020127996A1 (en) Device for evaluating image data in a motor vehicle
EP4289133A1 (en) Method and device for detecting disruptions in the optical path of a stereo camera
DE102015101190A1 (en) Method for determining an image depth value depending on an image area, camera system and motor vehicle

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R081 Change of applicant/patentee

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE

Free format text: FORMER OWNER: CONTI TEMIC MICROELECTRONIC GMBH, 90411 NUERNBERG, DE