DE102017122432A1 - Method for detecting a road condition of a roadway for a motor vehicle, driver assistance system and motor vehicle - Google Patents
Method for detecting a road condition of a roadway for a motor vehicle, driver assistance system and motor vehicle Download PDFInfo
- Publication number
- DE102017122432A1 DE102017122432A1 DE102017122432.7A DE102017122432A DE102017122432A1 DE 102017122432 A1 DE102017122432 A1 DE 102017122432A1 DE 102017122432 A DE102017122432 A DE 102017122432A DE 102017122432 A1 DE102017122432 A1 DE 102017122432A1
- Authority
- DE
- Germany
- Prior art keywords
- roadway
- motor vehicle
- illuminated
- image
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000004458 analytical method Methods 0.000 claims abstract description 11
- 238000011156 evaluation Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000005855 radiation Effects 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims 1
- 239000012791 sliding layer Substances 0.000 description 23
- 238000001514 detection method Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000010410 layer Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
- B60W40/068—Road friction coefficient
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
- B60W30/143—Speed control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zum Erfassen einer Fahrbahnbeschaffenheit einer Fahrbahn (3) für ein Kraftfahrzeug (1); mit den Schritten:
- Beleuchten zumindest eines Fahrbahnbereiches (12a, 12b) der Fahrbahn (3) mittels eines von einer Lichtquelle (5) des Kraftfahrzeugs (1) ausgesendeten Lichtstrahls;
- Empfangen zumindest eines von einer Kamera (6) des Kraftfahrzeugs (1) erfassten Kamerabildes (14) der Fahrbahn (3);
- Erkennen einer Abbildung (12a', 12b') des zumindest einen beleuchteten Fahrbahnbereiches (12a, 12b) in dem zumindest einen Kamerabild (14) der Fahrbahn (3);
- Analysieren der Abbildung (12a', 12b') des zumindest einen beleuchteten Fahrbahnbereiches (12a, 12b) in dem zumindest einen Kamerabild (14) in einem Farbraum;
- Identifizieren einer rutschigen Fahrbahnbeschaffenheit oder einer rutschfesten Fahrbahnbeschaffenheit des zumindest einen beleuchteten Fahrbahnbereiches (12a, 12b) anhand der Analyse der Abbildung (12a', 12b') des zumindest einen beleuchteten Fahrbahnbereiches (12a, 12b) in dem Farbraum.
Die Erfindung betrifft außerdem ein Fahrerassistenzsystem (2) sowie ein Kraftfahrzeug (1).
The invention relates to a method for detecting a road condition of a roadway (3) for a motor vehicle (1); with the steps:
- illuminating at least one roadway area (12a, 12b) of the roadway (3) by means of a light beam emitted by a light source (5) of the motor vehicle (1);
- Receiving at least one of a camera (6) of the motor vehicle (1) detected camera image (14) of the roadway (3);
Detecting an image (12a ', 12b') of the at least one illuminated roadway area (12a, 12b) in the at least one camera image (14) of the roadway (3);
- analyzing the image (12a ', 12b') of the at least one illuminated roadway area (12a, 12b) in the at least one camera image (14) in a color space;
- Identifying a slippery road surface or a non-slip road surface of the at least one illuminated roadway area (12a, 12b) based on the analysis of the figure (12a ', 12b') of the at least one illuminated roadway area (12a, 12b) in the color space.
The invention also relates to a driver assistance system (2) and a motor vehicle (1).
Description
Die Erfindung betrifft ein Verfahren zum Erfassen einer Fahrbahnbeschaffenheit einer Fahrbahn für ein Kraftfahrzeug. Die Erfindung betrifft außerdem ein Fahrerassistenzsystem sowie ein Kraftfahrzeug.The invention relates to a method for detecting a road condition of a roadway for a motor vehicle. The invention also relates to a driver assistance system and a motor vehicle.
Im Straßenverkehr kann es zu Unfällen kommen, wenn ein Kraftfahrzeug auf einer rutschigen bzw. glatten Fahrbahnoberfläche ins Schleudern gerät. Dies kann vorkommen, wenn die Fahrbahn mit einer Gleitschicht, zum Beispiel Glatteis, Schnee, Öl oder Wasser, bedeckt ist. Daher ist es aus dem Stand der Technik bekannt, eine Fahrbahnbeschaffenheit der Fahrbahn zu erfassen, um unterscheiden zu können, ob die Fahrbahnoberfläche glatt und somit rutschig oder trocken und somit rutschfest ist. Aus der
In der
Es ist Aufgabe der vorliegenden Erfindung, eine weitere Lösung bereitzustellen, wie eine Fahrbahnbeschaffenheit einer Fahrbahn für ein Kraftfahrzeug besonders zuverlässig bestimmt werden kann.It is an object of the present invention to provide a further solution, as a road condition of a roadway for a motor vehicle can be determined particularly reliable.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungsformen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.This object is achieved by a method, a driver assistance system and a motor vehicle with the features according to the respective independent claims. Advantageous embodiments of the invention are subject of the dependent claims, the description and the figures.
Gemäß einem Aspekt eines Verfahrens zum Erfassen einer Fahrbahnbeschaffenheit einer Fahrbahn für ein Kraftfahrzeug wird insbesondere zumindest ein Fahrbahnbereich der Fahrbahn mittels eines von einer Lichtquelle des Kraftfahrzeugs ausgesendeten Lichtstrahls beleuchtet und zumindest ein von einer Kamera des Kraftfahrzeugs erfasstes Kamerabild der Fahrbahn empfangen. Insbesondere wird eine Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in dem zumindest einen Kamerabild der Fahrbahn erkannt, die Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in dem zumindest einen Kamerabild in einem Farbraum analysiert und eine rutschige Fahrbahnbeschaffenheit oder eine rutschfeste Fahrbahnbeschaffenheit des zumindest einen beleuchteten Fahrbahnbereiches anhand der Analyse der Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in dem Farbraum identifiziert.In accordance with one aspect of a method for detecting a road surface of a roadway for a motor vehicle, in particular at least one roadway area of the roadway is illuminated by means of a light beam emitted by a light source of the motor vehicle and at least one camera image of the roadway captured by a camera of the motor vehicle is received. In particular, an image of the at least one illuminated roadway area in the at least one camera image of the roadway is detected, the image of the at least one illuminated roadway area in the at least one camera image in a color space is analyzed and a slippery road surface or a non-slip roadway condition of the at least one illuminated roadway area based on the analysis the image of the at least one illuminated lane area identified in the color space.
Besonders bevorzugt wird bei einem Verfahren zum Erfassen einer Fahrbahnbeschaffenheit einer Fahrbahn für ein Kraftfahrzeug zumindest ein Fahrbahnbereich der Fahrbahn mittels eines von einer Lichtquelle des Kraftfahrzeugs ausgesendeten Lichtstrahls beleuchtet und zumindest ein von einer Kamera des Kraftfahrzeugs erfasstes Kamerabild der Fahrbahn empfangen. Darüber hinaus wird eine Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in dem zumindest einen Kamerabild der Fahrbahn erkannt, die Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in dem zumindest einen Kamerabild in einem Farbraum analysiert eine rutschige Fahrbahnbeschaffenheit oder eine rutschfeste Fahrbahnbeschaffenheit des zumindest einen beleuchteten Fahrbahnbereiches anhand der Analyse der Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in dem Farbraum identifiziert.In a method for detecting a road surface of a roadway for a motor vehicle, it is particularly preferable to illuminate at least one roadway area of the roadway by means of a light beam emitted by a light source of the motor vehicle and to receive at least one camera image of the roadway detected by a camera of the motor vehicle. In addition, an image of the at least one illuminated roadway area in the at least one camera image of the roadway is detected, the image of the at least one illuminated roadway area in the at least one camera image in a color space analyzes a slippery road surface or a non-slip road surface of the at least one illuminated roadway area based on the analysis the image of the at least one illuminated lane area identified in the color space.
Mittels des Verfahrens kann ein Fahrerassistenzsystem für das Kraftfahrzeug realisiert werden, durch welches die Fahrbahnbeschaffenheit bzw. der Fahrbahnzustand der Fahrbahn erfasst werden kann und durch welches ein Fahrer des Kraftfahrzeugs beim Führen des Kraftfahrzeugs auf der Fahrbahn mit dem erfassten Fahrbahnzustand unterstützt werden kann. Zum Erfassen der Fahrbahnbeschaffenheit wird eine Fahrbahnoberfläche der Fahrbahn klassifiziert. Beispielsweise kann die Fahrbahnoberfläche dahingehend klassifiziert werden, ob sie zumindest bereichsweise mit einer Gleitschicht, beispielsweise Glatteis, Öl, Wasser, Matsch, Schnee, etc., bedeckt ist, oder ob sie unbedeckt bzw. trocken ist. Im bedeckten Zustand weist die Fahrbahn zumindest bereichsweise eine glatte bzw. rutschige Fahrbahnbeschaffenheit auf, im unbedeckten Zustand weist die Fahrbahn zumindest bereichsweise eine rutschfeste Fahrbahnbeschaffenheit auf.By means of the method, a driver assistance system for the motor vehicle can be realized by which the road condition or the road condition of the road can be detected and by which a driver of the motor vehicle when driving the motor vehicle on the road with the detected road condition can be supported. For detecting the road condition, a road surface of the roadway is classified. For example, the road surface can be classified as to whether it is at least partially covered with a sliding layer, such as black ice, oil, water, mud, snow, etc., or whether it is uncovered or dry. In the covered state, the road at least partially on a smooth or slippery road surface, in the uncovered state, the road at least partially on a non-slip road surface.
Zum Klassifizieren der Fahrbahnoberfläche wird von der fahrzeugseitigen Lichtquelle der Lichtstrahl in einen Umgebungsbereich des Kraftfahrzeugs ausgesendet und auf die Fahrbahnoberfläche gerichtet, sodass auf der Fahrbahnoberfläche ein Lichtfleck bzw. Lichtpunkt entsteht. Insbesondere wird der Lichtstrahl auf den vor dem Kraftfahrzeug liegenden Fahrbahnbereich gerichtet, auf welchen sich das Kraftfahrzeug während der Fahrt zubewegt. Der von dem Lichtfleck überdeckte bzw. eingeschlossene Fahrbahnbereich entspricht dem beleuchteten Fahrbahnbereich. Der beleuchtete Fahrbahnbereich kann also beispielsweise ein runder oder ovaler Bereich auf der Fahrbahnoberfläche sein. Auch können von der Lichtquelle gleichzeitig oder zeitlich nacheinander mehrere Lichtstrahlen ausgesendet werden, sodass die Fahrbahnoberfläche mit den Lichtstrahlen abgetastet wird. Beispielsweise können die Lichtstrahlen entlang einer Linie ausgesendet werden, sodass der auf der Linie liegende Fahrbahnbereich beleuchtet wird. In order to classify the road surface, the light beam is emitted by the vehicle-side light source into a surrounding area of the motor vehicle and directed onto the road surface, so that a light spot or point of light is produced on the road surface. In particular, the light beam is directed to the roadway area in front of the motor vehicle, to which the motor vehicle moves while the vehicle is moving. The lane area covered by the light spot corresponds to the illuminated lane area. The illuminated roadway area may thus be, for example, a round or oval area on the road surface. Also, a plurality of light beams can be emitted from the light source simultaneously or in succession, so that the road surface is scanned with the light beams. For example, the light beams can be emitted along a line so that the lane area lying on the line is illuminated.
Während der Beleuchtung des zumindest einen Fahrbahnbereiches erfasst die Kamera des Kraftfahrzeugs zumindest ein Kamerabild der Fahrbahnoberfläche. Dazu können die Lichtquelle und die Kamera, beispielsweise mittels einer Steuereinrichtung des Fahrerassistenzsystems, zeitlich miteinander synchronisiert werden. Die Kamera, insbesondere ein Auflösungsvermögen der Kamera, ist dabei an die spezifische Lichtquelle, insbesondere an eine Wellenlänge des von der Lichtquelle ausgesendeten Lichtstrahls, angepasst. Beispielsweise kann vorgesehen sein, dass der zumindest eine Fahrbahnbereich mittels eines Lichtstrahls aufweisend intensives Licht beleuchtet wird. Insbesondere wird der Fahrbahnbereich mittels eines Laserstrahls beleuchtet. Der Laserstrahl kann beispielsweise sichtbares Licht aufweisen und gemeinsam mit einer hochauflösenden Kamera betrieben werden. Alternativ kann der Laserstrahl Licht im nichtsichtbaren Wellenlängenbereich aufweisen und gemeinsam mit einer Kamera, welche sensitiv in dem nichtsichtbaren Wellenlängenbereich ist, betrieben werden. Die Kamera ist insbesondere eine Frontkamera, welche beispielsweise hinter einer Windschutzscheibe des Kraftfahrzeugs angeordnet ist und deren Sichtfeld bzw. Blickrichtung in den Umgebungsbereich vor dem Kraftfahrzeug gerichtet ist. Daher kann die Kamera den vor dem Kraftfahrzeug liegenden Umgebungsbereich in Kamerabildern erfassen. Die Kamerabilder können beispielsweise Einzelbilder einer von der Kamera erfassten Videosequenz sein.During the illumination of the at least one roadway area, the camera of the motor vehicle detects at least one camera image of the road surface. For this purpose, the light source and the camera, for example, by means of a control device of the driver assistance system, are synchronized with each other in time. The camera, in particular a resolution capability of the camera, is adapted to the specific light source, in particular to a wavelength of the light beam emitted by the light source. For example, it can be provided that the at least one lane area is illuminated by means of a light beam having intense light. In particular, the roadway area is illuminated by means of a laser beam. The laser beam can, for example, have visible light and be operated together with a high-resolution camera. Alternatively, the laser beam may have light in the invisible wavelength range and be operated in conjunction with a camera that is sensitive in the non-visible wavelength range. The camera is in particular a front camera, which is arranged, for example, behind a windshield of the motor vehicle and whose field of vision or viewing direction is directed into the surrounding area in front of the motor vehicle. Therefore, the camera can detect the surrounding area ahead of the vehicle in camera images. The camera images can be, for example, individual images of a video sequence captured by the camera.
Das zumindest eine von der Kamera erfasste Kamerabild kann einer Auswerteeinrichtung des Fahrerassistenzsystems zugeführt werden, welche daraufhin das zumindest eine Kamerabild analysiert. Zunächst wird in dem zumindest einen Kamerabild die Abbildung des beleuchteten Fahrbahnbereiches erkannt. Anders ausgedrückt wird derjenige Bildbereich in dem zumindest einen Kamerabild erkannt, welcher mit dem beleuchteten Fahrbahnbereich in dem Umgebungsbereich des Kraftfahrzeugs korrespondiert. Der beleuchtete Fahrbahnbereich stellt also eine sogenannte Region von Interesse (ROI- „region of interest“) dar, dessen Abbild in dem zumindest einen Kamerabild erkannt wird. Die Abbildung des zumindest einen Fahrbahnbereiches wird dann in dem Farbraum analysiert. Dazu kann das zumindest eine Kamerabild oder der betreffende Bildbereich in den Farbraum konvertiert werden. Ein Farbraum ist insbesondere als die Menge an Farben definiert, die von der Kamera dargestellt werden kann. Der Farbraum kann die Farben basierend auf einem technisch-physikalischen Farbmodell und/oder basierend auf einem wahrnehmungsorientierten Farbmodell beschreiben. Jede Farbe kann mittels zumindest eines Farbparameters, beispielsweise eines numerischen Farbortes, beschrieben werden. Unter der Analyse der Abbildung des beleuchteten Fahrbahnbereiches in dem Farbraum ist insbesondere zu verstehen, dass zumindest ein Wert des Farbparameters der Abbildung des beleuchteten Fahrbahnbereiches bestimmt und analysiert wird.The at least one camera image captured by the camera can be fed to an evaluation device of the driver assistance system, which then analyzes the at least one camera image. First, the image of the illuminated roadway area is detected in the at least one camera image. In other words, that image area in the at least one camera image is detected, which corresponds to the illuminated roadway area in the surrounding area of the motor vehicle. The illuminated roadway area thus represents a so-called region of interest (ROI) whose image is recognized in the at least one camera image. The image of the at least one roadway area is then analyzed in the color space. For this purpose, the at least one camera image or the relevant image area can be converted into the color space. In particular, a color space is defined as the amount of color that can be displayed by the camera. The color space can describe the colors based on a technical-physical color model and / or based on a perception-oriented color model. Each color can be described by means of at least one color parameter, for example a numerical color location. The analysis of the image of the illuminated roadway area in the color space should in particular mean that at least one value of the color parameter of the image of the illuminated roadway area is determined and analyzed.
Insbesondere wird die Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in einem RGB-Farbraum und/oder einem HSV-Farbraum analysiert. Der RGB-Farbraum, welcher auf einem technisch-physikalischen Modell basiert, ist ein additiver Farbraum, welcher eine Farbe durch das additive Mischen dreier Grundfarben, nämlich rot, grün und blau, nachbildet. Zum Beschreiben einer Farbe in dem RGB-Farbraum kann ein Zahlentripel bestimmt werden, welches die Menge an rotem, grünem und blauem Licht beschreibt. Ein Wert des Rotanteils, ein Wert des Grünanteils und ein Wert des Blauanteils können also als die Werte des Farbparameters der Abbildung des beleuchteten Fahrbahnbereiches bestimmt werden. Der HSV-Farbraum beschreibt Farben anhand eines wahrnehmungsorientierten Modells, bei welchem eine Farbe mithilfe eines Farbwertes (englisch „hue“), einer Farbsättigung (englisch „saturation“) und eines Hellwertes (englisch „value“) definiert wird. Als Werte des Farbparameters können also der Farbwert, die Farbsättigung und der Hellwert der Abbildung des beleuchteten Fahrbahnbereiches bestimmt werden. Auch kann die Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in einem beliebigen anderen Farbraum, beispielsweise in einem HSL-Farbraum und/oder in einem YIQ-Farbraum, analysiert werden.In particular, the image of the at least one illuminated roadway area in an RGB color space and / or an HSV color space is analyzed. The RGB color space, which is based on a technical-physical model, is an additive color space, which reproduces a color by the additive mixing of three primary colors, namely red, green and blue. For describing a color in the RGB color space, a number triplet may be determined which describes the amount of red, green and blue light. A value of the red component, a value of the green component and a value of the blue component can thus be determined as the values of the color parameter of the image of the illuminated roadway region. The HSV color space describes colors on the basis of a perception-oriented model in which a color is defined by means of a hue, a saturation and a value. The color value, the color saturation and the bright value of the image of the illuminated roadway area can therefore be determined as values of the color parameter. The image of the at least one illuminated roadway area can also be analyzed in any other color space, for example in an HSL color space and / or in a YIQ color space.
Durch die Analyse des Abbildes des beleuchteten Fahrbahnbereiches in dem Farbraum kann erkannt werden, ob die Fahrbahnoberfläche glatt ist oder nicht. Beispielsweise kann durch die Verwendung von Deep-Learning-Algorithmen oder maschinellem Lernen unterschieden werden, ob die Fahrbahnoberfläche rutschig ist oder nicht. Der Erfindung liegt die Erkenntnis zugrunde, dass eine Abbildung einer trockenen Fahrbahnoberfläche, welche von einem die Fahrbahnoberfläche treffenden Lichtstrahl beleuchtet wird, üblicherweise Farbparameterwerte aufweist, welche in einem spezifischen Bereich liegen. Wenn der Lichtstrahl jedoch einen rutschigen, glatten Oberflächenbereich der Fahrbahn trifft, verändern sich diese Farbparameterwerte. Durch das Beleuchten des Fahrbahnbereiches mit dem Lichtstrahl und Analysieren des Abbildes des beleuchteten Fahrbahnbereiches kann die Fahrbahnbeschaffenheit besonders zuverlässig erfasst werden.By analyzing the image of the illuminated roadway area in the color space, it can be detected whether the road surface is smooth or not. For example, it can be distinguished by the use of deep learning algorithms or machine learning, whether the Road surface is slippery or not. The invention is based on the finding that an image of a dry road surface which is illuminated by a light beam hitting the road surface usually has color parameter values which lie within a specific range. However, when the light beam strikes a slippery, smooth surface area of the road, these color parameter values change. By illuminating the roadway area with the light beam and analyzing the image of the illuminated roadway area, the road surface condition can be detected particularly reliably.
Vorzugsweise wird als der Lichtstrahl ein Infrarotlaserstrahl ausgesendet und das zumindest eine Kamerabild von einer infrarotsensitiven Kamera erfasst. Die Lichtquelle ist also hier eine Infrarotlichtquelle, welche Licht im nichtsichtbaren Infrarotbereich aussendet. Zum Analysieren des Abbildes des von dem Infrarotlaserstrahl beleuchteten Fahrbahnbereiches wird das zumindest eine Kamerabild von der infrarotsensitiven Kamera erfasst. Hier wird die Infrarotlichtquelle also mit der infrarotsensitiven Kamera synchronisiert. Aus dieser Ausführungsform ergibt sich der Vorteil, dass der Fahrer den durch die Lichtquelle ausgesendeten Lichtstrahl nicht sieht und daher nicht von seiner Fahraufgabe abgelenkt wird, während die Erfassung der Fahrbahnbeschaffenheit durchgeführt wird. Die Infrarotlichtquelle kann in einem Frontbereich des Kraftfahrzeugs, beispielsweise an einem Stoßfänger, angeordnet sein und kann eine Lichtquelle eines Laserscanners sein. Die Lichtquelle kann also sowohl zur Abstandsmessung mittels des Laserscanners als auch zur Erfassung der Fahrbahnbeschaffenheit verwendet werden.Preferably, an infrared laser beam is emitted as the light beam and the at least one camera image is detected by an infrared-sensitive camera. The light source is thus an infrared light source, which emits light in the non-visible infrared range. In order to analyze the image of the lane area illuminated by the infrared laser beam, the at least one camera image is detected by the infrared-sensitive camera. Here, the infrared light source is thus synchronized with the infrared-sensitive camera. From this embodiment, there is the advantage that the driver does not see the light beam emitted by the light source and therefore is not distracted from his driving task, while the detection of the road condition is performed. The infrared light source can be arranged in a front region of the motor vehicle, for example on a bumper, and can be a light source of a laser scanner. The light source can therefore be used both for distance measurement by means of the laser scanner and for detecting the road condition.
Besonders bevorzugt wird im Falle der Identifizierung der rutschigen Fahrbahnbeschaffenheit des zumindest einen beleuchteten Fahrbahnbereiches ein Warnsignal zur Ausgabe an einen Fahrer des Kraftfahrzeugs generiert. Dazu kann am Kraftfahrzeug, beispielsweise in einer Fahrgastzelle des Kraftfahrzeugs, eine Ausgabeeinrichtung angeordnet sein, welche das Warnsignal ausgibt. Eine solche Ausgabeeinrichtung kann eine akustische Ausgabeeinrichtung, beispielsweise ein Lautsprecher, und/oder eine optische Ausgabeeinrichtung, beispielsweise ein Bildschirm, sein. Durch die Ausgabe des Warnsignals kann der Fahrer darauf hingewiesen werden, dass er sich mit dem Kraftfahrzeug auf eine rutschige Fahrbahnoberfläche zubewegt. Somit kann der Fahrer rechtzeitig reagieren und das Kraftfahrzeug beispielsweise vor dem Überfahren der rutschigen Fahrbahnoberfläche abbremsen oder die rutschigen Fahrbahnoberfläche umfahren. Auch kann als das Warnsignal ein Bremssignal generiert werden, durch welches das Kraftfahrzeug automatisch abgebremst wird. Durch das Warnsignal kann also in vorteilhafter Weise verhindert werden, dass das Kraftfahrzeug ins Schleudern gerät und dadurch einen Verkehrsunfall verursacht.In the case of identifying the slippery road surface of the at least one illuminated roadway area, a warning signal for output to a driver of the motor vehicle is particularly preferably generated. For this purpose, an output device can be arranged on the motor vehicle, for example in a passenger compartment of the motor vehicle, which outputs the warning signal. Such an output device may be an acoustic output device, for example a loudspeaker, and / or an optical output device, for example a screen. By issuing the warning signal, the driver can be made aware that he is moving with the motor vehicle on a slippery road surface. Thus, the driver can react in time and brake the vehicle, for example, before driving over the slippery road surface or avoid the slippery road surface. Also, as the warning signal, a brake signal can be generated, by which the motor vehicle is automatically braked. By the warning signal can thus be prevented in an advantageous manner that the vehicle gets into skidding and thereby causes a traffic accident.
Auch können eine Geschwindigkeit des Kraftfahrzeugs und eine Bildfrequenz der Kamera des Kraftfahrzeugs erfasst werden. Anhand der Bildfrequenz und der Geschwindigkeit kann überprüft werden, ob Teilbereiche auf der Fahrbahnoberfläche in Fahrtrichtung des Kraftfahrzeugs existieren, welche nicht von der Kamera erfasst werden können und daher nicht von der Auswerteeinrichtung analysiert werden können. Außerdem kann eine Lage dieser nicht erfassbaren Teilbereiche in Abhängigkeit von der Bildfrequenz und der Geschwindigkeit bestimmt werden. Dem Fahrer kann beispielsweise auf der Ausgabeeinrichtung eine Information angezeigt werden, durch welche der Fahrer auf die nicht erfassbaren Teilbereiche hingewiesen wird.Also, a speed of the motor vehicle and a frame rate of the camera of the motor vehicle can be detected. On the basis of the frame rate and the speed can be checked whether subregions on the road surface in the direction of travel of the motor vehicle exist, which can not be detected by the camera and therefore can not be analyzed by the evaluation. In addition, a position of these non-detectable portions depending on the frame rate and the speed can be determined. The driver can be displayed, for example, on the output device, an information by which the driver is referred to the non-detectable portions.
Es kann vorgesehen sein, dass die Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in dem zumindest einen Kamerabild anhand einer Senderichtung des Lichtstrahls und anhand einer Blickrichtung der Kamera erkannt wird. Anhand der Senderichtung des Lichtstrahls ausgehend vom Kraftfahrzeug kann nämlich die Lage des beleuchteten Fahrbahnbereiches relativ zum Kraftfahrzeug, insbesondere in einem Weltkoordinatensystem, bestimmt werden. Anhand der Blickrichtung der Kamera, welche durch eine Position und eine Orientierung der Kamera am Kraftfahrzeug bestimmt ist, kann die Lage des von der Kamera erfassten beleuchteten Fahrbahnbereiches in dem Kamerabild, insbesondere in Bildkoordinaten, bestimmt werden. Anhand der Bildkoordinaten der Abbildung des beleuchteten Fahrbahnbereiches kann die Abbildung in dem Kamerabild besonders schnell und einfach erkannt werden.It can be provided that the image of the at least one illuminated roadway area in the at least one camera image is detected on the basis of a transmission direction of the light beam and on the basis of a viewing direction of the camera. On the basis of the transmission direction of the light beam starting from the motor vehicle, the position of the illuminated roadway area relative to the motor vehicle, in particular in a world coordinate system, can be determined. Based on the viewing direction of the camera, which is determined by a position and an orientation of the camera on the motor vehicle, the position of the detected by the camera illuminated lane area in the camera image, in particular in image coordinates, can be determined. On the basis of the image coordinates of the image of the illuminated roadway area, the image in the camera image can be detected particularly quickly and easily.
Dabei kann vorgesehen sein, dass zumindest ein Wert zumindest eines den Farbraum charakterisierenden Farbparameters der Abbildung des zumindest einen beleuchteten Fahrbahnbereiches bestimmt wird, der zumindest eine Wert mit einem vorbestimmten Referenzwert verglichen wird und die Fahrbahnbeschaffenheit anhand einer Abweichung des zumindest einen Wertes von dem Referenzwert identifiziert wird. Beispielsweise kann der Referenzwert ein eine rutschfeste Fahrbahnbeschaffenheit charakterisierender Referenzwert sein, wobei die rutschige Fahrbahnbeschaffenheit identifiziert wird, falls der zumindest eine Wert des zumindest einen Farbparameters mindestens um einen vorbestimmten Schwellwert von dem eine rutschfeste Fahrbahnbeschaffenheit charakterisierenden Referenzwert abweicht. Im Falle des HSV-Farbraumes können beispielsweise ein Wert des Farbwertes und/oder ein Wert der Farbsättigung und/oder ein Wert des Hellwertes der Abbildung des beleuchteten Fahrbahnbereiches in dem zumindest einen Kamerabild bestimmt werden. Der zumindest eine bestimmte Wert kann mit dem zumindest einen vorbestimmten Referenzwert verglichen werden. Der Referenzwert kann beispielsweise ein Farbwert und/oder eine Farbsättigung und/oder ein Hellwert sein, welchen der Farbparameter beispielsweise aufweisen würde, falls der Fahrbahnbereich eine trockene Fahrbahnoberfläche aufweisen würde. Der Referenzwert kann beispielsweise vorbestimmt werden, indem die Werte des Farbparameters auf einer trockenen Fahrbahnoberfläche erfasst werden. Alternativ dazu kann der Referenzwert ein eine rutschige Fahrbahnbeschaffenheit charakterisierender Referenzwert sein, wobei die rutschige Fahrbahnbeschaffenheit identifiziert wird, falls der zumindest eine Wert des zumindest einen Farbparameters höchstens um einen vorbestimmten Schwellwert von dem eine rutschige Fahrbahnbeschaffenheit charakterisierenden Referenzwert abweicht.It can be provided that at least one value of at least one color parameter characterizing the color space of the image of the at least one illuminated roadway area is determined, the at least one value is compared with a predetermined reference value and the roadway condition is identified on the basis of a deviation of the at least one value from the reference value , By way of example, the reference value may be a reference value characterizing a slip-resistant road surface, wherein the slippery road surface condition is identified if the at least one value of the at least one color parameter deviates from the reference value characterizing a non-slip roadway texture by at least a predetermined threshold value. In the case of the HSV color space, for example, a value of the color value and / or a value of the color saturation and / or a value of the bright value of the image of the illuminated roadway area in the at least one camera image can be determined become. The at least one specific value can be compared with the at least one predetermined reference value. The reference value can be, for example, a color value and / or a color saturation and / or a bright value which the color parameter would have, for example, if the roadway area had a dry road surface. For example, the reference value may be predetermined by detecting the values of the color parameter on a dry road surface. Alternatively, the reference value may be a reference value characterizing a slippery road surface, wherein the slippery road condition is identified if the at least one value of the at least one color parameter differs at most by a predetermined threshold from the reference value characterizing a slippery road surface.
Insbesondere wird der vorbestimmte Referenzwert in Abhängigkeit von zumindest einem Charakteristikum des Lichtstrahls, insbesondere einer Strahlungsleistung und/oder einer Strahlungsintensität und/oder einer Lichtfarbe, bestimmt. Dieser Ausführungsform liegt Erkenntnis zugrunde, dass die Farbparameter der Abbildung des beleuchteten Fahrbahnbereiches abhängig sind von der spezifischen Lichtquelle, insbesondere von dem Licht, welches die Lichtquelle aussendet. Da die spezifische Lichtquelle bekannt ist, kann der Referenzwert in vorteilhafter Weise im Vorfeld bestimmt werden. Durch die Vorgabe des Referenzwertes kann die Fahrbahnbeschaffenheit besonders schnell und einfach klassifiziert werden.In particular, the predetermined reference value is determined depending on at least one characteristic of the light beam, in particular a radiation power and / or a radiation intensity and / or a light color. This embodiment is based on the knowledge that the color parameters of the image of the illuminated roadway area are dependent on the specific light source, in particular on the light which emits the light source. Since the specific light source is known, the reference value can advantageously be determined in advance. By specifying the reference value, the road condition can be classified very quickly and easily.
In einer Weiterbildung der Erfindung wird eine Änderung in der Fahrbahnbeschaffenheit detektiert, wobei zumindest zwei Fahrbahnbereiche der Fahrbahn mittels des Lichtstrahls beleuchtet werden und deren Abbildungen erkannt werden, für jede der zumindest zwei Abbildungen zumindest ein Wert zumindest eines den Farbraum charakterisierenden Farbparameters bestimmt wird, die zumindest zwei Werte miteinander verglichen werden und die Änderung in der Fahrbahnbeschaffenheit detektiert wird, falls die zumindest zwei Werte zumindest um einen vorbestimmten Schwellwert voneinander abweichen. Es wird also eine Vielzahl von Fahrbahnbereichen mittels des Lichtstrahls beleuchtet. Beispielsweise kann die Fahrbahn entlang einer Linie abgetastet werden, indem die Senderichtung des Lichtstrahls derart verändert wird, dass die Fahrbahnoberfläche entlang der Linie beleuchtet wird. Daraufhin können in den Abbildungen der beleuchteten Fahrbahnbereiche Werte des zumindest einen Farbparameters bestimmt werden. Wenn die Linie eine Gleitschicht auf der Fahrbahnoberfläche schneidet, so ändern sich die Farbparameterwerte entlang der Linie an den Grenzen der Gleitschicht. Diese Änderung kann erkannt werden. Anhand der Änderung der Fahrbahnbeschaffenheit an den Grenzen der Gleitschicht kann außerdem eine räumliche Abmessung der Gleitschicht erkannt werden. Aus dieser Ausführungsform ergibt sich der Vorteil, dass kein Referenzwert zum Vergleich mit dem Farbparameter der Abbildung des beleuchteten Fahrbahnbereiches vorbestimmt werden muss.In one development of the invention, a change in the road surface condition is detected, wherein at least two roadway areas of the roadway are illuminated by the light beam and their images are recognized, for each of the at least two maps at least one value of at least one color space characterizing color parameter is determined, the at least two values are compared with each other and the change in the road condition is detected if the at least two values differ from each other by at least a predetermined threshold value. It is thus illuminated a plurality of lane areas by means of the light beam. For example, the lane may be scanned along a line by changing the transmission direction of the light beam so as to illuminate the lane surface along the line. Thereupon, values of the at least one color parameter can be determined in the images of the illuminated roadway areas. As the line intersects a slip on the road surface, the color parameter values along the line change at the boundaries of the overlay. This change can be detected. On the basis of the change in the road surface at the boundaries of the sliding layer also a spatial dimension of the sliding layer can be detected. From this embodiment, there is the advantage that no reference value for comparison with the color parameter of the image of the illuminated roadway area must be predetermined.
In einer Weiterbildung der Erfindung wird die Fahrbahnbeschaffenheit zusätzlich anhand von Sensordaten zumindest eines fahrzeugseitigen Sensors erkannt, durch welche Umgebungsbedingungen eines Umgebungsbereiches der Kraftfahrzeugs charakterisiert werden. Ein solcher Sensor kann beispielsweise ein Regensensor sein, mittels welchem Regen in dem Umgebungsbereich erfasst werden kann. Im Falle von Regen kann davon ausgegangen werden, dass die Fahrbahnoberfläche nass und möglicherweise rutschig ist. Auch kann der zumindest eine Sensor ein Temperatursensor sein. Wenn beispielsweise erfasst wurde, dass die Temperatur im Umgebungsbereich des Kraftfahrzeugs einen vorbestimmten Temperaturschwellwert, beispielsweise 0°, unterschreitet, so kann die Fahrbahnoberfläche mit einer Gleitschicht, beispielsweise Schnee oder Blitzeis, bedeckt sein. Anhand der Sensordaten des zumindest einen Sensors und anhand der Analyse der Abbildung des beleuchteten Fahrbahnbereiches in dem Farbraum kann die Erkennung der Fahrbahnbeschaffenheit beispielsweise erlernt und verbessert werden. Dies wird auch als maschinelles Lernen bezeichnet. Somit kann besonders zuverlässig die Fahrbahnbeschaffenheit der Fahrbahn für das Kraftfahrzeug erfasst werden.In one development of the invention, the road surface condition is additionally recognized on the basis of sensor data of at least one vehicle-side sensor, by means of which environmental conditions of a surrounding area of the motor vehicle are characterized. Such a sensor may for example be a rain sensor, by means of which rain can be detected in the surrounding area. In the case of rain, it can be assumed that the road surface is wet and possibly slippery. Also, the at least one sensor may be a temperature sensor. If, for example, it has been detected that the temperature in the surrounding area of the motor vehicle falls below a predetermined temperature threshold value, for example 0 °, then the roadway surface may be covered with a sliding layer, for example snow or lightning ice. Based on the sensor data of the at least one sensor and based on the analysis of the image of the illuminated roadway area in the color space, the detection of the road surface, for example, can be learned and improved. This is also referred to as machine learning. Thus, the road condition of the roadway for the motor vehicle can be detected particularly reliably.
In einer weiteren Ausführungsform der Erfindung wird eine Verkehrssituation auf der Fahrbahn vor dem Kraftfahrzeug erfasst und die Bestimmung der Fahrbahnbeschaffenheit unterdrückt, falls als die Verkehrssituation ein Stau erfasst wird. Beispielsweise kann die Verkehrssituation von einer Sensoreinrichtung des Kraftfahrzeugs, beispielsweise der Kamera, erfasst werden. Wenn das Kraftfahrzeug beispielsweise in einem Stau steht, ist eine Erfassung der Fahrbahnbeschaffenheit ohnehin nicht möglich, da die Fahrbahn durch andere Verkehrsteilnehmer belegt ist. Außerdem weist das Kraftfahrzeug im Stau üblicherweise eine geringe Geschwindigkeit auf, sodass eine Erfassung der Fahrbahnbeschaffenheit nicht notwendig ist. Durch Unterdrücken der Erfassung der Fahrbahnbeschaffenheit im Falle eines Staus ist das Fahrerassistenzsystem somit besonders energiesparend gestaltet.In a further embodiment of the invention, a traffic situation on the road ahead of the motor vehicle is detected and the determination of the road condition is suppressed if the traffic situation is detected as a traffic jam. For example, the traffic situation can be detected by a sensor device of the motor vehicle, for example the camera. If the motor vehicle is in a traffic jam, for example, a detection of the road condition is not possible anyway, since the roadway is occupied by other road users. In addition, the motor vehicle usually has a low speed in traffic jams, so that it is not necessary to detect the road condition. By suppressing the detection of the road condition in the event of a traffic jam, the driver assistance system is thus designed to be particularly energy-efficient.
Die Erfindung betrifft außerdem ein Fahrerassistenzsystem für ein Kraftfahrzeug zum Erfassen einer Fahrbahnbeschaffenheit einer Fahrbahn für das Kraftfahrzeug. Gemäß einer Ausführungsform weist das Fahrerassistenzsystem insbesondere eine Lichtquelle, welche dazu ausgelegt ist, einen Lichtstrahl auszusenden und zumindest einen Fahrbahnbereich der Fahrbahn mittels des ausgesendeten Lichtstrahls zu beleuchten, und eine Kamera, welche dazu ausgelegt ist, zumindest ein Kamerabild der Fahrbahn des Kraftfahrzeugs zu erfassen, auf. Insbesondere weist das Fahrerassistenzsystem eine Auswerteeinrichtung, auf, welche dazu ausgelegt ist, das zumindest eine Kamerabild zu empfangen, eine Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in dem zumindest einen Kamerabild der Fahrbahn zu erkennen, die Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in dem zumindest einen Kamerabild in einem Farbraum zu analysieren und eine rutschige Fahrbahnbeschaffenheit oder einer rutschfeste Fahrbahnbeschaffenheit des zumindest einen beleuchteten Fahrbahnbereiches anhand der Analyse der Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in dem Farbraum zu identifizieren.The invention also relates to a driver assistance system for a motor vehicle for detecting a road condition of a roadway for the motor vehicle. According to one embodiment, the driver assistance system has, in particular, a light source which is designed to emit a light beam and at least one roadway area the roadway to illuminate by means of the emitted light beam, and a camera which is adapted to detect at least one camera image of the roadway of the motor vehicle, on. In particular, the driver assistance system has an evaluation device, which is designed to receive the at least one camera image, to recognize an image of the at least one illuminated roadway area in the at least one camera image of the roadway, the image of the at least one illuminated roadway area in the at least one camera image to analyze in a color space and to identify a slippery road surface or a non-slip road surface of at least one illuminated lane area based on the analysis of the image of the at least one illuminated lane area in the color space.
Gemäß einer besonders bevorzugten Ausführungsform weist das Fahrerassistenzsystem eine Lichtquelle, welche dazu ausgelegt ist, einen Lichtstrahl auszusenden und zumindest einen Fahrbahnbereich der Fahrbahn mittels des ausgesendeten Lichtstrahls zu beleuchten, und eine Kamera, welche dazu ausgelegt ist, zumindest ein Kamerabild der Fahrbahn des Kraftfahrzeugs zu erfassen, auf. Darüber hinaus weist das Fahrerassistenzsystem eine Auswerteeinrichtung auf, welche dazu ausgelegt ist, das zumindest eine Kamerabild zu empfangen, eine Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in dem zumindest einen Kamerabild der Fahrbahn zu erkennen, die Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in dem zumindest einen Kamerabild in einem Farbraum zu analysieren und eine rutschige Fahrbahnbeschaffenheit oder eine rutschfeste Fahrbahnbeschaffenheit des zumindest einen beleuchteten Fahrbahnbereiches anhand der Analyse der Abbildung des zumindest einen beleuchteten Fahrbahnbereiches in dem Farbraum zu identifizieren.According to a particularly preferred embodiment, the driver assistance system has a light source which is designed to emit a light beam and to illuminate at least one lane area of the lane by means of the emitted light beam, and a camera which is designed to capture at least one camera image of the lane of the motor vehicle , on. In addition, the driver assistance system has an evaluation device which is designed to receive the at least one camera image, to recognize an image of the at least one illuminated roadway area in the at least one camera image of the roadway, the image of the at least one illuminated roadway area in the at least one camera image to analyze in a color space and to identify a slippery road surface or a non-slip road surface of the at least one illuminated lane area based on the analysis of the image of the at least one illuminated lane area in the color space.
Die Lichtquelle kann beispielsweise eine Laserlichtquelle sein, welcher Laserlicht, insbesondere einen Infrarotlaserstrahl, in den Umgebungsbereich des Kraftfahrzeugs aussendet. Der Laser kann beispielsweise Teil eines bereits am Kraftfahrzeug angeordneten Laserscanner sein, welcher zur Abstandsmessung vorgesehen ist. Die Kamera kann beispielsweise eine infrarotsensitive Kamera sein, welche dazu ausgelegt ist, einen von dem Infrarotlaserstrahl beleuchteten Fahrbahnbereich auf der Fahrbahn des Kraftfahrzeugs zu erfassen. Die Auswerteeinrichtung kann beispielsweise in ein Steuergerät des Kraftfahrzeugs integriert sein.The light source may, for example, be a laser light source which emits laser light, in particular an infrared laser beam, into the surrounding area of the motor vehicle. The laser may for example be part of a laser scanner already arranged on the motor vehicle, which is provided for distance measurement. By way of example, the camera can be an infrared-sensitive camera which is designed to detect a road area illuminated by the infrared laser beam on the roadway of the motor vehicle. The evaluation device can be integrated, for example, in a control unit of the motor vehicle.
Auch kann vorgesehen sein, dass das Fahrerassistenzsystem eine Ausgabeeinrichtung zum Ausgeben einer Information über die erfasste Fahrbahnbeschaffenheit an einen Fahrer des Kraftfahrzeugs aufweist. Die Ausgabeeinrichtung kann beispielsweise eine akustische und/oder optische Ausgabeeinrichtung sein, durch welche im Falle einer rutschigen Fahrbahnoberfläche ein Warnsignal ausgegeben werden kann. Beispielsweise kann die Ausgabeeinrichtung ein Bildschirm sein, auf welchem das Kamerabild des Umgebungsbereiches des Kraftfahrzeugs mit der Fahrbahn angezeigt wird. Falls die Fahrbahnoberfläche eine Gleitschicht aufweist, kann diese nach Erkennen anhand der Analyse der Abbildung des beleuchteten Fahrbahnbereiches in dem angezeigten Kamerabild markiert werden.It can also be provided that the driver assistance system has an output device for outputting information about the detected road condition to a driver of the motor vehicle. The output device can be, for example, an acoustic and / or optical output device, by means of which a warning signal can be output in the case of a slippery road surface. For example, the output device may be a screen on which the camera image of the surrounding area of the motor vehicle is displayed with the roadway. If the road surface has a sliding layer, it can be marked after detection on the basis of the analysis of the image of the illuminated roadway area in the displayed camera image.
Es erweist sich als vorteilhaft, wenn das Fahrerassistenzsystem dazu ausgelegt ist, bei einer Identifizierung der rutschigen Fahrbahnbeschaffenheit des beleuchteten Fahrbahnbereiches eine Geschwindigkeit des Kraftfahrzeugs automatisch zu reduzieren. Dazu kann das Fahrerassistenzsystem beispielsweise ein Bremssignal für das Kraftfahrzeug zum automatischen Reduzieren der Geschwindigkeit des Kraftfahrzeugs generieren. Das Fahrerassistenzsystem ist somit als ein aktives Sicherheitssystem („active safety system“) ausgebildet.It proves to be advantageous if the driver assistance system is designed to automatically reduce a speed of the motor vehicle when identifying the slippery road surface of the illuminated roadway area. For this purpose, the driver assistance system can generate, for example, a brake signal for the motor vehicle for automatically reducing the speed of the motor vehicle. The driver assistance system is thus designed as an active safety system ("active safety system").
Ein erfindungsgemäßes Kraftfahrzeug umfasst ein erfindungsgemäßes Fahrerassistenzsystem oder eine vorteilhafte Ausführungsform davon. Das Kraftfahrzeug ist insbesondere als ein Personenkraftwagen ausgebildet.A motor vehicle according to the invention comprises a driver assistance system according to the invention or an advantageous embodiment thereof. The motor vehicle is designed in particular as a passenger car.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug.The preferred embodiments presented with reference to the method according to the invention and their advantages apply correspondingly to the driver assistance system according to the invention and to the motor vehicle according to the invention.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.Further features of the invention will become apparent from the claims, the figures and the description of the figures. The features and feature combinations mentioned above in the description, as well as the features and combinations of features mentioned below in the description of the figures and / or shown alone in the figures, can be used not only in the respectively specified combination but also in other combinations or in isolation, without the frame to leave the invention. Thus, embodiments of the invention are to be regarded as encompassed and disclosed, which are not explicitly shown and explained in the figures, however, emerge and can be produced by separated combinations of features from the embodiments explained. Embodiments and combinations of features are also to be regarded as disclosed, which thus do not have all the features of an originally formulated independent claim. In addition, embodiments and combinations of features, in particular by the embodiments set out above, are to be regarded as disclosed above those in the back covers of the claims out or deviate from the described combinations of features.
Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.The invention will now be described with reference to preferred embodiments and with reference to the accompanying drawings.
Dabei zeigen:
-
1 eine schematische Darstellung einer Ausführungsform eines erfindungsgemäßen Kraftfahrzeugs; -
2 eine schematische Darstellung einer Fahrbahn vor dem Kraftfahrzeug, welche bereichsweise eine rutschige Fahrbahnoberfläche aufweist; -
3 eine schematische Darstellung von Komponenten einer Ausführungsform eines erfindungsgemäßen Fahrerassistenzsystems; -
4 eine schematische Darstellung einer Fahrbahn vor dem Kraftfahrzeug, welche keine rutschige Fahrbahnoberfläche aufweist; -
5 dieDarstellung gemäß 4 , wobei die Fahrbahn bereichsweise eine rutschige Fahrbahnoberfläche aufweist; -
6a ,6b schematische Darstellungen von Lichtflecken eines Lichtstrahls, welcher eine rutschfeste Fahrbahnoberfläche sowie eine rutschige Fahrbahnoberfläche berührt; und -
7 eine schematische Darstellung eines Ablaufplans zum Erfassen einer Fahrbahnbeschaffenheit der Fahrbahn.
-
1 a schematic representation of an embodiment of a motor vehicle according to the invention; -
2 a schematic representation of a roadway in front of the motor vehicle, which partially has a slippery road surface; -
3 a schematic representation of components of an embodiment of a driver assistance system according to the invention; -
4 a schematic representation of a roadway in front of the motor vehicle, which has no slippery road surface; -
5 the representation according to4 wherein the road surface partially has a slippery road surface; -
6a .6b schematic representations of light spots of a light beam, which touches a non-slip road surface and a slippery road surface; and -
7 a schematic representation of a flowchart for detecting a road condition of the road.
In den Figuren sind gleiche sowie funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.In the figures, identical and functionally identical elements are provided with the same reference numerals.
Das Fahrerassistenzsystem
In
Anhand der beleuchteten Fahrbahnbereiche
In
Im Betrieb des Fahrerassistenzsystems
Auch können eine Geschwindigkeit des Kraftfahrzeugs
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- DE 102013223014 A1 [0002]DE 102013223014 A1 [0002]
- US 2015/0371095 A1 [0003]US 2015/0371095 A1 [0003]
- US 2008/0129547 A1 [0003]US 2008/0129547 A1 [0003]
Claims (14)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017122432.7A DE102017122432A1 (en) | 2017-09-27 | 2017-09-27 | Method for detecting a road condition of a roadway for a motor vehicle, driver assistance system and motor vehicle |
PCT/EP2018/075116 WO2019063341A1 (en) | 2017-09-27 | 2018-09-18 | Method for detecting a roadway condition of a roadway for a motor vehicle, driver assistance system and motor vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017122432.7A DE102017122432A1 (en) | 2017-09-27 | 2017-09-27 | Method for detecting a road condition of a roadway for a motor vehicle, driver assistance system and motor vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102017122432A1 true DE102017122432A1 (en) | 2019-03-28 |
Family
ID=63683158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102017122432.7A Pending DE102017122432A1 (en) | 2017-09-27 | 2017-09-27 | Method for detecting a road condition of a roadway for a motor vehicle, driver assistance system and motor vehicle |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102017122432A1 (en) |
WO (1) | WO2019063341A1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113435250A (en) * | 2021-05-25 | 2021-09-24 | 西北工业大学深圳研究院 | Full-time road detection method and device based on infrared polarization imaging of focal plane |
US11498537B1 (en) * | 2016-04-11 | 2022-11-15 | State Farm Mutual Automobile Insurance Company | System for determining road slipperiness in bad weather conditions |
US11656094B1 (en) | 2016-04-11 | 2023-05-23 | State Farm Mutual Automobile Insurance Company | System for driver's education |
US11727495B1 (en) | 2016-04-11 | 2023-08-15 | State Farm Mutual Automobile Insurance Company | Collision risk-based engagement and disengagement of autonomous control of a vehicle |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102243782B1 (en) | 2016-10-28 | 2021-04-23 | 피피지 인더스트리즈 오하이오 인코포레이티드 | Coating to increase near-infrared detection distance |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080129547A1 (en) | 2006-11-02 | 2008-06-05 | Denso Corporation | Vehicle emergency call device and vehicle emergency call system |
DE102010035235A1 (en) * | 2009-09-09 | 2011-04-21 | GM Global Technology Operations, Inc., Detroit | Vehicle terrain detection system and method |
DE102013223014A1 (en) | 2013-11-12 | 2015-05-13 | Robert Bosch Gmbh | Driver assistance system for a motor vehicle for the anticipatory detection of a road surface |
US20150371095A1 (en) | 2013-02-19 | 2015-12-24 | Conti Temic Microelectronic Gmbh | Method and Apparatus for Determining a Road Condition |
DE102014212032A1 (en) * | 2014-06-24 | 2015-12-24 | Robert Bosch Gmbh | Method for detecting a roadway and corresponding detection system |
DE102014224857A1 (en) * | 2014-12-04 | 2016-06-09 | Conti Temic Microelectronic Gmbh | Sensor system and method for classifying road surfaces |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009055190B4 (en) * | 2009-12-22 | 2024-04-25 | Robert Bosch Gmbh | Method for detecting puddles in front of a vehicle |
-
2017
- 2017-09-27 DE DE102017122432.7A patent/DE102017122432A1/en active Pending
-
2018
- 2018-09-18 WO PCT/EP2018/075116 patent/WO2019063341A1/en active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080129547A1 (en) | 2006-11-02 | 2008-06-05 | Denso Corporation | Vehicle emergency call device and vehicle emergency call system |
DE102010035235A1 (en) * | 2009-09-09 | 2011-04-21 | GM Global Technology Operations, Inc., Detroit | Vehicle terrain detection system and method |
US20150371095A1 (en) | 2013-02-19 | 2015-12-24 | Conti Temic Microelectronic Gmbh | Method and Apparatus for Determining a Road Condition |
DE102013223014A1 (en) | 2013-11-12 | 2015-05-13 | Robert Bosch Gmbh | Driver assistance system for a motor vehicle for the anticipatory detection of a road surface |
DE102014212032A1 (en) * | 2014-06-24 | 2015-12-24 | Robert Bosch Gmbh | Method for detecting a roadway and corresponding detection system |
DE102014224857A1 (en) * | 2014-12-04 | 2016-06-09 | Conti Temic Microelectronic Gmbh | Sensor system and method for classifying road surfaces |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11498537B1 (en) * | 2016-04-11 | 2022-11-15 | State Farm Mutual Automobile Insurance Company | System for determining road slipperiness in bad weather conditions |
US20230042735A1 (en) * | 2016-04-11 | 2023-02-09 | State Farm Mutual Automobile Insurance Company | System for Determining Road Slipperiness in Bad Weather Conditions |
US11656094B1 (en) | 2016-04-11 | 2023-05-23 | State Farm Mutual Automobile Insurance Company | System for driver's education |
US11727495B1 (en) | 2016-04-11 | 2023-08-15 | State Farm Mutual Automobile Insurance Company | Collision risk-based engagement and disengagement of autonomous control of a vehicle |
CN113435250A (en) * | 2021-05-25 | 2021-09-24 | 西北工业大学深圳研究院 | Full-time road detection method and device based on infrared polarization imaging of focal plane |
CN113435250B (en) * | 2021-05-25 | 2024-02-27 | 西北工业大学深圳研究院 | Full-time road detection method and device based on focal plane division infrared polarization imaging |
Also Published As
Publication number | Publication date |
---|---|
WO2019063341A1 (en) | 2019-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102017122432A1 (en) | Method for detecting a road condition of a roadway for a motor vehicle, driver assistance system and motor vehicle | |
DE102011106050B4 (en) | Shadow removal in an image captured by a vehicle-based camera for detection of a clear path | |
DE102006020192B4 (en) | Apparatus and method for predicting collision | |
EP2289044B1 (en) | Image data visualization | |
DE102006010295B4 (en) | Camera system with at least two image recorders | |
DE102018203807A1 (en) | Method and device for detecting and evaluating road conditions and weather-related environmental influences | |
DE102018111265A1 (en) | Vehicle Environment Imaging Systems and Methods | |
EP3014569B1 (en) | Inspection of the contoured surface of the underbody of a motor vehicle | |
DE102014104613A1 (en) | Object detecting device | |
DE102009025545A1 (en) | Method and device for detecting brake light systems | |
DE102009020328A1 (en) | A method for displaying differently well visible objects from the environment of a vehicle on the display of a display device | |
DE102013019138A1 (en) | A method for detecting a hidden state of a camera, camera system and motor vehicle | |
DE102014118779A1 (en) | Arrow signal detection device | |
DE102011106072A1 (en) | SHADOW REMOVAL IN A PICTURE BASED ON A VEHICLE-BASED CAMERA USING AN OPTIMIZED LINEAR AXIS | |
DE102019115459A1 (en) | METHOD AND DEVICE FOR EVALUATING A ROAD SURFACE FOR MOTOR VEHICLES | |
DE102016210632A1 (en) | Method for checking a media loss of a motor vehicle and motor vehicle and system for carrying out such a method | |
DE102009014437B4 (en) | Object Recognition System and Method | |
DE102014213485A1 (en) | DRIVING SUPPORT DEVICE | |
DE102010043829B4 (en) | Optical scanning system and optical scanning method | |
DE102006037600B4 (en) | Method for the resolution-dependent representation of the environment of a motor vehicle | |
DE102016101149A1 (en) | A method for detecting smoke in an environmental area of a motor vehicle with the aid of a camera of the motor vehicle, driver assistance system and motor vehicle | |
DE102013215408A1 (en) | A vehicle display system and method for displaying a vehicle environment | |
DE102006004770B4 (en) | Method for image-based recognition of vehicles in the vicinity of a road vehicle | |
DE102015006569A1 (en) | Method for image-based recognition of the road type | |
DE102007024641A1 (en) | Vehicle surrounding representing method for tracing of e.g. animal, involves determining measuring range based on object hypotheses, commonly analyzing sensor signal flow in ranges and processing flows in unadjusted manner |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified | ||
R012 | Request for examination validly filed |