EP4367473A1 - System und verfahren zum schätzen der tiefe mindestens eines zumindest zum teil mit wasser gefüllten schlaglochs und entsprechendes fahrerassistenzsystem - Google Patents

System und verfahren zum schätzen der tiefe mindestens eines zumindest zum teil mit wasser gefüllten schlaglochs und entsprechendes fahrerassistenzsystem

Info

Publication number
EP4367473A1
EP4367473A1 EP22732551.1A EP22732551A EP4367473A1 EP 4367473 A1 EP4367473 A1 EP 4367473A1 EP 22732551 A EP22732551 A EP 22732551A EP 4367473 A1 EP4367473 A1 EP 4367473A1
Authority
EP
European Patent Office
Prior art keywords
pothole
filled
water
camera sensor
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP22732551.1A
Other languages
English (en)
French (fr)
Inventor
Neeraj Tiwari
Sindhu VENNA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Publication of EP4367473A1 publication Critical patent/EP4367473A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/18—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring depth
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/35—Road bumpiness, e.g. potholes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures

Definitions

  • the present application relates to a system for estimating the depth of at least one at least partially water-filled pothole by a driver assistance system provided in a vehicle. Furthermore, the application relates to a method for estimating the depth of at least one at least in part
  • potholes are caused by the pavement being subjected to severe stress from severe weather and the sustained pressure of oncoming traffic. Potholes are caused by the expansion and contraction of water that has seeped into the ground beneath the asphalt and pavement.
  • US 9626763 B1 discloses a system for detecting potholes, comprising: an input interface to configured to: receive sensor data of a vehicle; a vehicle event recording processor configured to: determine a pothole based at least in part on the sensor data; storing pothole data associated with the pothole, the pothole data including pothole video; and providing the pothole data, wherein a pothole rating of the pothole is determined and stored based at least in part on the pothole data, the pothole rating including a drive avoidance rating, a visibility rating, or any combination thereof.
  • a road surface condition detecting device mounted on a vehicle comprising: laser beam scanning means for scanning with a laser beam a road surface in a transverse direction; image pick-up means for picking up a scanning locus of the laser beam in an oblique direction to generate cross-sectional data of the road surface; light receiving means for receiving a laser beam reflected from the road surface in an oblique direction to generate crack data of the road surface; road distance detecting means for measuring distances to the road surface from three positions on a line in the longitudinal direction of the vehicle to generate longitudinal profile data of the road surface; running distance detection means for measuring a running distance of the vehicle; and recording means for recording data generated by the image pickup means, the light receiving means and the distance detecting means, respectively, together with the running distance data generated by the running distance detecting means.
  • the dependent claims list further advantageous measures which can be combined with one another as desired to achieve further advantages.
  • a system for estimating the depth of at least one at least partially water-filled pothole by a driver assistance system provided in a vehicle comprising the following: at least one optical camera sensor configured to at least detect an at least partially water filled pothole based on camera data generated by the optical camera sensor, at least one thermal camera sensor configured to determine a road surface temperature, the road surface covering the surface of the at least one at least partially water filled pothole, wherein the determination of the road surface temperature is based on the temperature determination of the pixels in a thermal pixel image generated by the at least one thermal camera sensor, a processor configured to determine the surface temperature of the at least one at least in part mi t water-filled pothole detected by the at least one optical camera sensor based on the road surface temperature detected by the at least one thermal camera sensor, and is further configured to determine the depth of the at least one at least partially water-filled pothole based on its surface temperature.
  • a pothole can also be a crack in the road.
  • a water filled pothole may also include water and another fluid.
  • the pothole filled with water is completely filled with water. It has been found that open road cracks/potholes are visible from a considerable distance and thus can be detected by systems/methods as mentioned above in the prior art. However, it has also been found that these methods are not reliable in all environmental conditions, particularly when these potholes are filled with water due to rain, snow or some other reason. Furthermore, until now it has been very difficult to obtain the depth information of these potholes. Therefore, if the vehicle encounters such a (deep) pothole filled with water, a serious accident or driving discomfort may result. In addition, the vehicle can be severely damaged, particularly from deep potholes, resulting in increased maintenance and other operational expenses.
  • the invention is based on the further finding that the surface temperature is lower for deep water-filled potholes compared to narrower water-filled potholes.
  • the invention thus enables the depth of at least one pothole that is at least partially filled with water to be determined by combining a thermal camera sensor and an optical camera sensor, so that a pothole with a large depth can be avoided. This allows for a safe and comfortable ride for the driver. In addition, damage otherwise caused by deep potholes can be avoided.
  • the invention enables the depth of a pothole to be estimated by detecting a temperature reached by combining sensor signals obtained from the optical camera sensor and the thermal camera sensor.
  • such cameras are already installed in a vehicle.
  • By determining the temperature for each pixel in the thermal pixel image it is possible to determine the depth of water-filled potholes in any environment, even in fog, rain or at night. Especially in fog, when the front scene is usually not even visible, or in severe weather conditions, a depth estimate for potholes filled with water can be given.
  • the thermal camera is a high speed infrared imaging camera that allows the generation of high speed thermal imaging with good resolution at a fast frame rate.
  • the optical camera sensor creates an image of the street scene and then separates the areas of potholes from the rest of the scene (residual scene) into segments.
  • the camera preferably consists of or uses a CNN (Convolutional Neural Network) for fast and accurate real-time segmentation.
  • CNN Convolutional Neural Network
  • Alternative other image processing algorithms such as other artificial neural networks or pattern recognition can be used.
  • the at least one optical camera sensor and the at least one thermal camera sensor are located on a windshield of the vehicle. In another embodiment, the at least one optical camera sensor and the at least one thermal camera sensor are located at the top of the windshield. This allows a large field of view to be achieved. As a result, road images far away from the vehicle can be created. This allows deep potholes to be detected at a great distance.
  • the at least one optical camera sensor is an RGB (Red, Green, Blue) camera sensor.
  • RGB Red, Green, Blue
  • This is a traditional, low-cost camera, typically fitted with a standard CMOS sensor, through which the color images are obtained.
  • the resolution of still images is usually specified in megapixels.
  • the processor is configured to To determine the surface temperature of the at least one at least partially filled with water pothole from a measured emission spectrum using Planck's radiation law for black body radiation.
  • Planck's radiation law for black body radiation.
  • the blackbody emission concept can be used to determine the surface temperature, so that a precise determination of the temperature reached on a pothole surface is possible. Integrating Planck's law over all frequencies gives the total energy per unit time per unit area radiated by a blackbody maintained at a temperature T. This is known as the Stefan-Boltzmann law.
  • the Stefan-Boltzmann law describes the energy radiated by a blackbody as a function of its temperature. More specifically, the Stefan-Boltzmann law states that the total energy radiated per area A of a blackbody over all wavelengths per unit time (also known as the emissivity of a blackbody) is directly proportional to the fourth power P of the thermodynamic temperature T of the blackbody: where s is the Stefan-Boltzmann constant.
  • the blackbody must absorb or internally generate that amount of power P for the given area A.
  • the processor is configured to estimate the depth of the at least one at least partially water filled pothole using a trained machine learning approach.
  • the depth can thus be estimated by a trained deep learning approach, for example.
  • the training data can be easily derived from real images of water-filled potholes and a (manually or automatically) measured depth of the corresponding potholes filled with water. Using this approach, potholes of various shapes and depths, etc. can be readily determined.
  • the processor is configured to determine the depth of the at least one at least partially water filled pothole by comparing the surface temperature of the water filled potholes to a temperature of the surrounding surface and/or by comparing the surface temperatures of the water filled potholes to each other appreciate. This allows a quick estimate to be achieved.
  • the system further includes at least one speed camera configured to measure the beam reflected from the road surface, wherein the processor is further configured to determine the depth of the at least one pothole at least partially filled with water estimate the reflected beam and the surface temperature of the at least one pothole at least partially filled with water.
  • the system can be coupled to an external weather station.
  • the system may activate itself automatically.
  • the system can automatically deactivate itself and use the conventional radar sensor to detect the pothole (which is not filled with water due to the long hot spell).
  • a driver assistance system that includes a system for estimating the depth of at least one at least partially water-filled pothole according to one of the preceding claims, wherein the driver assistance system is configured to, in the case of a predefined number of at least partially water-filled potholes that are detected by the system, and / or a predefined depth at least one at least pothole partially filled with water, which is detected by the system to issue a warning.
  • a detected deep pothole can be displayed/marked on a driver's display. This enables the driver, for example, to choose his route in such a way that deep potholes in particular can be avoided. Thus, a comfortable ride is possible and damage can be avoided.
  • the driver assistance system is preferably also configured to, in the case of a predefined number of potholes that are at least partially filled with water and/or a predefined depth of at least one pothole that is at least partially filled with water, which is detected by the system is to select operating parameters for determining a trajectory with which avoidance or reduction of an at least partially water-filled pothole and/or avoidance of the at least one deep at least partially water-filled pothole is achieved.
  • the operating parameters include at least the parameter for controlling the steering to avoid accidents.
  • the ADAS then outputs a control signal with the steering parameters to a steering system and/or an ABS system.
  • the operating parameters include at least the suspension system control parameter.
  • the driver assistance system is configured to select the parameter for controlling the suspension system such that a comfortable ride is possible for the occupant.
  • the object is also achieved by a method for estimating the depth of at least one pothole that is at least partially filled with water using a driver assistance system provided in a vehicle, the method comprising the following:
  • the advantages of the system can also be transferred to the process.
  • the method can be carried out in particular using a system according to the invention.
  • the temperature of the surface is determined from a measured radiation spectrum using Planck's law of blackbody radiation.
  • a trained machine learning approach is used to estimate the depth of the at least one at least partially water filled pothole.
  • Fig. 1 shows schematically the shape of a pothole
  • Fig. 2 shows schematically the system of the invention
  • Fig. 4 schematically shows potholes segmented using a CNN
  • Fig. 5 shows schematically a thermal pixel image
  • Fig. 7 schematically shows the method.
  • Fig. 1 schematically shows the design of potholes 1 filled with water.
  • Potholes 1 are caused by the expansion and contraction of water 3 that has seeped into the ground beneath the asphalt and pavement/road surface 2 .
  • Potholes 1 are also caused when the surface / the Road surface 2 is exposed to heavy loads from severe weather, such as ice 4, and the sustained pressure of oncoming traffic.
  • Figure 2 shows schematically the system 5 for estimating the depth of a water-filled pothole 1 of the invention.
  • the system 5 includes an RGB (Red, Green, Blue) camera sensor 6.
  • the RGB camera sensor 6 generates camera data of the road surface/pavement surface 2.
  • the RGB camera sensor 6 is typically equipped with a standard CMOS sensor, by which the color images will be obtained. Still image capture is typically measured in megapixels.
  • the RGB (Red-Green-Blue) camera sensor 6 itself or a processor is used to segment the areas of the water filled potholes 1 from the rest of the image.
  • the RGB (Red-Green-Blue) camera sensor 6 preferably includes or uses a CNN (Convolutional Neural Network) for fast and accurate real-time segmentation. CNNs are most commonly used to analyze visual images. CNNs are used for image classification and recognition due to their high and fast accuracy.
  • FIG 3 schematically shows a segmentation 7 of a pothole 1 filled with water in the image (the image data) that is (are) generated by the RGB (red-green-blue) camera sensor 6 .
  • Potholes 1 are also, for example, cracks in the pavement/road surface 2.
  • the system 5 comprises a thermal camera sensor 8 which generates a thermal pixel image 9 (FIG. 4) of the pavement/road surface 2 .
  • the thermal camera sensor 8 is, for example, a infrared imaging camera.
  • the thermal camera sensor 8 determines a road surface temperature of the road/pavement surface 2 including the detected potholes 1 filled with water. This determination is based on the temperature determination of each pixel in a thermal pixel image 9 ( Figure 5).
  • FIG. 5 schematically shows a thermal pixel image 9 with potholes 1 filled with water, which is divided into segments with CNN.
  • the temperature of the pothole surface 1 be calculated.
  • This estimate is based on the assumption that the surface temperature of a deep water-filled pothole 1 is less than the surface temperature of a narrower water-filled pothole 1.
  • the system 5 includes a processor (e.g. integrated into the sensors 6, 8 or a separate processor).
  • a processor e.g. integrated into the sensors 6, 8 or a separate processor.
  • Planck's law black body radiation concept
  • Integrating Planck's law over all frequencies gives the total energy per unit time per unit area radiated by a blackbody maintained at a temperature T. This is known as the Stefan-Boltzmann law: where s is the Stefan-Boltzmann constant and P is the power over the given area A.
  • the temperature for the pixels in the thermal pixel image 9 it is possible to determine the depth of the water-filled potholes 1 in any environment (such as fog, rain, at night).
  • any environment such as fog, rain, at night.
  • fog when the front scene is usually not even visible, or in other severe storm conditions, a depth estimate for potholes 1 filled with water can be given.
  • the processor is configured to estimate the depth of the water filled pothole 1 by its surface temperature. Therefore, the processor uses a trained deep learning approach. This increases the overall accuracy of the estimation of the depth of the pothole 1 filled with water.
  • the training data for this can be easily generated from real images of potholes filled with water and their (manually or automatically) measured depth. With this approach, potholes of various shapes and depths, etc. can be easily identified.
  • the RGB (Red-Green-Blue) camera sensor 6 and the thermal camera sensor 8 are located on top of a windshield 10 of a vehicle 11 (FIG. 6) and form a field of view 12 (FIG. 6).
  • ADAS driver assistance system
  • the system 5 comprises the RGB (Red-Green-Blue) camera sensor 6 and the thermal camera sensor 8 which are arranged on top of the windshield 10 of the vehicle 11 ( FIG. 6 ) and form the field of view 12 .
  • the system 5 detects the potholes 1, 1a filled with water and estimates the depth.
  • the depth of the pothole 1a filled with water is greater than the depth of the pothole 1 filled with water.
  • the surface temperature of the water-filled pothole 1a is lower than the narrower water-filled pothole 1 because hot bodies emit more radiation than cold bodies/objects. Since the deep water-filled pothole 1a has more water than a narrow water-filled pothole 1 , the attained temperature of the deep water-filled pothole 1a is lower than that of the pothole 1 .
  • the driver assistance system 13 is also configured to output a warning in the case of a predefined depth (in this case, for example, the deep pothole 1a filled with water).
  • the deep pothole 1a filled with water can be shown on a display, for example. This allows the driver, for example, to select his route in such a way that the deep pothole 1a in particular can be avoided. Thus, a comfortable ride is possible and damage can be avoided.
  • the driver assistance system 13 selects operating parameters for determining a trajectory with which avoidance in the case of a predefined number of detected water-filled potholes 1 and / or a predefined depth of at least one pothole 1a or reducing the detected potholes 1 filled with water and/or avoiding the detected deep pothole 1a filled with water is possible.
  • the operating parameters preferably include at least the parameter for controlling the steering to avoid accidents or damage.
  • the operating parameters include at least the parameter for controlling the suspension system to provide a comfortable ride for the occupants and avoid damage from the deep water-filled pothole 1a.
  • thermal camera sensor 8 enables better night vision and better vision in fog.
  • the method starts with a first step S1.
  • the RGB (Red-Green-Blue) camera sensor 6 detects all water-filled potholes 1, 1a, and the thermal camera sensor 8 detects the road surface temperature.
  • a third step S3 the data from the RGB camera 6 and the thermal camera are merged.
  • a fourth step S4 the surface temperature of the potholes 1, 1a filled with water and the temperature of the surface of the road surface 2 are determined. This relates in particular to the surface of the road surface 2 positioned in the vicinity of the potholes 1, 1a filled with water.
  • a fourth step S4 the processor estimates the depth of the water-filled potholes 1, 1a by their surface temperature. For this purpose, the temperature of each pothole 1, 1a filled with water is compared with the temperature of the corresponding surrounding surface of the road surface 2.
  • the surface temperature of the water-filled pothole is less than the temperature of the surrounding surface, the surface temperature of the water-filled pothole 1 is compared with the surface temperature of the water-filled pothole 1a, sixth step S6.
  • the pothole 1a is deeper than the pothole 1a, seventh step S7.
  • pothole 1 the pothole 1a is deeper than the pothole 1, eighth step S8.
  • a step S9 the results are forwarded to the ADAS, which uses the results, for example, to calculate a new trajectory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Toxicology (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die vorliegende Anmeldung bezieht sich auf ein System (5) zum Schätzen der Tiefe mindestens eines zumindest zum Teil mit Wasser gefüllten Schlaglochs (1, 1a) durch ein Fahrerassistenzsystem (13), das in einem Fahrzeug (11) vorgesehen ist, wobei das System (5) Folgendes umfasst: mindestens einen optischen Kamerasensor, der dazu konfiguriert ist, das mindestens eine zumindest zum Teil mit Wasser gefüllte Schlagloch (1, 1a) basierend auf Kameradaten, die von dem optischen Kamerasensor erzeugt werden, zu detektieren, mindestens einen Wärmekamerasensor (8), der dazu konfiguriert ist, eine Straßenoberflächentemperatur zu bestimmen, wobei die Straßenoberfläche (2) die Oberfläche des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs (1, 1a) umfasst, wobei die Bestimmung der Straßenoberflächentemperatur auf der Temperaturbestimmung der Pixel in einem Wärmepixelbild (9), das von dem mindestens einen Wärmekamerasensor (8) erzeugt wird, basiert, einen Prozessor, der zum Bestimmen der Oberflächentemperatur des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs (1, 1a), das von dem mindestens einen optischen Kamerasensor detektiert wird, basierend auf der Straßenoberflächentemperatur, die von dem mindestens einen Wärmekamerasensor (8) detektiert wird, zu bestimmen, und ferner dazu konfiguriert ist, die Tiefe des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs (1, 1a) basierend auf seiner Oberflächentemperatur zu schätzen. Ferner bezieht sich die Anmeldung auf ein Verfahren zum Schätzen der Tiefe mindestens eines zumindest zum Teil mit Wasser gefüllten Schlaglochs und ein Fahrerassistenzsystem, das solch ein Verfahren implementiert.

Description

System und Verfahren zum Schätzen der Tiefe mindestens eines zumindest zum Teil mit Wasser gefüllten Schlaglochs und entsprechendes
Fahrerassistenzsystem
Die vorliegende Anmeldung bezieht sich auf ein System zum Schätzen der Tiefe mindestens eines zumindest zum Teil mit Wasser gefüllten Schlaglochs durch ein Fahrerassistenzsystem, das in einem Fahrzeug vorgesehen ist. Ferner bezieht sich die Anmeldung auf ein Verfahren zum Schätzen der Tiefe mi ndestens eines zumindest zum Teil mit
Wasser gefüllten Schlaglochs und ein Fahrerassistenzsystem, das solch ein Verfahren implementiert.
Im Allgemeinen werden Schlaglöcher dadurch verursacht, dass der Belag starken Belastungen durch schwere Unwetter und den anhaltenden Druck von auffahrendem Verkehr ausgesetzt wird. Schlaglöcher werden durch das Expandieren und Zusammenziehen von Wasser, das in den Boden unter den Asphalt und den Belag gesickert ist, verursacht.
Weltweit sind Risse/Löcher in der Straße ein Flauptgrund für Unfälle.
Eine im Internet veröffentlichte kürzlich durchgeführte Studie der AAA (American Automobile Association) zeigt, dass in den letzten fünf Jahren etwa 16 Millionen Fahrer in den Vereinigten Staaten Schäden durch Schlaglöcher erlitten haben. Die Studie der AAA gibt bekannt, dass Schlaglochschäden Fahrer in den Vereinigten Staaten 15 Milliarden Dollar für Fahrzeugreparaturen in den letzten fünf Jahren oder ungefähr 3 Milliarden Dollar jährlich gekostet haben.
Diese Kosten ergeben sich aus mehr Fahrzeugreparaturen, höheren Wartungs- und anderen Betriebsausgaben.
Es gibt einige Verfahren und Systeme zum Detektieren von Schlaglöchern.
Die US 9626763 B1 offenbart ein System zum Detektieren von Schlaglöchern, das Folgendes umfasst: eine Eingangsschnittstelle, die zu Folgendem konfiguriert ist: Empfangen von Sensordaten eines Fahrzeugs; einen Fahrzeugereignisaufzeichnungsprozessor, der zu Folgendem konfiguriert ist: Bestimmen eines Schlaglochs basierend zumindest zum Teil auf den Sensordaten; Speichern von dem Schlagloch zugeordneten Schlaglochdaten, wobei die Schlaglochdaten ein Schlaglochvideo umfassen; und Bereitstellen der Schlaglochdaten, wobei eine Schlaglocheinstufung des Schlaglochs zumindest zum Teil basierend auf den Schlaglochdaten bestimmt und gespeichert wird, wobei die Schlaglocheinstufung eine Fahrvermeidungseinstufung, eine Sichtbarkeitseinstufung oder eine beliebige Kombination daraus umfasst.
Die US 4653316 A offenbart eine
Straßenoberflächenzustandsdetektionseinrichtung, die an einem Fahrzeug befestigt ist, wobei die Einrichtung Folgendes umfasst: ein Laserstrahlscanmittel zum Scannen mit einem Laserstrahl einer Straßenoberfläche in einer Querrichtung; Bildaufnahmemittel zum Aufnehmen eines Scanorts des Laserstrahls in einer Schrägrichtung zur Erzeugung von Querprofildaten der Straßenoberfläche; Lichtempfangsmittel zum Empfangen eines von der Straßenoberfläche in einer Schrägrichtung reflektierten Laserstrahls zur Erzeugung von Rissdaten der Straßenoberfläche; Straßenabstandsdetektionsmittel zum Messen von Abständen zur Straßenoberfläche von drei Positionen auf einer Linie in der Längsrichtung des Fahrzeugs aus zum Erzeugen von Längsprofildaten der Straßenoberfläche; Laufstreckendetektionsmittel zum Messen einer Laufstrecke des Fahrzeugs; und Aufzeichnungsmittel zum Aufzeichnen von Daten, die jeweils von den Bildaufnahmemitteln, den Lichtempfangsmitteln und den Abstandsdetektionsmitteln erzeugt werden, zusammen mit den Laufstreckendaten, die von den Laufstreckendetektionsmitteln erzeugt werden.
Eine Aufgabe der vorliegenden Erfindung besteht darin, ein verbessertes System und ein Verfahren zum automatischen Detektieren von Schlaglöchern bereitzustellen. Eine weitere Aufgabe besteht darin, ein verbessertes Fahrerassistenzsystem bereitzustellen. Diese Aufgabe wird durch ein System mit den Merkmalen von Anspruch 1 und ein Fahrerassistenzsystem mit den Merkmalen von Anspruch 8 und ein Verfahren mit den Merkmalen von Anspruch 13 gelöst. Die abhängigen Ansprüche listen weitere vorteilhafte Maßnahmen, die nach Wunsch miteinander kombiniert werden können, zur Erzielung weiterer Vorteile auf.
Die Aufgabe wird durch ein System zum Schätzen der Tiefe mindestens eines zumindest zum Teil mit Wasser gefüllten Schlaglochs durch ein Fahrerassistenzsystem, das in einem Fahrzeug vorgesehen ist, gelöst, wobei das System Folgendes umfasst: mindestens einen optischen Kamerasensor, der dazu konfiguriert ist, das mindestens eine zumindest zum Teil mit Wasser gefüllte Schlagloch basierend auf Kameradaten, die von dem optischen Kamerasensor erzeugt werden, zu detektieren, mindestens einen Wärmekamerasensor, der dazu konfiguriert ist, eine Straßenoberflächentemperatur zu bestimmen, wobei die Straßenoberfläche die Oberfläche des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs umfasst, wobei die Bestimmung der Straßenoberflächentemperatur auf der Temperaturbestimmung der Pixel in einem Wärmepixelbild, das von dem mindestens einen Wärmekamerasensor erzeugt wird, basiert, einen Prozessor, der zum Bestimmen der Oberflächentemperatur des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs, das von dem mindestens einen optischen Kamerasensor detektiert wird, basierend auf der Straßenoberflächentemperatur, die von dem mindestens einen Wärmekamerasensor detektiert wird, zu bestimmen, und ferner dazu konfiguriert ist, die Tiefe des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs basierend auf seiner Oberflächentemperatur zu schätzen.
Ein Schlagloch kann auch ein Straßenriss sein. Ein mit Wasser gefülltes Schlagloch kann auch Wasser und ein anderes Fluid umfassen.
Vorzugsweise ist das mit Wasser gefüllte Schlagloch komplett mit Wasser gefüllt. Es wurde festgestellt, dass offene Straßenrisse/Schlaglöcher aus einer beträchtlichen Entfernung sichtbar sind und somit von Systemen/Verfahren, wie oben beim Stand der Technik erwähnt, detektiert werden können. Es wurde jedoch auch festgestellt, dass diese Verfahren nicht bei allen Umgebungsbedingungen zuverlässig sind, insbesondere dann nicht, wenn diese Schlaglöcher aufgrund von Regen, Schnee oder aus einem anderen Grund mit Wasser gefüllt sind. Des Weiteren war es bis jetzt sehr schwierig, die Tiefeninformationen dieser Schlaglöcher zu erlangen. Wenn also das Fahrzeug auf solch ein (tiefes) mit Wasser gefülltes Schlagloch trifft, kann es zu einem schweren Unfall oder Unbehagen bei der Fahrt kommen. Darüber hinaus kann das Fahrzeug stark beschädigt werden, insbesondere durch tiefe Schlaglöcher, was zu höheren Wartungs- und anderen Betriebsausgaben führt.
Die Erfindung basiert auf der weiteren Erkenntnis, dass die Oberflächentemperatur für tiefe mit Wasser gefüllte Schlaglöcher im Vergleich zu schmaleren mit Wasser gefüllten Schlaglöchern geringer ist.
Die Erfindung ermöglicht somit die Bestimmung der Tiefe mindestens eines zumindest zum Teil mit Wasser gefüllten Schlaglochs durch das Zusammenlegen eines Wärmekamerasensors und eines optischen Kamerasensors, so dass ein Schlagloch mit einer großen Tiefe vermieden werden kann. Dies ermöglicht eine sichere und angenehme Fahrt für den Fahrer. Darüber hinaus können Schäden, die ansonsten durch tiefe Schlaglöcher verursacht werden, vermieden werden.
Die Erfindung ermöglicht die Schätzung der Tiefe eines Schlaglochs durch Detektion einer erreichten Temperatur durch Kombinieren von Sensorsignalen, die von dem optischen Kamerasensor und dem Wärmekamerasensor erhalten werden. Im Allgemeinen sind solche Kameras bereits in einem Fahrzeug installiert. Durch die Temperaturbestimmung für jedes Pixel in dem Wärmepixelbild ist es möglich, die Tiefe der mit Wasser gefüllten Schlaglöcher in jeglicher Umgebung, selbst bei Nebel, Regen oder nachts, zu bestimmen. Insbesondere bei Nebel, wenn die Frontszene gewöhnlich nicht mal sichtbar ist, oder bei schweren Unwetterbedingungen kann eine Tiefenschätzung für mit Wasser gefüllte Schlaglöcher abgegeben werden.
Bei einer bevorzugten Ausführungsform ist die Wärmekamera eine Hochgeschwindigkeits-Infrarotbildkamera, die die Erzeugung einer Hochgeschwindigkeits-Wärmebilderfassung mit einer guten Auflösung bei einer schnellen Bildwechselfrequenz gestattet.
Bei einer Ausführungsform erzeugt der optische Kamerasensor ein Bild der Straßenszene und trennt dann die Bereiche der Schlaglöcher vom Rest der Szene (der restlichen Szene) in Segmenten ab. Somit besteht die Kamera vorzugsweise aus einem CNN (Convolutional Neural Network) für eine schnelle und akkurate Echtzeit-Segmentierung oder verwendet dieses. Alternative andere Bildverarbeitungsalgorithmen wie andere künstliche neuronale Netze oder Mustererkennung können verwendet werden.
Bei einer Ausführungsform sind der mindestens eine optische Kamerasensor und der mindestens eine Wärmekamerasensor an einer Windschutzscheibe des Fahrzeugs angeordnet. Bei einer weiteren Ausführungsform sind der mindestens eine optische Kamerasensor und der mindestens eine Wärmekamerasensor an der Oberseite der Windschutzscheibe angeordnet. Dadurch kann ein großes Sichtfeld erzielt werden. Im Ergebnis können Straßenbilder in großer Entfernung zum Fahrzeug erzeugt werden. Dies gestattet, dass tiefe Schlaglöcher in großer Entfernung detektiert werden.
Bei einem weiteren Aspekt der vorliegenden Erfindung ist der mindestens eine optische Kamerasensor einen RGB(Rot, Grün, Blau)-Kamerasensor. Dabei handelt es sich um eine herkömmliche kostengünstige Kamera, die in der Regel mit einem standardmäßigen CMOS-Sensor ausgestattet ist, durch den die Farbbilder erhalten werden. Die Auflösung von Standbildern wird in der Regel in Megapixel angegeben.
Bei einer weiteren Ausführungsform ist der Prozessor dazu konfiguriert, die Oberflächentemperatur des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs aus einem gemessenen Emissionsspektrum unter Verwendung des Planckschen Strahlungsgesetzes zur Schwarzkörperstrahlung zu bestimmen. Zur Bestimmung der Oberflächentemperatur kann das Schwarzkörperemissionskonzept (Plancksche Gesetz) verwendet werden, so dass eine präzise Bestimmung der erreichten Temperatur einer Schlaglochoberfläche möglich ist. Die Integration des Planckschen Gesetzes über alle Frequenzen hinweg gibt die Gesamtenergie pro Zeiteinheit pro Flächeneinheit, die von einem Schwarzkörper, der bei einer Temperatur T gehalten wird, abgestrahlt wird. Dies ist als das Stefan-Boltzmann-Gesetz bekannt.
Das Stefan-Boltzmann-Gesetz beschreibt die von einem Schwarzkörper in Abhängigkeit von seiner Temperatur abgestrahlte Energie. Genauer besagt das Stefan-Boltzmann-Gesetz, dass die pro Fläche A eines Schwarzkörpers abgestrahlte Gesamtenergie über alle Wellenlängen pro Zeiteinheit (auch als die spezifische Ausstrahlung eines Schwarzkörpers bezeichnet) direkt proportional zur vierten Potenz P der thermodynamischen Temperatur T des Schwarzkörpers ist: wobei s die Stefan-Boltzmann-Konstante ist.
Um beispielsweise bei konstanter Temperatur T im thermischen Gleichgewicht zu bleiben, muss der Schwarzkörper diese Menge an Leistung P für die gegebene Fläche A absorbieren oder intern erzeugen.
Bei einer Ausführungsform ist der Prozessor dazu konfiguriert, die Tiefe des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs unter Verwendung eines trainierten Machine-Learning-Ansatzes zu schätzen. Die Tiefe kann also beispielsweise von einem trainierten Deep- Learning-Ansatz geschätzt werden. Die Trainingsdaten können ohne Weiteres von Echtbildern von mit Wasser gefüllten Schlaglöchern und einer (manuell oder automatisch) gemessenen Tiefe der entsprechenden mit Wasser gefüllten Schlaglöcher erzeugt werden. Unter Verwendung dieses Ansatzes können Schlaglöcher mit verschiedenen Formen und Tiefen usw. ohne Weiteres bestimmt werden.
Bei einer weiteren Ausführungsform ist der Prozessor dazu konfiguriert, die Tiefe des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs durch Vergleichen der Oberflächentemperatur der mit Wasser gefüllten Schlaglöcher mit einer Temperatur der umliegenden Oberfläche und/oder durch Vergleichen der Oberflächentemperaturen der mit Wasser gefüllten Schlaglöcher miteinander zu schätzen. Dadurch kann eine schnelle Schätzung erzielt werden.
Bei einem weiteren Aspekt der vorliegenden Erfindung umfasst das System ferner mindestens eine Radarsensorkamera, die dazu konfiguriert ist, den von der Straßenoberfläche reflektierten Strahl zu messen, wobei der Prozessor ferner dazu konfiguriert ist, die Tiefe des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs durch den reflektierten Strahl und die Oberflächentemperatur des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs zu schätzen.
Dadurch kann eine gute Bestimmung der Tiefe erzielt werden, selbst bei beispielsweise zur Hälfte mit Wasser gefüllten Schlaglöchern.
Des Weiteren kann das System bei einer Ausführungsform mit einer externen Wetterstation gekoppelt sein. Bei Regen oder Schnee oder schlechtem Wetter kann sich das System im Allgemeinen automatisch selbst aktivieren. Bei einer langen Hitzeperiode und beispielsweise Fahren auf einer Schnellstraße kann sich das System automatisch selbst deaktivieren und den herkömmlichen Radarsensor zum Detektieren des Schlaglochs (das aufgrund der langen Hitzeperiode nicht mit Wasser gefüllt ist) verwenden.
Die Aufgabe wird ferner durch ein Fahrerassistenzsystem (ADAS) erzielt, das ein System zum Schätzen der Tiefe des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs nach einem der vorhergehenden Ansprüche umfasst, wobei das Fahrerassistenzsystem dazu konfiguriert ist, im Falle einer vordefinierten Anzahl an zumindest zum Teil mit Wasser gefüllten Schlaglöchern, die von dem System detektiert werden, und/oder einer vordefinierten Tiefe mindestens eines zumindest zum Teil mit Wasser gefüllten Schlaglochs, die von dem System detektiert wird, eine Warnung auszugeben. Darüber hinaus kann ein detektiertes tiefes Schlagloch auf einem Fahrerdisplay angezeigt/markiert werden. Dies ermöglicht es dem Fahrer, beispielsweise seine Route so zu wählen, dass insbesondere die tiefen Schlaglöcher vermieden werden können. Somit ist eine angenehme Fahrt möglich und Schäden können vermieden werden.
Im Falle eines autonom oder halbautonom betriebenen Fahrerassistenzsystems ist das Fahrerassistenzsystem vorzugsweise ferner dazu konfiguriert, im Falle einer vordefinierten Anzahl an zumindest zum Teil mit Wasser gefüllten Schlaglöchern und/oder einer vordefinierten Tiefe mindestens eines zumindest zum Teil mit Wasser gefüllten Schlaglochs, die von dem System detektiert wird, Betriebsparameter zur Bestimmung einer Trajektorie auszuwählen, mit denen Vermeiden oder Reduzieren eines zumindest zum Teil mit Wasser gefüllten Schlaglochs und/oder Vermeiden des mindestens einen tiefen zumindest zum Teil mit Wasser gefüllten Schlaglochs erzielt wird.
Somit kann eine angenehme Fahrt erreicht werden, und Schäden können automatisch vermieden werden.
Bei einer Ausführungsform umfassen die Betriebsparameter zumindest den Parameter zur Steuerung der Lenkung zur Vermeidung von Unfällen. Das ADAS gibt dann ein Steuersignal mit den Lenkparametern an ein Lenksystem und/oder ein ABS-System aus.
Bei einem weiteren Aspekt der vorliegenden Erfindung umfassen die Betriebsparameter zumindest den Parameter zur Steuerung des Aufhängungssystems. Des Weiteren ist bei einer Ausführungsform das Fahrerassistenzsystem dazu konfiguriert, den Parameter zur Steuerung des Aufhängungssystems derart zu wählen, dass eine angenehme Fahrt für den Insassen möglich ist.
Die Aufgabe wird ferner durch ein Verfahren zur Schätzung der Tiefe mindestens eines zumindest zum Teil mit Wasser gefüllten Schlaglochs durch ein in einem Fahrzeug vorgesehenes Fahrerassistenzsystem gelöst, wobei das Verfahren Folgendes umfasst:
Detektieren mindestens eines zumindest zum Teil mit Wasser gefüllten Schlaglochs basierend auf Kameradaten, die von mindestens einem optischen Kamerasensor erzeugt werden, Bestimmen einer Straßenoberflächentemperatur, wobei die Oberfläche die Oberfläche des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs umfasst, wobei die Bestimmung der Straßenoberflächentemperatur auf der Temperaturbestimmung der Pixel in einem Wärmepixelbild, das von dem mindestens einen Wärmekamerasensor erzeugt wird, basiert,
Bestimmen der Oberflächentemperatur des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs, das von dem mindestens einen optischen Kamerasensor detektiert wird, basierend auf der Straßenoberflächentemperatur, die von dem mindestens einen Wärmekamerasensor detektiert wird,
Schätzen der Tiefe des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs durch seine Oberflächentemperatur.
Die Vorteile des Systems können auch auf das Verfahren übertragen werden. Das Verfahren kann bei einer oder mehreren der beschriebenen Ausführungsformen insbesondere unter Verwendung eines Systems gemäß der Erfindung ausgeführt werden.
Bei einer Ausführungsform wird die Temperatur der Oberfläche aus einem gemessenen Strahlungsspektrum unter Verwendung des Planckschen Gesetzes zur Schwarzkörperstrahlung bestimmt. Bei einem weiteren Aspekt der vorliegenden Erfindung wird ein trainierter Machine-Learning-Ansatz zum Schätzen der Tiefe des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs verwendet.
Weitere Einzelheiten und Aspekte der Erfindung gehen aus der folgenden Beschreibung der bevorzugten Ausführungsformen, insbesondere in Verbindung mit den abhängigen Ansprüchen, hervor. In diesem Fall können die jeweiligen Merkmale alleine oder in Kombination miteinander implementiert werden. Die Erfindung ist nicht auf die Ausführungsformen beschränkt. Die Ausführungsformen werden schematisch in den Figuren gezeigt; in denen:
Fig. 1 schematisch die Gestaltung eines Schlaglochs zeigt,
Fig. 2 schematisch das System der Erfindung zeigt,
Fig. 3 schematisch eine Schlaglochsegmentierung in dem Bild zeigt,
Fig. 4 schematisch unter Verwendung eines CNN in Segmente aufgeteilte Schlaglöcher zeigt,
Fig. 5 schematisch ein Wärmepixelbild zeigt,
Fig. 6 ein Fahrzeug mit einem Fahrerassistenzsystem zeigt,
Fig. 7 schematisch das Verfahren zeigt.
Fig. 1 zeigt schematisch die Gestaltung von mit Wasser gefüllten Schlaglöchern 1.
Schlaglöcher 1 werden durch Expandieren und Zusammenziehen von Wasser 3, das in den Boden unter den Asphalt und den Belag/die Straßenoberfläche 2 gesickert ist, verursacht.
Schlaglöcher 1 werden ferner verursacht, wenn der Belag/die Straßenoberfläche 2 starken Belastungen durch schwere Unwetter, beispielsweise Eis 4, und dem anhaltenden Druck von auffahrendem Verkehr ausgesetzt wird.
Fig. 2 zeigt schematisch das System 5 zum Schätzen der Tiefe eines mit Wasser gefüllten Schlaglochs 1 der Erfindung.
Das System 5 umfasst einen RGB(Rot, Grün, Blau)-Kamerasensor 6. der RGB-Kamerasensor 6 erzeugt Kameradaten der Straßenoberfläche/der Belagoberfläche 2. Der RGB-Kamerasensor 6 ist in der Regel mit einem standardmäßigen CMOS-Sensor ausgestattet ist, durch den die Farbbilder erhalten werden. Die Erfassung von Standbildern wird in der Regel in Megapixel angegeben.
Der RGB(Rot-Grün-Blau)-Kamerasensor 6 selbst oder ein Prozessor wird dazu verwendet, die Bereiche der mit Wasser gefüllten Schlaglöcher 1 vom Rest des Bilds in Segmenten abzutrennen. Somit umfasst der RGB(Rot- Grün-Blau)-Kamerasensor 6 vorzugsweise ein CNN (Convolutional Neural Network) für eine schnelle und akkurate Echtzeit-Segmentierung oder verwendet dieses. CNNs werden am häufigsten zur Analyse von visuellen Bildern angewendet. CNNs werden aufgrund ihrer hohen und schnellen Genauigkeit zur Bildklassifizierung und -erkennung verwendet.
Fig. 3 zeigt schematisch eine Segmentierung 7 eines mit Wasser gefüllten Schlaglochs 1 in dem Bild (den Bilddaten), das (die) von dem RGB(Rot- Grün-Blau)-Kamerasensor 6 erzeugt wird (werden).
Fig. 4 zeigt schematisch mit Wasser gefüllte Schlaglöcher 1 in durch CNN in Segmente aufgeteilt in dem durch den RGB(Rot-Grün-Blau)-Kamerasensor 6 erzeugten Megapixelbild. Schlaglöcher 1 sind auch beispielsweise Risse in den Belag/der Straßenoberfläche 2.
Darüber hinaus umfasst das System 5 einen Wärmekamerasensor 8, der ein Wärmepixelbild 9 (Fig. 4) des Belags/der Straßenoberfläche 2 erzeugt. Der Wärmekamerasensor 8 ist beispielsweise eine Flochgeschwindigkeits- Infrarotbildkamera.
Der Wärmekamerasensor 8 bestimmt eine Straßenoberflächentemperatur der Straßen-/Belagsoberfläche 2, die die detektierten mit Wasser gefüllten Schlaglöcher 1 umfasst. Diese Bestimmung basiert auf der Temperaturbestimmung jedes Pixels in einem Wärmepixelbild 9 (Fig. 5).
Fig. 5 zeigt schematisch ein Wärmepixelbild 9 mit mit Wasser gefüllten Schlaglöchern 1 , das mit CNN in Segmente unterteilt ist.
Somit kann durch Zusammenlegen der Informationen zu den mit Wasser gefüllten Schlaglöchern 1, die von dem RGB(Rot-Grün-Blau)-Kamerasensor 6 detektiert werden, und von Informationen zur Straßenoberflächentemperatur, die von dem Wärmekamerasensor 8 bestimmt wird, die Temperatur der Schlaglochoberfläche 1 berechnet werden.
Diese Schätzung basiert auf der Annahme, dass die Oberflächentemperatur eines tiefen mit Wasser gefüllten Schlaglochs 1 weniger als die Oberflächentemperatur eines schmaleren mit Wasser gefüllten Schlaglochs 1 beträgt.
Somit umfasst das System 5 einen Prozessor (beispielsweise in die Sensoren 6, 8 integriert oder einen eigenständigen Prozessor).
Zur Bestimmung der Oberflächentemperatur kann beispielsweise das Plancksche Gesetz (Schwarzkörperausstrahlungskonzept) verwendet werden, wodurch die erreichte Temperatur an der Schlaglochoberfläche präzise erhalten werden kann und somit auch eine gute Schätzung der Tiefe erlangt wird.
Die Integration des Planckschen Gesetzes über alle Frequenzen ergibt die Gesamtenergie pro Zeiteinheit pro Flächeneinheit, die von einem auf einer Temperatur T gehaltenen Schwarzkörper abgestrahlt wird. Dies ist als das Stefan-Boltzmann-Gesetz bekannt: wobei s die Stefan-Boltzmann-Konstante ist und P die Leistung über die gegebene Fläche A hinweg ist.
Sobald die Temperatur für die Pixel in dem Wärmepixelbild 9 bestimmt worden ist, ist es möglich, die Tiefe der mit Wasser gefüllten Schlaglöcher 1 in einer beliebigen Umgebung (wie Nebel, Regen, nachts) zu bestimmen. Insbesondere bei Nebel, wenn die Frontszene gewöhnlich nicht mal sichtbar ist, oder bei anderen schweren Unwetterbedingungen kann eine Tiefenschätzung für mit Wasser gefüllte Schlaglöcher 1 abgegeben werden.
Der Prozessor ist dazu konfiguriert, die Tiefe des mit Wasser gefüllten Schlaglochs 1 durch seine Oberflächentemperatur zu schätzen. Daher verwendet der Prozessor einen trainierten Deep-Learning-Ansatz. Dadurch wird die Gesamtgenauigkeit der Schätzung der Tiefe des mit Wasser gefüllten Schlaglochs 1 erhöht.
Die Trainingsdaten dafür können ohne Weiteres von Echtbildern von mit Wasser gefüllten Schlaglöchern und ihrer (manuell oder automatisch) gemessenen Tiefe erzeugt werden. Mit diesem Ansatz können Schlaglöcher mit verschiedenen Formen und Tiefen usw. ohne Weiteres bestimmt werden.
Vorzugsweise sind der RGB(Rot-Grün-Blau)-Kamerasensor 6 und der Wärmekamerasensor 8 an der Oberseite einer Windschutzscheibe 10 eines Fahrzeugs 11 (Fig. 6) angeordnet und bilden ein Sichtfeld 12 (Fig. 6).
Fig. 6 zeigt ein Fahrzeug 11 mit einem Fahrerassistenzsystem (ADAS, 13), das ein System 5 zum Schätzen der Tiefe eines ersten mit Wasser gefüllten Schlaglochs 1 und eines zweiten mit Wasser gefüllten Schlaglochs 1a umfasst. Das System 5 umfasst den RGB(Rot-Grün-Blau)-Kamerasensor 6 und den Wärmekamerasensor 8, die an der Oberseite der Windschutzscheibe 10 des Fahrzeugs 11 (Fig. 6) angeordnet sind und das Sichtfeld 12 bilden.
Das System 5 detektiert die mit Wasser gefüllten Schlaglöcher 1 , 1a und schätzt die Tiefe. Hier ist die Tiefe des mit Wasser gefüllten Schlaglochs 1a größer als die Tiefe des mit Wasser gefüllten Schlaglochs 1 . Das bedeutet, dass die Oberflächentemperatur des mit Wasser gefüllten Schlaglochs 1a weniger als das schmalere mit Wasser gefüllte Schlagloch 1 beträgt, da heiße Körper mehr Strahlung als kalte Körper/Gegenstände abgeben. Da das tiefe mit Wasser gefüllte Schlagloch 1a mehr Wasser als ein schmales mit Wasser gefülltes Schlagloch 1 hat, beträgt die erreichte Temperatur des tiefen mit Wasser gefüllten Schlaglochs 1a weniger als beim Schlagloch 1 .
Das Fahrerassistenzsystem 13 ist ferner dazu konfiguriert, im Falle einer vordefinierten Tiefe (hier beispielsweise des tiefen mit Wasser gefüllten Schlaglochs 1a) eine Warnung auszugeben.
Ferner kann das tiefe mit Wasser gefüllte Schlagloch 1a beispielsweise auf einem Display gezeigt werden. Dies gestattet dem Fahrer, beispielsweise seine Route so zu wählen, dass insbesondere das tiefe Schlagloch 1a vermieden werden kann. Somit ist eine angenehme Fahrt möglich und Schäden können vermieden werden.
Falls das Fahrerassistenzsystem 13 für autonomen oder halbautonomen Betrieb konfiguriert ist, wählt das Fahrerassistenzsystem 13 im Falle einer vordefinierten Anzahl an detektierten mit Wasser gefüllten Schlaglöchern 1 und/oder einer vordefinierten Tiefe mindestens eines Schlaglochs 1 a, Betriebsparameter zur Bestimmung einer Trajektorie aus, mit denen Vermeiden oder Reduzieren der detektierten mit Wasser gefüllten Schlaglöcher 1 und/oder Vermeiden des detektierten tiefen mit Wasser gefüllten Schlaglochs 1 a möglich ist.
Vorzugsweise umfassen die Betriebsparameter zumindest den Parameter zur Steuerung der Lenkung zur Vermeidung von Unfällen oder Schäden. Vorzugsweise umfassen die Betriebsparameter zumindest den Parameter zur Steuerung des Aufhängungssystems, um für eine angenehme Fahrt für die Insassen zu sorgen und Schäden durch das tiefe mit Wasser gefüllte Schlagloch 1a zu vermeiden.
Weiterhin wird durch die Verwendung eines Wärmekamerasensors 8 eine bessere Nachtsicht sowie eine bessere Sicht im Nebel möglich.
Fig. 7 zeigt schematisch eine mögliche Ausführungsform des erfinderischen Verfahrens.
Das Verfahren beginnt bei einem ersten Schritt S1.
Bei einem zweiten Schritt S2 detektiert der RGB(Rot-Grün-Blau)- Kamerasensor 6 alle mit Wasser gefüllten Schlaglöcher 1, 1a, und der Wärmekamerasensor 8 detektiert die Straßenoberflächentemperatur.
Bei einem dritten Schritt S3 erfolgt das Zusammenlegen der Daten von der RGB-Kamera 6 und der Wärmekamera.
Bei einem vierten Schritt S4 werden die Oberflächentemperatur der mit Wasser gefüllten Schlaglöcher 1, 1a und die Temperatur der Oberfläche des Straßenbelags 2 bestimmt. Dies betrifft insbesondere die Oberfläche des Straßenbelags 2, die in der Umgebung der mit Wasser gefüllten Schlaglöcher 1 , 1a positioniert ist.
Bei einem vierten Schritt S4 schätzt der Prozessor die Tiefe der mit Wasser gefüllten Schlaglöcher 1 , 1a durch ihre Oberflächentemperatur. Zu diesem Zweck wird die Temperatur jedes mit Wasser gefüllten Schlaglochs 1 , 1 a mit der Temperatur der entsprechenden umliegenden Oberfläche der Straßenoberfläche 2 verglichen.
Wenn die Oberflächentemperatur der mit Wasser gefüllten Schlaglöcher 1 , 1a größer gleich der Temperatur der umliegenden Oberfläche ist, liegen sehr kleine, schmale Schlaglöcher vor, fünfter Schritt S5.
Wenn die Oberflächentemperatur der mit Wasser gefüllten Schlaglöcher weniger als die Temperatur der umliegenden Oberfläche beträgt, wird die Oberflächentemperatur des mit Wasser gefüllten Schlaglochs 1 mit der Oberflächentemperatur des mit Wasser gefüllten Schlaglochs 1a verglichen, sechster Schritt S6.
Wenn die Oberflächentemperatur des mit Wasser gefüllten Schlaglochs 1 weniger als die Oberflächentemperatur des mit Wasser gefüllten
Schlaglochs 1a beträgt, ist das Schlagloch 1 tiefer als das Schlagloch 1a, siebenter Schritt S7.
Wenn die Oberflächentemperatur des mit Wasser gefüllten Schlaglochs 1a weniger als die Oberflächentemperatur des mit Wasser gefüllten
Schlaglochs 1 beträgt, ist das Schlagloch 1a tiefer als das Schlagloch 1 , achter Schritt S8.
Die Ergebnisse werden bei einem Schritt S9 an das ADAS weitergegeben, das die Ergebnisse beispielsweise zur Berechnung einer neuen Trajektorie verwendet.
Bezuqszeichen mit Wasser gefülltes Schlagloch a tiefes mit Wasser gefülltes Schlagloch Belagoberfläche Wasser Eis System RGB(Rot-Grün-Blau)-Kamerasensor Schlaglochsegmentierung Wärmekamerasensor Wärmepixelbild 0 Wndschutzscheibe 1 Fahrzeug 2 Sichtfeld 3 Fahrerassistenzsystem

Claims

Patentansprüche
1 . System (5) zum Schätzen der Tiefe mindestens eines zumindest zum Teil mit Wasser gefüllten Schlaglochs (1 , 1a) durch ein Fahrerassistenzsystem (13), das in einem Fahrzeug (11) vorgesehen ist, wobei das System (5) Folgendes umfasst: mindestens einen optischen Kamerasensor, der dazu konfiguriert ist, das mindestens eine zumindest zum Teil mit Wasser gefüllte Schlagloch (1 , 1a) basierend auf Kameradaten, die von dem optischen Kamerasensor erzeugt werden, zu detektieren, mindestens einen Wärmekamerasensor (8), der dazu konfiguriert ist, eine Straßenoberflächentemperatur zu bestimmen, wobei die Straßenoberfläche (2) die Oberfläche des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs (1 , 1a) umfasst, wobei die Bestimmung der Straßenoberflächentemperatur auf der Temperaturbestimmung der Pixel in einem Wärmepixelbild (9), das von dem mindestens einen Wärmekamerasensor (8) erzeugt wird, basiert, einen Prozessor, der zum Bestimmen der Oberflächentemperatur des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs (1 , 1 a), das von dem mindestens einen optischen Kamerasensor detektiert wird, basierend auf der Straßenoberflächentemperatur, die von dem mindestens einen Wärmekamerasensor (8) detektiert wird, zu bestimmen, und ferner dazu konfiguriert ist, die Tiefe des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs (1 , 1a) basierend auf seiner
Oberflächentemperatur zu schätzen.
2. System (5) nach Anspruch 1 , wobei der mindestens eine optische Kamerasensor und der mindestens eine Wärmekamerasensor (8) an einer Windschutzscheibe (10) des Fahrzeugs (11 ) angeordnet sind.
3. System (5) nach Anspruch 2, wobei der mindestens eine optische Kamerasensor und der mindestens eine Wärmekamerasensor (8) an der Oberseite der Windschutzscheibe (10) angeordnet sind.
4. System (5) nach einem der Ansprüche 1 , 2 oder 3, wobei der mindestens eine optische Kamerasensor ein RGB(Rot, Grün, Blau)- Kamerasensor (6) ist.
5. System (5) nach einem der vorhergehenden Ansprüche, wobei der Prozessor dazu konfiguriert ist, die Oberflächentemperatur des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs (1, 1a) aus einem gemessenen Emissionsspektrum zu bestimmen.
6. System (5) nach einem der vorhergehenden Ansprüche, wobei der Prozessor dazu konfiguriert ist, die Tiefe des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs (1, 1a) unter Verwendung eines trainierten Machine-Learning-Ansatzes zu schätzen.
7. System (5) nach einem der vorhergehenden Ansprüche 1 -5, wobei der Prozessor dazu konfiguriert ist, die Tiefe des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs (1, 1a) durch Vergleichen der Oberflächentemperatur der mit Wasser gefüllten Schlaglöcher (1 , 1a) mit einer Temperatur der umliegenden Oberfläche und/oder durch Vergleichen der Oberflächentemperaturen der mit Wasser gefüllten Schlaglöcher (1 , 1a) miteinander zu schätzen.
8. System (5) nach einem der vorhergehenden Ansprüche, wobei das System (5) ferner Folgendes umfasst: mindestens eine Radarsensorkamera, die dazu konfiguriert ist, den von der Straßenoberfläche reflektierten Strahl zu messen, wobei der Prozessor ferner dazu konfiguriert ist, die Tiefe des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs (1, 1a) durch den reflektierten Strahl und die Oberflächentemperatur des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs (1 , 1a) zu schätzen.
9. Fahrerassistenzsystem (13), das ein System (5) zum Schätzen der Tiefe des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs (1, 1a) nach einem der vorhergehenden Ansprüche umfasst, wobei das Fahrerassistenzsystem (13) dazu konfiguriert ist, im Falle einer vordefinierten Anzahl an zumindest zum Teil mit Wasser gefüllten Schlaglöchern (1 , 1a), die von dem System (5) detektiert werden, und/oder einer vordefinierten Tiefe mindestens eines zumindest zum Teil mit Wasser gefüllten Schlaglochs (1 a), die von dem System (5) detektiert wird, eine Warnung auszugeben.
10. Fahrerassistenzsystem (13) nach Anspruch 9, wobei, wenn das Fahrerassistenzsystem (13) für autonomen oder halbautonomen Betrieb konfiguriert ist, das Fahrerassistenzsystem (13) ferner dazu konfiguriert ist, im Falle einer vordefinierten Anzahl an zumindest zum Teil mit Wasser gefüllten Schlaglöchern (1 , 1a), die von dem System (5) detektiert werden, und/oder einer vordefinierten Tiefe mindestens eines zumindest zum Teil mit Wasser gefüllten Schlaglochs (1 a), die von dem System (5) detektiert wird, Betriebsparameter zur Bestimmung einer Trajektorie auszuwählen, mit denen Vermeiden oder Reduzieren eines zumindest zum Teil mit Wasser gefüllten Schlaglochs (1 , 1a) und/oder Vermeiden des mindestens einen tiefen zumindest zum Teil mit Wasser gefüllten Schlaglochs (1a) erzielt wird.
11. Fahrerassistenzsystem (13) nach Anspruch 10, wobei die Betriebsparameter zumindest den Parameter zur Steuerung der Lenkung umfassen.
12. Fahrerassistenzsystem (13) nach Anspruch 10 oder Anspruch 11 , wobei die Betriebsparameter zumindest den Parameter zur Steuerung des Aufhängungssystems umfassen.
13. Verfahren zur Schätzung der Tiefe mindestens eines zumindest zum Teil mit Wasser gefüllten Schlaglochs (1 , 1a) durch ein in einem Fahrzeug (11 ) vorgesehenes Fahrerassistenzsystem (13), wobei das Verfahren Folgendes umfasst:
Detektieren mindestens eines zumindest zum Teil mit Wasser gefüllten Schlaglochs (1 , 1a) basierend auf Kameradaten, die von mindestens einem optischen Kamerasensor erzeugt werden, Bestimmen einer Straßenoberflächentemperatur, wobei die Oberfläche die Oberfläche des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs (1 , 1a) umfasst, wobei die Bestimmung der Straßenoberflächentemperatur auf der Temperaturbestimmung der Pixel in einem Wärmepixelbild (9), das von dem mindestens einen Wärmekamerasensor (8) erzeugt wird, basiert,
Bestimmen der Oberflächentemperatur des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs (1 , 1 a), das von dem mindestens einen optischen Kamerasensor detektiert wird, basierend auf der Straßenoberflächentemperatur, die von dem mindestens einen Wärmekamerasensor (8) detektiert wird,
Schätzen der Tiefe des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs (1 , 1a) durch seine
Oberflächentemperatur.
14. Verfahren nach Anspruch 13, wobei die Temperatur der Oberfläche aus einem gemessenen Strahlungsspektrum bestimmt wird.
15. Verfahren nach Anspruch 13 oder 14, wobei ein trainierter Machine- Learning-Ansatz zum Schätzen der Tiefe des mindestens einen zumindest zum Teil mit Wasser gefüllten Schlaglochs (1, 1a) verwendet wird.
EP22732551.1A 2021-07-08 2022-06-13 System und verfahren zum schätzen der tiefe mindestens eines zumindest zum teil mit wasser gefüllten schlaglochs und entsprechendes fahrerassistenzsystem Withdrawn EP4367473A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021207204.6A DE102021207204A1 (de) 2021-07-08 2021-07-08 System und Verfahren zum Schätzen der Tiefe mindestens eines zumindest zum Teil mit Wasser gefüllten Schlaglochs und entsprechendes Fahrerassistenzsystem
PCT/EP2022/065937 WO2023280512A1 (de) 2021-07-08 2022-06-13 System und verfahren zum schätzen der tiefe mindestens eines zumindest zum teil mit wasser gefüllten schlaglochs und entsprechendes fahrerassistenzsystem

Publications (1)

Publication Number Publication Date
EP4367473A1 true EP4367473A1 (de) 2024-05-15

Family

ID=82156464

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22732551.1A Withdrawn EP4367473A1 (de) 2021-07-08 2022-06-13 System und verfahren zum schätzen der tiefe mindestens eines zumindest zum teil mit wasser gefüllten schlaglochs und entsprechendes fahrerassistenzsystem

Country Status (5)

Country Link
US (1) US20240247928A1 (de)
EP (1) EP4367473A1 (de)
CN (1) CN117581076A (de)
DE (1) DE102021207204A1 (de)
WO (1) WO2023280512A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12499565B2 (en) * 2023-08-30 2025-12-16 Qualcomm Incorporated Free space detection for parking and driving in puddle areas with permuted fusion network

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4653316A (en) 1986-03-14 1987-03-31 Kabushiki Kaisha Komatsu Seisakusho Apparatus mounted on vehicles for detecting road surface conditions
US4899296A (en) * 1987-11-13 1990-02-06 Khattak Anwar S Pavement distress survey system
US6158869A (en) * 1998-05-13 2000-12-12 Top Source Technology, Inc. Puddle and footwell lighting integrated into a speaker grille
JP2000035372A (ja) * 1998-07-16 2000-02-02 Ishikawajima Inspection & Instrumentation Co 赤外線を用いた発泡検査方法
US7872764B2 (en) 2007-10-16 2011-01-18 Magna Electronics Inc. Machine vision for predictive suspension
US9416499B2 (en) 2009-12-31 2016-08-16 Heatwurx, Inc. System and method for sensing and managing pothole location and pothole characteristics
CN103321129A (zh) * 2013-06-18 2013-09-25 中山市拓维电子科技有限公司 基于3g网络的红外热像的远程路面施工诊断系统及方法
US9626763B1 (en) 2015-02-25 2017-04-18 Lytx, Inc. Pothole detection
US10115024B2 (en) * 2015-02-26 2018-10-30 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
DE102016104730A1 (de) * 2016-03-15 2017-09-21 Connaught Electronics Ltd. Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
US10120385B2 (en) 2016-03-30 2018-11-06 Intel Corporation Comfort ride vehicle control system
GB201711412D0 (en) * 2016-12-30 2017-08-30 Maxu Tech Inc Early entry
CN206583413U (zh) * 2017-04-08 2017-10-24 锦州阳光气象科技有限公司 激光遥感路面状况检测装置
JP6895074B2 (ja) * 2017-08-30 2021-06-30 コニカミノルタ株式会社 物体検出システム及び物体検出プログラム
CN107424425A (zh) * 2017-09-24 2017-12-01 肇庆高新区长光智能技术开发有限公司 道路积水预警方法、系统与控制装置
EP3775855A4 (de) 2018-04-05 2021-06-02 Dynamic Infrastructure Ltd. System und verfahren zur früherkennung und überwachung von defekten bei einer transportinfrastruktur
KR20200007165A (ko) * 2018-07-12 2020-01-22 한국건설기술연구원 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템 및 그 방법
KR101999793B1 (ko) * 2018-10-29 2019-07-12 (주)케이웍스 센서의 기울기를 감안하여 측정한 포트홀 크기를 실사사진을 함께 제공하는 포트홀 측정방법 및 시스템
US10852746B2 (en) 2018-12-12 2020-12-01 Waymo Llc Detecting general road weather conditions
US12051247B2 (en) 2019-09-27 2024-07-30 Dish Network L.L.C. Wireless vehicular systems and methods for detecting roadway conditions
CN112071096B (zh) * 2020-09-24 2024-11-29 山东智果云科技有限公司 一种低洼路面积水深度检测、预警、预报的方法及装置

Also Published As

Publication number Publication date
DE102021207204A1 (de) 2023-01-12
CN117581076A (zh) 2024-02-20
WO2023280512A1 (de) 2023-01-12
US20240247928A1 (en) 2024-07-25

Similar Documents

Publication Publication Date Title
DE102007043164B4 (de) Nebelerkennungsvorrichtung für Kraftfahrzeuge
DE102008025723B4 (de) Vorrichtung zur Überwachung der Umgebung eines Fahrzeugs
EP1673751B1 (de) Verfahren und vorrichtung zur sichtbarmachung einer fahrzeugumgebung
DE102011105628B4 (de) System zur Unterstützung der Sicht eines Fahrers
EP3299995A1 (de) Bildanalysesystem für landwirtschaftliche arbeitsmaschinen
EP3299996A1 (de) Landwirtschaftliche arbeitsmaschinen mit bildverarbeitungssystem
DE102018203807A1 (de) Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnzuständen und witterungsbedingten Umwelteinflüssen
EP2788245B1 (de) Verfahren und vorrichtung zur lokalisation einer vordefinierten parkposition
EP2788224A1 (de) Verfahren und vorrichtung zur erkennung einer bremssituation
DE112018007484T5 (de) Hindernis-Detektionsvorrichtung, automatische Bremsvorrichtung unter Verwendung einer Hindernis-Detektionsvorrichtung, Hindernis-Detektionsverfahren und automatisches Bremsverfahren unter Verwendung eines Hindernis-Detektionsverfahrens
DE112010005786B4 (de) Vorrichtung und Verfahren zum Messen eines Spektrums eines bewegbaren Körpers
DE112013002730T5 (de) Vorrichtung und verfahren zum erfassen einer grenzlinie einer fahrzeugfahrspur
DE112017005447T5 (de) Objekterfassungsvorrichtung
DE102007014295A1 (de) Sichtweitenmessvorrichtung für ein Fahrzeug und Fahrassistenzsystem
DE102019119478B4 (de) Fahrzeugradar-steuervorrichtung und -verfahren
DE102018108751B4 (de) Verfahren, System und Vorrichtung zum Erhalten von 3D-Information von Objekten
WO2019063341A1 (de) Verfahren zum erfassen einer fahrbahnbeschaffenheit einer fahrbahn für ein kraftfahrzeug, fahrerassistenzsystem sowie kraftfahrzeug
DE102015209147A1 (de) Verfahren zur Parkflächenerkennung
WO2019057252A1 (de) Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
DE112020004884T5 (de) Mehrsensormesssystem und -verfahren für transportfahrzeug-betriebssysteme
DE102019108454A1 (de) Dynamisches Demosaicing von Kamerapixeln
DE102017123226A1 (de) Verfahren zum Bestimmen einer kritischen Höhe eines vorausliegenden Streckenabschnitts für ein Fahrzeug, das ein Zugfahrzeug und einen Anhänger umfasst
DE60313287T2 (de) Verfahren zur sichtweitebestimmung und nebeldetektion
DE102010043829B4 (de) Optisches Abtastsystem und optisches Abtastverfahren
EP4068223A1 (de) Verfahren und system zur bestimmung der bodenebene mit einem künstlichen neuronalen netz

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20231207

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20240817