EP3646237A1 - Verfahren und vorrichtung zum bestimmen einer beschaffenheit einer oberfläche in der umgebung eines fahrzeugs - Google Patents

Verfahren und vorrichtung zum bestimmen einer beschaffenheit einer oberfläche in der umgebung eines fahrzeugs

Info

Publication number
EP3646237A1
EP3646237A1 EP18740122.9A EP18740122A EP3646237A1 EP 3646237 A1 EP3646237 A1 EP 3646237A1 EP 18740122 A EP18740122 A EP 18740122A EP 3646237 A1 EP3646237 A1 EP 3646237A1
Authority
EP
European Patent Office
Prior art keywords
curvature
dimensional surface
coordinates
surface coordinates
approximation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP18740122.9A
Other languages
English (en)
French (fr)
Inventor
Dominik Maximilian Martin Vock
Marc-Michael Meinecke
Fabian WARNECKE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP3646237A1 publication Critical patent/EP3646237A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608—Height gauges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/064—Degree of grip
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/068—Road friction coefficient
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to a method for determining a condition of a surface in the vicinity of a vehicle.
  • the method are by means of a
  • the invention relates to a device for determining the nature of a surface in the vicinity of a vehicle.
  • the device comprises a sensor arrangement, by means of which three-dimensional surface coordinates of the surface can be generated.
  • the method and the device of the present invention are in particular for
  • the present invention is therefore based on the object, a method and a
  • Specify device of the type mentioned with which the nature of the surface in the environment of a vehicle, especially in the direction of travel of a vehicle, can be determined more accurately.
  • this object is achieved by a method having the features of claim 1 and a device having the features of claim 14.
  • the inventive method is characterized in that based on the three-dimensional surface coordinates an approximation of the curvature of the Surface is obtained in at least one direction and based on the curvature and / or vertical distances of the approximation of the curvature of the
  • the surface coordinates include two
  • Horizontal coordinates Further, they include a vertical coordinate or altitude coordinate which indicates, for a point defined by the horizontal coordinates, the height at which the surface is located.
  • terms such as “up” and “down” refer to a vertical direction, i. H. on the direction of the effect of gravitational force on the earth.
  • the characterization of the surface of the surface then becomes the curvature profile obtained in this way and / or vertical distances of the approximation of the
  • Curvature of the three-dimensional surface coordinates determined. Since the curve or surface of the approximation need not pass through the three-dimensional surface coordinate on the basis of which the approximation was obtained, such a vertical distance may result.
  • the vertical distance is thus the difference of the height coordinates of the three-dimensional surface coordinates and the curve or surface of the approximation for the same horizontal coordinates.
  • the vertical distance also includes a sign, d. H. the information as to whether the curve or surface of the approximation lies above or below the three-dimensional surface coordinates.
  • Curvature of the approximating curve or surface the nature of the surface can characterize that the surface can be classified with regard to a possible passability by the vehicle suitable.
  • the inventive method even with a strong measurement noise in the detection of the surface in the vicinity of the vehicle to obtain a reliable determination of the surface profile. In this way, the condition of the surface in the vicinity of the vehicle can be reliably determined.
  • the approximation of the curvature profile is carried out on the basis of an approximating spline curve.
  • the support points are in this case of the generated by means of the sensor array three-dimensional
  • the approximating spline curve describes a smooth curve, which is determined by the support points, without the curve necessarily having to pass through the support points.
  • the approximating spline curve may be a so-called base spline curve, also referred to as a B-spline curve.
  • a base spline curve a base function is used, for example, to determine a point at a particular point on the curve, the individual interpolation points are weighted using the base function values at that point. The weighting is chosen in particular such that the influence of a support point decreases with increasing distance from the point.
  • a NURBS non-uniformly rational B-spline
  • Bezier splines or so-called P-splines can be used, where an additional cost function is applied to the base spline curve.
  • the curvature profile of the surface can advantageously be determined very accurately and reliably at least in a certain direction.
  • the classification can then be carried out as a function of the curvature of the approximating spline curve.
  • an approximation of the curvature profile in the transverse direction is obtained based on the three-dimensional surface coordinates, which extend in the transverse direction to a direction of travel of the vehicle.
  • the classification is then carried out as a function of the curvature in the transverse direction.
  • Transverse direction is particularly important for determining a lateral boundary of a roadway.
  • An unpaved road can be, for example, ditches, slopes or other
  • the classification is carried out as a function of the longitudinal curvature.
  • Direction of travel of the vehicle safely and reliably identified by the classification. This is particularly important in the automatic driving of the vehicle, so that the vehicle does not collide with an obstacle in the direction of travel of the vehicle.
  • an approximation of the curvature profile of the entire surface is obtained based on the surface coordinates.
  • a continuous curved surface is thus calculated, which represents the real surface in the surroundings of the vehicle.
  • a level map which of the
  • the curvature can be determined in all directions and used to classify the
  • Curvature course determined a passable area.
  • passable area becomes a carriageway and an adjacent area one
  • Road environment assigned. In an automatic driving of the vehicle can be based on This drivable area the vehicle are controlled so that only driving maneuvers are performed, which ensure that the vehicle is always on the passable area, ie the road.
  • a roadway Under a roadway is understood in this document a surface which is suitable for driving through the vehicle.
  • the roadway is in particular an unpaved roadway or a so-called offroad roadway.
  • Under the lane environment is understood to be adjacent to the lane area, in particular the area laterally adjacent to the lane with respect to the direction of travel of the vehicle.
  • a group of three-dimensional surface coordinates is assigned to a first class of the classification, which on average are arranged so far below the approximated curvature profile that a first limit value is exceeded.
  • Such surface coordinates relate in particular to a surface, as formed by a pothole.
  • the limit value is therefore set so that the measured surface coordinates are very far below the limit value
  • the group of surface coordinates can be assigned to the first class only if they are in the drivable area of the surface, i. H. on the roadway. Only in this case, for example, a pothole for driving the vehicle relevant.
  • a second class of the classification is assigned a region of the surface in which an increasingly sloping curve is determined in a defined first interval in the transverse direction.
  • the second class is thus characterized by a more pronounced curvature, for example in the spline curve.
  • the second class can therefore be used to determine areas that actually correspond to a slope or a ditch.
  • Such slopes or trenches are relevant in particular laterally next to the roadway.
  • the first interval is therefore defined in particular in the transverse direction to the direction of travel. In this way, a slope or a ditch next to the roadway, d. H. in the roadway environment. Especially such slopes or trenches are difficult to detect, if only the three-dimensional surface coordinates are taken into account, which have been generated by the sensor array.
  • a third class of the classification is assigned a region of the surface in which an increasingly ascending curvature course and an increasingly sloping curvature course in a defined second interval of a surface direction is determined.
  • the second interval is defined in particular in a surface direction on the road.
  • a fourth class of classification is assigned a region of the surface in which an abrupt increase in the height coordinate of a plurality of adjacent surface coordinates is determined. Such an abrupt increase in altitude coordinate occurs at larger obstacles, such as parked
  • Vehicles or trees Vehicles or trees.
  • the detection of the area of the surface of the fourth class can serve on the one hand to delineate the road environment from the roadway. On the other hand, obstacles in the direction of travel of the vehicle can be detected in this way.
  • the vertical deviation of the approximation of the curvature profile can be determined for each surface coordinate.
  • Curvature course of the three-dimensional surface coordinates is then identified an obstacle and the movement of the obstacle is determined based on the time course of the obstacle associated three-dimensional surface coordinates.
  • Moving Obstacles can be tracked in this way by means of several series of measurements in which the obstacle is detected.
  • the positions of the bearing surfaces of the wheels of the vehicle on the surface are determined.
  • the probable trajectories of the positions of the bearing surfaces of the wheels of the vehicle are then determined, and for the expected trajectories the navigability of the surface is checked on the basis of the classification of the surface coordinates belonging to the trajectories.
  • the positions of the bearing surfaces of the wheels of the vehicle can be determined geometrically, since the position of the sensor arrangement is known to the bearing surfaces of the wheels of the vehicle. From the direction of movement and, if appropriate, the speed of the vehicle, the probable trajectories of the bearing surfaces of the wheels can then be determined. It can now, as explained above, be determined whether there are potholes or larger obstacles on these probable trajectories, which limit the trafficability of the surface or which cause the surface is no longer passable. This information can then be used during automatic driving of the
  • the three-dimensional surface coordinates are generated by means of a stereo image. This has the advantage that the three-dimensional surface coordinates by means of a very cost-effective
  • the three-dimensional surface coordinates obtained by means of a stereo image have the disadvantage that the measurement inaccuracies are too large for the obtained three-dimensional surface coordinates to be sufficient as the basis for the automatic driving control.
  • slopes and other lateral boundaries of a roadway can only be recognized insufficiently.
  • potholes and trenches are no longer reliably detected if the measuring noise is too great.
  • the generated three-dimensional surface coordinates are processed further. An approximation of the curvature profile of the surface is carried out.
  • the data of the stereo image can be prepared so that dangerous areas, such.
  • the three-dimensional surface coordinates can be determined by means of a
  • Laserscanners are obtained, which scans the surface in the direction of travel in the transverse direction.
  • the approximation of the curvature profile ensures that such surface textures can be reliably detected.
  • the use of the laser scanner also has the advantage that abrupt height changes in the surface can be detected very reliably.
  • the inventive device for determining the condition of a surface in the vicinity of a vehicle is characterized by a computing unit which is designed to obtain an approximation of the curvature profile of the surface in at least one direction based on the three-dimensional surface coordinates, and a classification unit, by means of which Curvature and / or vertical distances of the approximation of the curvature of the three-dimensional
  • a classification of the three-dimensional surface coordinates can be performed to identify the nature of the surface.
  • the device according to the invention is designed as described above
  • the sensor arrangement of the device according to the invention comprises in particular a
  • Stereo camera Furthermore, a scanning laser measuring system or a laser-cut-based measuring system can also be used as the sensor arrangement.
  • Measuring system has the advantage that it can detect the ground level very accurately. However, it has only a very limited range. In addition, the space requirement of such
  • the method and the device according to the invention are used in particular in a vehicle, in particular a truck, which has a system for automatic driving.
  • the vehicle can drive in this way without drivers automatically on a dirt road.
  • the system for automatic driving is supported by the method according to the invention or the device according to the invention. It will provide information about the nature of the surface in the direction of travel of the
  • Vehicle delivered It is determined which area of this surface is passable and thus suitable as a roadway. Furthermore, the nature of the roadway environment is determined, so that it can be taken into account in the control of the vehicle which surface in the surroundings of the vehicle is suitable for driving maneuvers during automatic driving.
  • the device according to the invention can be integrated in the vehicle which has the system for automatic driving.
  • the sensor arrangement detects the
  • FIG. 1 shows a situation in which the method according to the invention can be used
  • FIG 2 shows another situation in which the inventive method
  • FIG. 3 shows schematically the structure of an embodiment of the
  • FIG. 4 shows an example of a reconstructed height map, as in a
  • FIG. 5 shows another example of a reconstructed height map, as obtained in the exemplary embodiment of the method according to the invention
  • FIG. 6 illustrates the approximation of the curvature profile of FIG
  • FIG. 7 illustrates the approximation of the curvature profile of FIG.
  • Figure 8 illustrates the approximation of the curvature of the
  • Procedure is carried out when driving on a highway with side trenches.
  • a vehicle 1 is driving on a dirt surface.
  • the vehicle 1 may drive automatically without the assistance of a driver.
  • the unpaved surface comprises a roadway 2 and laterally adjacent thereto a roadway environment 3.
  • This roadway environment 3 limits the roadway 2.
  • the roadway environment 3 comprises trenches 4 laterally adjacent to the roadway 2.
  • the roadway 2 is bounded laterally by a mound 5 and by trees 16 or pylons.
  • Detected device which area of the surface in the direction of travel of the vehicle 1 is passable and therefore the roadway can be assigned. Furthermore, the nature of the surface of the roadway 2 and the nature of the roadway environment 3 can be determined.
  • the device 6 comprises a stereo camera 7 and a connected thereto
  • the stereo camera 7 and the image processing unit 8 form a sensor arrangement, by means of which three-dimensional surface coordinates of the surface in the environment of the vehicle 1, in particular in the direction of travel of the vehicle 1, can be generated.
  • the sensor arrangement can thus be a three-dimensional height map of
  • the image processing unit 8 is connected to a computing unit 9, to which it transmits the three-dimensional surface coordinates.
  • the arithmetic unit 9 is designed based on the three-dimensional surface coordinates an approximation of
  • the arithmetic unit 9 is connected to a classification unit 10, by means of which, on the basis of the curvature profile and the vertical distances of the approximation of the
  • Curvature course of the three-dimensional surface coordinates a classification of the surface coordinates for delineation of the lane 2 of the lane environment 3 and for characterizing the nature of the surface is carried out, as will also be explained later with reference to the embodiment of the inventive method.
  • the sensor assembly may also be a scanning
  • Laser measuring system use a laser-cut-based measuring system or other measuring system, with which three-dimensional surface coordinates can be obtained.
  • the device 6 may finally be coupled to a controller 13 for automatically driving the vehicle 1.
  • a controller 13 for automatically driving the vehicle 1.
  • To this controller 13 all data on the nature of the surface, in particular the lane 2 and the lane environment 3, transmitted.
  • the stereo camera 7 of the sensor arrangement receives chronologically consecutive stereo images from the vehicle 1 in the direction of travel. Such images in different driving situations are shown in FIGS. 4, 5, 7 and 8.
  • the image processing unit 8 processes the Stereo image in a known per se and obtains three-dimensional surface coordinates. In this case, the height coordinate for a horizontal grid is determined for each point of the grid. Between the points of the horizontal grid there is a distance, which is determined by the resolution of the stereo camera and the subsequent image processing.
  • the reconstructed height maps formed from the three-dimensional surface coordinates obtained from the images of the stereo camera 7 are shown as mesh 17 in the images shown in FIGS. 4, 5, 7 and 8.
  • the three-dimensional surface coordinates include coordinates in the transverse direction to the direction of travel. These three-dimensional surface coordinates in the transverse direction are also called row of the three-dimensional height map, that of the three-dimensional
  • the three-dimensional surface coordinates include longitudinal coordinates to the direction of travel. These are also called the column of the three-dimensional height map.
  • FIG. 6 schematically shows such spline curves 14 for a plurality of lines of a three-dimensional height map.
  • the approximating spline curve 14 is characterized by the fact that, although it is separated from its support points, i. H.
  • the three-dimensional surface coordinates of a line but not necessarily determined by these three-dimensional
  • the course of the spline curves 14 now allows a division of the measured three-dimensional surface coordinates, ie the three-dimensional height map, based on various criteria. On the one hand, the vertical distance of a three-dimensional surface coordinate to the spline curve 14 can be taken into account. On the other hand, the curvature of the spline curves 14 can be taken into account.
  • Classification unit 10 is performed:
  • a vehicle accessible to the vehicle 1 range is first determined.
  • a contiguous passable area is defined as carriageway 2.
  • the non-drivable environment of this passable area is called
  • this three-dimensional surface coordinate is classified as an outlier and is subsequently disregarded.
  • the obtained three-dimensional surface coordinates can also be temporally filtered to correct misclassifications of individual three-dimensional surface coordinates.
  • a group of three-dimensional surface coordinates, which on average are arranged so far below the approximated curvature profile, ie below the spline curves 14, that a first limit value is exceeded, is assigned to a first class.
  • surface coordinates fall, which form a pothole, which should not be run over by the vehicle 1.
  • the first limit value can be obtained by making measurements in advance on potholes having a certain depth.
  • three-dimensional surface coordinates are considered, which run in the longitudinal direction to the direction of travel.
  • a region of the surface is determined in which an increasingly sloping curvature profile was determined in a defined first interval in the transverse direction.
  • This area is assigned to a second class of the classification.
  • the second class is intended to cover in particular lateral slopes and ditches.
  • the first interval therefore runs in the transverse direction.
  • the curvature is determined using a spline curve 14, which consists of a line of the three-dimensional height map of the three-dimensional
  • a region of the surface is determined in which an increasingly increasing curvature profile and an increasingly decreasing curvature profile are determined in a defined second interval of a surface direction.
  • This area is assigned to a third class of the classification.
  • This third class features bumps, smaller potholes or fouling.
  • the second interval is chosen so that it runs in any surface direction and is arranged on the roadway 2.
  • the third class may alternatively include only areas of the surface, which is characterized by a more increasing curvature in the spline curve 14.
  • an area of the surface is determined in which an abrupt increase in the
  • the fourth class includes larger obstacles such as parked vehicles, trees or the like. Such larger obstacles can be determined both on the roadway 2 and in the roadway environment 3.
  • the road condition is determined based on the value of the dispersion of the vertical spacing of the spline curves 14 from the respective surface coordinates. In this way, a value for the road surface roughness and a value for the average road surface unevenness can be obtained.
  • the three-dimensional surface coordinates are generated by the sensor arrangement in temporal succession. As the vehicle 1 travels, stereo images are sequentially taken and the three-dimensional surface coordinates are obtained therefrom. For each stereo image, ie for each set of three-dimensional height coordinates, the Curvature profile approximated by spline curves 14. Based on this curvature and the vertical distance of the spline curve 14 from the respective three-dimensional
  • Surface coordinate can be identified as explained above, an obstacle.
  • the movement of the obstacle can then be determined from the time profile of the three-dimensional surface coordinates assigned to the obstacle. Obstacles can be tracked in this way.
  • the classification unit 10 thus generates a classification of the three-dimensional
  • FIG. 4 shows an example in which the image taken by the stereo camera 7 is shown in the left part. Superimposed on this image is a reconstructed elevation map, d. H. the network 17 formed from the three-dimensional surface coordinates, superimposed. Furthermore, a lateral height profile 18 is shown in the picture. Right of the picture is the
  • FIG. 5 shows the same for a driving situation on an unpaved road with lateral trenches.
  • the picture at the bottom right in FIG. 5 shows the classification of
  • the image recorded by the stereo camera 7 is shown at the bottom in a driving situation of an off-road track with a side gradient to the right of the roadway 2. Also in this case, the three-dimensional height map is superimposed on the basis of a network 17 in the image.
  • the spline curves 14 for representing the roadway 2 and the roadway environment 3 are shown.
  • the right part of these spline curves 14 can be determined by the curvature of the spline curves 14 and based on the vertical distances of three-dimensional surface coordinates of the spline curves 14 are closed on the strong lateral slope. This area is classified as not passable.
  • FIG. 8 shows the image of the stereo camera 7 for a driving situation on a country road with lateral trenches on the right and left of the roadway 2.
  • the three-dimensional height map is shown by means of a network 17.
  • the associated spline curves 14 for representing the environment are shown.
  • the lateral trenches are detected and the corresponding three-dimensional surface coordinates are classified accordingly.
  • the bearing surfaces 1 1 of the wheels of the vehicle 1 are determined on the surface. It is a spatial reference between the three-dimensional surface coordinates and the bearing surfaces 1 1 of the wheels of the
  • Vehicle 1 from the spatial arrangement of the bearing surfaces 1 1 of the wheels relative to the stereo camera 7 and the viewing angle of the stereo camera 7 determined.
  • Control unit 13 are the probable trajectories of
  • Support surfaces 1 1 of the wheels of the vehicle 1 determined. For this area, d. H. for the expected trajectories, the trafficability of the surface is then checked by the classification unit 10. It becomes the classification of the three-dimensional
  • Classification unit 10 transmitted data ensure that the vehicle 1 automatically on a passable area, ie on the lane 2, is moved.
  • the road environment 3 can be taken into account during driving maneuvers.
  • a tree which laterally delimits the roadway 2 may be taken into account so that the automatically moving vehicle 1 does not collide laterally or upwardly with this obstacle, even if the bearing surfaces 11 of the wheels of the vehicle 1 are completely on the roadway 2 .
  • the inventive method and the device 6 according to the invention are used in particular in an off-road use of trucks. For example, they can be used in trucks used in mining. The
  • Trucks may in this case be equipped with an automatic driving system which uses the device 6 according to the invention and the method according to the invention to control the truck. Furthermore, that can
  • Method according to the invention and the device 6 according to the invention can be used in an off-road use of a passenger car and when driving on unpaved ground. It can be provided in this way an assistance system that reliably detects obstacles and potholes and outputs the driver information about the road surface.
  • inventive method and apparatus 6 can be used in an off-road use of motorcycles and motorbikes on unpaved ground. Also in this case, an assistance system can be provided which reliably detects obstacles and potholes. When used in motorcycles, the assistance system can point in particular to dangerous, particularly deep potholes and uneven ground.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen einer Beschaffenheit einer Oberfläche in der Umgebung eines Fahrzeugs (1), bei dem mittels einer Sensoranordnung (7, 8) dreidimensionale Oberflächenkoordinaten der Oberfläche erzeugt werden. Das erfindungsgemäße Verfahren ist dadurch gekennzeichnet, dass basierend auf den Oberflächenkoordinaten eine Approximation des Krümmungsverlaufs der Oberfläche in zumindest einer Richtung gewonnen wird und anhand des Krümmungsverlaufs und/oder vertikalen Abständen der Approximation des Krümmungsverlaufs von den dreidimensionalen Oberflächenkoordinaten eine Klassifikation der Oberflächenkoordinaten zur Kennzeichnung der Beschaffenheit der Oberfläche durchgeführt wird. Ferner betrifft die Erfindung eine Vorrichtung zum Ausführen dieses Verfahrens.

Description

Beschreibung
Verfahren und Vorrichtung zum Bestimmen einer Beschaffenheit einer Oberfläche in der
Umgebung eines Fahrzeugs
Die vorliegende Erfindung betrifft ein Verfahren zum Bestimmen einer Beschaffenheit einer Oberfläche in der Umgebung eines Fahrzeugs. Bei dem Verfahren werden mittels einer
Sensoranordnung dreidimensionale Oberflächenkoordinaten der Oberfläche erzeugt. Ferner betrifft die Erfindung eine Vorrichtung zum Bestimmen der Beschaffenheit einer Oberfläche in der Umgebung eines Fahrzeugs. Die Vorrichtung umfasst eine Sensoranordnung, mittels welcher dreidimensionale Oberflächenkoordinaten der Oberfläche erzeugbar sind.
Das Verfahren und die Vorrichtung der vorliegenden Erfindung sind insbesondere für
Fahrzeuge relevant, die automatisch oder teilautomatisch auf einer unbefestigten Fahrbahn fahren. In diesem Fall ist es besonders wichtig, dass zum Beispiel Schlaglöcher, Abhänge, Gräben, Hindernisse oder dergleichen sicher und zuverlässig erkannt werden. Insbesondere bei einem automatischen Fahren von Lastkraftwägen sollte die Beschaffenheit des zu befahrenden Untergrunds so genau wie möglich bekannt sein.
Es sind Sensoranordnungen bekannt, mit denen die Oberfläche einer Fahrbahn bzw. einer Fahrbahnumgebung dreidimensional vermessen werden kann. Für Anwendungen wie dem automatischen Fahren von Fahrzeugen ist die Messgenauigkeit dieser Sensoranordnungen jedoch nicht ausreichend. Häufig ist das Messrauschen zu groß oder es treten zu viele
Messfehler auf.
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren und eine
Vorrichtung der eingangs genannten Art anzugeben, mit welchen die Beschaffenheit der Oberfläche in der Umgebung eines Fahrzeugs, insbesondere in Fahrtrichtung eines Fahrzeugs, genauer bestimmt werden kann.
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen des Anspruchs 1 und eine Vorrichtung mit den Merkmalen des Anspruchs 14 gelöst. Vorteilhafte
Ausgestaltungen und Weiterbildungen ergeben sich aus den abhängigen Ansprüchen.
Das erfindungsgemäße Verfahren ist dadurch gekennzeichnet, dass basierend auf den dreidimensionalen Oberflächenkoordinaten eine Approximation des Krümmungsverlaufs der Oberfläche in zumindest einer Richtung gewonnen wird und anhand des Krümmungsverlaufs und/oder vertikaler Abstände der Approximation des Krümmungsverlaufs von den
dreidimensionalen Oberflächenkoordinaten eine Klassifikation der Oberflächenkoordinaten zur Kennzeichnung der Beschaffenheit der Oberfläche durchgeführt wird.
Durch die von der Sensoranordnung erzeugten dreidimensionalen Oberflächenkoordinaten wird bei dem erfindungsgemäßen Verfahren ein zweidimensionales Punktgitter für die Oberfläche in der Umgebung des Fahrzeugs definiert. Die Oberflächenkoordinaten umfassen zwei
Horizontalkoordinaten. Ferner enthalten sie eine Vertikalkoordinate oder Höhenkoordinate, die für einen durch die Horizontalkoordinaten definierten Punkt angibt, in welcher Höhe sich die Oberfläche befindet. Im Folgenden beziehen sich Begriffe wie„oben" und„unten" auf eine vertikale Richtung, d. h. auf die Richtung der Wirkung der Gravitationskraft auf der Erde.
Bei dem erfindungsgemäßen Verfahren wird aus den dreidimensionalen
Oberflächenkoordinaten in zumindest einer Richtung ein Krümmungsverlauf der Oberfläche gewonnen, und zwar durch eine Approximation. Im Gegensatz zu einer Interpolation werden in diesem Fall nicht nur Zwischenkoordinaten zwischen den mittels der Sensoranordnung gemessenen bzw. erzeugten dreidimensionalen Oberflächenkoordinaten gewonnen, sondern es wird unter Verwendung der dreidimensionalen Oberflächenkoordinaten als Stützstellen eine Kurve oder Fläche gewonnen, welche sich den zugrunde gelegten dreidimensionalen
Oberflächenkoordinaten nur annähern muss. Auf diese Weise kann der Krümmungsverlauf der realen Oberfläche in der Umgebung des Fahrzeugs genauer reproduziert werden. Zur
Kennzeichnung der Beschaffenheit der Oberfläche werden dann der auf diese Weise gewonnene Krümmungsverlauf und/oder vertikale Abstände der Approximation des
Krümmungsverlaufs von den dreidimensionalen Oberflächenkoordinaten bestimmt. Da die Kurve oder Fläche der Approximation nicht durch die dreidimensionale Oberflächenkoordinate gehen muss, auf Basis welcher die Approximation gewonnen wurde, kann sich ein solcher vertikaler Abstand ergeben. Der vertikale Abstand ist somit die Differenz der Höhenkoordinaten der dreidimensionalen Oberflächenkoordinaten und der Kurve oder Fläche der Approximation für dieselben Horizontalkoordinaten. Der vertikale Abstand umfasst auch ein Vorzeichen, d. h. die Information, ob die Kurve oder Fläche der Approximation oberhalb oder unterhalb der dreidimensionalen Oberflächenkoordinaten liegt.
Es wurde gefunden, dass der Wert dieses vertikalen Abstands zusätzlich zu dem
Krümmungsverlauf der approximierenden Kurve oder Fläche die Beschaffenheit der Oberfläche so kennzeichnen kann, dass die Oberfläche hinsichtlich einer möglichen Befahrbarkeit durch das Fahrzeug geeignet klassifiziert werden kann.
Vorteilhafterweise ist es durch das erfindungsgemäße Verfahren möglich, auch bei einem starken Messrauschen bei der Erfassung der Oberfläche in der Umgebung des Fahrzeugs eine zuverlässige Bestimmung des Oberflächenverlaufs zu erhalten. Auf diese Weise kann die Beschaffenheit der Oberfläche in der Umgebung des Fahrzeugs zuverlässig bestimmt werden.
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens wird die Approximation des Krümmungsverlaufs anhand einer approximierenden Splinekurve durchgeführt. Die
approximierende Splinekurve nähert sich dabei ihren Stützstellen an. Die Stützstellen werden in diesem Fall von den mittels der Sensoranordnung erzeugten dreidimensionalen
Oberflächenkoordinaten bzw. einer Teilmenge dieser Oberflächenkoordinaten gewonnen. Die approximierende Splinekurve beschreibt einen glatten Kurvenverlauf, der durch die Stützstellen bestimmt wird, ohne dass die Kurve notwendigerweise durch die Stützstellen verlaufen muss.
Bei der approximierenden Splinekurve kann es sich um eine so genannte Basis-Splinekurve, die auch als B-Splinekurve bezeichnet wird, handeln. Bei einer Basis-Splinekurve wird eine Basisfunktion verwendet, zum Beispiel werden zur Bestimmung eines Punktes an einer bestimmten Stelle auf der Kurve die einzelnen Stützstellen anhand der Werte der Basisfunktion an dieser Stelle gewichtet. Die Gewichtung wird insbesondere so gewählt, dass der Einfluss einer Stützstelle mit zunehmender Entfernung von der Stelle abnimmt.
Als Erweiterung der Basis-Splinekurve kann ein NURBS (non-uniform rational B-spline) verwendet werden, bei der die Stützstellen gewichtet sind. Des Weiteren können Bezier-Splines oder so genannte P-Splines verwendet werden, bei denen auf die Basis-Splinekurve eine zusätzliche Kostenfunktion angewandt wird.
Durch approximierende Splinekurven kann vorteilhafterweise der Krümmungsverlauf der Oberfläche zumindest in einer bestimmten Richtung sehr genau und zuverlässig bestimmt werden.
Die Klassifikation kann dann in Abhängigkeit von dem Krümmungsverlauf der approximierenden Splinekurve durchgeführt werden. Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens wird basierend auf den dreidimensionalen Oberflächenkoordinaten, die in Querrichtung zu einer Fahrtrichtung des Fahrzeugs verlaufen, eine Approximation des Krümmungsverlaufs in Querrichtung gewonnen. Die Klassifikation wird dann in Abhängigkeit von dem Krümmungsverlauf in Querrichtung durchgeführt. Die Beschaffenheit der Oberfläche in der Umgebung des Fahrzeugs in
Querrichtung ist besonders wichtig, um eine seitliche Begrenzung einer Fahrbahn zu ermitteln. Eine unbefestigte Fahrbahn kann beispielsweise von Gräben, Hängen oder anderen
Oberflächenverläufen begrenzt sein, welche nicht befahrbar sind. Durch die approximierende Bestimmung des Krümmungsverlaufs in Querrichtung können sicher und zuverlässig solche seitlichen Begrenzungen mittels der Klassifikation bestimmt werden.
Alternativ oder zusätzlich kann auch basierend auf den Oberflächenkoordinaten, die in
Längsrichtung zur Fahrtrichtung verlaufen, eine Approximation des Krümmungsverlaufs in Längsrichtung gewonnen werden. In diesem Fall wird dann alternativ oder zusätzlich die Klassifikation in Abhängigkeit von dem Krümmungsverlauf in Längsrichtung durchgeführt.
Mittels des Krümmungsverlaufs in Längsrichtung können insbesondere Hindernisse in
Fahrtrichtung des Fahrzeugs sicher und zuverlässig anhand der Klassifikation erkannt werden. Dies ist besonders beim automatischen Fahren des Fahrzeugs wichtig, damit das Fahrzeug nicht mit einem Hindernis in Fahrtrichtung des Fahrzeugs kollidiert.
Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird basierend auf den Oberflächenkoordinaten eine Approximation des Krümmungsverlaufs der gesamten Oberfläche gewonnen. Anhand der dreidimensionalen Oberflächenkoordinaten wird somit eine kontinuierliche gekrümmte Fläche berechnet, welche die reale Oberfläche in der Umgebung des Fahrzeugs repräsentiert. In diesem Fall wird somit nicht nur jede Zeile in Querrichtung bzw. jede Spalte in Längsrichtung, d. h. in Fahrtrichtung, einer Höhenkarte, welche von den
dreidimensionalen Oberflächenkoordinaten gebildet wird, durch eine approximierende Kurve beschrieben. Vielmehr wird die gesamte Höhenkarte mittels einer approximierenden Fläche, insbesondere einer von Splinekurven gebildeten Fläche, angenähert. In diesem Fall kann der Krümmungsverlauf in allen Richtungen ermittelt und zur Klassifikation der
Oberflächenkoordinaten zur Kennzeichnung der Beschaffenheit der Oberfläche genutzt werden.
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens wird anhand des
Krümmungsverlaufs ein befahrbarer Bereich ermittelt. Einem zusammenhängenden
befahrbaren Bereich wird eine Fahrbahn und einem dazu benachbarten Bereich eine
Fahrbahnumgebung zugeordnet. Bei einem automatischen Fahren des Fahrzeugs kann anhand dieses befahrbaren Bereichs das Fahrzeug so gesteuert werden, dass nur Fahrmanöver ausgeführt werden, welche sicherstellen, dass das Fahrzeug sich immer auf dem befahrbaren Bereich, d. h. der Fahrbahn, befindet.
Unter einer Fahrbahn wird in dieser Schrift eine Oberfläche verstanden, welche zum Befahren durch das Fahrzeug geeignet ist. Bei der Fahrbahn handelt es sich insbesondere um eine unbefestigte Fahrbahn oder eine so genannte Offroad-Fahrbahn. Unter der Fahrbahnumgebung wird der zu der Fahrbahn benachbarte Bereich, insbesondere der Bereich seitlich neben der Fahrbahn bezüglich der Fahrtrichtung des Fahrzeugs verstanden.
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens wird einer ersten Klasse der Klassifikation eine Gruppe von dreidimensionalen Oberflächenkoordinaten zugeordnet, die im Mittel so weit unterhalb des approximierten Krümmungsverlaufs angeordnet sind, dass ein erster Grenzwert überschritten wird. Solche Oberflächenkoordinaten betreffen insbesondere eine Oberfläche, wie sie von einem Schlagloch gebildet ist. Der Grenzwert wird daher so festgelegt, dass die gemessenen Oberflächenkoordinaten sehr weit unterhalb des
approximierten Krümmungsverlaufs liegen. Des Weiteren kann in diesem Fall die Gruppe der Oberflächenkoordinaten nur dann der ersten Klasse zugeordnet werden, wenn sie im befahrbaren Bereich der Oberfläche liegen, d. h. auf der Fahrbahn. Nur in diesem Fall ist beispielsweise ein Schlagloch für die Fahrt des Fahrzeugs relevant.
Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird einer zweiten Klasse der Klassifikation ein Bereich der Oberfläche zugeordnet, bei dem ein zunehmend abfallender Krümmungsverlauf in einem definierten ersten Intervall in Querrichtung ermittelt wird. Die zweite Klasse zeichnet sich somit durch eine stärker abfallende Krümmung, zum Beispiel in der Splinekurve, aus. Durch die zweite Klasse können daher Bereiche bestimmt werden, die tatsächlich einem Abhang oder einem Graben entsprechen. Solche Abhänge oder Gräben sind insbesondere seitlich neben der Fahrbahn relevant. Das erste Intervall wird daher insbesondere in Querrichtung zur Fahrtrichtung definiert. Auf diese Weise kann ein Abhang oder ein Graben neben der Fahrbahn, d. h. in der Fahrbahnumgebung, erfasst werden. Gerade derartige Abhänge oder Gräben sind schwer zu erfassen, wenn nur die dreidimensionalen Oberflächenkoordinaten berücksichtigt werden, welche von der Sensoranordnung erzeugt worden sind.
Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird einer dritten Klasse der Klassifikation ein Bereich der Oberfläche zugeordnet, bei dem ein zunehmend ansteigender Krümmungsverlauf und ein zunehmend abfallender Krümmungsverlauf in einem definierten zweiten Intervall einer Oberflächenrichtung ermittelt wird. Das zweite Intervall wird dabei insbesondere in einer Oberflächenrichtung auf der Fahrbahn definiert. Auf diese Weise kann eine Bodenwelle oder ein Schlagloch erfasst werden, bei denen innerhalb eines Intervalls ein zunehmend ansteigender und ein zunehmend abfallender Krümmungsverlauf vorliegt. Im Gegensatz zu einem Schlagloch liegen die dreidimensionalen Oberflächenkoordinaten jedoch nicht so weit unterhalb des approximierten Krümmungsverlaufs, dass der Bereich, welcher die Oberflächenkoordinaten umfasst, der ersten Klasse zuzuordnen wäre.
Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird einer vierten Klasse der Klassifikation ein Bereich der Oberfläche zugeordnet, bei dem ein abrupter Anstieg der Höhenkoordinate mehrerer benachbarter Oberflächenkoordinaten ermittelt wird. Ein solcher abrupter Anstieg der Höhenkoordinate tritt bei größeren Hindernissen, wie geparkten
Fahrzeugen oder Bäumen auf. Die Erfassung des Bereichs der Oberfläche der vierten Klasse kann zum einen dazu dienen, die Fahrbahnumgebung von der Fahrbahn abzugrenzen. Zum anderen können auf diese Weise Hindernisse in Fahrtrichtung des Fahrzeugs erkannt werden.
Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird eine
Fahrbahnbeschaffenheit anhand des Wertes der Streuung des vertikalen Abstands der Approximation des Krümmungsverlaufs von den Oberflächenkoordinaten ermittelt.
Beispielsweise kann in diesem Fall für jede Oberflächenkoordinate die vertikale Abweichung der Approximation des Krümmungsverlaufs bestimmt werden. Auf diese Weise kann beispielsweise der Wert für die Rauigkeit der Fahrbahn und/oder der Wert für die
durchschnittliche Unebenheit der Fahrbahn gewonnen werden. Übersteigen die Werte für die Rauigkeit oder die Werte für die durchschnittlichen Unebenheiten einen bestimmten Grenzwert, kann daraus gefolgert werden, dass die Oberfläche für das betreffende Fahrzeug nicht mehr befahrbar ist.
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens werden zeitlich
aufeinanderfolgend dreidimensionale Oberflächenkoordinaten erzeugt und es wird jeweils, d. h. für jeden Satz dreidimensionale Oberflächenkoordinaten, der zu einem bestimmten Zeitpunkt aufgenommen worden ist, eine Approximation des Krümmungsverlaufs gewonnen. Anhand des Krümmungsverlaufs und/oder der vertikalen Abstände der Approximation des
Krümmungsverlaufs von den dreidimensionalen Oberflächenkoordinaten wird anschließend ein Hindernis identifiziert und die Bewegung des Hindernisses wird anhand des zeitlichen Verlaufs der dem Hindernis zugeordneten dreidimensionalen Oberflächenkoordinaten ermittelt. Bewegte Hindernisse können auf diese Weise mittels mehrerer Messserien, in denen das Hindernis erkannt wird, verfolgt werden.
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens werden die Positionen der Auflageflächen der Räder des Fahrzeugs auf der Oberfläche bestimmt. Die voraussichtlichen Trajektorien der Positionen der Auflageflächen der Räder des Fahrzeugs werden anschließend ermittelt und für die voraussichtlichen Trajektorien wird die Befahrbarkeit der Oberfläche anhand der Klassifikation der zu den Trajektorien gehörigen Oberflächenkoordinaten geprüft. Die Positionen der Auflageflächen der Räder des Fahrzeugs können auf geometrische Weise bestimmt werden, da die Position der Sensoranordnung zu den Auflageflächen der Räder des Fahrzeugs bekannt ist. Aus der Bewegungsrichtung und gegebenenfalls der Geschwindigkeit des Fahrzeugs können dann die voraussichtlichen Trajektorien der Auflageflächen der Räder ermittelt werden. Es kann nun, wie vorstehend erläutert, bestimmt werden, ob sich auf diesen voraussichtlichen Trajektorien Schlaglöcher oder größere Hindernisse befinden, welche die Befahrbarkeit der Oberfläche einschränken oder welche dazu führen, dass die Oberfläche nicht mehr befahrbar ist. Diese Informationen können dann beim automatischen Fahren des
Fahrzeugs berücksichtigt werden, um entsprechenden Schlaglöchern oder Hindernissen auszuweichen.
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens werden die dreidimensionalen Oberflächenkoordinaten mittels eines Stereobildes erzeugt. Dies hat den Vorteil, dass die dreidimensionalen Oberflächenkoordinaten mittels einer sehr kostengünstigen
Sensoranordnung ermittelt werden können. Zudem werden auf diese Weise Bilddaten bereitgestellt, welche für weitere Zwecke verwendet werden können. Die dreidimensionalen Oberflächenkoordinaten, welche mittels eines Stereobildes gewonnen worden sind, besitzen jedoch den Nachteil, dass die Messungenauigkeiten zu groß sind, als dass die gewonnenen dreidimensionalen Oberflächenkoordinaten als Grundlage für die Steuerung des automatischen Fahrens ausreichen würden. Außerdem können Abhänge und andere seitliche Begrenzungen einer Fahrbahn nur unzureichend erkannt werden. Ferner werden Schlaglöcher und Gräben bei zu starkem Messrauschen nicht mehr zuverlässig erkannt. Bei dem erfindungsgemäßen Verfahren werden die erzeugten dreidimensionalen Oberflächenkoordinaten jedoch weiter verarbeitet. Es wird eine Approximation des Krümmungsverlaufs der Oberfläche durchgeführt. Vorteilhafterweise können hierdurch die Daten des Stereobildes so aufbereitet werden, dass gefährliche Bereiche, wie z. B. Abhänge, große Löcher oder seitliche Wassergräben, in der voraussichtlichen Spur des Fahrzeugs frühzeitig erkannt und umgangen werden können. Auf diese Weise können die Messprobleme herkömmlicher, Stereokamera-basierter Messsysteme überwunden werden. Mittels der Approximation des Krümmungsverlaufs kann in diesem Fall auch bei starkem Messrauschen eine zuverlässige Schätzung des Oberflächenverlaufs und einer möglichen Hangneigung durchgeführt werden.
Des Weiteren können die dreidimensionalen Oberflächenkoordinaten mittels eines
Laserscanners gewonnen werden, welcher die Oberfläche in Fahrtrichtung in Querrichtung abtastet. Vorteilhaft an dieser Art der Gewinnung der dreidimensionalen
Oberflächenkoordinaten ist, dass sie auch bei schlechten Wetterbedingungen und bei Nacht funktionieren. Die Abtastdichte ist gegenüber der Verwendung einer Stereokamera in
Fahrtrichtung, d. h. orthogonal zur Rotationsrichtung des scannenden Systems, geringer. Dies kann dazu führen, dass Gräben und Schlaglöcher nicht erkannt werden. Bei dem
erfindungsgemäßen Verfahren wird durch die Approximation des Krümmungsverlaufs jedoch sichergestellt, dass solche Oberflächenbeschaffenheiten sicher erkannt werden können. Die Verwendung des Laserscanners hat außerdem den Vorteil, dass abrupte Höhenänderungen in der Oberfläche sehr zuverlässig erkannt werden können.
Die erfindungsgemäße Vorrichtung zum Bestimmen der Beschaffenheit einer Oberfläche in der Umgebung eines Fahrzeugs ist gekennzeichnet durch eine Recheneinheit, welche ausgebildet ist, basierend auf den dreidimensionalen Oberflächenkoordinaten eine Approximation des Krümmungsverlaufs der Oberfläche in zumindest einer Richtung zu gewinnen, und eine Klassifikationseinheit, mittels welcher anhand des Krümmungsverlaufs und/oder vertikalen Abständen der Approximation des Krümmungsverlaufs von den dreidimensionalen
Oberflächenkoordinaten eine Klassifikation der dreidimensionalen Oberflächenkoordinaten zur Kennzeichnung der Beschaffenheit der Oberfläche durchgeführt werden kann.
Die erfindungsgemäße Vorrichtung ist ausgebildet, das vorstehend beschriebene
erfindungsgemäße Verfahren auszuführen. Sie weist daher dieselben Vorteile wie das erfindungsgemäße Verfahren auf.
Die Sensoranordnung der erfindungsgemäßen Vorrichtung umfasst insbesondere eine
Stereokamera. Ferner kann als Sensoranordnung auch ein scannendes Lasermesssystem oder ein Laserschnitt-basiertes Messsystem eingesetzt werden. Das Laserschnitt-basierte
Messsystem hat den Vorteil, dass es die Bodenebene sehr genau erfassen kann. Es hat jedoch nur eine sehr begrenzte Reichweite. Außerdem ist der Bauraumbedarf eines solchen
Messsystems relativ hoch. Das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung werden insbesondere in einem Fahrzeug, insbesondere einem Lastkraftwagen, eingesetzt, welcher ein System zum automatischen Fahren aufweist. Das Fahrzeug kann auf diese Weise ohne Fahrer automatisch auf einer unbefestigten Fahrbahn fahren. Das System zum automatischen Fahren wird dabei von dem erfindungsgemäßen Verfahren bzw. der erfindungsgemäßen Vorrichtung unterstützt. Es werden Informationen über die Beschaffenheit der Oberfläche in Fahrtrichtung des
Fahrzeugs geliefert. Dabei wird ermittelt, welcher Bereich dieser Oberfläche befahrbar ist und somit als Fahrbahn geeignet ist. Ferner wird die Beschaffenheit der Fahrbahnumgebung ermittelt, so dass bei der Steuerung des Fahrzeugs berücksichtigt werden kann, welche Oberfläche in der Umgebung des Fahrzeugs für Fahrmanöver beim automatischen Fahren geeignet ist.
Die erfindungsgemäße Vorrichtung kann hierfür in dem Fahrzeug, welches das System zum automatischen Fahren aufweist, integriert sein. Die Sensoranordnung erfasst dabei die
Oberfläche des Untergrunds in Fahrtrichtung des Fahrzeugs, wobei auch seitliche Bereiche vor dem Fahrzeug erfasst werden.
Im Folgenden wird die Erfindung anhand eines Ausführungsbeispiels im Detail mit Bezug zu den angefügten Figuren beschrieben.
Figur 1 zeigt eine Situation, in der das erfindungsgemäße Verfahren eingesetzt werden kann,
Figur 2 zeigt eine andere Situation, in der das erfindungsgemäße Verfahren
eingesetzt werden kann,
Figur 3 zeigt schematisch den Aufbau eines Ausführungsbeispiels der
erfindungsgemäßen Vorrichtung,
Figur 4 zeigt ein Beispiel für eine rekonstruierte Höhenkarte, wie sie bei einem
Ausführungsbeispiel des erfindungsgemäßen Verfahrens gewonnen wurde,
Figur 5 zeigt ein anderes Beispiel einer rekonstruierten Höhenkarte, wie sie bei dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens gewonnen wurde, Figur 6 veranschaulicht die Approximation des Krümmungsverlaufs der
Oberfläche, wie sie bei dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens durchgeführt wird,
Figur 7 veranschaulicht die Approximation des Krümmungsverlaufs der
Oberfläche bei einer Offroad-Situation, wie sie bei dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens durchgeführt wird, und
Figur 8 veranschaulicht die Approximation des Krümmungsverlaufs der
Oberfläche, wie sie bei dem Ausführungsbeispiel des erfindungsgemäßen
Verfahrens bei einem Befahren einer Landstraße mit seitlichen Gräben durchgeführt wird.
Im Folgenden wird zunächst mit Bezug zu den Figuren 1 und 2 die Situation erläutert, in welcher das erfindungsgemäße Verfahren durchgeführt wird:
Ein Fahrzeug 1 befährt eine unbefestigte Oberfläche. Das Fahrzeug 1 kann beispielsweise automatisch ohne die Unterstützung eines Fahrers fahren. Die unbefestigte Oberfläche umfasst eine Fahrbahn 2 und in Fahrtrichtung seitlich daneben eine Fahrbahnumgebung 3. Diese Fahrbahnumgebung 3 begrenzt die Fahrbahn 2. In dem in Figur 1 gezeigten Beispiel umfasst die Fahrbahnumgebung 3 seitlich neben der Fahrbahn 2 Gräben 4. Bei dem in Figur 2 gezeigten Beispiel wird die Fahrbahn 2 seitlich durch einen Erdwall 5 und durch Bäume 16 oder Pylonen begrenzt. Beim Befahren der Oberfläche bilden die Räder des Fahrzeugs 1
Auflageflächen 1 1 auf der Fahrbahn 2.
Wie es im Folgenden erläutert wird, kann mittels des Ausführungsbeispiels des
erfindungsgemäßen Verfahrens und des Ausführungsbeispiels der erfindungsgemäßen
Vorrichtung erkannt werden, welcher Bereich der Oberfläche in Fahrtrichtung des Fahrzeugs 1 befahrbar ist und daher der Fahrbahn zugeordnet werden kann. Ferner kann die Beschaffenheit der Oberfläche der Fahrbahn 2 sowie die Beschaffenheit der Fahrbahnumgebung 3 bestimmt werden.
Mit Bezug zu Figur 3 wird ein Ausführungsbeispiel der erfindungsgemäßen Vorrichtung 6 erläutert: Die Vorrichtung 6 umfasst eine Stereokamera 7 und eine damit verbundene
Bildverarbeitungseinheit 8. Die Stereokamera 7 und die Bildverarbeitungseinheit 8 bilden eine Sensoranordnung, mittels welcher dreidimensionale Oberflächenkoordinaten der Oberfläche in der Umgebung des Fahrzeugs 1 , insbesondere in Fahrtrichtung des Fahrzeugs 1 , erzeugbar sind. Mittels der Sensoranordnung kann somit eine dreidimensionale Höhenkarte der
Oberfläche in Fahrtrichtung des Fahrzeugs 1 gewonnen werden.
Die Bildverarbeitungseinheit 8 ist mit einer Recheneinheit 9 verbunden, an welche sie die dreidimensionalen Oberflächenkoordinaten überträgt. Die Recheneinheit 9 ist ausgebildet, basierend auf den dreidimensionalen Oberflächenkoordinaten eine Approximation des
Krümmungsverlaufs der Oberfläche zu gewinnen, wie es später mit Bezug zu dem
Ausführungsbeispiel des erfindungsgemäßen Verfahrens erläutert wird.
Die Recheneinheit 9 ist mit einer Klassifikationseinheit 10 verbunden, mittels welcher anhand des Krümmungsverlaufs und der vertikalen Abstände der Approximation des
Krümmungsverlaufs von den dreidimensionalen Oberflächenkoordinaten eine Klassifikation der Oberflächenkoordinaten zur Abgrenzung der Fahrbahn 2 von der Fahrbahnumgebung 3 und zur Kennzeichnung der Beschaffenheit der Oberfläche durchgeführt wird, wie es auch später mit Bezug zu dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens erläutert wird.
In anderen Ausführungsbeispielen kann die Sensoranordnung auch ein scannendes
Lasermesssystem, ein Laserschnitt-basiertes Messsystem oder ein anderes Messsystem verwenden, mit welchem dreidimensionale Oberflächenkoordinaten gewonnen werden können.
Die Vorrichtung 6 kann schließlich mit einer Steuerung 13 für das automatische Fahren des Fahrzeugs 1 gekoppelt sein. An diese Steuerung 13 werden alle Daten zur Beschaffenheit der Oberfläche, insbesondere der Fahrbahn 2 und der Fahrbahnumgebung 3, übertragen.
Im Folgenden wird ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens, welches von der vorstehend beschriebenen Vorrichtung 6 ausgeführt werden kann, mit Bezug zu den Figuren 4 bis 8 erläutert:
Die Stereokamera 7 der Sensoranordnung nimmt von dem Fahrzeug 1 aus in Fahrtrichtung zeitlich aufeinanderfolgende Stereobilder auf. Solche Bilder in verschiedenen Fahrsituationen sind in den Figuren 4, 5, 7 und 8 gezeigt. Die Bildverarbeitungseinheit 8 bearbeitet das Stereobild auf an sich bekannte Weise und gewinnt dreidimensionale Oberflächenkoordinaten. Dabei wird für ein horizontales Gitter die Höhenkoordinate für jeden Punkt des Gitters bestimmt. Zwischen den Punkten des horizontalen Gitters ergibt sich ein Abstand, welcher von der Auflösung der Stereokamera und der anschließenden Bildverarbeitung bestimmt ist. Die rekonstruierten Höhenkarten, welche von den dreidimensionalen Oberflächenkoordinaten gebildet werden und die aus den Bildern der Stereokamera 7 gewonnen wurden, sind als Netz 17 in den in den Figuren 4, 5, 7 und 8 gezeigten Bildern dargestellt.
Die dreidimensionalen Oberflächenkoordinaten umfassen dabei Koordinaten in Querrichtung zur Fahrtrichtung. Diese dreidimensionalen Oberflächenkoordinaten in Querrichtung werden auch als Zeile der dreidimensionalen Höhenkarte, die von den dreidimensionalen
Oberflächenkoordinaten gebildet ist, bezeichnet. Ferner umfassen die dreidimensionalen Oberflächenkoordinaten Koordinaten in Längsrichtung zur Fahrtrichtung. Diese werden auch als Spalte der dreidimensionalen Höhenkarte bezeichnet.
Bei dem erfindungsgemäßen Verfahren wird basierend auf den dreidimensionalen
Oberflächenkoordinaten eine Approximation des Krümmungsverlaufs der Oberfläche in zumindest einer Richtung gewonnen. Im vorliegenden Ausführungsbeispiel wird diese
Approximation des Krümmungsverlaufs zeilenweise, d. h. in Querrichtung zur Fahrtrichtung, durchgeführt. Die dreidimensionalen Oberflächenkoordinaten einer Zeile werden dabei als Stützstellen für eine approximierende Splinekurve verwendet. Bei dem Ausführungsbeispiel wird eine Basis-Splinekurve verwendet. Es können jedoch auch andere approximierende Splinekurven verwendet werden, wie sie eingangs erwähnt wurden. Auf diese Weise ergibt sich für jede Zeile der dreidimensionalen Höhenkarte eine kontinuierliche Splinekurve.
In Figur 6 sind schematisch solche Splinekurven 14 für mehrere Zeilen einer dreidimensionalen Höhenkarte dargestellt. Die approximierende Splinekurve 14 zeichnet sich dadurch aus, dass sie zwar von ihren Stützstellen, d. h. den dreidimensionalen Oberflächenkoordinaten einer Zeile, bestimmt wird, jedoch nicht notwendigerweise durch diese dreidimensionalen
Oberflächenkoordinaten verläuft. Bei jeder der dreidimensionalen Oberflächenkoordinaten jeder Zeile kann sich somit ein vertikaler Abstand von der approximierenden Splinekurve 14 ergeben. Der Wert dieses vertikalen Abstands ist in Figur 6 durch die Länge der Pfeile 15 bei einer entsprechenden dreidimensionalen Oberflächenkoordinate dargestellt.
Mithilfe der approximierenden Splinekurven 14 kann somit aus den dreidimensionalen
Oberflächenkoordinaten zeilenweise eine kontinuierliche Oberfläche modelliert werden. Des Weiteren kann der Krümmungsverlauf auch in mehreren Richtungen approximiert werden, sodass es auch möglich ist, aus den dreidimensionalen Oberflächenkoordinaten eine kontinuierliche Oberfläche zu modellieren. Dies ist auch dann möglich, wenn ein höheres Messrauschen bei der Erzeugung der dreidimensionalen Oberflächenkoordinaten vorlag. Der Verlauf der Splinekurven 14 erlaubt nun eine Einteilung der gemessenen dreidimensionalen Oberflächenkoordinaten, d. h. der dreidimensionalen Höhenkarte, anhand verschiedener Kriterien. Zum einen kann der vertikale Abstand einer dreidimensionalen Oberflächenkoordinate zu der Splinekurve 14 berücksichtigt werden. Zum anderen kann der Krümmungsverlauf der Splinekurven 14 berücksichtigt werden.
Im Folgenden wird die Klassifikation der dreidimensionalen Oberflächenkoordinaten zur Kennzeichnung der Beschaffenheit der Oberfläche erläutert, wie sie von der
Klassifikationseinheit 10 durchgeführt wird:
Anhand des Krümmungsverlaufs der Splinekurven 14 wird zunächst ein für das Fahrzeug 1 befahrbarer Bereich ermittelt. Ein zusammenhängender befahrbarer Bereich wird als Fahrbahn 2 definiert. Die nicht befahrbare Umgebung dieses befahrbaren Bereichs wird als
Fahrbahnumgebung 3 definiert.
Wenn eine einzelne dreidimensionale Oberflächenkoordinate in vertikaler Richtung erheblich von ihren benachbarten dreidimensionalen Oberflächenkoordinaten abweicht, wird diese dreidimensionale Oberflächenkoordinate als Ausreißer klassifiziert und im Folgenden unberücksichtigt gelassen.
Die gewonnenen dreidimensionalen Oberflächenkoordinaten können außerdem zeitlich gefiltert werden, um Fehlklassifizierungen einzelner dreidimensionaler Oberflächenkoordinaten zu korrigieren.
Eine Gruppe von dreidimensionalen Oberflächenkoordinaten, die im Mittel so weit unterhalb des approximierten Krümmungsverlaufs, d. h. unterhalb der Splinekurven 14, angeordnet sind, dass ein erster Grenzwert überschritten wird, wird einer ersten Klasse zugeordnet. In diese Klasse fallen Oberflächenkoordinaten, welche ein Schlagloch bilden, welches von dem Fahrzeug 1 nicht überfahren werden sollte. Der erste Grenzwert kann dabei durch im Voraus durchgeführte Messungen an Schlaglöchern, die eine bestimmte Tiefe aufweisen, gewonnen werden. Es werden in diesem Fall insbesondere dreidimensionale Oberflächenkoordinaten berücksichtigt, welche in Längsrichtung zur Fahrtrichtung verlaufen. Des Weiteren wird ein Bereich der Oberfläche bestimmt, bei dem ein zunehmend abfallender Krümmungsverlauf in einem definierten ersten Intervall in Querrichtung bestimmt wurde. Dieser Bereich wird einer zweiten Klasse der Klassifikation zugeordnet. Die zweite Klasse soll insbesondere seitliche Abhänge und Gräben erfassen. Das erste Intervall verläuft daher in Querrichtung. Der Krümmungsverlauf wird dabei anhand einer Splinekurve 14 bestimmt, welcher aus einer Zeile der dreidimensionalen Höhenkarte der dreidimensionalen
Oberflächenkoordinaten gewonnen wurde. Wenn diese Splinekurve eine stärker abfallende Krümmung aufweist, wird darauf geschlossen, dass in diesem Bereich ein Abhang oder Graben ist.
Ferner wird ein Bereich der Oberfläche ermittelt, bei dem ein zunehmend ansteigender Krümmungsverlauf und ein zunehmend abfallender Krümmungsverlauf in einem definierten zweiten Intervall einer Oberflächenrichtung ermittelt wird. Dieser Bereich wird einer dritten Klasse der Klassifikation zugeordnet. Diese dritte Klasse kennzeichnet Bodenwellen, kleinere Schlaglöcher oder einen Bewuchs. Das zweite Intervall ist dabei so gewählt, dass es in einer beliebigen Oberflächenrichtung verläuft und auf der Fahrbahn 2 angeordnet ist. Die dritte Klasse kann alternativ auch nur Bereiche der Oberfläche umfassen, welche sich durch eine stärker ansteigende Krümmung in der Splinekurve 14 auszeichnet.
Ferner wird ein Bereich der Oberfläche bestimmt, bei dem ein abrupter Anstieg der
Höhenkoordinate mehrerer benachbarter Oberflächenkoordinaten ermittelt wird. Dieser Bereich wird einer vierten Klasse der Klassifikation zugeordnet. Die vierte Klasse umfasst größere Hindernisse, wie beispielsweise geparkte Fahrzeuge, Bäume oder dergleichen. Derartige größere Hindernisse können sowohl auf der Fahrbahn 2 als auch in der Fahrbahnumgebung 3 ermittelt werden.
Schließlich wird die Fahrbahnbeschaffenheit anhand des Wertes der Streuung des vertikalen Abstands der Splinekurven 14 von den jeweiligen Oberflächenkoordinaten ermittelt. Auf diese Weise kann ein Wert für die Rauigkeit der Fahrbahn und ein Wert für die durchschnittliche Unebenheit der Fahrbahn gewonnen werden.
Die dreidimensionalen Oberflächenkoordinaten werden von der Sensoranordnung zeitlich aufeinanderfolgend erzeugt. Während das Fahrzeug 1 fährt, werden sequentiell Stereobilder aufgenommen und daraus die dreidimensionalen Oberflächenkoordinaten gewonnen. Für jedes Stereobild, d. h. für jeden Satz dreidimensionaler Höhenkoordinaten, wird der Krümmungsverlauf mittels Splinekurven 14 approximiert. Anhand dieses Krümmungsverlaufs und des vertikalen Abstands der Splinekurve 14 von der jeweiligen dreidimensionalen
Oberflächenkoordinate kann wie vorstehend erläutert ein Hindernis identifiziert werden. Die Bewegung des Hindernisses kann dann aus dem zeitlichen Verlauf der dem Hindernis zugeordneten dreidimensionalen Oberflächenkoordinaten ermittelt werden. Hindernisse können auf diese Weise zeitlich verfolgt werden.
Die Klassifikationseinheit 10 erzeugt somit eine Klassifikation der dreidimensionalen
Oberflächenkoordinaten der dreidimensionalen Höhenkarte anhand ihrer vertikalen Lage zur approximierenden Splinekurve 14 sowie anhand des Verlaufs der Splinekurve 14, insbesondere anhand des Krümmungsverlaufs der Splinekurve 14.
In Figur 4 ist ein Beispiel gezeigt, bei dem im linken Teil das von der Stereokamera 7 aufgenommene Bild dargestellt ist. Diesem Bild überlagert ist eine rekonstruierte Höhenkarte, d. h. das aus den dreidimensionalen Oberflächenkoordinaten gebildete Netz 17, eingeblendet. Ferner ist im Bild ein laterales Höhenprofil 18 eingeblendet. Rechts von dem Bild ist die
Klassifikation der dreidimensionalen Oberflächenkoordinaten anhand eines Graustufenbildes dargestellt. Die Darstellung der Figur 4 betrifft dabei eine Fahrsituation auf einer Landstraße, bei der die Fahrbahn 2 seitlich von einem Graben sowie von einem Bürgersteig begrenzt ist. In den Graustufenbildern rechts neben dem wiedergegebenen Bild sind die unterschiedlichen Klassifikationen deutlich erkennbar. Insbesondere kann der befahrbare Bereich, d. h. die Fahrbahn 2, eindeutig identifiziert werden.
In Figur 5 ist Entsprechendes für eine Fahrsituation auf einer unbefestigten Straße mit seitlichen Gräben dargestellt. Das Bild rechts unten in Figur 5 zeigt die Klassifikation der
dreidimensionalen Oberflächenkoordinaten. Es sind deutlich die beiden Gräben rechts und links von der Fahrbahn 2 zu erkennen. Dazwischen befinden sich die dreidimensionalen
Oberflächenkoordinaten, welche als befahrbarer Bereich, d. h. als Fahrbahn 2, klassifiziert wurden.
In Figur 7 ist unten das von der Stereokamera 7 aufgenommene Bild in einer Fahrsituation einer Offroad-Strecke mit seitlichem Gefälle rechts neben der Fahrbahn 2 dargestellt. Auch in diesem Fall ist die dreidimensionale Höhenkarte anhand eines Netzes 17 in das Bild eingeblendet. Im oberen Teil der Figur 7 sind die Splinekurven 14 zur Repräsentation der Fahrbahn 2 und der Fahrbahnumgebung 3 dargestellt. Im rechten Teil dieser Splinekurven 14 kann anhand des Krümmungsverlaufs der Splinekurven 14 und anhand der vertikalen Abstände der dreidimensionalen Oberflächenkoordinaten von den Splinekurven 14 auf das starke seitliche Gefälle geschlossen werden. Dieser Bereich wird als nicht befahrbar klassifiziert.
In Figur 8 ist das Bild der Stereokamera 7 für eine Fahrsituation auf einer Landstraße mit seitlichen Gräben rechts und links neben der Fahrbahn 2 dargestellt. Dem Bild überlagert ist wiederum die dreidimensionale Höhenkarte anhand eines Netzes 17 dargestellt. Oberhalb des Bildes sind die zugehörigen Splinekurven 14 zur Repräsentation der Umgebung dargestellt. Im Bereich rechts oben und links oben ergibt sich eine große Abweichung der Höhenkoordinate der dreidimensionalen Oberflächenkoordinate von der entsprechenden Höhenkoordinate der Splinekurven 14. Auf diese Weise werden die seitlichen Gräben erkannt und entsprechend werden die zugeordneten dreidimensionalen Oberflächenkoordinaten klassifiziert.
Bei einem Einsatz des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung bei einem Fahrzeug 1 , welches automatisch fährt, werden die Auflageflächen 1 1 der Räder des Fahrzeugs 1 auf der Oberfläche bestimmt. Es wird dabei ein räumlicher Bezug zwischen den dreidimensionalen Oberflächenkoordinaten und den Auflageflächen 1 1 der Räder des
Fahrzeugs 1 aus der räumlichen Anordnung der Auflageflächen 1 1 der Räder relativ zu der Stereokamera 7 und dem Blickwinkel der Stereokamera 7 ermittelt. Anhand der in der
Steuereinheit 13 vorliegenden Daten werden die voraussichtlichen Trajektorien der
Auflageflächen 1 1 der Räder des Fahrzeugs 1 ermittelt. Für diesen Bereich, d. h. für die voraussichtlichen Trajektorien, wird von der Klassifikationseinheit 10 dann die Befahrbarkeit der Oberfläche geprüft. Es wird dabei die Klassifikation der dreidimensionalen
Oberflächenkoordinaten berücksichtigt, welche auf den voraussichtlichen Trajektorien der Auflageflächen 1 1 der Räder des Fahrzeugs 1 liegen. Ferner kann ein benachbarter Bereich hierzu berücksichtigt werden. Wenn sich dabei beispielsweise ergibt, dass ein Schlagloch auf einer solchen Trajektorie liegt, wird ein entsprechendes Signal an die Steuereinheit 13 übertragen. Diese kann dann automatisch ein Fahrmanöver ausführen, bei welchem das Schlagloch umfahren wird. Ferner kann die Steuereinheit 13 anhand der von der
Klassifikationseinheit 10 übertragenen Daten sicherstellen, dass das Fahrzeug 1 automatisch auf einem befahrbaren Bereich, d. h. auf der Fahrbahn 2, bewegt wird. Außerdem kann bei Fahrmanövern die Fahrbahnumgebung 3 berücksichtigt werden. Beispielsweise kann auch ein Baum, welcher die Fahrbahn 2 seitlich begrenzt, so berücksichtigt werden, dass das automatisch fahrende Fahrzeug 1 nicht seitlich oder oben mit diesem Hindernis kollidiert, selbst wenn sich die Auflageflächen 1 1 der Räder des Fahrzeugs 1 vollständig auf der Fahrbahn 2 befinden. Das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung 6 werden insbesondere bei einem Offroad-Einsatz von Lastkraftwagen verwendet. Beispielsweise können sie bei Lastkraftwagen eingesetzt werden, welche im Bergbau eingesetzt werden. Die
Lastkraftwagen können in diesem Fall mit einem System zum automatischen Fahren ausgestattet sein, welches die erfindungsgemäße Vorrichtung 6 und das erfindungsgemäße Verfahren nutzt, um den Lastkraftwagen zu steuern. Des Weiteren können das
erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung 6 bei einem Offroad- Einsatz eines Personenkraftwagens und bei einem Fahren auf unbefestigtem Grund verwendet werden. Es kann auf diese Weise ein Assistenzsystem bereitgestellt werden, welches zuverlässig Hindernisse und Schlaglöcher detektiert und dem Fahrer Informationen über die Fahrbahnbeschaffenheit ausgibt. Schließlich können das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung 6 bei einem Offroad-Einsatz von Motorrädern und einem Fahren von Motorrädern auf unbefestigtem Grund verwendet werden. Auch in diesem Fall kann ein Assistenzsystem bereitgestellt werden, welches zuverlässig Hindernisse und Schlaglöcher detektiert. Bei einem Einsatz in Motorrädern kann das Assistenzsystem insbesondere auf gefährliche, besonders tiefe Schlaglöcher und auf Bodenunebenheiten hinweisen.
Bezugszeichenliste
Fahrzeug
Fahrbahn
Fahrbahnumgebung
Graben
Erdwall
Vorrichtung
Stereokamera
Bildverarbeitungseinheit
Recheneinheit
Klassifikationseinheit
Auflageflächen
Steuerung
Splinekurve
Pfeil
Bäume
Netz
laterales Höhenprofil

Claims

Patentansprüche
Verfahren zum Bestimmen einer Beschaffenheit einer Oberfläche in der Umgebung eines Fahrzeugs (1 ), bei dem
mittels einer Sensoranordnung (7, 8) dreidimensionale Oberflächenkoordinaten der Oberfläche erzeugt werden,
dadurch gekennzeichnet, dass
basierend auf den dreidimensionalen Oberflächenkoordinaten eine Approximation des Krümmungsverlaufs der Oberfläche in zumindest einer Richtung gewonnen wird und anhand des Krümmungsverlaufs und/oder vertikaler Abstände der Approximation des Krümmungsverlaufs von den dreidimensionalen Oberflächenkoordinaten eine Klassifikation der dreidimensionalen Oberflächenkoordinaten zur Kennzeichnung der Beschaffenheit der Oberfläche durchgeführt wird.
Verfahren nach Anspruch 1 ,
dadurch gekennzeichnet, dass
die Approximation des Krümmungsverlaufs anhand einer approximierenden Splinekurve (14) durchgeführt wird.
Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet, dass
basierend auf den dreidimensionalen Oberflächenkoordinaten, die in Querrichtung zu einer Fahrtrichtung des Fahrzeugs (1 ) verlaufen, eine Approximation des
Krümmungsverlaufs in Querrichtung gewonnen wird und
die Klassifikation in Abhängigkeit von dem Krümmungsverlauf in Querrichtung durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
basierend auf den dreidimensionalen Oberflächenkoordinaten eine Approximation des Krümmungsverlaufs der gesamten Oberfläche gewonnen wird.
Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass anhand des Krümmungsverlaufs ein befahrbarer Bereich ermittelt wird und einem zusammenhängenden befahrbaren Bereich eine Fahrbahn (2) und einem dazu benachbarten Bereich eine Fahrbahnumgebung (3) zugeordnet wird.
6. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
einer ersten Klasse der Klassifikation eine Gruppe von dreidimensionalen Oberflächenkoordinaten zugeordnet wird, die im Mittel so weit unterhalb des
approximierten Krümmungsverlaufs angeordnet sind, dass ein erster Grenzwert überschritten wird.
7. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
einer zweiten Klasse der Klassifikation ein Bereich der Oberfläche zugeordnet wird, bei dem ein zunehmend abfallender Krümmungsverlauf in einem definierten ersten Intervall in Querrichtung ermittelt wird.
8. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
einer dritten Klasse der Klassifikation ein Bereich der Oberfläche zugeordnet wird, bei dem ein zunehmend ansteigender Krümmungsverlauf und ein zunehmend abfallender Krümmungsverlauf in einem definierten zweiten Intervall einer Oberflächenrichtung ermittelt wird.
9. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
einer vierten Klasse der Klassifikation ein Bereich der Oberfläche zugeordnet wird, bei dem ein abrupter Anstieg der Höhenkoordinate mehrerer benachbarter
dreidimensionaler Oberflächenkoordinaten ermittelt wird.
10. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
eine Fahrbahnbeschaffenheit anhand des Wertes der Streuung des vertikalen Abstands der Approximation des Krümmungsverlaufs von den Oberflächenkoordinaten ermittelt wird.
1 1 . Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
zeitlich aufeinanderfolgend dreidimensionale Oberflächenkoordinaten erzeugt werden und jeweils eine Approximation des Krümmungsverlaufs gewonnen wird,
anhand des Krümmungsverlaufs und/oder der vertikalen Abstände der Approximation des Krümmungsverlaufs von den dreidimensionalen
Oberflächenkoordinaten ein Hindernis identifiziert wird und
eine Bewegung des Hindernisses anhand des zeitlichen Verlaufs der dem Hindernis zugeordneten dreidimensionalen Oberflächenkoordinaten ermittelt wird.
12. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die Positionen (1 1 ) der Auflageflächen der Räder des Fahrzeugs (1 ) auf der Oberfläche bestimmt werden,
die voraussichtlichen Trajektorien der Positionen (1 1 ) der Auflageflächen der Räder des Fahrzeugs (1 ) ermittelt werden und
für die voraussichtlichen Trajektorien die Befahrbarkeit der Oberfläche anhand der Klassifikation der zu den Trajektorien gehörigen dreidimensionalen
Oberflächenkoordinaten geprüft wird.
13. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die dreidimensionalen Oberflächenkoordinaten mittels eines Stereobildes erzeugt werden.
14. Vorrichtung (6) zum Bestimmen einer Beschaffenheit einer Oberfläche in der Umgebung eines Fahrzeugs (1 ) mit
einer Sensoranordnung (7, 8), mittels welcher dreidimensionale
Oberflächenkoordinaten der Oberfläche erzeugbar sind,
gekennzeichnet durch
eine Recheneinheit (9), welche ausgebildet ist, basierend auf den dreidimensionalen Oberflächenkoordinaten eine Approximation des Krümmungsverlaufs der Oberfläche in zumindest einer Richtung zu gewinnen, und
eine Klassifikationseinheit (10), mittels welcher anhand des Krümmungsverlaufs und/oder vertikaler Abstände der Approximation des Krümmungsverlaufs von den dreidimensionalen Oberflächenkoordinaten eine Klassifikation der dreidimensionalen Oberflächenkoordinaten zur Kennzeichnung der Beschaffenheit der Oberfläche durchführbar ist.
15. Vorrichtung (6) nach Anspruch 14,
dadurch gekennzeichnet, dass
die Sensoranordnung (7, 8) eine Stereokamera (7) umfasst.
EP18740122.9A 2017-06-29 2018-06-28 Verfahren und vorrichtung zum bestimmen einer beschaffenheit einer oberfläche in der umgebung eines fahrzeugs Pending EP3646237A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017114571.0A DE102017114571A1 (de) 2017-06-29 2017-06-29 Verfahren und Vorrichtung zum Bestimmen einer Beschaffenheit einer Oberfläche in der Umgebung eines Fahrzeugs
PCT/EP2018/067445 WO2019002482A1 (de) 2017-06-29 2018-06-28 Verfahren und vorrichtung zum bestimmen einer beschaffenheit einer oberfläche in der umgebung eines fahrzeugs

Publications (1)

Publication Number Publication Date
EP3646237A1 true EP3646237A1 (de) 2020-05-06

Family

ID=62904416

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18740122.9A Pending EP3646237A1 (de) 2017-06-29 2018-06-28 Verfahren und vorrichtung zum bestimmen einer beschaffenheit einer oberfläche in der umgebung eines fahrzeugs

Country Status (5)

Country Link
US (1) US11386568B2 (de)
EP (1) EP3646237A1 (de)
CN (1) CN110770744B (de)
DE (1) DE102017114571A1 (de)
WO (1) WO2019002482A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021201589B4 (de) 2021-02-18 2023-06-22 Volkswagen Aktiengesellschaft Steuerung eines Fahrzeugs abhängig von einem topographischen Merkmal einer Fahrbahnoberfläche
DE102022109423A1 (de) 2022-04-19 2023-10-19 Valeo Schalter Und Sensoren Gmbh Verfahren zur lateralen Lokalisierung eines Fahrzeugs auf einer Straße, Computerprogramm und Fahrerassistenzsystem
CN118447018B (zh) * 2024-07-05 2024-10-11 季华实验室 模具表面曲线识别方法、装置、电子设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8050863B2 (en) 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
JP5441549B2 (ja) * 2009-07-29 2014-03-12 日立オートモティブシステムズ株式会社 道路形状認識装置
EP2574958B1 (de) * 2011-09-28 2017-02-22 Honda Research Institute Europe GmbH Straßenterrain-Erkennungsverfahren und System für Fahrerhilfssysteme
DE102012112164A1 (de) * 2012-12-12 2014-06-12 Continental Teves Ag & Co. Ohg Videobasierte erkennung von hindernissen auf einer fahrbahn
DE102012024874B4 (de) * 2012-12-19 2014-07-10 Audi Ag Verfahren und Vorrichtung zum prädikativen Ermitteln eines Parameterwertes einer von einem Fahrzeug befahrbaren Oberfläche
DE102013101639A1 (de) * 2013-02-19 2014-09-04 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
DE102013220303A1 (de) * 2013-10-08 2015-04-09 Ford Global Technologies, Llc Verfahren zum Ermitteln einer relativen Fahrbahnsteigung
EP3295422B1 (de) * 2015-05-10 2020-01-01 Mobileye Vision Technologies Ltd. Strassenprofile entlang eines prognostizierten weges
TW201727417A (zh) * 2016-01-26 2017-08-01 鴻海精密工業股份有限公司 分析路面曲度並結合資料記錄的自動行走建議系統及方法

Also Published As

Publication number Publication date
DE102017114571A1 (de) 2019-01-03
US11386568B2 (en) 2022-07-12
WO2019002482A1 (de) 2019-01-03
CN110770744B (zh) 2024-02-02
US20200126247A1 (en) 2020-04-23
CN110770744A (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
EP2561419B1 (de) Verfahren zur bestimmung des fahrbahnverlaufes für ein kraftfahrzeug
EP1928687B1 (de) Verfahren und fahrerassistenzsystem zur sensorbasierten anfahrtsteuerung eines kraftfahrzeugs
EP1240533B1 (de) Verfahren zur optischen überwachung der umgebung eines sich bewegenden fahrzeugs
DE112018001378T5 (de) Verbesserungen bei der fahrzeugsteuerung
WO2013117186A1 (de) Bestimmung einer beschaffenheit einer fahrbahnoberfläche mittels einer 3d-kamera
DE10326190A1 (de) Vorrichtung und Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Auflegers oder Anhängers
DE102011056671A1 (de) Bestimmung eines Höhenprofils einer Fahrzeugumgebung mittels einer 3D-Kamera
EP3142913B1 (de) Umfeldkarte für fahrflächen mit beliebigem höhenverlauf
DE102012107885A1 (de) Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug
WO2005081200A2 (de) Erfassungsvorrichtung für ein kraftfahrzeug
DE102005052510A1 (de) Fahrzeug-Steuer-/Regelobjekt-Bestimmungssystem
EP3646237A1 (de) Verfahren und vorrichtung zum bestimmen einer beschaffenheit einer oberfläche in der umgebung eines fahrzeugs
DE112019001080T5 (de) Verfahren und vorrichtung zur erfassung und verfolgung, objektklassifizierung und gelände-inferenz
DE102015116542A1 (de) Verfahren zum Bestimmen einer Parkfläche zum Parken eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102014221034A1 (de) Verfahren zum Erkennen einer bevorstehenden Kollision eines Fahrzeugs mit einem Objekt
DE102018212779A1 (de) Verfahren und System zum Bestimmen und Anzeigen einer Watsituation
WO2012163631A1 (de) Verfahren zum bestimmen einer nickbewegung einer in einem fahrzeug verbauten kamera und verfahren zur steuerung einer lichtaussendung zumindest eines frontscheinwerfers eines fahrzeugs
DE102019116892A1 (de) Fahrspurereignisantizipation durch LiDAR-Straßenbegrenzungserfassung
DE112020000735T5 (de) Fahrzeugsteuerungssystem und -verfahren
DE102019218479A1 (de) Verfahren und Vorrichtung zur Klassifikation von Objekten auf einer Fahrbahn in einem Umfeld eines Fahrzeugs
DE102006007550A1 (de) Vorrichtung und Verfahren zur Erkennung einer Fahrbahnmarkierung für ein Kraftfahrzeug
EP1944212A1 (de) Verfahren und Vorrichtung zum Ermitteln potentiell gefährdender Objekte für ein Fahrzeug
EP3830519A1 (de) Verfahren und system zum bestimmen und anzeigen einer watsituation
DE102019208507A1 (de) Verfahren zur Bestimmung eines Überlappungsgrades eines Objektes mit einem Fahrstreifen
DE102019205484A1 (de) Verfahren und Vorrichtung zum Erstellen eines Höhenprofils für einen von einem Fahrzeug zu befahrenden Bereich

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20200129

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20210615