EP2936389A1 - Verfahren und vorrichtung zum prädikativen ermitteln eines parameterwertes einer von einem fahrzeug befahrbaren oberfläche - Google Patents

Verfahren und vorrichtung zum prädikativen ermitteln eines parameterwertes einer von einem fahrzeug befahrbaren oberfläche

Info

Publication number
EP2936389A1
EP2936389A1 EP13821663.5A EP13821663A EP2936389A1 EP 2936389 A1 EP2936389 A1 EP 2936389A1 EP 13821663 A EP13821663 A EP 13821663A EP 2936389 A1 EP2936389 A1 EP 2936389A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
road
parameter value
data
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP13821663.5A
Other languages
English (en)
French (fr)
Other versions
EP2936389B1 (de
Inventor
Andreas Siegel
Michael Reichel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Publication of EP2936389A1 publication Critical patent/EP2936389A1/de
Application granted granted Critical
Publication of EP2936389B1 publication Critical patent/EP2936389B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/068—Road friction coefficient
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N19/00—Investigating materials by mechanical methods
    • G01N19/02—Measuring coefficient of friction between materials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Definitions

  • the invention relates to a method for the predicative determination of a parameter value according to the preamble of claim 1. Furthermore, the invention relates to a control device for carrying out the method.
  • a control device for carrying out the method.
  • Information about the road condition, in particular the surface and its coefficient of friction e.g. to prevent a driver assistance and safety system from changing a driving condition too abruptly or too late, e.g. initiates excessive braking, or does not even warn of a dangerous situation.
  • the coefficient of friction of the road surface or a change in the coefficient of friction in a region of the road surface is known, for example, an expected braking distance can be estimated and braking can be initiated early enough and with the correct dosage.
  • the coefficient of friction is thus an important variable by means of which an intervention by a driving assistance and safety system into a driving dynamics of the vehicle can be controlled, provided that the coefficient of friction can be estimated or determined with sufficient accuracy.
  • the patent DE 10 2004 023 323 B4 shows an apparatus and a method for detecting a condition of a road surface for a vehicle by means of a spectrally resolving radiation receiver such as e.g. a night vision camera with heat radiation detection (pyrometer), wherein the road surface is characterized by a coefficient of friction, which is determined from a temperature profile in the detected thermal image, and wherein by the radiation receiver upstream imaging magnifying the detected area of the road surface can be defined, in particular by a absolute length given range of eg 50 to 100 meters in front of the vehicle.
  • the condition of the road surface can be detected without its own radiation transmitter, so alone on the evaluation of anyway incident on the vehicle (light) radiation.
  • the image enlarging means may be further developed as a means for tracking a road course, so that the detected area may be defined also with respect to curves or sloping road sections.
  • the invention is based on a method for predicatively determining a parameter value of a surface that can be traveled by a vehicle and providing the parameter value to at least one driver assistance system. tem of the vehicle, by detecting an overall surface intended for driving on the vehicle, in particular by detecting radiation emanating from the total surface. According to the invention, the following steps are carried out:
  • the amount of data to be evaluated can be reduced.
  • false analyzes can be avoided, in particular because e.g. Road sections can be excluded on which a vehicle is parked with a heat radiating subfloor. In this section or range, the parameter value, in particular coefficient of friction, is changed, but the vehicle can not use the range, so that processing this information and passing it on to a driver assistance system would not be expedient.
  • the surface will be (pre-) given by a road with a certain road, eg be known from a road database, however, the described method is also executable in a surface without a definable course, such as a parking lot.
  • the total surface can be limited to a specifiable subarea of the usable surface of the vehicle (in particular a road or road course), on the other hand on a drivable subarea, ie an area in which no obstacles that can not be overcome by the vehicle (objects or subjects ) are provided.
  • the obstacles can therefore also be movable, need not be fixed.
  • An obstacle can also be formed, for example, by an oncoming vehicle or, for example, an obstacle shifting transversely to the direction of travel.
  • the invention is also based on the recognition that it is not necessarily necessary to determine and evaluate a road course or the absolute position of the vehicle, but that an improved (data) basis can already be provided by virtue of the fact that ) Surface itself, an analysis takes place regarding which Subareas are not relevant and can be excluded in the further determination of parameter values.
  • Non-traversable obstacles which usually also have an influence on the parameter value, in particular coefficient of friction, especially due to temperature changes, are thus the indicator that can be used to hide partial areas of the surface.
  • fail-safe analysis can already be carried out on the basis of relative data without reference to an absolute geographical position or the course of the road.
  • a predicative determination is to be understood as a forward-looking determination, in which physical variables not measured by the vehicle on the vehicle, such as a friction between a tire and the road surface in the currently traveled section of the road, are determined, but a section of the road still to be traveled is examined, in particular by evaluating radiation emitted from the still to be traveled portion of the road.
  • the partial area is determined by determining an obstacle that can not be traveled over by the vehicle on the total surface.
  • the detection of obstacles may e.g. be effected by a comparison of captured image areas or pixels with stored standard geometries, e.g. a rear of a vehicle, or the outline of a person, or that a captured image is examined in certain coordinate directions for definable contours or geometries.
  • stored standard geometries e.g. a rear of a vehicle, or the outline of a person
  • contours extending in a vertical orientation at an angle to the road surface may be examined.
  • the detection of the obstacle can take place, for example, by means of an environment detection device provided on the vehicle, for example a radar device, but it can also be based on a data basis which was generated by detecting the total surface.
  • the total surface is detected by evaluating incident on the vehicle radiation.
  • the incident radiation may optionally have been emitted by the vehicle itself, ie it may be its own reflected radiation, or it may also be radiation that is incident on the vehicle without a radiation emitter, ie, daylight or artificial light in an illuminated tunnel.
  • a coefficient of friction characterizing the friction between a tire of the vehicle and the surface in the partial area is used as the parameter value.
  • the coefficient of friction is a parameter value that is important for vehicle control because it specifies which maneuvers on the surface are possible without leaving a safe driving state.
  • the coefficient of friction may e.g. be determined from a captured by a thermal imaging camera thermal image.
  • the parameter value may also (optionally additionally) refer to a material of the road surface, be it a tar cover, concrete or cobblestones.
  • the total surface is detected by detecting heat radiation, in particular by means of an environment detection unit.
  • the road surface data characterizing the parameter can be extracted from a thermal image obtained by the thermal radiation by analyzing a temperature profile in the thermal image and determining a parameter value change from the thermal image, in particular by means of the surroundings detection unit or a separate control device.
  • the road surface data already includes the indication or information about how the parameter value changes, in particular location-related, and the road surface data in a variant of the method can be related to environmental data in order to detect and evaluate with respect to a specific To be able to carry out road course.
  • the parameter value itself is not detected directly, but first a data basis is created for which one or more specific parameters, in particular a coefficient of friction or a surface roughness, can then be determined and the evaluation of the data takes place with respect to these parameters or this parameter.
  • a coefficient of friction may be much more difficult to determine than for a uniformly paved road, and it may be convenient to use the road surfaces with respect to the material of the road, the road Grain size (size of pebbles), temperature and / or any contaminants such as leaves, oil films, moisture, etc.
  • the partial area and the parameter value are evaluated by means of a control device or a vehicle system coupled to the control device, wherein it is checked whether a function of the vehicle is to be controlled.
  • a control of the vehicle can take place, in particular also with regard to further data such as e.g. Data on a road course and / or an absolute or relative vehicle position, as described in more detail below.
  • a road course and the geographical vehicle position may be taken into account in connection with the described method.
  • the parameter values can be provided in such a way that control of the vehicle by a driver assistance system is made possible, in particular with regard to the course of the road and optionally also the relative position of the vehicle on the road.
  • the method described in more detail below is suitable, which represents a development of the method described above.
  • the environmental data may e.g. be provided by a map database of a navigation system and / or retrieved in real time for the relevant geographic area, respectively.
  • the predeterminable environment may be e.g. be bounded by a geometrically fixed or variable definable zone around the vehicle.
  • the retrieval of geographic real-time position data of the vehicle is preferably carried out by an on-board GPS system, which Receive and evaluate signals.
  • Data on a direction of travel of the vehicle can be generated over the time course of the position data received by means of the GPS signals.
  • they can also be determined via an on-board compass device which can output compass data or travel direction data with respect to a center longitudinal axis of the vehicle.
  • the environment data can optionally be loaded at least partially from a storage unit of the vehicle, in particular in an environment related to the direction of travel of the vehicle.
  • the real-time geographical position data may be transferred to an on-board storage unit and correlated with environmental data already stored in the storage unit or environmental data acquired only in response to determining the location.
  • the on-board memory unit can be designed as a temporary memory in which map data or environmental data are buffered only, eg if they are currently called via an (Internet) connection, but it can alternatively or additionally be designed as a kind of hard disk memory. which has the environment data permanently stored, so that a communication with an external vehicle-independent map database is not necessarily required.
  • the detection of the radiation can be carried out by the surroundings detection unit or a separate radiation detection unit.
  • the radiation detection unit can be designed, for example, as a thermal imaging camera.
  • the generation of road surface data in step f) can be carried out by the control device or alternatively by a separate evaluation unit, which extracts a temperature profile of the road surface in front of the vehicle from a thermal image of the radiation detection unit, in particular a so-called NightVision camera, and analyzes therefrom a change in the coefficient of friction before Vehicle determines or estimates.
  • a check of the calculated data takes place. Because when passing over the areas, a coefficient of friction can usually be determined in a simpler and more accurate manner, in particular by means of the friction forces applied to the tires of the vehicle. recorded friction values. From this, a plausibility check can be derived with regard to the predicatively estimated coefficients of friction.
  • the near environment may also be concentric about the vehicle or elliptical with the longer axis of the ellipse in the direction of travel around the vehicle be to a driving assistance system also provide information on an environment or an environment in the rear of the vehicle, ie laterally and behind the vehicle.
  • the direction of travel to be defined by the center longitudinal axis of the vehicle ie, the position data can be evaluated without temporal change to the effect that in a parked vehicle is known in which Direction of the bow of the vehicle has to perform the inventive method with respect to the direction of travel can.
  • step c) and / or step g) can optionally take place in step c) and / or step g), ie based on the data provided by the environment detection unit and / or or the data provided by the radiation detection unit.
  • the surroundings detection unit can detect in a vertical direction, ie substantially perpendicular to a road surface, the height of the obstacles and specify from when it is an obstacle not passable by the vehicle.
  • a vertical direction ie substantially perpendicular to a road surface
  • the height of the obstacles and specify from when it is an obstacle not passable by the vehicle.
  • the road surface or the area just above the road surface is examined for vertical jumps, that is, contours that extend in a vertical direction.
  • step g) preferably takes place as a function of the course of the road.
  • the analysis of the road surface can be focused on those areas that are expected to be traversed by the vehicle.
  • step h) can be determined, for example, whether in a particularly curvy area of the road with a higher smoothness, so a lower coefficient of friction is expected. This allows a more predictive, safer control of the vehicle.
  • the evaluation of the course of the road together with the parameter value in step h) is preferably carried out by relating the parameter value to the course of the road and by evaluating a change in the parameter value and referencing the parameter value to certain sections of the road course, if the parameter value falls in the changes certain sections of the road.
  • a particularly narrow curve can be examined and a change of the parameter value in this range can lead to a stronger forward-looking action or alert by the driver assistance system respectively than if the change occurred in a straight section of the road.
  • step i) it is therefore preferable to provide the vehicle position and the course of the road with the related parameter value, in particular the coefficient of friction.
  • Combining the road surface data with the environment data in step i) can be used to hide sections of the road in a second step, even if a change in the parameter values is associated with an obstacle on the road. Because the obstacle must be avoided, which is usually accompanied by a change in the driving condition of the vehicle, and when changing the driving condition, the coefficient of friction is of particular importance.
  • the course of the road is converted by means of a mathematical camera model into pixel coordinates of a thermal image which can potentially be evaluated.
  • the image areas which correspond to detected obstacles converted by the camera model can be masked out before the evaluation of the surface parameter.
  • the determination of the course of the road can also take place in a three-dimensional manner, that is with regard to all three spatial directions.
  • the determined course of the roadway can be used for further steps of the method, taking into account the hidden non-passable sections, in particular the steps:
  • driver assistance system which can be designed as a subsystem of the vehicle system.
  • the detection in step b) and the evaluation in step c) and / or the determination in step e) and / or the detection in step f) in a near environment around the vehicle, especially in the vicinity of 1 to 1000, are preferred 10 to 500, more preferably 20 to 200 meters around the vehicle.
  • the proximity environment may be defined in relation to the direction of travel and / or the roadway, that is, in a serpentine road, rectangular or even square laterally defined transverse to the vehicle or in a substantially unidirectional highway elongated and linear along the highway in the direction of travel. As a result, the amount of data to be processed can be reduced.
  • the environment data can be at least partially loaded from a storage unit and / or loaded into the vehicle via a communication interface, in particular online from the Internet.
  • the method can also be extended to road areas which can not be detected by a camera, a laser scanner, a radar device or the like device, ie are not visible. This allows e.g. a first rough recording of the course of the road and a pre-warning possibility, e.g. in the case of squealing, strong bends, deep depressions or a failure of the vision sensing unit working on sight.
  • an online database for loading the aerial image data can be any database in which preferably the most up-to-date aerial image data is stored.
  • the control device is designed to connect to a plurality of online databases, either simultaneously or sequentially, and to check in which online database the aerial image data for the area of interest is more up-to-date and / or greater or better resolution (ie more detailed aerial image data, in particular aerial image data with a smaller scaling factor, ie aerial image data taken from a smaller height) in order to retrieve the aerial image data with the respectively greater resolution or higher actuality.
  • the object is also achieved by a control device for predicatively determining a parameter value of a surface that can be traveled by a vehicle and providing the parameter value to at least one driver assistance system of the vehicle, wherein the control device is designed to evaluate surface data of an overall surface that is suitable for driving on the vehicle is provided,
  • control device is further configured to determine a partial area within the overall surface which is actually passable by the vehicle, and to determine the parameter value exclusively for the partial area.
  • the described method and the described control device can be used in conjunction with a safety system which has at least one environment detection unit and is designed to determine from the detected environment a course of a road, be it autonomous or in connection with externally provided (map )Dates.
  • FIG. 1 is a perspective top view of a schematic representation of a driving situation of a vehicle on a road, wherein the vehicle is formed with a vehicle system having a control device for controlling the vehicle according to a method of the invention;
  • FIG. 2 shows a perspective top view of a schematic illustration of a further driving situation of a vehicle on a road, wherein the vehicle is formed with a vehicle system having a control device for controlling the vehicle according to a method according to the invention
  • FIG. 3a shows a schematic flowchart of a method according to an embodiment of the invention
  • FIG. 4 shows a schematic illustration of a control device according to an embodiment of the invention
  • 5a is a plan view of a schematic representation of a situation in a method by which all areas of a road are detected as a function of a road course;
  • 5b shows a plan view of a situation in a method according to the invention, by means of which only passable areas of a road are detected as a function of a road course and areas that are not passable can be hidden.
  • FIG. 1 shows a vehicle 1 which uses a road 2.
  • the road 2 has a road surface 2a having a location-dependent nature.
  • Road 2 has two road markings 2.3 designated lanes 2.1 with a respective road surface 2.1 a on.
  • the road surfaces 2.1 a may consist of the same material, or else from divergent materials, for example, two different types of tar.
  • the road 2 also has a side strip 2.2 and is bounded on both sides by a guard rail 3. In addition to the side strips 2.2 limiting posts 4 are provided.
  • the vehicle 1 travels in a direction F to an endangered area B1 on the right-hand lane 2.1. On the side strip 2.2 is indicated an unobtainable area B2, e.g. an area blocked by an obstacle H.
  • the vehicle 1 has a vehicle system 100 which is coupled to or has a control device 10.
  • the vehicle system 100 may be designed as a driver assistance system or have such.
  • the control device 10 is designed to detect a course of the road 2 and to carry out a determination of coefficients of friction of the road surface 2 a as a function of the course of the road and as a function of non-drivable areas B2.
  • FIG. 2 shows a situation comparable to the situation shown in FIG. 1.
  • an obstacle H is formed by a parked vehicle 1 a.
  • a driver assistance system must take into account that a certain distance from the parked vehicle 1 a must be maintained at high speed, even in a dangerous situation during an evasive maneuver in which the controlled vehicle 1 is to be controlled down from the roadway 2.1 ,
  • the vehicle 1 has a vehicle system 100, which has a control device 10.
  • the vehicle system 100 may be designed as a driver assistance system or have such.
  • 3a shows in a schematic representation that a method for predicatively determining a parameter value of a surface that can be traveled by a vehicle and providing the parameter value to at least one driver assistance system of the vehicle can already lead to an improved data basis by a very manageable number of method steps. in particular by
  • a first step 1) in which a detection of an overall surface is provided, which is intended for driving on the vehicle
  • a second step 2) in which a determination of a partial area within the total surface, which is actually passable by the vehicle, is provided, and by
  • a third step 3 in which a determination of the parameter value is intended exclusively for the subarea.
  • the step 1) can be further developed in that the total surface is detected by detecting heat radiation, in particular by means of an environment detection unit, and road surface data is extracted from a thermal image obtained from the heat radiation by analyzing a temperature profile in the thermal image and a parameter value change is determined from the thermal image, in particular by means of the Umweis conductedsaku or one of these separate control device.
  • FIG. 3 b shows a schematic illustration of the way in which a method according to the invention according to an exemplary embodiment can be implemented in which a road course and a vehicle position are taken into account, in particular if it is to be executed in conjunction with a driver assistance system.
  • the individual steps may be described as follows and are part of a method for providing a parameter value characterizing a road surface with respect to a preceding road course as well as a geographical position and a direction of travel of a vehicle using the road for at least one driver assistance system of the vehicle: a) retrieving real-time geographical position data on the vehicle position of the vehicle and detecting the direction of travel of the vehicle;
  • determining non-drivable sections of the road in particular from the surrounding data, by determining obstacles that can not be traveled by the vehicle on the road, in particular by an area above the road surface being angled in a vertical orientation the road surface extending contours is examined;
  • the evaluation can be carried out more accurately, since a misinterpretation of parameter values can be effectively avoided, in particular in the evaluation of the parameter value based on the temperature of the road surface: heat radiated from parked vehicles onto the road surface does not lead to the steering of the vehicle to be considered, because this temperature change can be associated with the parked vehicle (obstacle) and hidden.
  • the parameter value is determined only for the areas of the road in which there is no obstacle, that is, which are passable and which were not hidden. Fading out thus preferably takes place before the determination of any parameter values, in particular friction values.
  • the determined course of the road or roadway can be used for further steps of the method, taking into account the hidden non-passable sections, in particular the steps:
  • FIG. 4 shows a control device 10 arranged in a vehicle 1 with a processor 10a and memory means 12, which is coupled to a position detection device 13, a vehicle system 100, a radiation detection unit 1, an environment detection unit 15 and to an actuator 14.
  • the actuator 14 can be actuated via the control device 10 and / or the vehicle system 00, in particular to set the driving state of the vehicle 1.
  • the control device 10 and / or the vehicle system 100 are in communication with a data server 30 via a communication interface, from which data can optionally be transmitted on a course of the road or on specific features of the environment.
  • a road course of the road 2 can be taken into account by detecting only the areas of the road itself, but not the surroundings.
  • a vehicle 1 using the road 2 detects a defined area (encircled area) in the direction of travel F in front of the vehicle 1 and determines the course of the road and takes into account only the areas of the road 2 itself, corresponding to the dashed area, ie not the surroundings.
  • This area includes areas B2, in which a non-negotiable obstacle H exists.
  • FIG. 5B which areas can be considered in a process of this invention and which areas can be hidden.
  • the dashed area in which an evaluation of a road surface characterizing parameters is carried out, is limited to the navigable areas of the road 2
  • non-passable areas B2 in which eg an obstacle H can be arranged, have been hidden, in particular before a particular location-related evaluation of the parameter takes place.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum prädikativen Ermitteln eines Parameterwertes einer von einem Fahrzeug (1) befahrbaren Oberfläche (2) und Bereitstellen des Parameterwertes an mindestens ein Fahrerassistenzsystem (100) des Fahrzeugs, durch Erfassen einer Gesamtoberfläche (2, 2.1, B1, B2), die zum Befahren mit dem Fahrzeug (1) vorgesehen ist, wobei ein Bestimmen eines Teilbereichs (2, 2.1, B1) innerhalb der Gesamtoberfläche (2, 2.1, B1, B2), der von dem Fahrzeug tatsächlich befahrbar ist, erfolgt, und ferner ein Ermitteln des Parameterwertes ausschließlich für den Teilbereich (2, 2.1, B1) erfolgt. Des Weiteren betrifft die Erfindung eine Steuervorrichtung (10) zum Ausführen des Verfahrens.

Description

Verfahren und Vorrichtung zum prädikativen Ermitteln eines Parameterwer- tes einer von einem Fahrzeug befahrbaren Oberfläche
BESCHREIBUNG:
Die Erfindung betrifft ein Verfahren zum prädikativen Ermitteln eines Parameterwertes gemäß dem Oberbegriff des Anspruchs 1 , Des Weiteren betrifft die Erfindung eine Steuervorrichtung zum Ausführen des Verfahrens. Auf dem Gebiet von Fahrassistenz- und Sicherheitssystemen für Fahrzeuge ist es erstrebenswert, möglichst umfassende, detaillierte Informationen über das Umfeld bzw. die Umgebung aufzeichnen und auswerten zu können, um eine Steuerung eines Fahrzeugs in Bezug auf die Umgebung zu optimieren. Wichtig sind Informationen über die Straßenbeschaffenheit, insbesondere die Oberfläche und ihren Reibwert, z.B. um zu vermeiden, dass ein Fahrassistenz- und Sicherheitssystem einen Fahrzustand zu abrupt oder zu spät ändert, also z.B. eine zu starke Bremsung einleitet, oder gar nicht erst vor einer Gefahrensituation warnt. Ist der Reibwert der Straßenoberfläche bzw. eine Reibwertänderung in einem Bereich der Straßenoberfläche bekannt, kann beispielsweise ein zu erwartender Bremsweg abgeschätzt und eine Bremsung früh genug und mit der richtigen Dosierung eingeleitet werden. Der Reibwert ist somit eine wichtige Größe, über welche ein Eingriff durch ein Fahrassistenz- und Sicherheitssystem in eine Fahrdynamik des Fahrzeugs gesteuert werden kann, sofern der Reibwert ausreichend genau abgeschätzt oder bestimmt werden kann.
Zwar bietet sich heute bereits die Möglichkeit, Information über den Reibwert von vorausfahrenden Fahrzeugen zu erhalten, jedoch ist es erstrebenswert, den Reibwert einer vorausliegenden Straßenoberfläche durch das jeweilige Fahrzeug eigenständig möglichst genau bestimmen zu können. Ein Nachteil bei von vorausfahrenden Fahrzeugen übermittelten Informationen, insbesondere Reibwerten, ist auch die möglicherweise nicht mehr gegebene Aktualität der Information: die Situation kann sich z.B. durch Regenfälle, Ölspuren oder irgendwelche Hindernisse schlagartig ändern. Eine eigenständige Bestirn mung oder zumindest Schätzung des Reibwertes sollte dabei wenn möglich auch dann erfolgen können, wenn das Fahrzeug ohne Lenk-, Brems- oder Beschleunigungsaktivität auf der Straßenoberfläche rollt, also unabhängig von einem Fahrzustand des Fahrzeugs, insbesondere unabhängig von einer auf das Fahrzeug einwirkenden Reibkraft.
Die Patentschrift DE 10 2004 023 323 B4 zeigt eine Vorrichtung und ein Verfahren zum Erfassen eines Zustands einer Straßenoberfläche für ein Fahrzeug mittels eines spektral auflösenden Strahlungsempfängers wie z.B. einer Nachtsichtkamera mit Wärmestrahlungserfassung (Pyrometer), wobei die Straßenoberfläche über einen Reibwert charakterisiert wird, der aus einem Temperaturverlauf in dem erfassten Wärmebild ermittelt wird, und wobei durch dem Strahlungsempfänger vorgeschaltete Abbildungs- Vergrößerungsmittel der erfasste Bereich der Straßenoberfläche definiert werden kann, insbesondere ein durch eine absolute Länge vorgegebener Bereich von z.B. 50 bis 100 Metern vor dem Fahrzeug. Der Zustand der Straßenoberfläche kann ohne eigene Strahlungssender erfasst werden, also allein über das Auswerten von ohnehin auf das Fahrzeug einfallende (Licht- )Strahlung. Ferner kann das Abbildungs-Vergrößerungsmittel als ein Mittel zum Nachführen eines Straßenverlaufs weitergebildet sein, so dass der erfasste Bereich auch in Bezug auf Kurven oder abfallende Straßenabschnitte definiert werden kann.
Es ist eine Aufgabe der Erfindung, ein Verfahren oder eine Vorrichtung be- reitzustellen, mittels welchem bzw. welcher die Beschaffenheit einer Straßenoberfläche durch Auswerten von durch ein Fahrzeug erfassten Messdaten charakterisiert werden kann und die durch die Auswertung erhaltene Information auf möglichst zweckdienliche Weise für das Fahrzeug bereitgestellt werden kann.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 sowie durch eine Steuervorrichtung mit den Merkmalen des nebengeordneten Patentanspruchs gelöst. Vorteilhafte Ausgestaltungen mit zweckmäßigen Weiterbildungen der Erfindung sind in den abhängigen Pa- tentansprüchen angegeben.
Die Erfindung geht aus von einem Verfahren zum prädikativen Ermitteln eines Parameterwertes einer von einem Fahrzeug befahrbaren Oberfläche und Bereitstellen des Parameterwertes an mindestens ein Fahrerassistenzsys- tem des Fahrzeugs, durch Erfassen einer Gesamtoberfläche, die zum Befahren mit dem Fahrzeug vorgesehen ist, insbesondere durch Erfassen von von der Gesamtoberfläche ausgehender Strahlung. Erfindungsgemäß ist vorgesehen, dass dabei die folgenden Schritte ausgeführt werden:
- Bestimmen eines Teilbereichs innerhalb der Gesamtoberfläche, der von dem Fahrzeug tatsächlich befahrbar ist, und
- Ermitteln des Parameterwertes ausschließlich für den Teilbereich.
Durch das Ausblenden von nicht befahrbaren Abschnitten bzw. Teilbereichen kann zum einen die auszuwertende Datenmenge reduziert werden. Zum an-' deren können Fehlanalysen vermieden werden, insbesondere weil z.B. Straßenabschnitte ausgenommen werden können, auf welchen ein Fahrzeug mit einem wärmeabstrahlenden Unterboden geparkt ist. In diesem Abschnitt bzw. Bereich ist der Parameterwert, insbesondere Reibwert verändert, aber das Fahrzeug kann den Bereich nicht nutzen, so dass eine Verarbeitung dieser Information und Weitergabe an ein Fahrassistenzsystem nicht zweckdienlich wäre.
In den meisten Fällen wird die Oberfläche durch eine Straße mit einem bestimmten Straßenverlauf (vor-)gegeben sein, also z.B. aus einer Straßendatenbank bekannt sein, jedoch ist das beschriebene Verfahren ebenso auch bei einer Oberfläche ohne definierbaren Verlauf, wie z.B. einem Parkplatz, ausführbar. Die Gesamtoberfläche kann zum einen auf einen vorgebbaren Teilbereich der von dem Fahrzeug nutzbaren Oberfläche (insbesondere einen Straßen- oder Fahrbahnverlauf) eingeschränkt werden, zum anderen auf einen befahrbaren Teilbereich, also einen Bereich, in welchem keine für das Fahrzeug nicht überwindbaren Hindernisse (Objekte oder Subjekte) vorge- sehen sind. Die Hindernisse können also auch beweglich sein, müssen nicht feststehend sein. Ein Hindernis kann z.B. auch durch ein entgegenkommendes Fahrzeug gebildet sein oder ein sich z.B. quer zur Fahrtrichtung verlagerndes Hindernis. Dabei beruht die Erfindung auch auf der Erkenntnis, dass es nicht notwendigerweise erforderlich ist, einen Straßenverlauf oder die absolute Position des Fahrzeugs zu ermitteln und auszuwerten, sondern dass eine verbesserte (Daten-)Grundlage bereits dadurch bereitgestellt werden kann, dass auf der (Straßen-)Oberfläche selbst eine Analyse dahingehend stattfindet, welche Teilbereiche nicht von Relevanz sind und ausgenommen werden können bei der weiteren Ermittlung von Parameterwerten. Dies führt bereits in einem einfachen Verfahrensstadium, nämlich noch bei der Auswertung von die Oberfläche bzw. Straße charakterisierenden Umgebungsdaten, zu einer ge- filterten und fehlerbereinigten Datengrundlage. Nicht überfahrbare Hindernisse, die meist auch einen Einfluss auf den Parameterwert, insbesondere Reibwert haben, speziell aufgrund von Temperaturänderungen, sind damit der Indikator, der zur Ausblendung von Teilbereichen der Oberfläche genutzt werden kann. Mit anderen Worten kann durch das beschriebene Verfahren eine fehlersichere Analyse bereits auf Grundlage von relativen Daten ohne Bezug zu einer absoluten geographischen Position oder dem Straßenverlauf erfolgen.
Als ein prädikatives Ermitteln ist dabei ein vorausschauendes Ermitteln zu verstehen, bei welchem nicht durch das Fahrzeug an dem Fahrzeug gemessene physikalische Größen wie eine Reibung zwischen einem Reifen und der Fahrbahnoberfläche im aktuell befahrenen Abschnitt der Straße bestimmt werden, sondern ein noch zu befahrender Abschnitt der Straße untersucht wird, insbesondere durch Auswerten von Strahlung, die von dem noch zu befahrenden Abschnitt der Straße emittiert wird.
Gemäß einem vorteilhaften Ausführungsbeispiel wird der Teilbereich bestimmt, indem ein durch das Fahrzeug nicht überfahrbares Hindernis auf der Gesamtoberfläche ermittelt wird. Das Erfassen von Hindernissen kann z.B. dadurch erfolgen, dass ein Vergleich von erfassten Bildbereichen bzw. Bildpunkten mit hinterlegten Standard-Geometrien erfolgt, z.B. einem Heck eines Fahrzeugs, oder dem Umriss einer Person, oder dass ein erfasstes Bild in bestimmten Koordinatenrichtungen nach vorgebbaren Konturen oder Geometrien untersucht wird. Wahlweise kann zusätzlich zu dem Vergleich mit hinterlegten Standard-Geometrien oder ausschließlich ein Bereich über der (Straßen-)Oberfläche nach sich in einer vertikalen Ausrichtung im Winkel zu der Straßenoberfläche erstreckenden Konturen untersucht werden.
Das Erfassen des Hindernisses kann z.B. durch eine an dem Fahrzeug vor- gesehene Umfelderfassungseinrichtung wie z.B. ein Radargerät erfolgen, es kann jedoch auch basierend auf einer Datengrundlage erfolgen, die durch das Erfassen der Gesamtoberfläche erzeugt wurde. Gemäß einem vorteilhaften Ausführungsbeispiel wird die Gesamtoberfläche durch Auswerten von auf das Fahrzeug einfallender Strahlung erfasst. Die einfallende Strahlung kann wahlweise von dem Fahrzeug selbst emittiert worden sein, also eigene reflektierte Strahlung sein, oder aber auch Strah- lung sein, die ohne ein Strahlungsaussendegerät auf das Fahrzeug einfällt, also Tageslicht oder künstliches Licht in einem beleuchteten Tunnel.
Gemäß einem vorteilhaften Ausführungsbeispiel wird als Parameterwert ein die Reibung zwischen einem Reifen des Fahrzeugs und der Oberfläche in dem Teilbereich charakterisierender Reibwert genutzt. Der Reibwert ist ein für die Fahrzeugsteuerung bedeutender Parameterwert, da er vorgibt, welche Manöver auf der Oberfläche möglich sind, ohne einen sicheren Fahrzustand zu verlassen. Der Reibwert kann z.B. aus einem von einer Wärmebildkamera erfassten Wärmebild bestimmt werden. Der Parameterwert kann sich aber auch (wahlweise zusätzlich) auf ein Material der Fahrbahnoberfläche beziehen, sei es eine Teerdecke, Beton, oder Kopfsteinpflaster.
Gemäß einem vorteilhaften Ausführungsbeispiel wird die Gesamtoberfläche durch Erfassen von Wärmestrahlung erfasst, insbesondere mittels einer Umfelderfassungseinheit. Dabei können den Parameter charakterisierende Straßenoberflächendaten aus einem aus der Wärmestrahlung gewonnenen Wärmebild extrahiert werden, indem ein Temperaturverlauf in dem Wärmebild analysiert wird und eine Parameterwertänderung aus dem Wärmebild ermittelt wird, insbesondere mittels der Umfelderfassungseinheit oder einer von dieser separaten Steuervorrichtung. Mit anderen Worten beinhalten die Straßenoberflächendaten bereits den Hinweis oder Information darüber, in welcher Weise sich der Parameterwert ändert, insbesondere ortsbezogen, und die Straßenoberflächendaten können in einer Variante des Verfahrens mit Umfelddaten in Bezug gesetzt werden, um das Erfassen und Auswerten in Bezug auf einen spezifischen Straßenverlauf durchführen zu können. Es wird also nicht direkt der Parameterwert selbst erfasst, sondern zunächst eine Datengrundlage geschaffen, für welche dann ein oder mehrere bestimmte Parameter, insbesondere ein Reibwert oder eine Oberflächenrauhigkeit, festgelegt werden können und die Auswertung der Daten bezüglich dieser Parameter bzw. dieses Parameters erfolgt. Handelt es sich z.B. um eine Schotter- oder Kiesstrasse, so kann ein Reibwert viel schwerer ermittelt werden als bei einer gleichförmig geteerten Straßen, und es kann zweckdienlich sein, die Straßenoberflächen bezüglich des Materials der Straße, der Körnung (Größe der Kiesel), der Temperatur und/oder irgendwelcher Verunreinigungen wie Blätter, Ölfilme, Feuchtigkeit usw. auszuwerten.
Durch das Erfassen von Reibwertänderungen können Bereiche der Oberflä- che bestimmt werden, in welchen ein besonderes Gefährdungspotential gegeben ist, da sich hier die Reibung meist plötzlich verändert, was zu einem unsicheren Fahrzustand führen kann, speziell in Kurven. Selbst wenn ein Fahrzeug durch ESP oder andere Fahrdynamiksteuerungssysteme geregelt wird, kann eine plötzliche Reibwertänderung zum Versagen dieser System führen. Durch die prädikative Bestimmung der Reibwertänderung können diese System vorgewarnt werden und ein Eingriff in die Fahrdynamik entsprechend gesteuert werden.
Gemäß einem vorteilhaften Ausführungsbeispiel werden der Teilbereich und der Parameterwert mittels einer Steuervorrichtung oder einem mit der Steuervorrichtung gekoppelten Fahrzeugsystem ausgewertet, wobei geprüft wird, ob eine Funktion des Fahrzeugs anzusteuern ist. Hierdurch kann eine Steuerung des Fahrzeugs erfolgen, insbesondere auch in Bezug auf weitere Daten wie z.B. Daten zu einem Straßenverlauf und/oder einer absoluten oder relati- ven Fahrzeugposition, wie im Folgenden näher beschrieben.
Wahlweise können in Verbindung mit dem beschriebenen Verfahren auch ein Straßenverlauf und die geographische Fahrzeugposition berücksichtigt werden. Mit anderen Worten können die Parameterwerte derart bereitgestellt werden, dass eine Steuerung des Fahrzeugs durch ein Fahrerassistenzsystem speziell im Hinblick auf den Straßenverlauf und wahlweise auch die relative Position des Fahrzeugs auf der Straße ermöglicht ist. Hierzu ist das im Folgenden näher beschriebene Verfahren geeignet, welches eine Weiterbildung des zuvor beschriebenen Verfahrens darstellt.
Ein Verfahren zum Bereitstellen eines eine Straßenoberfläche charakterisierenden Parameterwertes in Bezug auf einen vorausliegenden Straßenverlauf sowie auf eine geografische Position und eine Fahrtrichtung eines die Straße nutzenden Fahrzeugs für mindestens ein Fahrerassistenzsystem des Fahr- zeugs, weist die folgenden Schritte auf:
a) Abrufen von geographischen Echtzeit-Positionsdaten zu der Fahrzeugposition des Fahrzeugs sowie Erfassen der Fahrtrichtung des Fahrzeugs;
b) Erfassen von Umfelddaten in einem vorgebbaren Umfeld um die Fahrzeugposition mittels einer Umfelderfassungseinheit; c) Auswerten der Umfelddaten zum Erkennen von Straßendaten zumindest von der genutzten Straße in dem Umfeld, und Zuordnen des Fahrzeugs zu der Straße mittels einer Steuervorrichtung;
d) Bestimmen der Fahrzeugposition auf der Straße durch Kombinieren der Straßendaten mit den Positionsdaten mittels der Steuervorrichtung;
e) Bestimmen des Straßenverlaufs aus den Straßendaten in Bezug auf die Fahrtrichtung;
f) Erfassen von Wärmestrahlung, die von der Straßenoberfläche reflektiert und/oder emittiert wird, und Erzeugen von Straßenoberflächendaten;
g) Ermitteln des die Straßenoberfläche charakterisierenden Parameterwertes, insbesondere eines Reibwertes, aus den Straßenoberflächendaten;
h) Auswerten des Straßenverlaufs zusammen mit dem Parameterwert;
i) Bereitstellen der Fahrzeugposition, des Straßenverlaufs, und des Parameterwerts, insbesondere des Reibwerts;
wobei die Schritte weitergebildet sein können durch:
- beim Auswerten der Umfelddaten oder Straßenoberflächendaten: Bestimmen eines nicht befahrbaren Abschnitts bzw. Teilbereichs der Straße, insbesondere aus den Umfelddaten, und insbesondere durch Ermitteln von durch das Fahrzeug nicht überfahrbaren Hindernissen auf der Straße, insbesonde- re indem ein Bereich über der Straßenoberfläche nach sich in einer vertikalen Ausrichtung im Winkel zu der Straßenoberfläche erstreckenden Konturen untersucht wird;
- beim Bestimmen oder Auswerten des Straßenverlaufs: Ausblenden des nicht befahrbaren Abschnitts bzw. Teilbereichs aus den Umfelddaten und Auswerten des verbleibenden, befahrbaren Abschnitts bzw. Teilbereichs; und
- in Schritt i): Bereitstellen des Straßenverlaufs und des Parameterwertes, insbesondere ortsbezogen auf den befahrbaren Abschnitt bzw. Teilbereich, indem die Straßenoberflächendaten mit den verbleibenden nicht ausgeblen- deten Umfelddaten kombiniert werden.
Die Umgebungsdaten können z.B. durch eine Kartendatenbank eines Navigationssystems bereitgestellt werden und/oder in Echtzeit für den relevanten geografischen Bereich jeweils aktuell abgerufen werden. Das vorgebbare Umfeld kann z.B. durch eine geometrisch fest oder variabel definierbare Zone um das Fahrzeug eingegrenzt werden.
Das Abrufen von geographischen Echtzeit-Positionsdaten des Fahrzeugs erfolgt bevorzugt durch ein fahrzeugeigenes GPS-System, welches GPS- Signale empfangen und auswerten kann. Daten zu einer Fahrtrichtung des Fahrzeugs können über den zeitlichen Verlauf der mittels der GPS-Signale empfangenen Positionsdaten erzeugt werden. Sie können jedoch auch über eine fahrzeugeigene Kompasseinrichtung bestimmt werden, welche Kom- passdaten bzw. Fahrtrichtungsdaten in Bezug auf eine Mittenlängsachse des Fahrzeugs ausgeben kann.
Die Umgebungsdaten können wahlweise zumindest teilweise auch aus einer Speichereinheit des Fahrzeugs geladen werden, insbesondere in einem auf die Fahrtrichtung des Fahrzeugs bezogenen Umfeld.
Die geographischen Echtzeit-Positionsdaten können einer fahrzeugeigenen Speichereinheit übergeben werden, und mit bereits in der Speichereinheit hinterlegten Umgebungsdaten oder erst in Reaktion auf das Bestimmen der Position erfassten Umgebungsdaten korreliert werden.
Die fahrzeugeigene Speichereinheit kann als ein Zwischenspeicher ausgebildet sein, in welchen Kartendaten bzw. Umgebungsdaten nur zwischengespeichert werden, z.B. wenn sie aktuell über eine (Internet-)Verbindung ab- gerufen werden, sie kann aber auch alternativ oder zusätzlich als eine Art Festplattenspeicher ausgebildet sein, welcher die Umgebungsdaten fest gespeichert hat, so dass eine Kommunikation mit einer externen fahrzeugunabhängigen Kartendatenbank nicht notwendigerweise erforderlich ist. Das Erfassen der Strahlung kann durch die Umfelderfassungseinheit erfolgen oder eine separate Strahlungserfassungseinheit. Die Strahlungserfas- sungseinheit kann z.B. als Wärmebildkamera ausgebildet sein. Das Erzeugen von Straßenoberflächendaten in Schritt f) kann durch die Steuervorrichtung oder wahlweise durch eine separate Auswerteeinheit erfolgen, welche einen Temperaturverlauf der Straßenoberfläche vor dem Fahrzeug aus einem Wärmebild der Strahlungserfassungseinheit, insbesondere einer so genannten NightVision Kamera, extrahiert, analysiert und daraus eine Reibwertänderung vor dem Fahrzeug ermittelt bzw. schätzt. Dabei kann gemäß einer Variante des Verfahrens beim Überfahren eines Teils der Straße, für welchen eine zuvor geschätzte Reibwertänderung ermittelt wurde, eine Überprüfung der berechneten Daten erfolgen. Denn mbeim Überfahren der Bereiche kann meist auf einfachere und genauere Weise ein Reibwert bestimmt werden, insbesondere über die an den Reifen des Fahr- zeugs erfassten Reibungswerte. Daraus kann eine Plausibilitätsprüfung im Hinblick auf die prädikativ geschätzten Reibwerte abgeleitet werden.
Zwar ist es zweckdienlich, z.B. im Hinblick auf die auszuwertende Daten- menge und die erforderliche Rechenzeit, nur einen Straßenverlauf in einem Nahumfeld in Fahrtrichtung vor dem Fahrzeug zu bestimmen, jedoch kann das Nahumfeld auch konzentrisch um das Fahrzeug oder elliptisch mit der längeren Achse der Ellipse in Fahrtrichtung um das Fahrzeug angeordnet sein, um einem Fahrassistenzsystem auch Information zu einer Umgebung bzw. einem Umfeld im Heckbereich des Fahrzeugs, also seitlich und hinter dem Fahrzeug, bereitzustellen. Für den Fall dass das Fahrzeug stillsteht, also nicht in einer bestimmten Richtung fährt, dann die Fahrtrichtung durch die Mittenlängsachse des Fahrzeugs definiert sein, d.h., die Positionsdaten können auch ohne zeitliche Änderung dahingehend ausgewertet werden, dass bei einem abgestellten Fahrzeug bekannt ist, in welche Richtung der Bug des Fahrzeugs weist, um das erfindungsgemäße Verfahren in Bezug auf die Fahrtrichtung ausführen zu können.
Das Bestimmen oder Erfassen von Straßendaten, insbesondere das Extra- hieren von Bereichen aus den erfassten Bilddaten, welche der genutzten Fahrbahn entsprechen, kann wahlweise in Schritt c) und/oder Schritt g) erfolgen, also basierend auf den durch die Umfelderfassungseinheit bereitgestellten Daten und/oder den durch die Strahlungserfassungseinheit bereitgestellten Daten.
In Schritt g) kann die Umfelderfassungseinheit in einer vertikalen Richtung, also im Wesentlichen senkrecht zu einer Straßenoberfläche, die Höhe der Hindernisse erfassen und vorgeben, ab wann es sich um ein nicht durch das Fahrzeug überfahrbares Hindernis handelt. Mit anderen Worten wird die Straßenoberfläche bzw. der Bereich unmittelbar über der Straßenoberfläche auf Vertikalsprünge untersucht, also auf Konturen, die sich in einer vertikalen Richtung erstrecken.
Bevorzugt erfolgt das Ermitteln in Schritt g) in Abhängigkeit des Straßenver- laufs. Hierdurch kann die Analyse der Fahrbahnoberfläche auf diejenigen Bereiche fokussiert werden, die von dem Fahrzeug erwartungsgemäß durchfahren werden. Durch den Schritt h) kann z.B. ermittelt werden, ob in einem besonders kurvigen Bereich der Straße mit einer höheren Glätte, also einem niedrigeren Reibwert zu rechnen ist. Hierdurch kann ein vorausschauenderes, sichereres Steuern des Fahrzeugs erfolgen.
Das Auswerten des Straßenverlaufs zusammen mit dem Parameterwert in Schritt h) erfolgt bevorzugt, indem der Parameterwert auf den Straßenverlauf bezogen wird und indem ein Auswerten einer Änderung des Parameterwerts erfolgt und ein Beziehen des Parameterwerts auf bestimmte Abschnitte des Straßenverlaufs erfolgt, falls sich der Parameterwert in den bestimmten Abschnitten des Straßenverlaufs ändert. Hierdurch kann z.B. eine besonders enge Kurve untersucht werden und eine Änderung des Parameterwertes in diesem Bereich kann zu einer stärkeren vorausschauenden Maßnähme bzw. einer deutlicheren Warnmeldung jeweils durch das Fahrerassistenzsystem führen als wenn die Änderung in einem gerade verlaufenden Abschnitt der Straße auftreten würde. Dies erhöht die Fahrsicherheit. In Schritt i) erfolgt demnach bevorzugt ein Bereitstellen der Fahrzeugposition und des Straßenverlaufs mit dem darauf bezogenen Parameterwert, insbesondere dem Reibwert.
Das Kombinieren der Straßenoberflächendaten mit den Umfelddaten in Schritt i) kann dazu genutzt werden, Abschnitte der Straße in einem zweiten Schritt auch dann auszublenden, wenn eine Änderung der Parameterwerte im Zusammenhang mit einem auf der Straße befindlichen Hindernis steht. Denn das Hindernis muss umfahren werden, was meist mit einer Änderung des Fahrzustands des Fahrzeugs einhergeht, und bei der Änderung des Fahrzustands ist der Reibwert von besonderer Bedeutung.
Zusammenfassend kann zum Ermitteln des Straßenverlaufs erwähnt wer- den, dass gemäß einer Variante des Verfahrens der Straßenverlauf mittels eines mathematischen Kameramodells in Bildpunktkoordinaten eines Wärmebildes umgerechnet wird, die potentiell auszuwerten sind. Davon können vor der Auswertung des Oberflächenparameters die Bildbereiche ausgeblendet werden, welche erfassten, vom Kameramodell umgerechneten Hinder- nissen entsprechen. Somit wird im erfassten Wärmebild keine nicht befahrbare Oberfläche wiedergegeben, die das Ergebnis verfälschen könnte. Dabei kann das Ermitteln des Straßenverlaufs auch auf dreidimensionale Art und Weise erfolgen, also im Hinblick auf alle drei Raumrichtungen. Der ermittelte Verlauf der Fahrbahn kann unter Berücksichtigung der ausgeblendeten nicht befahrbaren Abschnitte für weitere Schritte des Verfahrens genutzt werden, insbesondere die Schritte:
k) Abrufen von Fahrzustandsdaten zu einem Fahrzustand des Fahrzeugs; und
I) Betreiben von mindestens einer Funktion des Fahrzeugs in Abhängigkeit der Fahrzeugposition, des Straßenverlaufs, des Parameterwertes und in Abhängigkeit des Fahrzustands.
Diese Schritte können durch ein Fahrassistenzsystem übernommen werden, welches als Teilsystem des Fahrzeugsystems ausgebildet sein kann.
Wahlweise kann das Erfassen in Schritt b) und das Auswerten in Schritt c) und/oder das Bestimmen in Schritt e) und/oder das Erfassen in Schritt f) in einem Nahumfeld um das Fahrzeug erfolgt, insbesondere im Nahumfeld von 1 bis 1000, bevorzugt 10 bis 500, besonders bevorzugt 20 bis 200 Metern um das Fahrzeug. Wahlweise kann das Nahumfeld in Bezug auf die Fahrtrichtung und/oder in Bezug auf den Straßenverlauf definiert werden, also bei einer sich serpentinenartig erstreckenden Straße rechteckig oder gar quadratisch seitlich querab zu dem Fahrzeug definiert werden, oder bei einer sich im Wesentlichen in einer Richtung erstreckenden Landstraße langgezogen und linienförmig entlang der Landstraße in Fahrtrichtung erstrecken. Hierdurch kann die zu verarbeitende Datenmenge reduziert werden.
Wahlweise können die Umfelddaten zumindest teilweise aus einer Speicher- einheit geladen werden und/oder über eine Kommunikationsschnittstelle, insbesondere online aus dem Internet, in das Fahrzeug geladen werden. Hierdurch kann das Verfahren auch auf Straßenbereiche ausgedehnt werden, die nicht durch eine Kamera, einen Laserscanner, ein Radargerät oder dergleichen Einrichtung erfassbar sind, also nicht sichtbar sind. Die ermög- licht z.B. eine erste grobe Erfassung des Straßenverlaufs und eine Vor- warnmöglichkeit, z.B. bei Kimmen, starken Kurven, tiefen Senken oder einem Versagen der auf Sicht arbeitenden Umfelderfassungseinheit.
Als online zugängliche Datenbank zum Laden der Luftbilddaten kann dabei eine beliebige Datenbank aufgefasst werden, in welcher bevorzugt möglichst aktuelle Luftbilddaten hinterlegt sind. Bevorzugt ist die Steuervorrichtung dazu ausgebildet, mit mehreren Online-Datenbanken zu verbinden, sei es gleichzeitig oder nacheinander, und zu prüfen, in welcher Online-Datenbank die Luftbilddaten für den interessierenden Bereich mit höherer Aktualität und/oder größerer bzw. besseren Auflösung (also detailliertere Luftbilddaten, insbesondere auch Luftbilddaten mit kleinerem Skalierungsfaktor, also aus einer geringeren Höhe aufgenommene Luftbilddaten) hinterlegt sind, um die Luftbilddaten mit der jeweils größeren Auflösung bzw. höheren Aktualität ab- zurufen.
Die Aufgabe wird auch durch eine Steuervorrichtung zum prädikativen Ermitteln eines Parameterwertes einer von einem Fahrzeug befahrbaren Oberfläche und Bereitstellen des Parameterwertes an mindestens ein Fahrerassis- tenzsystem des Fahrzeugs gelöst, wobei die Steuervorrichtung ausgebildet ist zum Auswerten von Oberflächendaten einer Gesamtoberfläche, die zum Befahren mit dem Fahrzeug vorgesehen ist,
und wobei erfindungsgemäß vorgesehen ist, dass die Steuervorrichtung ferner ausgebildet ist zum Bestimmen eines Teilbereichs innerhalb der Ge- samtoberfläche, der von dem Fahrzeug tatsächlich befahrbar ist, und zum Ermitteln des Parameterwertes ausschließlich für den Teilbereich.
Das beschriebene Verfahren und die beschriebene Steuervorrichtung können in Verbindung mit einem Sicherheitssystem eingesetzt werden, welches mindestens eine Umfelderfassungseinheit aufweist und dazu ausgebildet ist, aus dem erfassten Umfeld einen Verlauf einer Straße zu bestimmen, sei es autonom oder in Verbindung mit von extern bereitgestellten (Karten-)Daten.
Die mit Bezug zu dem erfindungsgemäßen Verfahren vorgestellten Ausfüh- rungsformen und deren Vorteile gelten entsprechend für die beanspruchte Steuervorrichtung.
Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus den Ansprüchen, der nachfolgenden Beschreibung bevorzugter Ausführungsformen sowie anhand der Zeichnungen, wobei gleiche oder funktionsgleiche Elemente mit identischen Bezugszeichen versehen sind. Dabei zeigen: Fig. 1 in einer perspektivischen Draufsicht eine schematische Darstellung einer Fahrsituation eines Fahrzeugs auf einer Straße, wobei das Fahrzeug mit einem Fahrzeugsystem ausgebildet ist, welches eine Steuervorrichtung zum Steuern des Fahrzeugs gemäß einem erfindungsgemäßen Verfahren aufweist;
Fig. 2 in einer perspektivischen Draufsicht eine schematische Darstellung einer weiteren Fahrsituation eines Fahrzeugs auf einer Straße, wobei das Fahrzeug mit einem Fahrzeugsystem ausgebildet ist, welches eine Steuervorrichtung zum Steuern des Fahrzeugs gemäß einem erfindungsgemäßen Verfahren aufweist;
Fig. 3a in einem schematischen Flussdiagramm ein Verfahren gemäß einem Ausführungsbeispiel der Erfindung;
Fig. 3b in einem schematischen Flussdiagramm ein Verfahren gemäß einem Ausführungsbeispiel der Erfindung, bei welchem ein Straßenverlauf und eine Fahrzeugposition berücksichtigt werden;
Fig. 4 in einer schematischen Darstellung eine Steuervorrichtung gemäß einem Ausführungsbeispiel der Erfindung;
Fig. 5a in einer Draufsicht eine schematische Darstellung einer Situation bei einem Verfahren, mittels welchem alle Bereiche einer Straße in Abhängigkeit eines Straßenverlaufs erfasst werden; und
Fig. 5b in einer Draufsicht eine schematische Darstellung einer Situation bei einem erfindungsgemäßen Verfahren, mittels welchem nur befahrbare Bereiche einer Straße in Abhängigkeit eines Straßenverlaufs erfasst werden und nicht befahrbare Bereiche ausgeblendet werden können.
In der Fig. 1 ist ein Fahrzeug 1 gezeigt, welches eine Straße 2 nutzt. Die Straße 2 weist eine Straßenoberfläche 2a mit einer ortsabhängigen Beschaffenheit auf. Die Straße 2 weist zwei durch Fahrbahnmarkierungen 2.3 ge- kennzeichnete Fahrbahnen 2.1 mit einer jeweiligen Fahrbahnoberfläche 2.1 a auf. Die Fahrbahnoberflächen 2.1 a können aus demselben Material bestehen, oder aber auch aus voneinander abweichenden Materialien, z.B. zwei unterschiedliche Teersorten. Die Straße 2 weist ferner einen Seitenstreifen 2.2 auf und ist beidseitig von einer Leitplanke 3 begrenzt. Neben dem Seitenstreifen 2.2 sind Begrenzungspfosten 4 vorgesehen.
Das Fahrzeug 1 fährt in einer Richtung F auf einen gefährdeten Bereich B1 auf der rechten Fahrbahn 2.1 zu. Auf dem Seitenstreifen 2.2 ist ein nicht be- fahrbarer Bereich B2 angedeutet, z.B. ein durch ein Hindernis H blockierter Bereich. Das Fahrzeug 1 weist ein Fahrzeugsystem 100 auf, welches mit einer Steuervorrichtung 10 gekoppelt ist oder diese aufweist. Das Fahrzeugsystem 100 kann als Fahrerassistenzsystem ausgebildet sein oder ein solches aufweisen. Die Steuervorrichtung 10 ist dazu ausgebildet, einen Verlauf der Straße 2 zu erfassen und eine Bestimmung von Reibwerten der Straßenoberfläche 2a in Abhängigkeit des Straßenverlaufs sowie in Abhängigkeit von nicht befahrbaren Bereichen B2 vorzunehmen.
In der Fig. 2 ist eine Situation vergleichbar zu der in der Fig. 1 gezeigten Si- tuation dargestellt. In diesem Fall wird ein Hindernis H durch ein abgestelltes Fahrzeug 1 a gebildet. Hieraus ergibt sich ein nicht befahrbarer Bereich B2, der in diesem Fall etwas größer ist als der von dem Fahrzeug 1 a abgedeckte Bereich. Mit anderen Worten muss ein Fahrassistenzsystem berücksichtigen, dass bei hoher Geschwindigkeit ein gewisser Abstand zu dem abgestellten Fahrzeug 1 a eingehalten werden muss, selbst in einer Gefahrensituation bei einem Ausweichmanöver, bei welchem das gesteuerte Fahrzeug 1 von der Fahrbahn 2.1 runter gesteuert werden soll bzw. muss. Das Fahrzeug 1 weist ein Fahrzeugsystem 100 auf, welches eine Steuervorrichtung 10 aufweist. Das Fahrzeugsystem 100 kann als Fahrerassistenzsystem ausgebildet sein oder ein solches aufweisen.
In der Fig. 3a ist in schematischer Darstellung gezeigt, dass ein Verfahren zum prädikativen Ermitteln eines Parameterwertes einer von einem Fahrzeug befahrbaren Oberfläche und Bereitstellen des Parameterwertes an mindestens ein Fahrerassistenzsystem des Fahrzeugs bereits durch eine sehr überschaubare Anzahl von Verfahrensschritten zu einer verbesserten Datengrundlage führen kann, insbesondere durch
einen ersten Schritt 1 ), in welchem ein Erfassen einer Gesamtoberfläche erfolgt, die zum Befahren mit dem Fahrzeug vorgesehen ist, einen zweiten Schritt 2), in welchem ein Bestimmen eines Teilbereichs innerhalb der Gesamtoberfläche, der von dem Fahrzeug tatsächlich befahrbar ist, vorgesehen ist, und durch
einen dritten Schritt 3),. in welchem ein Ermitteln des Parameterwertes aus- schließlich für den Teilbereich vorgesehen ist. Wahlweise kann der Schritt 1 ) dadurch weitergebildet sein, dass die Gesamtoberfläche durch Erfassen von Wärmestrahlung erfasst wird, insbesondere mittels einer Umfelderfassungseinheit, und Straßenoberflächendaten aus einem aus der Wärmestrahlung gewonnenen Wärmebild extrahiert werden, indem ein Tem- peraturverlauf in dem Wärmebild analysiert wird und eine Parameterwertänderung aus dem Wärmebild ermittelt wird, insbesondere mittels der Umfelderfassungseinheit oder einer von dieser separaten Steuervorrichtung.
In der Fig. 3b ist in schematischer Darstellung gezeigt, auf weiche Weise ein erfindungsgemäßes Verfahren gemäß einem Ausführungsbeispiel ausgeführt werden kann, bei welchem ein Straßenverlauf und eine Fahrzeugposition berücksichtigt werden, insbesondere wenn es in Verbindung mit einem Fahrerassistenzsystem ausgeführt werden soll. Die einzelnen Schritte lassen sich wie folgt beschreiben und sind Teil eines Verfahrens zum Bereitstellen eines eine Straßenoberfläche charakterisierenden Parameterwertes in Bezug auf einen vorausliegenden Straßenverlauf sowie auf eine geografische Position und eine Fahrtrichtung eines die Straße nutzenden Fahrzeugs für mindestens ein Fahrerassistenzsystem des Fahrzeugs: a) Abrufen von geographischen Echtzeit-Positionsdaten zu der Fahrzeugposition des Fahrzeugs sowie Erfassen der Fahrtrichtung des Fahrzeugs;
b) Erfassen von Umfelddaten in einem vorgebbaren Umfeld um die Fahrzeugposition mittels einer Umfelderfassungseinheit;
c) Auswerten der Umfelddaten zum Erkennen von Straßendaten zumindest von der genutzten Straße in dem Umfeld, und Zuordnen des Fahrzeugs zu der Straße mittels einer Steuervorrichtung;
d) Bestimmen der Fahrzeugposition auf der Straße durch Kombinieren der Straßendaten mit den Positionsdaten mittels der Steuervorrichtung;
e) Bestimmen des Straßen Verlaufs aus den Straßendaten in Bezug auf die Fahrtrichtung;
f) Erfassen von Strahlung, die von der Straßenoberfläche reflektiert wird, und Erzeugen von Straßenoberflächendaten;
g) Ermitteln des die Straßenoberfläche charakterisierenden Parameterwertes, insbesondere eines Reibwertes, aus den Straßenoberflächendaten; h) Auswerten des Straßenverlaufs zusammen mit dem Parameterwert;
i) Bereitstellen der Fahrzeugposition, des Straßenverlaufs, und des Parameterwerts, insbesondere des Reibwerts;
wobei die einzelnen Schritte die folgende Ausprägung aufweisen:
- beim Auswerten der Umfelddaten oder Straßenoberflächendaten: Bestimmen von nicht befahrbaren Abschnitten der Straße, insbesondere aus den Umfelddaten, durch Ermitteln von durch das Fahrzeug nicht überfahrbaren Hindernissen auf der Straße, insbesondere indem ein Bereich über der Straßenoberfläche nach sich in einer vertikalen Ausrichtung im Winkel zu der Straßenoberfläche erstreckenden Konturen untersucht wird;
- beim Bestimmen oder Auswerten des Straßenverlaufs: Ausblenden der nicht befahrbaren Abschnitte, insbesondere aus den Umfelddaten, und Auswerten der verbleibenden, befahrbaren Abschnitte; und
- in Schritt i): Bereitstellen des Straßenverlaufs und des Parameterwertes, insbesondere ortsbezogen auf die befahrbaren Abschnitte, indem die Straßenoberflächendaten mit den verbleibenden nicht ausgeblendeten Umfelddaten kombiniert werden.
Hierdurch kann die Auswertung genauer erfolgen, denn eine Fehlinterpreta- tion von Parameterwerten kann effektiv vermieden werden, insbesondere bei der Auswertung des Parameterwertes basierend auf der Temperatur der Straßenoberfläche: Wärme, die von abgestellten Fahrzeugen auf die Fahrbahnoberfläche gestrahlt wird, führt nicht zu bei dem Steuern des Fahrzeugs zu berücksichtigenden Daten, denn diese Temperaturänderung kann mit dem abgestellten Fahrzeug (Hindernis) in Verbindung gebracht werden und ausgeblendet werden. Bevorzugt wird der Parameterwert nur für die Bereiche der Straße bestimmt, in welchen kein Hindernis vorliegt, also welche befahrbar sind und welche nicht ausgeblendet wurden. Das Ausblenden erfolgt also bevorzugt vor dem Bestimmen irgendwelcher Parameterwerte, insbe- sondere Reibwerte.
Der ermittelte Verlauf der Straße bzw. Fahrbahn kann unter Berücksichtigung der ausgeblendeten nicht befahrbaren Abschnitte für weitere Schritte des Verfahrens genutzt werden, insbesondere die Schritte:
k) Abrufen von Fahrzustandsdaten zu einem Fahrzustand des Fahrzeugs; und
I) Betreiben von mindestens einer Funktion des Fahrzeugs in Abhängigkeit der Fahrzeugposition, des Straßenverlaufs, des Parameterwertes und in Abhängigkeit des Fahrzustands. Diese Schritte können durch ein Fahrassistenzsystem übernommen werden, welches als Teilsystem des Fahrzeugsystems ausgebildet sein kann. In der Fig. 4 ist eine in einem Fahrzeug 1 angeordnete Steuervorrichtung 10 mit einem Prozessor 10a und Speichermitteln 12 gezeigt, welche mit einer Positionserfassungseinrichtung 13, einem Fahrzeugsystem 100, einer Strah- lungserfassungseinheit 1 , einer Umfelderfassungseinheit 15 und mit einem Aktuator 14 gekoppelt ist. Der Aktuator 14 kann über die Steuervorrichtung 10 und/oder das Fahrzeugsystem 00 betätigt werden, insbesondere um den Fahrzustand des Fahrzeugs 1 einzustellen. Die Steuervorrichtung 10 und/oder das Fahrzeugsystem 100 sind über eine Kommunikationsschnittstelle in Kommunikation mit einem Datenserver 30, von welchem wahlweise Daten zu einem Verlauf der Straße oder zu bestimmten Merkmalen der Um- gebung übertragen werden können.
In der Fig. 5a ist gezeigt, dass bei einem Verfahren zum Erfassen von Parametern einer Straßenoberfläche ein Straßenverlauf der Straße 2 berücksichtigt werden kann, indem nur die Bereiche der Straße selbst erfasst werden, nicht aber die Umgebung. Ein die Straße 2 nutzendes Fahrzeug 1 erfasst einen definierten Bereich (umkreister Bereich) in Fahrtrichtung F vor dem Fahrzeug 1 und ermittelt den Verlauf der Straße und berücksichtigt nur die Bereiche der Straße 2 selbst, entsprechend dem gestrichelten Bereich, also nicht die Umgebung. Von diesem Bereich umfasst sind dabei Bereiche B2, in welchen ein nicht überfahrbares Hindernis H vorliegt.
In der Fig". 5b ist gezeigt, welche Bereiche bei einem erfindungsgemäßen Verfahren berücksichtigt werden können und welche Bereiche ausgeblendet werden können. Der gestrichelte Bereich, in welchem eine Auswertung von einem die Straßenoberfläche kennzeichnenden Parameter erfolgt, ist auf die befahrbaren Bereiche der Straße 2 beschränkt. Mit anderen Worten sind nicht befahrbare Bereiche B2, in welchen z.B. ein Hindernis H angeordnet sein kann, ausgeblendet worden, insbesondere bevor eine insbesondere ortsbezogene Auswertung des Parameters erfolgt.

Claims

PATENTANSPRÜCHE:
1. Verfahren zum prädikativen Ermitteln eines Parameterwertes einer von einem Fahrzeug (1 ) befahrbaren Oberfläche (2) und Bereitstellen des Parameterwertes an mindestens ein Fahrerassistenzsystem (100) des Fahrzeugs, durch
- Erfassen einer Gesamtoberfläche (2, 2.1 , B1 , B2), die zum Befahren mit dem Fahrzeug (1 ) vorgesehen ist,
gekennzeichnet durch
- Bestimmen eines Teilbereichs (2, 2.1 , B1 ) innerhalb der Gesamtoberfläche (2, 2.1 , B1 , B2), der von dem Fahrzeug tatsächlich befahrbar ist, und
- Ermitteln des Parameterwertes ausschließlich für den Teilbereich (2, 2.1 , B1).
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass der Teilbereich (2, 2.1 , B1 ) bestimmt wird, indem ein durch das Fahrzeug nicht überfahrbares Hindernis (1a, B2, H) auf der Gesamtoberfläche ermittelt wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Gesamtoberfläche (2, 2.1 , B1 , B2) durch Auswerten von auf das Fahrzeug einfallender Strahlung erfasst wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge- kennzeichnet, dass als Parameterwert ein die Reibung zwischen einem Reifen des Fahrzeugs (1 ) und der Oberfläche in dem Teilbereich (2, 2.1 , B1 ) charakterisierender Reibwert genutzt wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge- kennzeichnet, dass die Gesamtoberfläche (2, 2.1 , B1 , B2) durch Erfassen von Wärmestrahlung erfasst wird, insbesondere mittels einer Umfelderfassungseinheit (15), und den Parameter charakterisierende Stra- ßenoberflächendaten aus einem aus der Wärmestrahlung gewonnenen Wärmebild extrahiert werden, indem ein Temperaturverlauf in dem Wärme- bild analysiert wird und eine Parameterwertänderung aus dem Wärmebild ermittelt wird, insbesondere mittels der Umfelderfassungseinheit (15) oder einer von dieser separaten Steuervorrichtung (10).
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Teilbereich (1 a, B2, H) und der Parameterwert mittels einer Steuervorrichtung (10) oder einem mit der Steuervorrichtung gekoppelten Fahrzeugsystem (100) ausgewertet werden und geprüft wird, ob eine Funktion des Fahrzeugs (1 ) anzusteuern ist.
7. Steuervorrichtung (10) zum prädikativen Ermitteln eines Parameterwertes einer von einem Fahrzeug (1 ) befahrbaren Oberfläche und Bereitstellen des Parameterwertes an mindestens ein Fahrerassistenzsystem (100) des Fahrzeugs (1 ), wobei die Steuervorrichtung (10) ausgebildet ist zum
- Auswerten von Oberflächendaten einer Gesamtoberfläche (2, 2.1 , B1 , B2), die zum Befahren mit dem Fahrzeug (1 ) vorgesehen ist,
dadurch gekennzeichnet, dass die Steuervorrichtung (10) ferner ausgebildet ist zum
- Bestimmen eines Teilbereichs (2, 2.1 , B1 ) innerhalb der Gesamtoberfläche (2, 2.1 , B1 , B2), der von dem Fahrzeug tatsächlich befahrbar ist, und
- Ermitteln des Parameterwertes ausschließlich für den Teilbereich (2, 2.1 , B1 ).
EP13821663.5A 2012-12-19 2013-12-16 Verfahren und vorrichtung zum prädikativen ermitteln eines parameterwertes einer von einem fahrzeug befahrbaren oberfläche Active EP2936389B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012024874.1A DE102012024874B4 (de) 2012-12-19 2012-12-19 Verfahren und Vorrichtung zum prädikativen Ermitteln eines Parameterwertes einer von einem Fahrzeug befahrbaren Oberfläche
PCT/EP2013/003784 WO2014095019A1 (de) 2012-12-19 2013-12-16 Verfahren und vorrichtung zum prädikativen ermitteln eines parameterwertes einer von einem fahrzeug befahrbaren oberfläche

Publications (2)

Publication Number Publication Date
EP2936389A1 true EP2936389A1 (de) 2015-10-28
EP2936389B1 EP2936389B1 (de) 2016-09-21

Family

ID=49989639

Family Applications (1)

Application Number Title Priority Date Filing Date
EP13821663.5A Active EP2936389B1 (de) 2012-12-19 2013-12-16 Verfahren und vorrichtung zum prädikativen ermitteln eines parameterwertes einer von einem fahrzeug befahrbaren oberfläche

Country Status (5)

Country Link
US (1) US20150344037A1 (de)
EP (1) EP2936389B1 (de)
CN (1) CN104885097B (de)
DE (1) DE102012024874B4 (de)
WO (1) WO2014095019A1 (de)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012101085A1 (de) 2012-02-10 2013-08-14 Conti Temic Microelectronic Gmbh Bestimmung einer Beschaffenheit einer Fahrbahnoberfläche mittels einer 3D-Kamera
DE102012112724A1 (de) 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Verfahren zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten
DE102012112725A1 (de) * 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Reibwertschätzung aus Kamera- und Raddrehzahldaten
DE102013101639A1 (de) 2013-02-19 2014-09-04 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
DE102013223367A1 (de) 2013-11-15 2015-05-21 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels eines Fahrzeugkamerasystems
DE102014219493A1 (de) * 2014-09-25 2016-03-31 Conti Temic Microelectronic Gmbh Reibbeiwertabhängiges Kollisionsvermeidungssystem
US10832426B2 (en) * 2015-09-24 2020-11-10 Apple Inc. Systems and methods for surface monitoring
US11100673B2 (en) 2015-09-24 2021-08-24 Apple Inc. Systems and methods for localization using surface imaging
DE102015012815B4 (de) 2015-10-02 2017-08-17 Audi Ag Fahrbahnzustandserkennungssystem, Fahrzeug und Verfahren zum Ermitteln eines Zustands einer Fahrbahn
US10048686B2 (en) * 2015-11-06 2018-08-14 The Boeing Company Methods and apparatus to autonomously navigate a vehicle by selecting sensors from which to obtain measurements for navigation
US9889716B2 (en) * 2016-02-03 2018-02-13 Ford Global Technologies, Llc Roadway-crossing-anomaly detection system and method
CN107092920A (zh) * 2016-02-17 2017-08-25 福特全球技术公司 评估其上行驶有车辆的路面的方法和装置
GB2552024B (en) * 2016-07-08 2020-04-15 Jaguar Land Rover Ltd Improvements in vehicle speed control
KR101876063B1 (ko) * 2016-10-04 2018-07-06 현대자동차주식회사 차량 데이터 기반의 노면 판단 방법
EP3601001B1 (de) 2017-03-24 2021-05-05 Compagnie Generale Des Etablissements Michelin Verfahren und system zur echtzeitschätzung von strassenbedingungen und fahrzeugverhalten
DE102017114571A1 (de) * 2017-06-29 2019-01-03 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bestimmen einer Beschaffenheit einer Oberfläche in der Umgebung eines Fahrzeugs
JP6662356B2 (ja) * 2017-08-03 2020-03-11 トヨタ自動車株式会社 車両制御装置
DE102017118156A1 (de) * 2017-08-09 2019-02-14 Valeo Schalter Und Sensoren Gmbh Verfahren zum Überwachen eines Umgebungsbereiches eines Kraftfahrzeugs, Sensorsteuergerät, Fahrerassistenzsystem sowie Kraftfahrzeug
JP7136106B2 (ja) * 2017-08-18 2022-09-13 ソニーグループ株式会社 車両走行制御装置、および車両走行制御方法、並びにプログラム
US10773725B1 (en) 2017-08-25 2020-09-15 Apple Inc. Tire-road friction estimation and mapping
EP3546312A1 (de) * 2018-03-26 2019-10-02 Volvo Car Corporation Verfahren und system zur handhabung der bedingungen einer strasse, auf der ein fahrzeug fährt
CN109271944B (zh) 2018-09-27 2021-03-12 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、电子设备、车辆及存储介质
CN112068537B (zh) * 2019-05-21 2023-07-07 宇通客车股份有限公司 基于区域划分的自动驾驶公交车进/出站控制方法与装置
EP3991089A1 (de) * 2019-06-27 2022-05-04 Zenuity AB Verfahren und system zur schätzung einer antreibbaren oberfläche
CN110427026B (zh) * 2019-07-15 2022-09-13 北京天时行智能科技有限公司 一种轮胎道路摩擦的确定方法及装置
US12026952B2 (en) * 2019-10-09 2024-07-02 Volkswagen Aktiengesellschaft Multi-sensory measuring system and method for transportation vehicle operating systems
DE102020202280A1 (de) 2020-02-21 2021-08-26 Continental Teves Ag & Co. Ohg Ermittlung eines erwarteten fahrzeugspezifischen Reibwertverlaufs
US20220012506A1 (en) * 2020-07-13 2022-01-13 Wisense Technologies Ltd. System and method of segmenting free space based on electromagnetic waves
CN111829545B (zh) * 2020-09-16 2021-01-08 深圳裹动智驾科技有限公司 自动驾驶车辆及其运动轨迹的动态规划方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09142236A (ja) * 1995-11-17 1997-06-03 Mitsubishi Electric Corp 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置
JP3420049B2 (ja) * 1997-12-27 2003-06-23 本田技研工業株式会社 車両用物体検知装置
JP3515926B2 (ja) * 1999-06-23 2004-04-05 本田技研工業株式会社 車両の周辺監視装置
DE102004023323B4 (de) * 2004-05-07 2006-10-19 Daimlerchrysler Ag Sensorvorrichtung und Verfahren in einem Fahrzeug zur Erkennung des Zustands der Straßenoberfläche
DE102005044486B4 (de) * 2005-09-16 2009-02-05 Daimler Ag Verfahren zur Detektion des Oberflächenzustands einer Fahrbahn, sowie Detektionssystem und Fahrerassistenzsystem zur Umsetzung des Verfahrens
DE102005045017A1 (de) * 2005-09-21 2007-03-22 Robert Bosch Gmbh Verfahren und Fahrerassistenzsystem zur sensorbasierten Anfahrtsteuerung eines Kraftfahrzeugs
US8670592B2 (en) * 2008-04-24 2014-03-11 GM Global Technology Operations LLC Clear path detection using segmentation-based method
DE602008006103D1 (de) * 2008-12-09 2011-05-19 Fiat Ricerche Optische Vorrichtung für Kraftfahrzeuge zum Erkennen des Zustands der Straßendecke
FR2947937B1 (fr) * 2009-07-08 2012-03-02 Valeo Vision Sas Procede de determination d'une region d'interet dans une image
DE102009047333A1 (de) * 2009-12-01 2011-06-09 Robert Bosch Gmbh Verfahren zur Bestimmung einer Trajektorie eines Fahrzeugs
US8294794B2 (en) * 2010-07-06 2012-10-23 GM Global Technology Operations LLC Shadow removal in an image captured by a vehicle-based camera for clear path detection
WO2012110030A2 (de) * 2011-02-14 2012-08-23 Conti Temic Microelectronic Gmbh Reibwertschätzung mittels einer 3d-kamera

Also Published As

Publication number Publication date
WO2014095019A1 (de) 2014-06-26
EP2936389B1 (de) 2016-09-21
US20150344037A1 (en) 2015-12-03
DE102012024874B4 (de) 2014-07-10
CN104885097A (zh) 2015-09-02
CN104885097B (zh) 2019-12-24
DE102012024874A1 (de) 2014-06-26

Similar Documents

Publication Publication Date Title
EP2936389B1 (de) Verfahren und vorrichtung zum prädikativen ermitteln eines parameterwertes einer von einem fahrzeug befahrbaren oberfläche
DE102014209072B4 (de) Verbessertes ausrichtungsverfahren zur parkassistenz
DE102016114535B4 (de) Wegbestimmung für automatisierte Fahrzeuge
EP3177498B1 (de) Verfahren zum erzeugen einer umgebungskarte eines umgebungsbereichs eines kraftfahrzeugs, fahrerassistenzsystem sowie kraftfahrzeug
DE102009005566B4 (de) Verfahren und Vorrichtung zur Erstellung einer Umfeldkarte eines Kraftfahrzeugs
EP1660912B1 (de) Verfahren und vorrichtung zur bestimmung von grösse und position einer parklücke
DE102010050167B4 (de) Verfahren und Vorrichtung zur Bestimmung eines plausiblen Fahrstreifens zur Führung eines Fahrzeugs sowie Kraftwagen
DE102018115813A1 (de) Verfahren und systeme zum lokalisieren eines fahrzeugs
WO2014094766A1 (de) Verfahren zur bestimmung eines fahrbahnzustands aus umfeldsensordaten
EP3304123A1 (de) Verfahren und vorrichtung zur positionsbestimmung eines fahrzeugs
EP2746725A2 (de) Verfahren und Steuervorrichtung zum Bereitstellen eines vorausliegenden Straßenverlaufs
DE112019000873T5 (de) System und Verfahren zum Erzeugen eines Zielpfades für ein Fahrzeug
DE102018100288B4 (de) Fahrzeugsteuerungssystem
EP1874611A1 (de) Verfahren und vorrichtung zur auswertung von abstandsmessdaten eines abstandsmesssystems eines kraftfahrzeugs
DE202014006923U1 (de) Fahrassistenzsystem, Computerprogrammprodukt sowie Kraftfahrzeug
DE102015215838B4 (de) Fahrzeugregelungsvorrichtung
DE102014111012A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Ausparken, Fahrerassistenzsystem und Kraftfahrzeug
DE102019115646A1 (de) System und verfahren zum modellieren von lenkeigenschaften
EP3857532A1 (de) Verfahren zur bewertung einer auswirkung eines objektes im umfeld eines fortbewegungsmittels auf ein fahrmanöver des fortbewegungsmittels
DE102018212676A1 (de) Verfahren zum Navigieren eines Fahrzeugs
DE102012112164A1 (de) Videobasierte erkennung von hindernissen auf einer fahrbahn
DE102017205245A1 (de) Freibereichsfusion für Fahrerassistenzsysteme
DE102016109850A1 (de) Verfahren zum Erkennen einer Neigung in einer Fahrbahn eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102018212002A1 (de) Fahrzeugsteuergerät und verfahren
DE102020111471A1 (de) Verfahren und System zur Bilderkennung für ein automatisiert fahrendes Fahrzeug

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20150720

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
RIN1 Information on inventor provided before grant (corrected)

Inventor name: REICHEL, MICHAEL

Inventor name: SIEGEL, ANDREAS

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20160713

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 831585

Country of ref document: AT

Kind code of ref document: T

Effective date: 20161015

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502013004731

Country of ref document: DE

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 4

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

Ref country code: NL

Ref legal event code: MP

Effective date: 20160921

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160921

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160921

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161221

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160921

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160921

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160921

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161222

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160921

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160921

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160921

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160921

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160921

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160921

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160921

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161221

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160921

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170123

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20161231

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170121

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502013004731

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160921

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160921

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

26N No opposition filed

Effective date: 20170622

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160921

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20161216

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20161231

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20161231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20161216

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160921

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 5

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20161231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20131216

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160921

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160921

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160921

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160921

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160921

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20160921

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 831585

Country of ref document: AT

Kind code of ref document: T

Effective date: 20181216

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181216

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 502013004731

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: G06K0009000000

Ipc: G06V0010000000

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230530

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20231218

Year of fee payment: 11

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20231220

Year of fee payment: 11

Ref country code: DE

Payment date: 20231231

Year of fee payment: 11