EP3069296A1 - Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands mittels eines fahrzeugkamerasystems - Google Patents

Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands mittels eines fahrzeugkamerasystems

Info

Publication number
EP3069296A1
EP3069296A1 EP14820736.8A EP14820736A EP3069296A1 EP 3069296 A1 EP3069296 A1 EP 3069296A1 EP 14820736 A EP14820736 A EP 14820736A EP 3069296 A1 EP3069296 A1 EP 3069296A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
road
roadway
image
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP14820736.8A
Other languages
English (en)
French (fr)
Inventor
Bernd Hartmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Teves AG and Co OHG
Original Assignee
Continental Teves AG and Co OHG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Teves AG and Co OHG filed Critical Continental Teves AG and Co OHG
Publication of EP3069296A1 publication Critical patent/EP3069296A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Definitions

  • the invention relates to a method and a device for determining a roadway support by means of a vehicle camera system.
  • Camera-based driver assistance systems capture the surroundings of a vehicle.
  • Camera systems placed behind the windscreen capture the apron of the vehicle according to the visual perception of the driver.
  • the functional scope of such assistance systems extends from the high-beam automatic lighting via detection and display of speed limits to the warning of lane departure errors or imminent collision.
  • radar, lidar sensors or laser scanners allow the detection of other vehicles, unprotected road users such as road users. Pedestrians and cyclists and the infrastructure such as Crash barriers and traffic lights. Thus, the condition is created to describe the direct vehicle environment more accurate.
  • DE 10 2004 018 088 A1 shows a tramway recognition system with a temperature sensor, an ultrasound sensor and a camera.
  • the temperature, roughness and image data (lane data) obtained from the sensors are filtered and compared with reference data and a degree of security for the comparison is generated.
  • the condition of the road surface is determined.
  • the road surface eg concrete, asphalt, dirt, grass, sand or gravel
  • their condition eg dry, icy, snowy, wet
  • WO 2012/110030 A2 shows a method and a device for friction estimation by means of a 3D camera, for example a stereo camera.
  • the 3D camera captures at least one image of the surroundings of the vehicle. From the image data of the 3D camera, a height profile of the road surface is created in the entire vehicle apron.
  • the expected local coefficient of friction of the road surface ⁇ area is estimated in the vehicle ahead from the relief. May be made of special determined height profiles ⁇ in individual cases, a classification of the road surface, for example, be carried out as a snow cover or muddy road.
  • WO 2013/117186 A1 shows a method and a device for detecting the condition of a road surface by means of an SD camera.
  • the 3D camera captures at least one image of the environment ahead of the vehicle. From the image data of the SD camera, height profiles of the road surface transversely to the direction of travel of the vehicle are determined along a plurality of lines. From the determined height gradients, the condition of the road surface is detected.
  • Optional 2D image data will be evaluated at least a monocular camera, the 3D camera in addition to the determined height gradients, flow, for example by means of a texture or pattern analysis, and in recognition of the nature of the Fahrbahnoberflä ⁇ surface.
  • the object of the present invention is therefore to provide a road condition determination by means of a camera which, when using different vehicle camera system configurations, for example also only a monocamera system, enables an optimized road condition recognition or friction coefficient estimation derived therefrom.
  • a main idea of the invention is to determine by means of aletsys ⁇ tems and an image processing targeted evidence for the existence of a roadway support when traveling over the road by a vehicle.
  • a road surface is eg snow, rain water, ice, leaves, dust, so media / objects the surface (ceiling, carpet) on the road surface (asphalt, tar, concrete, ...) rest.
  • the sheet resting can be called a blanket or carpet of the medium or the items, but it does not have the entire Fahrbahnoberflä ⁇ che be covered.
  • Different roadway pads typically exhibit different behaviors when run over by a vehicle. Some of them can be observed or detected with a camera and recognized or identified in a subsequent image analysis, from which conclusions can be drawn on the presence and type of the road surface.
  • An inventive method for determining a road pad by means of an on-vehicle camera system comprising the steps of: by means of the vehicle camera system is at least capture an image of a traveling ⁇ imaging environment.
  • the at least one image is evaluated in order to determine indications of the presence of a road surface when driving over the road through the vehicle with the vehicle camera system or by another vehicle.
  • the determined indications are taken into account when determining a road surface.
  • the He ⁇ result of the determination of the roadway support can preferably with a direct road surface condition estimation by a classification or egg ne application of a neural network combined and output to a sesas ⁇ sistenzfunktion, a vehicle control function or as information to the driver.
  • Driver assistance functions may in particular include collision warnings, emergency braking or emergency steering
  • vehicle control functions may include occupant protection measures (airbag pre-control, brake pre-control, belt tensioner pre-control) and (partially) autonomous braking and / or steering interventions.
  • the determined indicia or the result of the determination of the road surface are taken into account in the design of driver assistance functions, vehicle control functions.
  • the result of the determination of the road surface can in particular be included in an estimate of the coefficient of friction for the road area, which is shown in the image, or an otherwise determined current or prospective determined coefficient of friction. Because the Fahrbahnauf ⁇ location has a significant impact on the actual coefficient of friction.
  • the coefficient of friction, also coefficient of friction, adhesion coefficient, (static) friction coefficient or coefficient of friction indicates which force relative to the wheel load between a road surface and a vehicle ⁇ tires (eg in the tangential direction) can be transmitted maximum and is thus an essential measure of driving safety , In addition to the driving ⁇ ground-state properties of the tire to a complete determination of the coefficient of friction are required.
  • the effects of precipitation for example rain, snow, hail or even fog
  • the effects of precipitation for example rain, snow, hail or even fog
  • the effects of precipitation are determined as indications.
  • Type and amount of precipitation can be in the image evaluation ⁇ true are.
  • the detection direction of the camera system can advantageously be linked to the current vehicle movement direction.
  • the effects of a roadway overlay when passing over at least one tire of a vehicle are determined as indicia in the image evaluation. Effects here are in particular changes in the road surface including the road surface when driving over a vehicle or more precisely when driving over at least one tire of the vehicle.
  • At least one area in the at least one image is advantageously determined, from which indications for the presence of a roadway pad can be taken.
  • the area in the at least one image becomes one
  • Classifier supplied, which maps the determined indicia to a set of classes, each associated with a roadway pad.
  • the vehicle camera system has a rearward and / or lateral detection area of the surroundings of the own vehicle.
  • the own vehicle here is what the vehicle camera system has.
  • the image analysis can be limited to a fixed image area in which the effects of an existing roadway pad typically show, for example, an area behind a tire or at the rear of one's own vehicle, which is reflected by a rear camera or an area next to a tire of one's own Vehicle a side camera images.
  • the advantage with this embodiment is that one is not dependent on the detection range of Vietnamesekame ⁇ rasystems other vehicles located for determining a road support.
  • the vehicle camera system has a detection area in front of the driver's own vehicle, then that indicia for the presence of a roadway surface when driving over the roadway by a preceding, crossing or oncoming vehicle in the image analysis are determined.
  • the image analysis can be limited to an image area in which the rear and / or the side of a vehicle in front or the front of the vehicle and / or the side of a ent ⁇ oncoming vehicle is displayed.
  • the relevant image area can be determined on the basis of the tire contact zones with the roadway in the image.
  • An advantage of this embodiment is the fact that a forward-looking determination of a road surface is possible.
  • the indications for the presence of a roadway surface when driving over the roadway comprise swirled components of the vehicle seat.
  • these include, in particular, the detection of spray water or spray slush, spray mist or spray,
  • the indications of the presence of a roadway covering include visual obstructions in the field of view of the vehicle camera system due to the driving over the roadway by a preceding, traversing or oncoming vehicle.
  • the evidence of the presence of a road surface when driving over the roadway by a vehicle include tire tracks in the road surface.
  • Tire lanes are formed at specific roadway pads directly behind the tires of a moving vehicle, partially, for example. In a snow pad even the imprint of the tire tread can be detected within a tire lane.
  • determining the presence of a road surface next to the evidence of the presence of a roadway surface when driving over the roadway by a vehicle additionally typical generic properties of different road surface conditions can be determined and taken into account.
  • This refers to characteristics which are characteristic of roadway pads and which A camera image can be detected even without a vehicle running over, for example, puddles and reflections in rainwater or the Topolo- gie the surface.
  • headlights oncoming vehicles are more reflected in rainy or icy road than in a dry road.
  • the classifier comprises a neural network which has been trained to be able to assign the determined indicia to a roadway pad.
  • the neural network can also continuously learn to associate indicia with a class of roadway pads.
  • the result of the determination of the roadway support is combined with the result of a roadway condition detection or classification, and a friction coefficient estimate is made therefrom.
  • the road condition detection or classification particularly determines the material and geometric road surface, e.g. rough or smooth tar, asphalt or concrete possibly with existing ruts and may in particular be based on image data of the same vehicle camera system.
  • the invention relates to a device for determining a road surface comprising a vehicle camera system , an evaluation ⁇ unit, a determination unit and an output unit.
  • the driving ⁇ imaging camera system is adapted to receive at least an image of a driving ⁇ imaging environment.
  • the evaluation unit is designed for the evaluation of the at least one image to determine indications of the EXISTING ⁇ densein a roadway support by precipitation and / or when traveling over the road by a vehicle (E, F).
  • the determination unit is designed to determine a roadway surface taking into account the determined indicia.
  • the output unit is set up to output the result determined by the determination unit. Evaluation, determination and output unit may in particular be part of the control unit of the vehicle camera system or other vehicle control units.
  • Fig. 1 shows schematically a binarized camera image of a vehicle tire when driving over a rainy roadway.
  • Fig. 2 shows different detection ranges of a complex Kame ⁇ rasystems a vehicle.
  • a black and white image of a camera image of a vehicle tire when driving over a rainy road surface is shown.
  • the vehicle tire is on a rim (white, circular) and the vehicle is moving to the right.
  • Wassertrop ⁇ fen and water yarns white dots and filaments which are displaced and when passing the water-covered road surface by the tire accelerated.
  • the tire When driving over wet roads, namely splashing water forms, starting from the vehicle tires. Due to the high surface pressure, the tire displaces the water on the road to all sides. Particularly pronounced is the appearance of trucks whose tires have correspondingly higher surface pressure to displace more water than cars.
  • the spray is mainly seen in the direction of travel behind and to the side of the vehicle tire. There it can be detected by a vehicle camera and recognized by an image processing as splashing, from which it can be concluded that a rainwater layer as a road surface.
  • Ka merasent in some roadway pads more evidence in Ka merasent be identified and identified, then form when driving over wet or snowy roads or even when driving from slush tire tracks behind a moving vehicle, in part, for example, from a thin layer of snow from the pressure of the tire profile are detected within a tire lane in addition, precipitates in the form of rain, snow or hail, and also the fog can be detected as evidence of the road condition in Ka ⁇ merasent.
  • the different classes can be roughly subdivided (no driving track / water / snow), but also finer subdivided (for example be snow: powder snow up to 5mm height, powder snow> 5mm height, hard snow, slush). This subdivision can be carried out in particular as a function of an assignment of the class to a mean coefficient of friction, or the change in the associated average friction coefficient during the transition from one subclass to another.
  • FIG. 2 shows the detection areas (la-lf, 2, 3) of a camera system arranged in or on a first vehicle (E).
  • a second vehicle (F) Comprising an all ⁇ vision system (1) six single camera sensors with wide angle detection areas (la-lf), which allow a 360 ° -Er charged of the vehicle: the camera system of the first vehicle (E) comprises three different camera subsystems (1, 2 and 3) , a front camera with a ge forwardly directed ⁇ detection region (2) and a rear camera with a rearward detection area (3).
  • a stereo camera can be used as the front camera ⁇ , whereby a spatial resolution of the captured image data is achieved.
  • Objects such as sprayed water drops can be analyzed in terms of its spatial form and extent, which improves the CLASSIFICA ⁇ tion of an existing road pad.
  • the image processing for determining a lane support can be advantageously in which a tire contact area of the roadway located on one or more regions of the camera image restric ⁇ ken.
  • an image area can be evaluated in which the rear of the vehicle in front is located.
  • indicia of the presence of a road surface when driving over the road through the tires of the own vehicle (E) can be determined.
  • the advantage here is that one does not depend on vehicles traveling ahead or on the wrong track (F), but on the basis of the detection and determination of the effects caused by the own vehicle (E) on the basis of a rear-facing and / or laterally oriented sensor system other vehicles (F) can determine a currently relevant road surface.
  • other vehicles (F) can determine a currently relevant road surface.
  • a 360 ° camera sensor that detects a surround view, which can be used by the driver e.g.
  • a "top view” can be displayed in a bird's eye view, so the reliable determination of a road surface is realistic.

Abstract

Die Erfindung betrifft ein Verfahren bzw. eine Vorrichtung zur Bestimmung einer Fahrbahnauflage mittels eines Fahrzeugkamerasystems und umfasst die folgenden Schritte: Mittels des Fahrzeugkamerasystems wird mindestens ein Bild einer Fahrzeugumgebung aufgenommen. Das mindestens eine Bild wird ausgewertet, um Indizien für Niederschläge und/oder das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch das Fahrzeug (E) mit dem Fahrzeugkamerasystem oder ein anderes Fahrzeug (F) zu ermitteln. Die ermittelten Indizien werden bei der Bestimmung einer Fahrbahnauflage berücksichtigt. Das Ergebnis der Bestimmung der Fahrbahnauflage oder eine daraus abgeleitete Reibwertschätzung kann vorzugsweise an eine Fahrerassistenzfunktion, eine Fahrzeugsteuerungsfunktion oder auch als Information an den Fahrer ausgegeben werden.

Description

Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels eines Fahrzeugkamerasystems
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Ermittlung einer Fahrbahnauflage mittels eines Fahrzeugkamerasystems.
Fahrerassistenzsysteme unterstützen den Fahrer in seiner Fahraufgabe und tragen so dazu bei, den Straßenverkehr in Zukunft sicherer zu machen und die Unfallzahlen zu senken. Kamerabasierte Fahrerassistenzsysteme erfassen hierbei die Umgebung eines Fahrzeugs. Kamerasysteme, die hinter der Windschutzscheibe platziert sind, erfassen das Vorfeld des Fahrzeugs entsprechend der visuellen Wahrnehmung des Fahrers. Die funktionalen Umfänge solcher Assistenzsysteme erstrecken sich dabei von der Fernlichtautomatik über Erkennung und Anzeige von Geschwindigkeitsbegrenzungen bis hin zur Warnung bei Spurhaltefehlern oder drohender Kollision. Neben Kamerasystemen erlauben Radar-, Lidarsensoren bzw. Laserscanner die Erkennung anderer Fahrzeuge, ungeschützter Verkehrsteilnehmer wie z.B. Fußgänger und Fahrradfahrer und der Infrastruktur wie z.B. Leitplanken und Ampeln. Somit wird die Voraussetzung geschaffen, das direkte Fahrzeugumfeld immer genauer zu beschreiben.
In Zukunft wird der Automatisierungsgrad von Kraftfahrzeugen kontinu¬ ierlich steigen. Das führt dazu, dass auch der Ausrüstungsgrad der Fahrzeuge mit Sensorik ganz erheblich steigen wird. Hoch- oder vollautomatisierte Fahrzeuge werden mit einer Vielzahl unterschiedlicher Sensoren ausgestattet sein und so einen 360° Rundumblick insbesondere über Kamerasysteme ermöglichen.
Wesentlicher Teil der Fahraufgabe eines Fahrers ist es, den Fahrbahn¬ zustand und damit den zur Verfügung stehenden Reibbeiwert zwischen Reifen und Fahrbahn richtig einzuschätzen, um danach seinen Fahrstil entsprechend anzupassen. Zukünftig werden hoch- und vollautomatisierte Fahrzeuge die Fahraufgabe zumindest in Teilbereichen übernehmen. Dazu ist es unerlässlich, systemseitig den Straßenzustand richtig zu erfas¬ sen und einzuschätzen. DE 10 2004 018 088 AI zeigt ein Fahrbahnerkennungssystem mit einem Temperatursensor, einem Ultraschallsensor und einer Kamera. Die aus den Sensoren erhaltenen Temperatur-, Rauhigkeits- und Bilddaten (Fahrbahndaten) werden gefiltert und mit Referenzdaten verglichen und ein Sicherheitsgrad für den Vergleich wird generiert. Auf Basis des Ver¬ gleichs der gefilterten Fahrbahndaten mit den Referenzdaten wird der Zustand der Fahrbahnoberfläche ermittelt. Die Fahrbahnoberfläche (z.B. Beton, Asphalt, Schmutz, Gras, Sand oder Kies) und deren Zustand (z.B. trocken, vereist, verschneit, nass) kann auf diese Weise klassifiziert werden .
WO 2012/110030 A2 zeigt ein Verfahren und eine Vorrichtung zur Reib¬ wertschätzung mittels einer 3D-Kamera, z.B. einer Stereokamera. Mit der 3D-Kamera wird mindestens ein Bild von der Umgebung des Fahrzeugs aufgenommen. Aus den Bilddaten der 3D-Kamera wird im gesamten Fahrzeugvorfeld ein Höhenprofil der Straßenoberfläche erstellt. Aus dem Höhenprofil wird der zu erwartende lokale Reibbeiwert der Straßenober¬ fläche im Fahrzeugvorfeld geschätzt. Aus speziellen ermittelten Höhen¬ profilen kann im Einzelfall eine Klassifikation der Fahrbahnoberfläche z.B. als Schneedecke oder schlammiger Feldweg erfolgen.
WO 2013/117186 AI zeigt ein Verfahren und eine Vorrichtung zur Erkennung der Beschaffenheit einer Fahrbahnoberfläche mittels einer SD- Kamera. Mit der 3D-Kamera wird mindestens ein Bild von der vor dem Fahrzeug liegenden Umgebung aufgenommen. Aus den Bilddaten der SD- Kamera werden entlang einer Mehrzahl von Linien Höhenverläufe der Fahrbahnoberfläche quer zur Fahrtrichtung des Fahrzeugs ermittelt. Aus den ermittelten Höhenverläufen wird die Beschaffenheit der Fahrbahnoberfläche erkannt. Optional werden zusätzlich zu den ermittelten Höhenverläufen 2D-Bilddaten mindestens einer monokularen Kamera der 3D-Kamera ausgewertet werden, z.B. mittels einer Textur- bzw. Musteranalyse, und in die Erkennung der Beschaffenheit der Fahrbahnoberflä¬ che einfließen.
Die bekannten Verfahren stellen jedoch hohe Anforderungen an die erforderliche Sensorik. So sind bei den genannten Verfahren bzw. Vor- richtungen entweder ein Temperatur- und Ultraschallsensor zusätzlich zu einer Kamera erforderlich, oder die Kamera muss als 3D-Sensor ausgebildet sein, damit die Klassifikationsergebnisse hinreichend robust sind .
Aufgabe der vorliegenden Erfindung ist daher, eine Fahrbahnzustandsbe- stimmung mittels einer Kamera anzugeben, die bei Verwendung unterschiedlicher Fahrzeugkamerasystemkonfigurationen, beispielsweise auch nur eines Monokamerasystems , eine optimierte Fahrbahnzustandserkennung bzw. daraus abgeleitete Reibbeiwertschätzung ermöglicht.
Ein Hauptgedanke der Erfindung besteht darin, mittels eines Kamerasys¬ tems und einer Bildverarbeitung gezielt Indizien für das Vorliegen einer Fahrbahnauflage beim Überfahren der Fahrbahn durch ein Fahrzeug zu ermitteln. Eine Fahrbahnauflage ist z.B. Schnee, Regenwasser, Eis, Laub, Staub, also Medien/Gegenstände die flächig (Decke, Teppich) auf dem Fahrbahnbelag (Asphalt, Teer, Beton,...) aufliegen. Das flächige Aufliegen kann als Decke oder Teppich des Mediums bzw. der Gegenstände bezeichnet werden, dabei muss aber nicht die gesamte Fahrbahnoberflä¬ che bedeckt sein. Unterschiedliche Fahrbahnauflagen zeigen typischerweise unterschiedliche Verhaltensweisen, wenn sie von einem Fahrzeug überfahren werden. Einige davon können mit einer Kamera beobachtet bzw. detektiert und in einer anschließenden Bildauswertung erkannt bzw. identifiziert werden, woraus Rückschlüsse auf das Vorhandensein und die Art der Fahrbahnauflage gezogen werden können.
Ein erfindungsgemäßes Verfahren zur Bestimmung einer Fahrbahnauflage mittels eines Fahrzeugkamerasystems umfasst die folgenden Schritte: Mittels des Fahrzeugkamerasystems wird mindestens ein Bild einer Fahr¬ zeugumgebung aufgenommen. Das mindestens eine Bild wird ausgewertet, um Indizien für das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch das Fahrzeug mit dem Fahrzeugkamerasystem oder durch ein anderes Fahrzeug zu ermitteln. Die ermittelten Indizien werden bei der Bestimmung einer Fahrbahnauflage berücksichtigt. Das Er¬ gebnis der Bestimmung der Fahrbahnauflage kann vorzugsweise mit einer direkten Fahrbahnzustandserfassung durch eine Klassifikation oder ei- ne Anwendung eines neuronalen Netzes kombiniert und an eine Fahreras¬ sistenzfunktion, eine Fahrzeugsteuerungsfunktion oder auch als Information an den Fahrer ausgegeben werden. Fahrerassistenzfunktionen können insbesondere Kollisionswarnungen, Notbremsungen oder auch Notlenkungen umfassen, Fahrzeugsteuerungsfunktionen können insbesondere Insassenschutzmaßnahmen (Airbag-VorSteuerung, Bremsen-VorSteuerung, Gurtstraffer-Vorsteuerung) sowie (teil-) autonome Brems und/oder Lenkeingriffe umfassen. In einer bevorzugten Verwendung des erfindungsgemäßen Verfahrens werden die ermittelten Indizien bzw. das Ergebnis der Bestimmung der Fahrbahnauflage bei der Auslegung von Fahrerassistenzfunktionen, Fahrzeugsteuerungsfunktonen berücksichtigt.
Das Ergebnis der Bestimmung der Fahrbahnauflage kann insbesondere in eine Schätzung des Reibbeiwerts für den Fahrbahnbereich, der im Bild abgebildet ist, oder einen anderweitig ermittelten aktuellen oder vorausschauend ermittelten Reibbeiwert einfließen. Denn die Fahrbahnauf¬ lage hat einen wesentlichen Einfluss auf den tatsächlichen Reibbeiwert. Der Reibbeiwert, auch Reibwert, Kraftschlussbeiwert, (Haft-) Reibungszahl oder Reibungskoeffizient gibt an, welche Kraft bezogen auf die Radlast zwischen einer Fahrbahnoberfläche und einem Fahrzeug¬ reifen (z.B. in Tangentialrichtung) maximal übertragen werden kann und ist somit ein wesentliches Maß für die Fahrsicherheit. Neben dem Fahr¬ bahnzustand sind Eigenschaften des Reifens zu einer vollständigen Bestimmung des Reibwerts erforderlich.
Gemäß einer vorteilhaften Ausführungsform werden als Indizien Auswirkungen von Niederschlägen (beispielsweise Regen, Schnee, Hagel oder auch Nebel) im Bild, auf der Fahrbahn und auf den Fahrzeugen oder Fahrzeugscheiben bei der Bildauswertung ermittelt.
Art und Menge eines Niederschlags können bei der Bildauswertung be¬ stimmt werden. Die Detektionsrichtung des Kamerasystems kann hierbei vorteilhaft verknüpft werden mit der aktuellen Fahrzeugbewegungsrichtung. So kann beim Ermitteln von starkem Regenfall durch eine Frontkamera bei der Bildauswertung darauf geschlossen werden, dass die vorausliegende Fahrbahn nass sein wird. In einer bevorzugten Aus führungs form werden als Indizien Auswirkungen einer Fahrbahnauflage beim Überfahren durch mindestens einen Reifen eines Fahrzeugs bei der Bildauswertung ermittelt. Auswirkungen sind hierbei insbesondere Veränderungen der Fahrbahnoberfläche inklusive Fahrbahnauflage beim Überfahren durch ein Fahrzeug bzw. genauer beim Überfahren durch mindestens einen Reifen des Fahrzeugs.
Vorteilhaft wird mindestens ein Bereich in dem mindestens einen Bild bestimmt, dem Indizien für das Vorhandensein einer Fahrbahnauflage zu entnehmen sind. Das sind insbesondere Bildbereiche, die einen überfah¬ renden Fahrzeugreifen umfassen oder neben (seitlich oder dahinter) einem solchen liegen.
Bevorzugt wird der Bereich in dem mindestens einen Bild einem
Klassifikator zugeführt, der die ermittelten Indizien auf eine Menge von Klassen abbildet, die jeweils einer Fahrbahnauflage zugeordnet sind .
Gemäß einer vorteilhaften Ausführungsform weist das Fahrzeugkamerasystem einen rückwärtigen und/oder seitlichen Erfassungsbereich der Umgebung des eigenen Fahrzeugs auf. Das eigene Fahrzeug ist hierbei das, welches das Fahrzeugkamerasystem aufweist. Auf diese Weise können In¬ dizien für das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch das eigene Fahrzeug bei der Bildauswertung ermittelt werden. Vorteilhaft kann die Bildauswertung dabei auf einen festen Bildbereich beschränkt werden, in dem sich Auswirkungen einer vorhandenen Fahrbahnauflage typischerweise zeigen, also z.B. ein Bereich hinter einem Reifen oder am Heck des eigenen Fahrzeugs, den eine Rück- kamera abbildet oder einen Bereich neben einem Reifen des eigenen Fahrzeugs, den eine Seitenkamera abbildet.
Der Vorteil bei dieser Ausführungsform ist, dass man zur Bestimmung einer Fahrbahnauflage nicht auf im Erfassungsbereich des Fahrzeugkame¬ rasystems befindliche Fremdfahrzeuge angewiesen ist.
In einer bevorzugten Ausführungsform weist das Fahrzeugkamerasystem einen vor dem eigenen Fahrzeug liegenden Erfassungsbereich auf, so dass Indizien für das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch ein vorausfahrendes, querendes oder ein entgegenkommendes Fahrzeug bei der Bildauswertung ermittelt werden.
Dazu kann insbesondere die Bildauswertung dabei auf einen Bildbereich beschränkt werden, in dem das Heck und/oder die Seite eines vorausfahrenden Fahrzeugs oder die Fahrzeugfront und/oder die Seite eines ent¬ gegenkommenden Fahrzeugs abgebildet ist. Bevorzugt kann der relevante Bildbereich auf Basis der Reifenkontaktzonen mit der Fahrbahn im Bild bestimmt werden.
Ein Vorteil dieser Ausführungsform ist darin zu sehen, dass eine vorausschauende Bestimmung einer Fahrbahnauflage möglich ist.
Vorteilhaft umfassen die Indizien für das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn aufgewirbelte Bestandteile der Fahrzeugauflage. Dazu zählen insbesondere die Erkennung von Spritzwasser oder Spritzschneematsch, Sprühnebel oder Gischt,
Schneeverwirbelungen, Blätter sowie Sand oder Staub.
Gemäß einer bevorzugten Ausführungsform umfassen die Indizien für das Vorhandensein einer Fahrbahnauflage Sichtbehinderungen im Blickfeld des Fahrzeugkamerasystems aufgrund des Überfahrens der Fahrbahn durch ein vorausfahrendes, querendes oder ein entgegenkommendes Fahrzeug.
Bevorzugt umfassen die Indizien für das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch ein Fahrzeug Reifenfahrspuren in der Fahrbahnauflage. Reifenfahrspuren bilden sich bei speziellen Fahrbahnauflagen direkt hinter den Reifen eines fahrenden Fahrzeugs, teilweise kann z.B. bei einer Schneeauflage sogar der Abdruck des Reifenprofils innerhalb einer Reifenfahrspur erkannt werden.
In vorteilhafter Weise können bei der Bestimmung des Vorhandenseins einer Fahrbahnauflage neben den Indizien für das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch ein Fahrzeug zusätzlich typische generische Eigenschaften unterschiedlicher Fahrbahnauflagen ermittelt und berücksichtigt werden. Damit sind Eigenschaften gemeint, die für Fahrbahnauflagen charakteristisch sind und die aus einem Kamerabild auch ohne ein überfahrendes Fahrzeug erkannt werden können, z.B. Pfützen und Spiegelungen bei Regenwasser oder die Topolo- gie der Oberfläche. Insbesondere Frontscheinwerfer entgegenkommender Fahrzeuge werden bei regennasser oder vereister Fahrbahn stärker reflektiert als bei einer trockenen Fahrbahn.
Bevorzugt umfasst der Klassifikator ein neuronales Netz, das trainiert wurde, um die ermittelten Indizien einer Fahrbahnauflage zuordnen zu können. Das neuronale Netz kann insbesondere auch kontinuierlich lernen, Indizien einer Klasse von Fahrbahnauflagen zuzuordnen.
Gemäß einer vorteilhaften Weiterbildung der Erfindung wird das Ergebnis der Bestimmung der Fahrbahnauflage mit dem Ergebnis einer Fahr- bahnzustandserkennung oder -klassifikation kombiniert und daraus eine Reibwertschätzung vorgenommen. Die Fahrbahnzustandserkennung oder -klassifikation bestimmt insbesondere die materielle und geometrische Fahrbahnoberfläche z.B. rauer oder glatter Teer, Asphalt oder Beton ggfs. mit vorhandenen Spurrillen und kann insbesondere auf Bilddaten desselben Fahrzeugkamerasystems beruhen.
Ferner betrifft die Erfindung eine Vorrichtung zur Bestimmung einer Fahrbahnauflage umfassend ein Fahrzeugkamerasystem, eine Auswertungs¬ einheit, eine Bestimmungseinheit und eine Ausgabeeinheit. Das Fahr¬ zeugkamerasystem ist zur Aufnahme mindestens eines Bildes einer Fahr¬ zeugumgebung ausgebildet. Die Auswertungseinheit ist zur Auswertung des mindestens einen Bildes ausgebildet, um Indizien für das Vorhan¬ densein einer Fahrbahnauflage durch Niederschläge und/oder beim Überfahren der Fahrbahn durch ein Fahrzeug (E, F) zu ermitteln. Die Bestimmungseinheit ist ausgebildet zur Bestimmung einer Fahrbahnauflage unter Berücksichtigung der ermittelten Indizien. Die Ausgabeeinheit ist zur Ausgabe des von der Bestimmungseinheit ermittelten Ergebnisses eingerichtet. Auswertungs- , Bestimmungs- und Ausgabeeinheit können insbesondere Bestandteil des Steuergeräts des Fahrzeugkamerasystems oder anderer Fahrzeugsteuergeräte sein. Im Folgenden wird die Erfindung anhand von Figuren und Ausführungsbei¬ spielen näher erläutert.
Fig. 1 zeigt schematisch ein binarisiertes Kamerabild von einem Fahrzeugreifen beim Überfahren einer regennassen Fahrbahn.
Fig. 2 zeigt unterschiedliche Erfassungsbereiche eines komplexen Kame¬ rasystems eines Fahrzeugs .
In Fig. 1 ist eine schwarz-weiße Abbildung eines Kamerabilds von einem Fahrzeugreifen beim Überfahren einer regennassen Fahrbahn dargestellt. Der Fahrzeugreifen befindet sich auf einer Felge (weiß, kreisförmig) und das Fahrzeug bewegt sich nach rechts. Zu erkennen sind Wassertrop¬ fen und Wasserfäden (weiße Punkte und Fäden) , die beim Überfahren der mit Wasser bedeckten Fahrbahnoberfläche durch den Reifen verdrängt und beschleunigt werden. Beim Überfahren von nassen Straßen bildet sich nämlich Spritzwasser, ausgehend von den Fahrzeugreifen. Durch die hohe Flächenpressung verdrängt der Reifen das auf der Fahrbahn stehende Wasser zu allen Seiten. Besonders ausgeprägt ist die Erscheinung bei LKW, deren Reifen entsprechend höhere Flächenpressung haben mehr Wasser als PKW verdrängen müssen. Das Spritzwasser befindet sich hauptsächlich in Fahrtrichtung gesehen hinter und seitlich neben dem Fahrzeugreifen. Dort kann es von einer Fahrzeugkamera detektiert werden und von einer Bildverarbeitung als Spritzwasser erkannt werden, woraus auf eine Regenwasserschicht als Fahrbahnauflage geschlossen werden kann .
Beim Vorliegen von Schneematsch auf der Fahrbahn entsteht in vergleichbarer Weise Spritzschneematsch, der als solcher detektiert und erkannt werden kann.
Je nach Fahrbahnauflage, z.B. bei feuchter statt nasser Fahrbahn, und der Struktur des Fahrbahnbelags tritt beim Überfahren kein Spritzwas¬ ser sondern nur Sprühnebel oder Gischt oder beides auf. Auch das kann von einer Fahrzeugkamera detektiert werden und von einer Bildverarbei¬ tung als Sprühnebel oder Gischt erkannt werden.
Beim Überfahren von mit Neuschnee oder Pulverschnee bedeckten Straßen treten typische Schneeverwirbelungen auf, die sich an den Fahrzeugseiten und als Schneefahne am Fahrzeugheck ausbreiten. Auch andere Fahrbahnauflagen wie z.B. eine Blätterschicht oder eine Sandfläche auf einer befestigten Fahrbahn werden beim Überfahren aufgewirbelt und können mit einer Fahrzeugkamera detektiert und erkannt werden .
Zusätzlich können bei einigen Fahrbahnauflagen weitere Indizien im Ka merabild ermittelt und identifiziert werden, so bilden sich beim Über fahren von nassen oder schneebedeckten Fahrbahnen oder auch beim Über fahren von Schneematsch Reifenfahrspuren hinter einem fahrenden Fahrzeug, teilweise kann z.B. bei einer dünnen Schneeschicht sogar der Ab druck des Reifenprofils innerhalb einer Reifenfahrspur erkannt werden Darüber hinaus können auch Niederschläge in Form von Regen, Schnee oder Hagel und auch Nebel als Indizien für den Fahrbahnzustand im Ka¬ merabild detektiert werden.
Vorteilhaft werden also unterschiedliche aus Kamerabildern ermittelte Indizien für das Vorliegen einer Fahrbahnauflage bei der Klassifizie¬ rung der Art der Fahrbahnauflage berücksichtigt.
Die unterschiedlichen Klassen können grob unterteilt sein (keine Fahr bahnauflage/Wasser/Schnee) , aber auch feiner unterteilt sein (z.B. be Schnee: Pulverschnee bis 5mm Höhe, Pulverschnee > 5mm Höhe, Fester Schnee, Schneematsch) . Diese Unterteilung kann insbesondere in Abhängigkeit von einer Zuordnung der Klasse zu einem mittleren Reibbeiwert vorgenommen werden, bzw. der Änderung des zugeordneten mittleren Reib beiwerts beim Übergang von einer Unterklasse zu einer anderen.
Fig. 2 zeigt die Erfassungsbereiche (la-lf, 2, 3) eines in bzw. an ei nem ersten Fahrzeug (E) angeordneten Kamerasystems. In Fahrtrichtung vor dem ersten Fahrzeug (E) befindet sich seitlich versetzt ein zweites Fahrzeug (F) . Das Kamerasystem des ersten Fahrzeugs (E) umfasst drei unterschiedliche Kamerauntersysteme (1, 2 und 3) : ein Rundum¬ sichtsystem (1) umfassend sechs einzelne Kamerasensoren mit weitwinkligen Erfassungsbereichen (la-lf), die zusammen eine 360 ° -Erfassung des Fahrzeugs ermöglichen, eine Frontkamera mit einem nach vorne ge¬ richteten Erfassungsbereich (2) und eine Heckkamera mit einem nach hinten gerichteten Erfassungsbereich (3) .
Mit Kamerasensoren, die einen in Fahrtrichtung nach vorne gerichteten Erfassungsbereich (la, lb, 2) aufweisen, können Indizien für das Vor- handensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch vorausfahrende Fahrzeugen (F) oder durch entgegenkommende Fahrzeuge (nicht dargestellt) ermittelt werden.
Dies bietet den Vorteil einer vorausschauenden Fahrbahnauflagenermitt¬ lung. Bevorzugt kann als Frontkamera eine Stereokamera eingesetzt wer¬ den, wodurch eine räumliche Auflösung der erfassten Bilddaten erreicht wird. Objekte wie z.B. Spritzwassertropfen können hinsichtlich ihrer räumlichen Form und Ausdehnung analysiert werden, was die Klassifizie¬ rung einer vorhandenen Fahrbahnauflage verbessert.
Die Bildverarbeitung zur Ermittlung einer Fahrbahnauflage kann sich vorteilhaft auf einen oder mehrere Bereiche des Kamerabilds beschrän¬ ken, in dem sich eine Reifenkontaktzone der Fahrbahn befindet.
Bei einem vorausfahrenden Fahrzeug (F) kann ein Bildbereich ausgewertet werden, in dem sich das Fahrzeugheck des vorausfahrenden Fahrzeugs befindet .
Mit Kamerasensoren, die einen in Fahrtrichtung nach hinten oder zur Seite gerichteten Erfassungsbereich (3, le, lf; lc, ld) aufweisen, können Indizien für das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch die Reifen des eigenen Fahrzeugs (E) ermittelt werden.
Der Vorteil hierbei ist, dass man nicht auf voraus- oder spurversetzt fahrende Fremdfahrzeuge (F) angewiesen ist, sondern anhand der Detek- tion und Ermittlung der durch das eigene Fahrzeug (E) hervorgerufenen Auswirkungen anhand einer rückwärtig und/oder seitlich ausgerichteten Sensorik unabhängig von anderen Fahrzeugen (F) eine aktuell relevante Fahrbahnauflage ermitteln kann. Da Fahrzeuge in Zukunft zunehmend mit einer 360° Kamerasensorik ausgestattet werden, die einen Surround View erfasst, welcher dem Fahrer z.B. als „Top View" in einer Vogelperspektive angezeigt werden kann, ist so die zuverlässige Ermittlung einer Fahrbahnauflage realistisch.

Claims

Patentansprüche
1. Verfahren zur Bestimmung einer Fahrbahnauflage mittels eines Fahrzeugkamerasystems, wobei
- mindestens ein Bild einer Fahrzeugumgebung mittels des Fahrzeugkamerasystems aufgenommen wird,
- das mindestens eine Bild ausgewertet wird, um Indizien für das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch ein Fahrzeug (E, F) zu ermitteln,
- die ermittelten Indizien bei der Bestimmung einer Fahrbahnauflage berücksichtigt werden und
- das Ergebnis der Bestimmung der Fahrbahnauflage ausgegeben werden kann.
2. Verfahren nach Anspruch 1, wobei als Indizien Auswirkungen von Niederschlägen im Bild, auf der Fahrbahn und auf den Fahrzeugen oder Fahrzeugscheiben bei der Bildauswertung ermittelt werden.
3. Verfahren nach Anspruch 1 oder 2, wobei als Indizien Auswirkungen einer Fahrbahnauflage beim Überfahren durch mindestens einen Reifen eines Fahrzeugs (E, F) bei der Bildauswertung ermittelt werden .
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei mindestens ein Bereich in dem mindestens einen Bild bestimmt wird, dem Indizien für das Vorhandensein einer Fahrbahnauflage zu entnehmen sind.
5. Verfahren nach Anspruch 4, wobei der Bereich in dem mindestens einen Bild einem Klassifikator zugeführt wird, der die ermittel¬ ten Indizien auf eine Menge von Klassen abbildet, die jeweils einer Fahrbahnauflage zugeordnet sind.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Fahrzeugkamerasystem einen rückwärtigen (3, le, lf)
und/oderseitlichen (lc, ld) Erfassungsbereich der Umgebung des eigenen Fahrzeugs (E) aufweist, so dass Indizien für das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch das eigene Fahrzeug (E) bei der Bildauswertung ermittelt werden.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Fahrzeugkamerasystem einen vor dem eigenen Fahrzeug (E) liegenden Erfassungsbereich (2, la, lb) aufweist, so dass Indizien für das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch ein vorausfahrendes, querendes oder ein entgegenkommendes Fahrzeug (F) bei der Bildauswertung ermittelt werden.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Indizien für das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch ein Fahrzeug (E, F) aufgewirbelte Bestandteile der Fahrzeugauflage umfassen.
9. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Indizien für das Vorhandensein einer Fahrbahnauflage Sichtbehinde¬ rungen im Blickfeld des Fahrzeugkamerasystems aufgrund des Über¬ fahrens der Fahrbahn durch ein vorausfahrendes, querendes oder ein entgegenkommendes Fahrzeug (F) umfassen.
10. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Indizien für das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch ein Fahrzeug (E, F) Reifenfahrspuren in der Fahrbahnauflage umfassen.
11. Verfahren nach einem der vorhergehenden Ansprüche, wobei bei der Bestimmung des Vorhandenseins einer Fahrbahnauflage ne¬ ben den Indizien für Niederschläge und/oder das Vorhandensein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch ein Fahrzeug (E, F) zusätzlich typische generische Eigenschaften unterschiedlicher Fahrbahnauflagen ermittelt und berücksichtigt werden .
12. Verfahren nach einem der Ansprüche 5 bis 11, wobei der Klassifikator ein neuronales Netz umfasst, das trainiert wurde, um die ermittelten Indizien einer Fahrbahnauflage zuordnen zu können .
13. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Ergebnis der Bestimmung der Fahrbahnauflage mit dem Ergebnis einer Fahrbahnzustandserkennung oder -klassifikation kombiniert werden und daraus eine Reibwertschätzung vorgenommen wird.
14. Vorrichtung zur Bestimmung einer Fahrbahnauflage umfassend ein Fahrzeugkamerasystem, ausgebildet zur Aufnahme mindestens eines Bildes einer Fahrzeugumgebung
eine Auswertungseinheit, ausgebildet zur Auswertung des mindes¬ tens einen Bildes, um Indizien für Niederschläge, das Vorhanden¬ sein einer Fahrbahnauflage beim Überfahren der Fahrbahn durch ein Fahrzeug (E, F) zu ermitteln, einer Bestimmungseinheit, aus¬ gebildet zur Bestimmung einer Fahrbahnauflage unter Berücksichtigung der ermittelten Indizien und eine Ausgabeeinheit, die das ermittelt Ergebnis ausgibt.
EP14820736.8A 2013-11-15 2014-10-28 Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands mittels eines fahrzeugkamerasystems Withdrawn EP3069296A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013223367.1A DE102013223367A1 (de) 2013-11-15 2013-11-15 Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels eines Fahrzeugkamerasystems
PCT/DE2014/200601 WO2015070861A1 (de) 2013-11-15 2014-10-28 Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands mittels eines fahrzeugkamerasystems

Publications (1)

Publication Number Publication Date
EP3069296A1 true EP3069296A1 (de) 2016-09-21

Family

ID=52231781

Family Applications (1)

Application Number Title Priority Date Filing Date
EP14820736.8A Withdrawn EP3069296A1 (de) 2013-11-15 2014-10-28 Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands mittels eines fahrzeugkamerasystems

Country Status (5)

Country Link
US (1) US10289920B2 (de)
EP (1) EP3069296A1 (de)
JP (1) JP2017503715A (de)
DE (2) DE102013223367A1 (de)
WO (1) WO2015070861A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022211241A1 (de) 2022-10-24 2024-04-25 Continental Autonomous Mobility Germany GmbH Erkennen von Fahrbahnauflage auf einer Fahrbahn

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012112724A1 (de) 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Verfahren zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten
DE102012112725A1 (de) 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Reibwertschätzung aus Kamera- und Raddrehzahldaten
DE102013101639A1 (de) 2013-02-19 2014-09-04 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
US10328855B2 (en) 2015-03-18 2019-06-25 Uber Technologies, Inc. Methods and systems for providing alerts to a connected vehicle driver and/or a passenger via condition detection and wireless communications
US9610893B2 (en) * 2015-03-18 2017-04-04 Car1St Technologies, Llc Methods and systems for providing alerts to a driver of a vehicle via condition detection and wireless communications
US9928427B2 (en) * 2015-12-03 2018-03-27 GM Global Technology Operations LLC Vision-based wet road surface condition detection using tire rearward splash
US9836660B2 (en) * 2015-12-03 2017-12-05 GM Global Technology Operations LLC Vision-based wet road surface condition detection using tire tracks
US9972206B2 (en) * 2015-12-03 2018-05-15 GM Global Technology Operations LLC Wet road surface condition detection
US9971945B2 (en) * 2015-12-03 2018-05-15 GM Global Technology Operations LLC Vision-based wet road surface condition detection using tire side splash
DE102016223556B4 (de) 2015-12-09 2023-09-28 Ford Global Technologies, Llc Kraftfahrzeug mit Staubsensor und Verfahren zur Minderung von Staubaufwirbelung durch ein Kraftfahrzeug
DE102016205430A1 (de) * 2016-04-01 2017-10-05 Robert Bosch Gmbh Verfahren und Vorrichtung zur Reibwertbestimmung eines befahrbaren Untergrunds mittels eines Ego-Fahrzeugs
FR3049524B1 (fr) * 2016-04-05 2020-06-19 Valeo Vision Procede de commande d'affichage automatique d'un pictogramme representatif d'une chaussee glissante
DE102016210632A1 (de) 2016-06-15 2017-12-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Überprüfen eines Medienverlustes eines Kraftfahrzeuges sowie Kraftfahrzeug und System zum Ausführen eines solchen Verfahrens
US10082795B2 (en) * 2016-08-24 2018-09-25 GM Global Technology Operations LLC Vision-based on-board real-time estimation of water film thickness
US10078892B1 (en) 2017-03-16 2018-09-18 GM Global Technology Operations LLC Methods and systems for vehicle tire analysis using vehicle mounted cameras
DE102017206244A1 (de) * 2017-04-11 2018-10-11 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zur ermittlung eines fahrbahnzustands
DE102017112073A1 (de) * 2017-06-01 2018-12-06 Man Truck & Bus Ag Verfahren und Vorrichtung zur vorausschauenden Beurteilung einer Fahrbahn
US20190057272A1 (en) * 2017-08-18 2019-02-21 GM Global Technology Operations LLC Method of detecting a snow covered road surface
JP6664360B2 (ja) * 2017-09-08 2020-03-13 本田技研工業株式会社 判定装置および車両
DE102017216195A1 (de) * 2017-09-13 2019-03-14 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Untersuchung von Reifen
JP6592051B2 (ja) * 2017-09-25 2019-10-16 本田技研工業株式会社 車両制御装置
US10589742B2 (en) 2017-11-30 2020-03-17 Ford Global Technologies, Llc Vehicle snow level response
CN107977641A (zh) * 2017-12-14 2018-05-01 东软集团股份有限公司 一种智能识别地形的方法、装置、车载终端及车辆
WO2019166142A1 (en) * 2018-03-01 2019-09-06 Jaguar Land Rover Limited Methods and apparatus for acquisition and tracking, object classification and terrain inference
DE102018203807A1 (de) 2018-03-13 2019-09-19 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnzuständen und witterungsbedingten Umwelteinflüssen
US11206375B2 (en) 2018-03-28 2021-12-21 Gal Zuckerman Analyzing past events by utilizing imagery data captured by a plurality of on-road vehicles
CA3105853A1 (en) * 2018-07-06 2020-01-09 Eagle Aerospace Ltd. Adaptive braking and directional control system (abadcs)
US11138418B2 (en) 2018-08-06 2021-10-05 Gal Zuckerman Systems and methods for tracking persons by utilizing imagery data captured by on-road vehicles
DE102018127342B4 (de) 2018-11-01 2022-09-29 Mercedes-Benz Group AG Verfahren und Vorrichtung zum Betrieb eines Assistenzsystems eines Fahrzeuges
US11142209B2 (en) 2019-02-12 2021-10-12 Ford Global Technologies, Llc Vehicle road friction control
DE102019210935A1 (de) * 2019-07-24 2021-01-28 Zf Friedrichshafen Ag Erkennen und Bewerten einer Wasseransammlung auf einer Fahrbahn
US11124192B2 (en) 2019-08-13 2021-09-21 Ford Global Technologies, Llc Electrified vehicle configured to selectively increase energy recovery threshold based on friction prediction and corresponding method
DE102019130922A1 (de) * 2019-11-15 2021-05-20 Bayerische Motoren Werke Aktiengesellschaft System und Verfahren für ein Fahrzeug
EP3926523A1 (de) * 2020-06-19 2021-12-22 Toyota Jidosha Kabushiki Kaisha Oberflächenerkennungssystem
DE102020213428A1 (de) 2020-10-26 2022-04-28 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Assistenzsystems eines Kraftfahrzeugs, sowie Assistenzsystem
CN112380930B (zh) * 2020-10-30 2022-04-29 浙江预策科技有限公司 一种雨天识别方法和系统
US20220366786A1 (en) * 2021-05-03 2022-11-17 Here Global B.V. Method and apparatus for estimating lane pavement conditions based on street parking information

Family Cites Families (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH072448B2 (ja) 1986-01-13 1995-01-18 アイシン・エィ・ダブリュ株式会社 ４輪駆動の制御装置
GB8918303D0 (en) 1989-08-10 1989-09-20 Lucas Ind Plc Monitoring and predicting road vehicle/road surface conditions
JP3393654B2 (ja) 1991-12-25 2003-04-07 マツダ株式会社 車両のスリップ制御装置
JPH0735522A (ja) 1993-07-23 1995-02-07 Nippon Doro Kodan レーザーを利用した舗装路面横断プロフィル測定方法
US5586028A (en) 1993-12-07 1996-12-17 Honda Giken Kogyo Kabushiki Kaisha Road surface condition-detecting system and anti-lock brake system employing same
US5774821A (en) 1994-11-25 1998-06-30 Itt Automotive Europe Gmbh System for driving stability control
JPH08263784A (ja) 1995-03-23 1996-10-11 Honda Motor Co Ltd 道路状況認識装置
JPH08258588A (ja) 1995-03-27 1996-10-08 Mazda Motor Corp 車両における路面状態検出装置
US7085637B2 (en) * 1997-10-22 2006-08-01 Intelligent Technologies International, Inc. Method and system for controlling a vehicle
EP1383100A3 (de) 1996-08-28 2005-02-02 Matsushita Electric Industrial Co., Ltd. Lokales Positionierungsgerät und Verfahren dafür
JPH11211659A (ja) * 1998-01-23 1999-08-06 Nagoya Denki Kogyo Kk 路面状態判別方法およびその装置
JP3620628B2 (ja) * 1998-02-05 2005-02-16 オムロン株式会社 路面状態検出装置
DE19856510C2 (de) 1998-02-20 2002-10-24 Cegelec Anlagen Und Automatisi Verfahren und System zur Ermittlung von Unebenheiten und Schadstellen in der Oberfläche einer Verkehrsfläche
DE19854964A1 (de) 1998-11-29 2000-06-08 Martin Spies Sensor zur Fahrbahnbeurteilung
JP2001334921A (ja) 2000-05-30 2001-12-04 Fuji Heavy Ind Ltd 車両の路面摩擦係数推定装置
JP3271963B1 (ja) 2000-10-26 2002-04-08 富士重工業株式会社 車両の路面摩擦係数推定装置
JP3539722B2 (ja) 2000-11-16 2004-07-07 富士重工業株式会社 車両の路面摩擦係数推定装置
DE10060333A1 (de) 2000-12-04 2002-06-13 Daimler Chrysler Ag Vorrichtung zur Erkennung einer während des Fahrbetriebes eines Fahrzeuges auftretenden Aquaplaninggefahr
JP2002310896A (ja) 2001-04-19 2002-10-23 Mitsubishi Heavy Ind Ltd 路面状態判別装置及び路面状態判別方法
US20020176608A1 (en) 2001-05-23 2002-11-28 Rose David Walter Surface-profiling system and method therefor
DE10155488A1 (de) 2001-11-13 2003-05-28 Wilhelm Caspary Verfahren zur Erfassung der Oberfläche einer Fahrbahn
US6636258B2 (en) 2001-10-19 2003-10-21 Ford Global Technologies, Llc 360° vision system for a vehicle
EP2514640B1 (de) 2001-12-21 2015-08-05 Kabushiki Kaisha Bridgestone Verfahren und Vorrichtung zur Schätzung der Straßenbedingungen und des Reifenlaufzustands sowie ABS und Fahrzeugsteuerung damit
AU2003225228A1 (en) 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
AU2003263131A1 (en) 2002-08-09 2004-03-19 Automotive Distance Control Systems Gmbh Means of transport with a three-dimensional distance camera and method for the operation thereof
JP4046059B2 (ja) 2002-11-08 2008-02-13 株式会社豊田中央研究所 路面状態推定装置
DE10256726A1 (de) 2002-12-05 2004-06-24 Conti Temic Microelectronic Gmbh Verfahren zur fahrbahnabhängigen Signalgenerierung in einem Kraftfahrzeug
JP4165380B2 (ja) 2003-01-31 2008-10-15 株式会社豊田中央研究所 車両制御方法及び車両制御装置
US6807473B1 (en) * 2003-04-09 2004-10-19 Continental Teves, Inc. Road recognition system
JP2005028887A (ja) 2003-07-07 2005-02-03 Fuji Heavy Ind Ltd 路面摩擦係数推定装置および路面摩擦係数推定方法
JP4100336B2 (ja) * 2003-12-04 2008-06-11 日産自動車株式会社 画像処理装置
JP2005189983A (ja) * 2003-12-24 2005-07-14 Denso Corp 車両運転支援装置
US7417738B2 (en) 2004-01-27 2008-08-26 Tradewind Scientific Ltd. Determining surface properties of a roadway or runway from a moving vehicle
JP4453382B2 (ja) 2004-02-10 2010-04-21 トヨタ自動車株式会社 車両の走行制御装置
US7835854B2 (en) * 2004-02-20 2010-11-16 Sharp Kabushiki Kaisha Condition detection and display system, condition detection and display method, control program for condition detection and display system, and storage medium storing the control program
WO2005093657A1 (ja) 2004-03-29 2005-10-06 Pioneer Corporation 道路景観解析装置及び方法
DE102004016288B3 (de) 2004-04-02 2005-08-18 Daimlerchrysler Ag Verfahren zur Bestimmung eines Reibwerts
DE102004019337A1 (de) 2004-04-21 2005-11-17 Siemens Ag Assistenzsystem für Kraftfahrzeuge
JP4092308B2 (ja) 2004-06-02 2008-05-28 トヨタ自動車株式会社 境界線検出装置
DE102004055069B4 (de) 2004-07-15 2007-02-15 Daimlerchrysler Ag Mehrdimensionale Fahrbahnvermessung
DE102004047914A1 (de) 2004-09-29 2006-03-30 A.D.C. Automotive Distance Control Systems Gmbh Methode zur Einschätzung des Fahrbahnzustands
DE102004048637A1 (de) 2004-10-04 2006-04-06 Daimlerchrysler Ag 3D-Fahrbahnmessung mit redundanten Messdaten
JP4548196B2 (ja) 2005-04-21 2010-09-22 株式会社デンソー 車輪位置検出装置およびそれを備えたタイヤ空気圧検出装置
DE102005039167A1 (de) 2005-08-17 2007-02-22 Daimlerchrysler Ag Fahrerassistenzsystem zur Fahrerwarnung bei einem drohenden Verlassen der Fahrspur
DE102006012289A1 (de) 2006-03-17 2007-09-20 Man Nutzfahrzeuge Ag Verfahren zur vorausschauenden Erkennung der Reibwertänderung eines Straßenbelags
JP2007322231A (ja) * 2006-05-31 2007-12-13 Fujifilm Corp 路面状況検出装置
US7693629B2 (en) 2006-11-14 2010-04-06 Denso Corporation Onboard fog determining apparatus
US8306747B1 (en) 2007-01-19 2012-11-06 Starodub, Inc. Travel way measurement system
RU2009148504A (ru) 2007-06-08 2011-07-20 Теле Атлас Б.В. (NL) Способ и устройство для создания панорамы с множественными точками наблюдения
DE102008047750A1 (de) 2007-09-18 2009-05-07 Continental Teves Ag & Co. Ohg Bestimmung eines Kraftschlusses mit wenigen Sensoren
EP2048476B1 (de) * 2007-10-08 2013-12-11 Delphi Technologies, Inc. Fahrerunterstützungsverfahren
JP5011186B2 (ja) * 2008-03-27 2012-08-29 富士重工業株式会社 運転支援装置および運転支援システム
JP5089545B2 (ja) 2008-09-17 2012-12-05 日立オートモティブシステムズ株式会社 道路境界検出判断装置
FI124059B (fi) 2008-09-19 2014-02-28 Aalto Korkeakoulusaeaetioe Parannus ajoneuvojen ajonhallintajärjestelmiin
JP5436442B2 (ja) 2008-10-30 2014-03-05 株式会社ブリヂストン 路面状態推定方法
DE102009033219A1 (de) 2009-01-23 2010-07-29 Daimler Ag Verfahren zur Ermittlung eines Fahrzeug vorausliegenden Straßenprofils einer Fahrspur
JP5172764B2 (ja) 2009-03-30 2013-03-27 本田技研工業株式会社 路面摩擦係数推定装置
US8395529B2 (en) 2009-04-02 2013-03-12 GM Global Technology Operations LLC Traffic infrastructure indicator on head-up display
US8564657B2 (en) 2009-05-29 2013-10-22 Honda Research Institute Europe Gmbh Object motion detection system based on combining 3D warping techniques and a proper object motion detection
KR20120050451A (ko) 2009-07-17 2012-05-18 콘티넨탈 엔지니어링 서비시스 게엠베하 자동차들의 마찰 계수 분류를 위한 레이저-기반 방법
DE102009041566B4 (de) 2009-09-15 2022-01-20 Continental Teves Ag & Co. Ohg Verfahren zur Klassifizierung des Fahrbahnreibwerts
KR101089650B1 (ko) 2009-09-23 2011-12-06 삼성전기주식회사 차량 속도 제어 장치 및 방법
ES2884374T3 (es) * 2009-12-25 2021-12-10 Yamaha Motor Co Ltd Método de determinación de características de conductor
JP5325765B2 (ja) 2009-12-28 2013-10-23 日立オートモティブシステムズ株式会社 路肩検出装置及び路肩検出装置を用いた車両
US9092981B2 (en) 2010-03-03 2015-07-28 Panasonic Intellectual Property Management Co., Ltd. Road condition management system and road condition management method
DE102010011093A1 (de) 2010-03-11 2011-09-15 Daimler Ag Verfahren zur Bestimmung einer Fahrzeugaufbaubewegung
DE102010013339A1 (de) 2010-03-30 2011-01-05 Daimler Ag Vorrichtung und Verfahren zur Steuerung eines Motorlagers für ein Fahrzeug
JP2011254590A (ja) * 2010-05-31 2011-12-15 Nobuyoshi Muto 電気自動車およびプログラム
DE102010020688A1 (de) 2010-05-15 2011-05-19 Daimler Ag Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug
DE102010045162A1 (de) 2010-09-11 2012-03-15 Volkswagen Ag Schlaglochassistent mit Umfeldwahrnehmung
JP2012066785A (ja) 2010-09-27 2012-04-05 Fuji Heavy Ind Ltd 車両の統合制御装置
DE102010063017A1 (de) * 2010-12-14 2012-06-14 Robert Bosch Gmbh Verfahren in einem Fahrerassistenzsystem zur Erkennung von Nässe auf einer Fahrbahn
US8957949B2 (en) 2011-02-14 2015-02-17 Conti Temic Microelectronic Gmbh Estimation of coefficients of friction using a 3-D camera
DE102011011755A1 (de) 2011-02-18 2012-08-23 Conti Temic Microelectronic Gmbh Halbleiterschaltkreis und Verfahren in einem Sicherheitskonzept zum Einsatz in einem Kraftfahrzeug
WO2012117057A1 (de) 2011-03-01 2012-09-07 Continental Teves Ag & Co. Ohg Sicherheitsvorrichtung für ein kraftfahrzeug und verfahren zum betrieb eines kraftfahrzeugs
EP2681085B1 (de) 2011-03-01 2017-05-10 Continental Teves AG & Co. oHG Verfahren und vorrichtung zur prädiktion und adaption von bewegungstrajektorien von kraftfahrzeugen
WO2012120076A1 (de) 2011-03-09 2012-09-13 Continental Teves Ag & Co. Ohg Sicherheitsvorrichtung für ein kraftfahrzeug und verfahren zum betrieb eines kraftfahrzeugs
DE102011100907A1 (de) 2011-05-09 2012-01-12 Daimler Ag Vorrichtung und Verfahren zur Ermittlung eines Fahrbahnzustands
KR20130005107A (ko) * 2011-07-05 2013-01-15 현대자동차주식회사 차간거리 자동 가변 시스템 및 그 방법
DE112012002885B4 (de) 2011-07-08 2022-01-27 Bendix Commercial Vehicle Systems Llc Verfahren und Vorrichtung zur bildbasierten Fahrzeugerfassung und Entfernungsmessung
GB2492953A (en) * 2011-07-13 2013-01-23 Land Rover Uk Ltd Vehicle control system and method employing output from an imaging device
DE102011081362A1 (de) * 2011-08-23 2013-02-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ermittlung eines Oberflächenzustands einer von einem Fahrzeug befahrenen oder zu befahrenden Fahrbahn
DE102011056671A1 (de) 2011-12-20 2013-06-20 Conti Temic Microelectronic Gmbh Bestimmung eines Höhenprofils einer Fahrzeugumgebung mittels einer 3D-Kamera
DE102012201896A1 (de) * 2012-02-09 2013-08-14 Robert Bosch Gmbh Fahrerassistenzverfahren und Fahrerassistenzsystem für verschneite Straßen
DE102012101085A1 (de) 2012-02-10 2013-08-14 Conti Temic Microelectronic Gmbh Bestimmung einer Beschaffenheit einer Fahrbahnoberfläche mittels einer 3D-Kamera
JP2013213793A (ja) * 2012-04-04 2013-10-17 Toyota Motor Corp 路面状態推定装置およびその推定結果を利用する車両制御装置
WO2013173911A1 (en) 2012-05-23 2013-11-28 Omer Raqib Road surface condition classification method and system
DE102012221518A1 (de) 2012-11-26 2014-05-28 Robert Bosch Gmbh Verfahren zur Ermittlung der Straßenglätte in einem Fahrzeug
DE102012024874B4 (de) 2012-12-19 2014-07-10 Audi Ag Verfahren und Vorrichtung zum prädikativen Ermitteln eines Parameterwertes einer von einem Fahrzeug befahrbaren Oberfläche
DE102012112725A1 (de) 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Reibwertschätzung aus Kamera- und Raddrehzahldaten
DE102012112724A1 (de) 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Verfahren zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten
US8788146B1 (en) 2013-01-08 2014-07-22 Ford Global Technologies, Llc Adaptive active suspension system with road preview
DE102013002333A1 (de) 2013-02-12 2014-08-14 Continental Teves Ag & Co. Ohg Verfahren und Strahlensensormodul zur vorausschauenden Straßenzustandsbestimmung in einem Fahrzeug
DE102013101639A1 (de) 2013-02-19 2014-09-04 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
US9187099B2 (en) 2013-10-17 2015-11-17 Richard M. Powers Systems and methods for predicting weather performance for a vehicle
DE102013113431A1 (de) 2013-12-04 2015-06-11 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Bestimmen einer Aquaplaning-Gefahr
US9434388B2 (en) 2014-10-31 2016-09-06 GM Global Technology Operations LLC Surface estimation for vehicles
DE102016009928A1 (de) 2016-08-16 2017-02-02 Daimler Ag Verfahren zum Erfassen von Nässe auf einer Fahrbahn

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO2015070861A1 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022211241A1 (de) 2022-10-24 2024-04-25 Continental Autonomous Mobility Germany GmbH Erkennen von Fahrbahnauflage auf einer Fahrbahn

Also Published As

Publication number Publication date
US10289920B2 (en) 2019-05-14
JP2017503715A (ja) 2017-02-02
DE112014002376A5 (de) 2016-03-31
US20160379065A1 (en) 2016-12-29
WO2015070861A1 (de) 2015-05-21
DE102013223367A1 (de) 2015-05-21

Similar Documents

Publication Publication Date Title
WO2015070861A1 (de) Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands mittels eines fahrzeugkamerasystems
EP2675685B1 (de) Reibwertschätzung mittels einer 3d-kamera
DE102005044486B4 (de) Verfahren zur Detektion des Oberflächenzustands einer Fahrbahn, sowie Detektionssystem und Fahrerassistenzsystem zur Umsetzung des Verfahrens
WO2019174682A1 (de) Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnzuständen und witterungsbedingten umwelteinflüssen
DE102012101085A1 (de) Bestimmung einer Beschaffenheit einer Fahrbahnoberfläche mittels einer 3D-Kamera
DE102009041566B4 (de) Verfahren zur Klassifizierung des Fahrbahnreibwerts
DE102013112459B4 (de) Vorrichtung und Verfahren zum Beurteilen einer Wahrscheinlichkeit einer Kollision zwischen einem Fahrzeug und einem Ziel, Fahrzeugkollisionsvermeidungssystem, und Verfahren zum Vermeiden einer Kollision zwischen einem Fahrzeug und einem Ziel
WO2014094767A1 (de) Reibwertschätzung aus kamera- und raddrehzahldaten
DE102014201159A1 (de) Verfahren und Vorrichtung zum Klassifizieren eines Verhaltens eines Fußgängers beim Überqueren einer Fahrbahn eines Fahrzeugs sowie Personenschutzsystem eines Fahrzeugs
WO2014094766A1 (de) Verfahren zur bestimmung eines fahrbahnzustands aus umfeldsensordaten
DE102011056671A1 (de) Bestimmung eines Höhenprofils einer Fahrzeugumgebung mittels einer 3D-Kamera
DE102012201896A1 (de) Fahrerassistenzverfahren und Fahrerassistenzsystem für verschneite Straßen
WO2013083313A1 (de) Verfahren und vorrichtung zur erkennung einer bremssituation
DE102008020007A1 (de) Verfahren zum Unterstützen eines Fahrers beim Fahren mit einem Fahrzeug mit einer Fahrspurerkennung
DE102013013243A1 (de) Fahrerassistenzsystem und Betriebsverfahren für ein Fahrerassistenzsystem zur Fahrzeug-Längsregelung
DE102013013232A1 (de) Fahrerassistenzsystem und Betriebsverfahren für ein Fahrerassistenzsystem zur Fahrzeug-Längslenkung
DE102013013242A1 (de) Fahrerassistenzsystem und Betriebsverfahren für ein Fahrerassistenzsystem zur Fahrzeug-Längsregelung
DE102017223439A1 (de) Warnvorrichtung vor Gefahrensituationen für ein Kraftfahrzeug
WO2014090247A1 (de) Videobasierte erkennung von hindernissen auf einer fahrbahn
DE102013013233A1 (de) Fahrerassistenzsystem und Betriebsverfahren für ein Fahrerassistenzsystem zur Fahrzeug-Längsregelung
DE102016221591A1 (de) Verfahren und Vorrichtung zur Bewertung eines Fahrbahnzustands und Fahrerassistenzsystem
WO2013026599A1 (de) Verfahren und vorrichtung zum erkennen von störobjekten in der umgebungsluft eines fahrzeugs
DE102020005754B3 (de) Verfahren zum Betrieb eines automatisiert fahrenden Fahrzeugs
DE102019000434A1 (de) Hinderniserfassungsvorrichtung für ein Fahrzeug sowie Verfahren zum Ausweichen eines Hindernisses für ein Fahrzeug
DE102020131127A1 (de) Verfahren zum betreiben eines fahrzeugs, computerprogrammprodukt, steuervorrichtung und fahrzeug

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20160615

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: CONTINENTAL TEVES AG & CO. OHG

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20200420

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

18W Application withdrawn

Effective date: 20220411