DE102016005463A1 - Method and device for detecting and locating road bumps - Google Patents

Method and device for detecting and locating road bumps Download PDF

Info

Publication number
DE102016005463A1
DE102016005463A1 DE102016005463.8A DE102016005463A DE102016005463A1 DE 102016005463 A1 DE102016005463 A1 DE 102016005463A1 DE 102016005463 A DE102016005463 A DE 102016005463A DE 102016005463 A1 DE102016005463 A1 DE 102016005463A1
Authority
DE
Germany
Prior art keywords
vehicle
road
detected
camera
geographical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102016005463.8A
Other languages
German (de)
Inventor
Klaus Hermann
Guido Hertwig
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102016005463.8A priority Critical patent/DE102016005463A1/en
Publication of DE102016005463A1 publication Critical patent/DE102016005463A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Erkennung und Lokalisierung von Fahrbahnunebenheiten (U1 bis Un) in einer Fahrzeugumgebung, wobei die Fahrzeugumgebung mittels einer Kamera (2) erfasst wird. Erfindungsgemäß wird eine geografische Fahrzeugposition (FPOS) ermittelt, innerhalb zumindest eines mittels der Kamera (2) erfassten Bildes (B) wird zumindest eine Landmarke erfasst, die Lokalisierung zumindest einer Fahrbahnunebenheit (U1 bis Un) wird mittels der geografischen Fahrzeugposition (FPOS) und einer hinterlegten geografischen Position (LPOS) der erfassten Landmarke durchgeführt und die Erkennung zumindest einer Fahrbahnunebenheit (U1 bis Un) wird mittels eines Klassifikationsverfahrens durchgeführt, in welchem zumindest eine tatsächlich vorhandene Fahrbahnunebenheit (U1 bis Un) von Grauwertschwankungen und/oder Farbschwankungen im erfassten Bild (B) unterschieden wird. Die Erfindung betrifft weiterhin Vorrichtung (1) zur Erkennung und Lokalisierung von Fahrbahnunebenheiten (U1 bis Un) in einer Fahrzeugumgebung.The invention relates to a method for detecting and locating road bumps (U1 to Un) in a vehicle environment, wherein the vehicle surroundings are detected by means of a camera (2). According to the invention, a geographical vehicle position (FPOS) is determined, at least one landmark is detected within at least one image captured by the camera (2), the location of at least one unevenness of the road (U1 to Un) is determined by means of the geographical vehicle position (FPOS) and a The recorded geographical position (LPOS) of the detected landmark is carried out and the detection of at least one unevenness of the road (U1 to Un) is carried out by means of a classification method in which at least one actually existing unevenness in the road (U1 to Un) of gray scale fluctuations and / or color fluctuations in the captured image (B ) is distinguished. The invention further relates to device (1) for detecting and locating road bumps (U1 to Un) in a vehicle environment.

Description

Die Erfindung betrifft ein Verfahren zur Erkennung und Lokalisierung von Fahrbahnunebenheiten in einer Fahrzeugumgebung gemäß dem Oberbegriff des Anspruchs 1.The invention relates to a method for detecting and locating road bumps in a vehicle environment according to the preamble of claim 1.

Die Erfindung betrifft weiterhin eine Vorrichtung zur Erkennung und Lokalisierung von Fahrbahnunebenheiten in einer Fahrzeugumgebung gemäß dem Oberbegriff des Anspruchs 3.The invention further relates to a device for detecting and locating road bumps in a vehicle environment according to the preamble of claim 3.

Aus der DE 10 2010 011 093 A1 ist ein Verfahren zur Bestimmung einer Fahrzeugaufbaubewegung eines Fahrzeugaufbaus eines Fahrzeugs bekannt, wobei das Fahrzeug eine an diesem angeordnete Kamera aufweist. Mittels der Kamera werden fortlaufend Kamerabilder von Fahrzeugumgebungen aufgenommen und in zu verschiedenen Zeiten aufgenommenen Kamerabildern werden jeweils Bildpositionsdaten eines statischen Objektes und Fahrbahnabschnitte im Erfassungsbereich der Kamera ermittelt. Anhand einer zeitlichen Abfolge der ermittelten Bildpositionsdaten und einer Auswertung von Bildpositionsdaten von Fahrbahnabschnitten im Erfassungsbereich der Kamera wird ein Fahrbahnhöhenprofil ermittelt und die Fahrzeugaufbaubewegung wird bestimmt.From the DE 10 2010 011 093 A1 a method for determining a vehicle body movement of a vehicle body of a vehicle is known, wherein the vehicle has a camera arranged thereon. By means of the camera, camera images of vehicle surroundings are continuously recorded and image position data of a static object and roadway sections in the detection area of the camera are respectively determined in camera images taken at different times. Based on a time sequence of the determined image position data and an evaluation of image position data of road sections in the detection range of the camera, a roadway height profile is determined and the vehicle body movement is determined.

Weiterhin ist aus der DE 103 46 481 A1 ein Verfahren zur Rekonstruktion eines Profils von Strukturen auf Oberflächen bekannt, wobei mindestens zwei Bilder desselben Bereichs einer zu untersuchenden Oberfläche ausgewertet werden. Die Bilder werden aus nahezu vertikaler Perspektive aufgenommen und eine Beleuchtung erfolgt aus verschiedenen Richtungen unter flachem Winkel zur Oberfläche. Erhebungen oder Vertiefungen auf der Oberfläche zeigen auf den Bildern einen deutlichen Schattenwurf, dessen Lage mit der Lichteinstrahlung variiert. Geneigte Flächen sind durch hellere Reflexion identifizierbar. Mittels einer Analyse von Schattenkonturen und Umrisslinien heller Bereiche wird ein Höhenprofil einer Struktur auf der Oberfläche bestimmt.Furthermore, from the DE 103 46 481 A1 a method for reconstructing a profile of structures on surfaces, wherein at least two images of the same area of a surface to be examined are evaluated. The images are taken from a nearly vertical perspective and illumination is from different directions at a shallow angle to the surface. Elevations or depressions on the surface show a clear shadow in the pictures, whose position varies with the light irradiation. Sloped surfaces are identifiable by brighter reflection. By means of an analysis of shadow contours and outlines of bright areas, a height profile of a structure on the surface is determined.

Die DE 10 2013 009 082 A1 beschreibt ein Verfahren zum Betrieb eines Fahrzeugs, wobei in einem autonomen oder teilautonomen Betrieb des Fahrzeugs eine Längs- und/oder Quersteuerung in Abhängigkeit von Eigenschaften einer vor dem Fahrzeug befindlichen Fahrbahnoberfläche derart durchgeführt wird, dass Fahrbahnunebenheiten automatisch ausgewichen wird. Bei den Fahrbahnunebenheiten handelt es sich um Spurrillen, Schlaglöcher, Schlagkanten, Fugen, Schäden durch exzessive Befahrung mit Fahrzeugen großer Masse, andere Schäden sowie aus einem Niveau der Fahrbahnoberfläche herausragende oder unterhalb desselben befindliche Ausformungen, welche mittels einer Kamera erfasst werden. Ermittelte Informationen über die Fahrbahnoberfläche werden in einer digitalen Karte eines Speichers hinterlegt und bei einer erneuten Befahrung eines Streckenabschnitts berücksichtigt.The DE 10 2013 009 082 A1 describes a method for operating a vehicle, wherein in an autonomous or semi-autonomous operation of the vehicle, longitudinal and / or lateral control is carried out in dependence on properties of a road surface ahead of the vehicle such that road bumps are automatically dodged. The road bumps are ruts, potholes, impact edges, joints, damage caused by excessive traffic with large mass vehicles, other damage as well as from a level of the road surface protruding or below the same located formations, which are detected by a camera. Determined information about the road surface are stored in a digital map of a memory and taken into account when re-driving a section of track.

Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren und eine verbesserte Vorrichtung zur Erkennung und Lokalisierung von Fahrbahnunebenheiten anzugeben.The invention is based on the object to provide a comparison with the prior art improved method and an improved device for detecting and locating road bumps.

Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale und hinsichtlich der Vorrichtung durch die im Anspruch 3 angegebenen Merkmale gelöst.With regard to the method, the object is achieved by the features specified in claim 1 and in terms of the device by the features specified in claim 3.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous embodiments of the invention are the subject of the dependent claims.

In dem Verfahren zur Erkennung und Lokalisierung von Fahrbahnunebenheiten in einer Fahrzeugumgebung wird die Fahrzeugumgebung mittels einer Kamera, insbesondere einer Monokamera, erfasst.In the method for detecting and locating road bumps in a vehicle environment, the vehicle surroundings are detected by means of a camera, in particular a monocamera.

Erfindungsgemäß wird eine geografische Fahrzeugposition ermittelt und innerhalb zumindest eines mittels der Kamera erfassten Bildes wird zumindest eine Landmarke erfasst. Die Lokalisierung zumindest einer Fahrbahnunebenheit wird mittels der geografischen Fahrzeugposition und einer hinterlegten geografischen Position der erfassten Landmarke durchgeführt und die Erkennung zumindest einer Fahrbahnunebenheit wird mittels eines Klassifikationsverfahrens durchgeführt, in welchem zumindest eine tatsächlich vorhandene Fahrbahnunebenheit von Grauwertschwankungen und/oder Farbschwankungen im erfassten Bild unterschieden wird.According to the invention, a geographical vehicle position is determined and within at least one image acquired by the camera, at least one landmark is detected. The localization of at least one roadway unevenness is performed by means of the geographical vehicle position and a stored geographical position of the detected landmark, and the recognition of at least one uneveness of the road is carried out by means of a classification method in which at least one actually existing uneveness of the road is distinguished from gray scale fluctuations and / or color fluctuations in the acquired image.

Das Verfahren ermöglicht die Verwendung einer Monokamera zur Erkennung und Lokalisierung von Fahrbahnunebenheiten und ermöglicht somit gegenüber dem Stand der Technik, in welchem Stereo-Kameras zur Erkennung und Lokalisierung von Fahrbahnunebenheiten verwendet werden, eine signifikante Kostenersparnis. Dabei ist eine Zuverlässigkeit der Erkennung und Lokalisierung von Fahrbahnunebenheiten aufgrund der Berücksichtigung bekannter geografischer Positionen von Landmarken und des Klassifikationsverfahrens zur Unterscheidung vorhandener Fahrbahnunebenheiten von Grauwertschwankungen und/oder Farbschwankungen, beispielsweise aufgrund so genannter ”Fahrbahnflicken”, im erfassten Bild sehr hoch.The method enables the use of a monocamera to detect and localize road bumps, thus enabling significant cost savings over the prior art in which stereo cameras are used to detect and locate road bumps. In this case, a reliability of the recognition and localization of road bumps due to the consideration of known geographic positions of landmarks and the classification method for distinguishing existing road bumps from gray scale fluctuations and / or color variations, for example due to so-called "roadway patches" in the captured image is very high.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.Embodiments of the invention are explained in more detail below with reference to drawings.

Dabei zeigen:Showing:

1 schematisch ein Bild eines Ausschnitts einer Fahrzeugumgebung. 1 schematically an image of a section of a vehicle environment.

2 schematisch ein Blockschaltbild einer Vorrichtung zur Erkennung und Lokalisierung von Fahrbahnunebenheiten. 2 schematically a block diagram of a device for detecting and locating road bumps.

In 1 ist ein mittels einer fahrzeugeigenen Monokamera erfasstes Bild B einer Fahrzeugumgebung dargestellt, welches zumindest abschnittsweise eine Fahrbahnoberfläche mit einer Mehrzahl von Fahrbahnunebenheiten U1 bis Un zeigt. 2 zeigt ein Blockschaltbild eines möglichen Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung 1 zur Erkennung und Lokalisierung von Fahrbahnunebenheiten U1 bis Un.In 1 an image B of a vehicle environment detected by means of an in-vehicle monocamera is shown, which shows, at least in sections, a road surface with a plurality of unevenness in the road surface U1 to Un. 2 shows a block diagram of a possible embodiment of a device according to the invention 1 for detection and localization of road bumps U1 to Un.

Unter Fahrbahnunebenheiten U1 bis Un werden dabei vorliegend insbesondere Spurrillen, Schlaglöcher, Schlagkanten, Fugen, Schäden durch exzessive Befahrung mit Fahrzeugen großer Masse, andere Schäden sowie aus einem Niveau der Fahrbahnoberfläche herausragende oder unterhalb desselben befindliche Ausformungen verstanden.Under road bumps U1 to Un are present in particular ruts, potholes, impact edges, joints, damage caused by excessive driving with large mass vehicles, other damage as well as from a level of the road surface outstanding or located below the same formations.

Um einen für Fahrzeuginsassen komfortablen Betrieb eines Fahrzeugs zu ermöglichen, erfolgt in Abhängigkeit der Fahrbahnunebenheiten U1 bis Un eine Steuerung eines Betriebs des Fahrzeugs. Beispielsweise wird eine Steuerung eine Federungs- und/oder Dämpfungscharakteristik eines Fahrwerks in Abhängigkeit der Fahrbahnunebenheiten U1 bis Un durchgeführt. Auch ist es möglich, dass einem Fahrer bei Erkennen einer Fahrbahnunebenheit U1 bis Un, beispielsweise eines Schlagloches, eine optische, akustische und/oder haptische Warnung ausgegeben wird. Alternativ oder zusätzlich erfolgt in einem autonomen oder teilautonomen Betrieb des Fahrzeugs eine Längs- und/oder Quersteuerung in Abhängigkeit von Eigenschaften einer vor dem Fahrzeug befindlichen Fahrbahnoberfläche in der Art, dass den Fahrbahnunebenheiten U1 bis Un automatisch ausgewichen wird oder eine Fahrzeuggeschwindigkeit angepasst wird.In order to enable a vehicle occupant comfortable operation of a vehicle, takes place in dependence of the road bumps U1 to Un control of an operation of the vehicle. For example, a control is performed a suspension and / or damping characteristic of a chassis depending on the road bumps U1 to Un. It is also possible for a driver to be given a visual, acoustic and / or haptic warning when a roadway unevenness U1 to Un, for example a pothole, is detected. Alternatively or additionally, in an autonomous or semi-autonomous operation of the vehicle, a longitudinal and / or lateral control is effected as a function of characteristics of a road surface located in front of the vehicle in such a way that the road bumps U1 to Un are automatically dodged or a vehicle speed is adjusted.

Beispielsweise wird der Fahrer des Fahrzeugs bei Erkennen eines Schlagloches in Abhängigkeit von dessen Tiefe und Breite zunächst gewarnt. Bleibt eine Reaktion des Fahrers auf diese Warnung aus, werden oder wird beispielsweise eine (teil-)automatisierte Bremsung und/oder ein Ausweichmanöver initiiert.For example, the driver of the vehicle is first warned upon detection of a pothole depending on its depth and width. If the driver does not react to this warning, a (partially) automated braking and / or an evasive maneuver will be or will be initiated, for example.

Zu einer kostengünstigen und zuverlässigen Erfassung der Fahrbahnunebenheiten U1 bis Un umfasst die Vorrichtung 1 eine als Monokamera ausgebildete Kamera 2 und eine mit der Kamera 2 gekoppelte Auswerteeinheit 3, welche von der Kamera 2 erfasste Bilder B der Fahrzeugumgebung empfängt. Insbesondere handelt es sich bei der Kamera 2 um eine so genannte Frontkamera des Fahrzeugs, welche zusätzlich auch für andere Fahrzeuganwendungen verwendbar ist.For a cost-effective and reliable detection of the road bumps U1 to Un includes the device 1 a trained as a monocamera camera 2 and one with the camera 2 coupled evaluation unit 3 which from the camera 2 captured images B of the vehicle environment receives. In particular, it is the camera 2 around a so-called front camera of the vehicle, which is additionally usable for other vehicle applications.

Die Auswerteeinheit 3 ist weiterhin mit einer Positionsermittlungseinheit 4 zur Ermittlung einer geografischen Fahrzeugposition FPOS gekoppelt. Die Positionsermittlungseinheit 4 ist dabei beispielsweise zur Ermittlung der Fahrzeugposition FPOS mittels so genanntem differenziellem GPS ausgebildet.The evaluation unit 3 is still with a position detection unit 4 coupled to determine a geographic vehicle position FPOS. The position determination unit 4 is for example designed to determine the vehicle position FPOS by means of so-called differential GPS.

Die Auswerteeinheit 3 ist ausgebildet, innerhalb der empfangenen Bilder B vorhandene Landmarken zu erfassen. Unter Landmarken werden dabei vorliegend Objekte verstanden, deren geografische Position LPOS bekannt ist und welche mittels der Auswerteeinheit 3 innerhalb der Bilder B detektierbar sind. Eine jeweilige geografische Position LPOS der Landmarken ist dabei in einem zentralen und/oder lokalen Speicher 5 hinterlegt.The evaluation unit 3 is designed to detect existing landmarks within the received images B. In this case, landmarks are understood to be objects whose geographical position LPOS is known and which by means of the evaluation unit 3 within the images B are detectable. A respective geographical position LPOS of the landmarks is in a central and / or local memory 5 deposited.

Die Lokalisierung der Fahrbahnunebenheiten U1 bis Un führt die Auswerteeinheit 3 mittels der geografischen Fahrzeugposition FPOS und der hinterlegten geografischen Position LPOS der zumindest einen erfassten Landmarke durch, wobei eine geografische Position und/oder eine relative Position der jeweiligen Fahrbahnunebenheit U1 bis Un zum Fahrzeug ermittelt werden.The localization of the road bumps U1 to Un leads the evaluation unit 3 by means of the geographical vehicle position FPOS and the stored geographical position LPOS of the at least one detected landmark, wherein a geographical position and / or a relative position of the respective roadway unevenness U1 to Un to the vehicle are determined.

Zur Erkennung der Fahrbahnunebenheiten U1 bis Un führt die Auswerteeinheit 3 ein Klassifikationsverfahren aus, wobei in dem Klassifikationsverfahren tatsächlich vorhandene Fahrbahnunebenheiten U1 bis Un von Grauwertschwankungen und/oder Farbschwankungen im erfassten Bild B unterschieden werden.For detecting the road bumps U1 to Un performs the evaluation 3 a classification method, wherein in the classification process actually existing road bumps U1 to Un are distinguished from gray scale fluctuations and / or color variations in the captured image B.

Die Lokalisierung und Erkennung der Fahrbahnunebenheiten U1 bis Un erfolgt in einem möglichen Ausführungsbeispiel mittels eines so genannten ”Structure-from-Motion-Bildauswerteverfahrens”.The localization and detection of the road bumps U1 to Un is done in a possible embodiment by means of a so-called "structure-from-motion image evaluation".

Insbesondere wird ein Profil der Fahrbahnunebenheiten U1 bis Un unter Berücksichtigung eines vorhandenen Schattenwurfs an der jeweiligen Fahrbahnunebenheit U1 bis Un und einem Höhen-/Größenvergleich mit Höhen und/oder Größen bekannter Objekte in der Umgebung der jeweiligen Fahrbahnunebenheit U1 bis Un durchgeführt. Um den Schattenwurf von der Fahrbahnunebenheiten U1 bis Un von Teerflecken oder ähnlichen Strukturen, welche innerhalb der Bilder B als Grauwertschwankungen und/oder Farbschwankungen dargestellt sind, unterscheiden zu können, werden die erkannten schattenwerfenden Objekte/Fahrbahnunebenheiten U1 bis Un einem Klassifikator zugeführt, der zuvor mit ausreichend großen Datenmengen trainiert wurde. Je nach Wettersituation und Umgebungsbeleuchtung ergeben sich entsprechende Verläufe von Grauwerten und Farben. Eine Tiefe einer Fahrbahnunebenheit U1 bis Un, beispielsweise eines Schlaglochs, wird generell durch eine Höhe einer dunkelgrau bis schwarz im Bild B dargestellten Schlaglochkante bestimmt.In particular, a profile of the road bumps U1 to Un, taking into account an existing shadow on the respective road bumps U1 to Un and a height / size comparison with heights and / or sizes of known objects in the environment of the respective road bumps U1 to Un performed. In order to be able to distinguish the shadow from the unevenness of the road U1 to Un from tar stains or similar structures, which are shown within the images B as grayscale fluctuations and / or color variations, the detected shadow-throwing objects / road unevenness U1 to Un are fed to a classifier, which was previously identified with sufficiently large amounts of data has been trained. Depending on the weather situation and ambient lighting, corresponding gradients of gray values result and colors. A depth of a road surface unevenness U1 to Un, such as a pothole, is generally determined by a height of a pothole edge shown in dark gray to black in FIG.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Vorrichtungcontraption
22
Kameracamera
33
Auswerteeinheitevaluation
44
PositionsermittlungseinheitPosition determining unit
55
SpeicherStorage
BB
Bildimage
FPOSFPOS
Fahrzeugpositionvehicle position
LPOSLPOS
Positionposition
U1 bis UnU1 to Un
Fahrbahnunebenheitspeed bump

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102010011093 A1 [0003] DE 102010011093 A1 [0003]
  • DE 10346481 A1 [0004] DE 10346481 A1 [0004]
  • DE 102013009082 A1 [0005] DE 102013009082 A1 [0005]

Claims (3)

Verfahren zur Erkennung und Lokalisierung von Fahrbahnunebenheiten (U1 bis Un) in einer Fahrzeugumgebung, – wobei die Fahrzeugumgebung mittels einer Kamera (2) erfasst wird, dadurch gekennzeichnet, dass – eine geografische Fahrzeugposition (FPOS) ermittelt wird, – innerhalb zumindest eines mittels der Kamera (2) erfassten Bildes (B) zumindest eine Landmarke erfasst wird, – die Lokalisierung zumindest einer Fahrbahnunebenheit (U1 bis Un) mittels der geografischen Fahrzeugposition (FPOS) und einer hinterlegten geografischen Position (LPOS) der erfassten Landmarke durchgeführt wird und – die Erkennung zumindest einer Fahrbahnunebenheit (U1 bis Un) mittels eines Klassifikationsverfahrens durchgeführt wird, in welchem zumindest eine tatsächlich vorhandene Fahrbahnunebenheit (U1 bis Un) von Grauwertschwankungen und/oder Farbschwankungen im erfassten Bild (B) unterschieden wird.Method for detecting and locating road bumps (U1 to Un) in a vehicle environment, - the vehicle surroundings being detected by means of a camera ( 2 ) is detected, characterized in that - a geographical vehicle position (FPOS) is determined, - within at least one means of the camera ( 2 ) detected image (B) at least one landmark is detected, - the localization of at least one road bumpiness (U1 to Un) by means of the geographical vehicle position (FPOS) and a stored geographical position (LPOS) of the detected landmark is performed and - the detection of at least one road bump (U1 to Un) is carried out by means of a classification method, in which at least one actually existing road surface unevenness (U1 to Un) is distinguished from gray value fluctuations and / or color fluctuations in the captured image (B). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Lokalisierung der zumindest einen Fahrbahnunebenheit (U1 bis Un) eine geografische Position und/oder eine relative Position der Fahrbahnunebenheit (U1 bis Un) zum Fahrzeug ermittelt werden oder wird.A method according to claim 1, characterized in that for locating the at least one uneven road surface (U1 to Un) a geographical position and / or a relative position of the road surface unevenness (U1 to Un) is determined to the vehicle or is. Vorrichtung (1) zur Erkennung und Lokalisierung von Fahrbahnunebenheiten (U1 bis Un) in einer Fahrzeugumgebung, umfassend – zumindest eine Kamera (2) zur Erfassung einer Fahrzeugumgebung, dadurch gekennzeichnet, dass – die Kamera (2) eine Monokamera ist, – wobei die Kamera (2) mit einer Auswerteinheit (3) gekoppelt ist, mittels welcher zumindest eine innerhalb zumindest eines mittels der Kamera (2) erfassten Bildes (B) vorhandene Landmarke erfassbar ist, – wobei die Auswerteeinheit (3) mit einer Positionsermittlungseinheit (4) zur Ermittlung einer geografischen Fahrzeugposition (FPOS) gekoppelt ist, – wobei die Auswerteeinheit (3) zur Lokalisierung zumindest einer Fahrbahnunebenheit (U1 bis Un) mittels der geografischen Fahrzeugposition (FPOS) und einer hinterlegten geografischen Position (LPOS) der erfassten Landmarke und – zur Erkennung zumindest einer Fahrbahnunebenheit (U1 bis Un) mittels eines Klassifikationsverfahrens ausgebildet ist, wobei in dem Klassifikationsverfahren zumindest eine tatsächlich vorhandene Fahrbahnunebenheit (U1 bis Un) von Grauwertschwankungen und/oder Farbschwankungen im erfassten Bild (B) unterscheidbar ist.Contraption ( 1 ) for detecting and locating road bumps (U1 to Un) in a vehicle environment, comprising - at least one camera ( 2 ) for detecting a vehicle environment, characterized in that - the camera ( 2 ) is a monocamera, - the camera ( 2 ) with an evaluation unit ( 3 ) is coupled by means of which at least one within at least one by means of the camera ( 2 ) detected image (B) existing landmark is detected, - the evaluation unit ( 3 ) with a position determination unit ( 4 ) is coupled to determine a geographical vehicle position (FPOS), - wherein the evaluation unit ( 3 ) for locating at least one unevenness of the road surface (U1 to Un) by means of the geographical vehicle position (FPOS) and a stored geographical position (LPOS) of the detected landmark and - for detecting at least one unevenness of the road surface (U1 to Un) by means of a classification method, wherein in the Classification method at least one actually existing road bumpiness (U1 to Un) of gray scale fluctuations and / or color variations in the captured image (B) is distinguishable.
DE102016005463.8A 2016-05-03 2016-05-03 Method and device for detecting and locating road bumps Withdrawn DE102016005463A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102016005463.8A DE102016005463A1 (en) 2016-05-03 2016-05-03 Method and device for detecting and locating road bumps

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016005463.8A DE102016005463A1 (en) 2016-05-03 2016-05-03 Method and device for detecting and locating road bumps

Publications (1)

Publication Number Publication Date
DE102016005463A1 true DE102016005463A1 (en) 2016-11-17

Family

ID=57209071

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016005463.8A Withdrawn DE102016005463A1 (en) 2016-05-03 2016-05-03 Method and device for detecting and locating road bumps

Country Status (1)

Country Link
DE (1) DE102016005463A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016223391A1 (en) * 2016-11-25 2018-05-30 Conti Temic Microelectronic Gmbh METHOD AND DEVICE FOR PRODUCING A VEHICLE ENVIRONMENT VIEW ON A VEHICLE
DE102018001860A1 (en) 2018-03-08 2018-09-20 Daimler Ag Apparatus and method for predicting a road condition
US10902622B2 (en) 2016-10-20 2021-01-26 Conti Temic Microelectronic Gmbh Method and device for generating a view around a vehicle for a vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10346481A1 (en) 2003-10-02 2005-04-21 Daimler Chrysler Ag Three-dimensional reconstruction of surface profiles
DE102010011093A1 (en) 2010-03-11 2011-09-15 Daimler Ag Method for determining a vehicle body movement
DE102013009082A1 (en) 2013-05-29 2013-12-12 Daimler Ag Method for operating autonomous or semi-autonomous vehicle i.e. car, involves providing longitudinal and/or transverse control during autonomous or semi-autonomous operation of vehicle such that track unevenness is automatically avoided

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10346481A1 (en) 2003-10-02 2005-04-21 Daimler Chrysler Ag Three-dimensional reconstruction of surface profiles
DE102010011093A1 (en) 2010-03-11 2011-09-15 Daimler Ag Method for determining a vehicle body movement
DE102013009082A1 (en) 2013-05-29 2013-12-12 Daimler Ag Method for operating autonomous or semi-autonomous vehicle i.e. car, involves providing longitudinal and/or transverse control during autonomous or semi-autonomous operation of vehicle such that track unevenness is automatically avoided

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902622B2 (en) 2016-10-20 2021-01-26 Conti Temic Microelectronic Gmbh Method and device for generating a view around a vehicle for a vehicle
DE102016223391A1 (en) * 2016-11-25 2018-05-30 Conti Temic Microelectronic Gmbh METHOD AND DEVICE FOR PRODUCING A VEHICLE ENVIRONMENT VIEW ON A VEHICLE
US10937201B2 (en) 2016-11-25 2021-03-02 Conti Temic Microelectronic Gmbh Method and device for generating a vehicle environment view for a vehicle
DE102018001860A1 (en) 2018-03-08 2018-09-20 Daimler Ag Apparatus and method for predicting a road condition

Similar Documents

Publication Publication Date Title
DE102012101085A1 (en) Determining a condition of a road surface by means of a 3D camera
DE102011056671A1 (en) Determining a height profile of a vehicle environment using a 3D camera
DE102014014219A1 (en) Method for carrying out a parking operation of a vehicle
DE102015115012A1 (en) Method for generating an environment map of an environment of a motor vehicle based on an image of a camera, driver assistance system and motor vehicle
DE102016215840A1 (en) Method for detecting curbs in the vehicle environment
DE102015208590A1 (en) DEVICE FOR DETERMINING A ROUGH FOR A VEHICLE, CORRESPONDING METHOD AND VEHICLE
DE102016005463A1 (en) Method and device for detecting and locating road bumps
DE102019115673A1 (en) SYSTEM AND METHOD FOR DISPLAYING INFORMATION IN A VEHICLE
DE102016216205B4 (en) Navigation methods for self-driving vehicles
DE102011105074A1 (en) Method for determining visual range for vehicle, involves determining surrounding of vehicle by camera, where contrast dimensions are determined for object depicted in images, where visual range is determined from contrast dimensions
DE102017009594A1 (en) Method for detecting a water depth
DE102016215932A1 (en) Method and device for operating at least one partially or highly automated vehicle
DE102016009117A1 (en) Method for locating a vehicle
EP3688659A1 (en) Method for automatically identifying parking areas and/or non-parking areas
DE102018003784A1 (en) Method for determining a range of an environmental sensor for a vehicle
DE102019118106B4 (en) Method for determining a visibility
DE102010049214A1 (en) Method for determining lane course for vehicle for e.g. controlling lane assistance device, involves determining global surrounding data from fusion of lane course data with card data, and determining lane course of vehicle from global data
DE102017211887A1 (en) Method and device for locating and automated operation of a vehicle
DE102016011849A1 (en) Method for self-localization of a vehicle
DE102012018471A1 (en) Method for detecting e.g. lane markings of lane edge for motor car, involves performing classification in image region of individual images, which are detected by cameras, and in another image region of disparity images
DE102019207870A1 (en) Method for creating an environment map for use in the autonomous navigation of a mobile robot
WO2019057553A1 (en) Method and device for determining a highly precise position and for operating an automated vehicle
EP4445154A1 (en) Method for determining the speed and/or direction of motion of a vehicle
DE102015010441A1 (en) Method and camera-assisted lane-tracking system for a motor vehicle
DE102018202753A1 (en) Method for determining a distance between a motor vehicle and an object

Legal Events

Date Code Title Description
R230 Request for early publication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee