DE102016215840A1

DE102016215840A1 - Method for detecting curbs in the vehicle environment

Info

Publication number: DE102016215840A1
Application number: DE102016215840.6A
Authority: DE
Inventors: Maciej Korzec; Hellward Broszio; Matthias Narroschke; Nikolaus Meine
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2016-08-23
Filing date: 2016-08-23
Publication date: 2018-03-01

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur Erfassung von in einer Fahrzeugumgebung angeordneten Hindernissen, insbesondere von Bordsteinen. Um bei der Erkennung und Höhenbestimmung von Hindernissen, insbesondere von Bordsteinen, einen größeren Genauigkeitsgrad zu erreichen, wird vorgeschlagen, dass mittels einer Kamera Bilder der Fahrzeugumgebung aufgenommen werden, in denen durch eine Auswerteeinheit gerade und/oder gekrümmte Linienkandidaten identifiziert werden, die durch Bildpunkte mit hohen Bildsignalgradienten gegeben sind, mittels eines Generators eine 3D-Punktewolke der Fahrzeugumgebung generiert wird, die Linienkandidaten vorzugsweise über Sichtlinien in die 3D-Punktewolke projiziert werden, die Teilmengen der Punkte der 3D-Punktewolke vor und hinter den Linienkandidaten zu jeweils einer Ebene gemittelt werden, die parallel zueinander ausgerichtet sind und durch eine Abstandsbestimmung der Ebenen überprüft wird, ob die Linienkandidaten eine Bordsteinkante mit einer entsprechenden Höhe darstellen.The present invention relates to a method for detecting obstacles arranged in a vehicle environment, in particular curbs. In order to achieve a greater degree of accuracy in the detection and height determination of obstacles, especially curbs, it is proposed that images of the vehicle environment are recorded by means of a camera in which straight and / or curved line candidates are identified by an evaluation unit given high image signal gradients are generated by means of a generator, a 3D point cloud of the vehicle environment, the line candidates are preferably projected via lines of sight in the 3D point cloud, the subsets of the points of the 3D point cloud before and after the line candidates are averaged to one level, which are aligned parallel to each other and is checked by a distance determination of the planes, whether the line candidates represent a curb with a corresponding height.

Description

Die Erfindung betrifft ein Verfahren zur Erfassung von in einer Fahrzeugumgebung angeordneten Hindernissen, insbesondere von Bordsteinen.The invention relates to a method for detecting obstacles arranged in a vehicle environment, in particular curbs.

In DE 10 2007 061 234 A1 wird ein Verfahren zum Anpassen der Führung eines Fahrzeugs an ein bestimmtes Höhenprofil beschrieben, womit z. B. bei automatischen Einparksystemen die Längsführung nach der Vermessung einer Parklücke durch eine geeignete Sensorik prädiktiv angepasst wird. Es wird jedoch nicht im Einzelnen beschrieben, wie ein solches Höhenprofil bestimmt werden kann.In DE 10 2007 061 234 A1 a method for adjusting the guidance of a vehicle to a certain height profile is described, which z. B. in automatic parking systems, the longitudinal guidance after the measurement of a parking space is adapted by a suitable sensor system predictive. However, it is not described in detail how such a height profile can be determined.

Die DE 10 2014 006 546 A1 beschreibt ein Fahrerassistenzsystem zur Ermittlung von im Fahrzeugumfeld befindlichen Bordsteinen und zur Ausgabe einer Warnung oder zur Durchführung eines Längs- oder Querführungseingriffs. Das Fahrerassistenzsystem weist wenigstens eine Kamera zur Aufnahme von Bildern des Fahrzeugumfeld und eine Steuerungseinrichtung zur Auswertung der Bilder zur Ermittlung eines etwaigen im Bild gezeigten Bordsteins auf. Der Steuerungseinrichtung ist ein Speicher mit darin hinterlegten, unterschiedlichen Bordsteintypen zeigenden Vergleichsbildern zugeordnet, wobei die Steuerungseinrichtung zum Klassifizieren eines in einem Bild ermittelten Bordsteins durch Vergleich des Bildes mit einem Vergleichsbild und zur Ausgabe der Warnung oder zur Durchführung des Eingriffs in Abhängigkeit des Klassifikationsergebnisses ausgebildet ist. Eine Höhenprofilbestimmung des Bordsteins wird nicht vorgenommen, vielmehr soll diese durch eine Abschätzung mit Vergleichsprofilen ersetzt werden. The DE 10 2014 006 546 A1 describes a driver assistance system for determining curbs located in the vehicle environment and for issuing a warning or for performing a longitudinal or transverse guidance engagement. The driver assistance system has at least one camera for recording images of the vehicle surroundings and a control device for evaluating the images for determining any curb shown in the image. The control device is associated with a memory having deposited therein, different curb types showing comparison images, wherein the control device is designed to classify a curb determined in an image by comparing the image with a comparison image and to issue the warning or to perform the intervention depending on the classification result. A height profile determination of the curb is not made, but this should be replaced by an estimate with comparison profiles.

Die DE 10 2011 056 671 A1 beschreibt ein Verfahren und eine Vorrichtung zur Bestimmung des Höhenprofils einer Fahrzeugumgebung mittels einer 3D-Kamera, mit der mindestens ein Bild von der Umgebung des Fahrzeugs aufgenommen wird. Aus den Bilddaten der 3D-Kamera soll ermittelt werden, ob mindestens ein Sprung im Höhenverlauf der Umgebungsoberfläche quer zur Fahrtrichtung des Fahrzeugs existiert. Dieses Verfahren ist jedoch lediglich auf die Detektion von links und rechts einer Fahrbahn liegenden Bordsteinen durch Ermittlung des Querschnittshöhenverlaufes beschränkt. Die Bordsteinkanten sollen mittels eines Algorithmus zur Kantenerkennung aus zweidimensionalen Bilddaten der 3D-Kamera bestimmt werden. The DE 10 2011 056 671 A1 describes a method and a device for determining the altitude profile of a vehicle environment by means of a 3D camera, with which at least one image is taken of the surroundings of the vehicle. It should be determined from the image data of the 3D camera whether at least one jump in the height profile of the surrounding surface exists transversely to the direction of travel of the vehicle. However, this method is limited only to the detection of left and right of a roadway curbs by determining the cross-sectional height profile. The curb edges are to be determined by means of an algorithm for edge detection from two-dimensional image data of the 3D camera.

Die DE 10 2011 014 699 A1 behandelt ein Verfahren zum Schutz eines Kraftfahrzeuges, insbesondere eines Kraftfahrzeugrades vor Beschädigungen, bei dem mittels wenigstens eines Sensors 3D-Daten wenigstens eines eine potentielle Gefährdung darstellenden Objektes in der Umgebung des Kraftfahrzeugs, insbesondere eine Randsteins, ermittelt und zur Ermittlung eines Gefährdungswertes ausgewertet werden sollen. Als Sensor dient eine ein zweidimensionales Bild wenigstens eines Teils der Umgebung des Kraftfahrzeugs liefernde Kamera, wobei zur Detektion des Objekts aus zwei von unterschiedlichen Position des Kraftfahrzeugs aufgenommenen Bildern mittels eines Motion-Stereo-Verfahrens die dreidimensionalen Positionsdaten des in den Bildern sichtbaren Objekts unter Berücksichtigung der Aufnahmeorte ermittelt werden. In einem konkreten Ausführungsbeispiel sollen die in einem Motion-Stereo-Verfahren zur Bestimmung der dreidimensionalen Positionsdaten parallel in einem weiteren Schritt auch zweidimensional ausgewertet werden. Als Ergebnis ergeben sich Polygonzüge, die genutzt werden können, um die dreidimensionalen Positionsdaten und/oder das Umfeldmodul zu plausibilisieren und/oder zu ergänzen. The DE 10 2011 014 699 A1 deals with a method for protecting a motor vehicle, in particular a motor vehicle wheel from damage, in which by means of at least one sensor 3D data of at least one object representing a potential hazard in the environment of the motor vehicle, in particular a curb stone to be determined and evaluated to determine a risk value. The sensor is a two-dimensional image of at least a portion of the environment of the motor vehicle delivering camera, wherein the three-dimensional position data of the object visible in the images taking into account the. For detecting the object from two images taken from different positions of the motor vehicle by means of a motion stereo method Recording locations are determined. In a concrete exemplary embodiment, in a motion stereo method for determining the three-dimensional position data, the two-dimensional data are to be evaluated in parallel in a further step in a further step. The result is polygons that can be used to validate and / or supplement the three-dimensional position data and / or the environment module.

Allerdings wird hierbei der Abstand eines Objekts zum Kraftfahrzeug bzw. zu einem Rad des Kraftfahrzeugs sowie eine Bestimmung der Höhe des Objektes in Bezug auf den Reifenaufstandspunkt verwendet. Etwaige von einer Ebene abweichende Fahrbahntopologien bleiben nachteiligerweise unberücksichtigt. However, in this case the distance of an object to the motor vehicle or to a wheel of the motor vehicle as well as a determination of the height of the object with respect to the tire contact point is used. Any off-lane topologies are disadvantageously excluded.

Es ist daher Aufgabe der vorliegenden Erfindung das eingangs genannte Verfahren dahingehend weiterzuentwickeln, dass ein größerer Genauigkeitsgrad bei der Erkennung und Höhenbestimmung von Hindernissen, insbesondere von Bordsteinen, erreicht wird. It is therefore an object of the present invention to further develop the method mentioned at the outset such that a greater degree of accuracy is achieved in the detection and height determination of obstacles, in particular curbs.

Zur Lösung dieser Aufgabe wird das Verfahren nach Anspruch 1 vorgeschlagen. Erfindungsgemäß werden mittels einer Kamera Bilder der Fahrzeugumgebung aufgenommen, in denen durch eine Auswerteeinheit gerade und/oder gekrümmte Linienkandidaten identifiziert werden, die durch Bildpunkte mit hohen Bildsignalgradienten gegeben sind. Mittels eines Generators wird parallel hierzu eine 3D-Punktewolke der Fahrzeugumgebung generiert. Die Linienkandidaten werden, vorzugsweise über Sichtlinien, in die 3D-Punktewolke projiziert. Die Teilmengen der Punkte der 3D-Punktewolke vor und hinter den Linienkandidaten werden zu jeweils einer Ebene gemittelt, die parallel zueinander ausgerichtet sind und durch eine Abstandsbestimmung der Ebenen wird überprüft, ob die Linienkandidaten eine Bordsteinkante mit einer entsprechenden Höhe darstellen.To solve this problem, the method of claim 1 is proposed. According to the invention, images of the vehicle surroundings are recorded by means of a camera in which straight and / or curved line candidates identified by pixels with high image signal gradients are identified by an evaluation unit. By means of a generator parallel to this a 3D point cloud of the vehicle environment is generated. The line candidates are projected into the 3D point cloud, preferably via line of sight. The subsets of the 3D point cloud points in front of and behind the line candidates are averaged into a plane aligned parallel to each other, and a distance determination of the planes checks to see if the line candidates are a curb with a corresponding height.

Der Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass gegenüber einem herkömmlichen, nur 3D-Bilder auswertenden Verfahren eine akkuratere Bordsteindetektion ermöglicht wird. Gegenüber einem rein texturbasierten Verfahren, das zwar eine exakte Lokalisierung der Bordsteinposition erlaubt, kann mit dem erfindungsgemäßen Verfahren auch die Bordsteinhöhe berücksichtigt werden. Beides, sowohl die Lage als auch die Höhe des Bordsteins sind jedoch beim Rangieren an Bordsteinen, wie beispielsweise beim Einparken, von wesentlicher Bedeutung, um eine Beschädigung der Felgen zu verhindern. Durch die zusätzliche Detektion von geraden und/oder gekrümmten Linien in den Bildern lassen sich vor und hinter den genannten Linien 3D-Informationen auswerten, um eine Ebenenschätzung durchzuführen. Bei der Detektion eines Höhensprungs an den Linienkandidaten ab einer relevanten Größenordnung, die typisch für Bordsteine ist, wird die exakte Bordsteinlage und Bordsteinhöhe angegeben. Die übrigen Linienkandidaten, bei denen kein Höhensprung erkannt wird, werden verworfen.The advantage of the method according to the invention is that, compared with a conventional method that only evaluates 3D images, a more accurate board detection is made possible. Compared to a purely texture-based method that allows an exact localization of the curb position, the curb height can also be taken into account with the method according to the invention become. However, both the location and the height of the curb are essential when maneuvering curbs, such as when parking, to prevent damage to the rims. By additionally detecting straight and / or curved lines in the images, 3D information can be evaluated in front of and behind the lines mentioned in order to perform a plane estimation. When detecting a height jump on the line candidate from a relevant order of magnitude, which is typical for curbs, the exact curb and curb height is specified. The remaining line candidates for which no height jump is detected are discarded.

Weitere vorteilhafte Ausgestaltungen des Verfahrens ergeben sich aus den Unteransprüchen. Further advantageous embodiments of the method will become apparent from the dependent claims.

Nach einer ersten bevorzugten Ausführungsform der Erfindung ist vorgesehen, dass zur Identifikation der Linienkandidaten ein Kantendetektionsfilter eingesetzt, der Bildpunkte mit hohen Bildsignalgradienten ermittelt und der vorzugsweise auf einem Sobel-Algorithmus basiert.According to a first preferred embodiment of the invention, it is provided that an edge detection filter is used to identify the line candidates, which determines pixels with high image signal gradients and which is preferably based on a Sobel algorithm.

Eine besondere laufzeitschonende Variante des Verfahrens ist gegeben, wenn die Bordsteinkanten als gerade Linien gegeben sind. Es sind allerdings auch gekrümmte Linien registrierbar und das erfindungsgemäße Verfahren lässt sich hierauf anwenden. In beiden Fällen wird mittels eines RANSAC-Verfahrens überprüft, ob eine Auswahl der ermittelten Bildpunkte auf einer geraden und/oder gekrümmten Linie liegen und eine Bordsteinkante darstellen können.A special time-saving variant of the method is given when the curbs are given as straight lines. However, curved lines can also be registered and the method according to the invention can be applied thereto. In both cases, it is checked by means of a RANSAC method whether a selection of the determined pixels lie on a straight and / or curved line and can represent a curb.

Prinzipiell lässt sich die 3D-Punktewolke mit unterschiedlichen Generatoren erzeugen. Nach einer besonders bevorzugten Ausführungsform der Erfindung wird die 3D-Punktewolke mittels der Kamera generiert, die bereits die Bilder der Fahrzeugumgebung zur Identifikation der Linienkandidaten erstellt hat. Innerhalb dieser Bilder werden charakteristische Punkte definiert, die auf Folgebildern wiederzufinden sind. Aufgrund der Verschiebung dieser charakteristischen Punkte in der Bilderfolge und der eigenen Bewegung des Fahrzeugs lässt sich mittels eines Structure-From-Motion-Verfahrens die 3D-Punktewolke der Fahrzeugumgebung erzeugen.In principle, the 3D point cloud can be generated with different generators. According to a particularly preferred embodiment of the invention, the 3D point cloud is generated by means of the camera, which has already created the images of the vehicle environment for the identification of the line candidates. Within these pictures characteristic points are defined, which can be found on subsequent pictures. Due to the shift of these characteristic points in the image sequence and the vehicle's own movement, the 3D point cloud of the vehicle environment can be generated by means of a structure-from-motion method.

Weitere Details der Erfindung werden im Folgenden anhand der Zeichnungen erläutert. Es zeigen: Further details of the invention are explained below with reference to the drawings. Show it:

1 eine Prinzipskizze eines Kraftfahrzeuges mit vier Kameras und deren Bildfeldern, 1 a schematic diagram of a motor vehicle with four cameras and their image fields,

2a, b Prinzipdarstellungen eines Bordsteins und 2a , b schematic representations of a curb and

3a, b–5 verschiedene Signalflussdiagramme. 3a , b- 5 different signal flow diagrams.

In der Prinzipskizze in 1 ist ein Fahrzeug 10 dargestellt, das vier Kameras 11, 12, 13 und 14 besitzt, welche Bilderfassungsbereiche 15 bis 18 abdecken, die sich teilweise überlappen. In the outline sketch in 1 is a vehicle 10 pictured, the four cameras 11 . 12 . 13 and 14 owns which image acquisition areas 15 to 18 cover, which partially overlap.

Um in der Fahrzeugumgebung etwaige Bordsteine zu lokalisieren werden zunächst in den Bildern Linienkandidaten identifiziert, die möglicherweise eine Bordsteinkante darstellen. In 2a ist eine perspektivische Darstellung eines Straßenabschnitts mit einem Bordstein 19 und einer Borsteinkante 20 gezeigt. Kanten sind insbesondere aufgrund von Schattenbereichen als Bereiche in den Bildern erkennbar, die hohe Helligkeitskontraste und mithin hohe Bildsignalgradienten besitzen. Im dargestellten Beispiel werden als Linienkandidaten die Bordsteinkanten 20 am Übergang zum Bordstein 19, die Kante 20‘ am Übergang zur Straße 23 und beispielsweise die Umrisse eines Gullydeckels 24 erkannt, die ebenfalls Bereiche mit hohen Bildsignalgradienten darstellen. In order to localize any curbs in the vehicle environment, first of all, in the images, line candidates are identified that possibly represent a curb. In 2a is a perspective view of a road section with a curb 19 and a brimstone edge 20 shown. Due to shadow areas, edges are recognizable as areas in the images which have high brightness contrasts and consequently high image signal gradients. In the example shown, the curbs become line candidates 20 at the transition to the curb 19 , the edge 20 'at the junction to the street 23 and for example the outlines of a manhole cover 24 detected, which are also areas with high Bildsignalgradienten.

Parallel hierzu werden die Bilder mittels eines Structure-From-Motion-Verfahrens analysiert und es wird eine 3D-Punktewolke (nicht gezeigt) generiert, die eine dreidimensionale Darstellung der Fahrzeugumgebung und insbesondere des betrachteten Bildbereichs darstellt. Die 3D-Punktewolke kann alternativ auch mit anderen Sensoren und durch andere Verfahren generiert werden. Parallel to this, the images are analyzed by means of a structure-from-motion method and a 3D point cloud (not shown) is generated, which represents a three-dimensional representation of the vehicle surroundings and in particular of the viewed image area. The 3D point cloud can alternatively also be generated with other sensors and by other methods.

Anschließend werden die Linienkandidaten in die 3D-Punktewolke projiziert, was vorzugsweise über sogenannte Sichtlinien erfolgt. Um zu überprüfen, ob die aufgefundenen Linienkandidaten Bordsteinkanten darstellen, werden die Teilmengen der Punkte der 3D-Punktewolke vor und hinter den Linienkandidaten zu jeweils einer Ebenen gemittelt, wobei die Randbedingung zu erfüllen ist, dass die Ebenen parallel zueinander ausgerichtet sind. Eine Höhenbestimmung der (möglichen) Kante erfolgt anschließend durch eine einfache Abstandsbestimmung der Ebenen. Im gezeigten Ausführungsbeispiel würde sich für die Bordsteinkante 19 ein Höhensprung ergeben, weil die Ebene der Punkte auf dem Bordstein und die Ebene der Punkte auf der Straße voneinander beabstandet sind, und die Kante wird als Bordsteinkante identifiziert. Bei den Linienkandidaten des Gullydeckels ist jedoch kein Höhensprung festzustellen, so dass diese Linienkandidaten zu verwerfen sind. Auf diese Weise lassen sich ressourcenschonend Bordsteinkanten identifizieren und lokalisieren, so dass die Position der Bordsteinkanten für einen Parkassistenten oder dergleichen verwendbar sind.Subsequently, the line candidates are projected into the 3D point cloud, which is preferably done via so-called visual lines. In order to check whether the found line candidates represent curbs, the subsets of the points in the 3D point cloud in front of and behind the line candidates are averaged into one plane, the boundary condition being that the planes are aligned parallel to one another. A height determination of the (possible) edge then takes place by a simple distance determination of the planes. In the embodiment shown would be for the curb 19 result in an elevation jump because the plane of the points on the curb and the plane of the points on the road are spaced apart, and the edge is identified as curbside. In the line candidate of the manhole cover, however, no height jump is observed, so these line candidates are to be discarded. In this way, curb edges can be identified and localized so as to save resources, so that the position of the curb edges can be used by a parking assistant or the like.

2b zeigt die Situation in einer Draufsicht und mit verschiedenen Punktescharren 21, 22, die auf der Straße und/oder auf dem Bordstein angeordnet sind und die in einer 3D-Darstellung der Punktewolke entsprechen. 2 B shows the situation in a top view and with different point rents 21 . 22 on the street and / or on the curb are arranged and correspond in a 3D representation of the point cloud.

Die , , und zeigen unterschiedliche Flussdiagramme des erfindungsgemäßen Verfahrens.The . . and show different flow diagrams of the method according to the invention.

3a zeigt ein Flussdiagramm, bei dem die 3D-Punktewolke mittels eines beliebigen Generators am Fahrzeug erzeugt wird. Die Kamera zur Aufnahme der Fahrzeugumgebung, in denen die Linienkandidatensuche erfolgt, ist eine hiervon getrennte Vorrichtung. 3a shows a flowchart in which the 3D point cloud is generated by means of any generator on the vehicle. The camera for capturing the vehicle environment in which the line candidate search is made is a separate device.

3b zeigt im Wesentlichen das gleiche Verfahren mit dem Unterschied, dass dort aus den Bildern der Kameravorrichtung nicht nur die Linienkandidaten identifiziert werden, sondern dass dieselben Bilder auch zur Erzeugung der 3D-Punktewolke mittels eines Structure-From-Motion-Verfahrens verwendet werden. 3b shows essentially the same method with the difference that not only the line candidates are identified from the images of the camera device, but that the same images are also used to generate the 3D point cloud by means of a structure-from-motion method.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1010: Kraftfahrzeug motor vehicle
11–1411-14: Kameras cameras
15–1815-18: Bilderfassungsbereiche Image capture areas
1919: Bordstein curbstone
20, 20‘20, 20 ': Bordsteinkanten curbs
21, 2221, 22: Punktescharen points droves
2323: Straße Street
2424: Gully gully

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102007061234 A1 [0002]
DE 102014006546 A1 [0003]
DE 102011056671 A1 [0004]
DE 102011014699 A1 [0005]

Claims

Method for detecting obstacles arranged in a vehicle environment, in particular curbs ( 19 ), characterized in that a) by means of a camera ( 11 . 12 . 13 . 14 ) Images of the vehicle environment are recorded, in which by an evaluation unit straight and / or curved line candidates are identified, which are given by pixels with high Bildsignalgradienten, b) a 3D point cloud of the vehicle environment is generated by means of a generator, c) the line candidate preferably via Projecting lines into the 3D point cloud, d) averaging the subsets of the 3D point cloud points before and after the line candidates into a plane aligned parallel to one another, and e) checking the distance of the line candidates a curb ( 20 . 20 ') with a corresponding height.

A method according to claim 1, characterized in that for the identification of the line candidates, an edge detection filter is used which determines pixels with high Bildsignalgradienten and which is preferably based on a Sobel algorithm.

A method according to claim 2, characterized in that it is checked by means of a RANSAC method, whether a selection of the determined pixels lie on a straight line and a curb ( 20 . 20 ').

Method according to one of claims 1 to 3, characterized in that the 3D point cloud by means of the camera ( 11 . 12 . 13 . 14 ) and a structure-from-motion method is generated.