DE102012008030A1

DE102012008030A1 - Method for detecting road edge for vehicle, involves detecting road edge as a function of straight line which is designed depending on feature points

Info

Publication number: DE102012008030A1
Application number: DE102012008030A
Authority: DE
Inventors: Stefan Wonneberger; Daniel Mossau; Volker Schomerus; Dennis Rosebrock; Martin Stellmacher; Sönke Freter; Bastian Schmidt; Jens Lauer; Tobias Carsten Müller; Andy Schröder
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2011-09-24
Filing date: 2012-04-21
Publication date: 2013-03-28

Abstract

The method involves capturing an image in a direction of travel of the vehicle in front of or behind the vehicle. The image pixels are determined as the characteristic points. The difference of a derivative of the value of each pixel of first size to second size determined depending on values of pixels in neighborhood of feature point is greater than threshold value. The road edge (2) is detected as a function of a straight line which is designed depending on the feature points. An independent claim is included for device for detecting road edge for vehicle.

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung, um den Fahrbahnrand für ein Fahrzeug automatisch zu erfassen.The present invention relates to a method and apparatus for automatically detecting the roadway edge for a vehicle.

Die WO 2009/097918 A2 betrifft ein Fahrerassistenzverfahren, welches abhängig von einer Fahrstreifeninformation arbeitet, wobei eine Krümmung des Fahrstreifens bestimmt wird.The WO 2009/097918 A2 relates to a driver assistance method which operates in dependence on a lane information, wherein a curvature of the lane is determined.

Die US 2010/0238283 A1 beschreibt ein System, welches vor einer Abweichung von einer die Fahrbahn unterteilenden Linie warnt.The US 2010/0238283 A1 describes a system which warns of a deviation from a line dividing the roadway.

Die EP 1 803 622 A1 betrifft ein Verfahren für die Steuerung eines Fahrerassistenzsystems, welches auch für eine Fahrspurerkennung eingesetzt wird. Dabei wird ein Winkel zwischen der Tangente an die Fahrspur und der Längsachse des Fahrzeugs bestimmt.The EP 1 803 622 A1 relates to a method for controlling a driver assistance system, which is also used for lane detection. An angle between the tangent to the lane and the longitudinal axis of the vehicle is determined.

Die DE 10 2005 039 167 A1 beschreibt eine Fahrassistenzvorrichtung zur Warnung eines Fahrers vor einem drohenden Abkommen von einer Fahrbahn, wobei eine Fahrspurmarkierung in der Umgebung des Fahrzeugs erfasst wird.The DE 10 2005 039 167 A1 describes a driving assistance device for warning a driver of an imminent departure from a lane, wherein a lane marking is detected in the vicinity of the vehicle.

Nach dem Stand der Technik bekannte Verfahren zur Erkennung des Fahrbahnrandes bzw. der Fahrspur erkennen diesen Fahrbahnrand nur in wenigen, einfachen Situationen, wie beispielsweise der Fahrt auf einer Autobahn oder Schnellstraße mit klar gekennzeichneten Fahrbahnmarkierungen.Known according to the prior art method for detecting the edge of the lane or the lane recognize this lane edge only in a few simple situations, such as driving on a highway or expressway with clearly marked lane markings.

Daher stellt sich die vorliegende Erfindung die Aufgabe, den Fahrbahnrand auch in anderen Situationen, wie beispielsweise bei einer Fahrt innerhalb der Stadt, sicher erkennen zu können.Therefore, the present invention has the task of being able to reliably detect the edge of the lane in other situations, such as when driving within the city.

Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zur Erfassung eines Fahrbahnrandes nach Anspruch 1, durch eine Vorrichtung zur Erfassung eines Fahrbahnrandes nach Anspruch 12 und durch ein Fahrzeug nach Anspruch 15 gelöst. Die abhängigen Ansprüche definieren bevorzugte und vorteilhafte Ausführungsformen der vorliegenden Erfindung.According to the invention, this object is achieved by a method for detecting a roadway edge according to claim 1, by a device for detecting a roadway edge according to claim 12 and by a vehicle according to claim 15. The dependent claims define preferred and advantageous embodiments of the present invention.

Im Rahmen der vorliegenden Erfindung wird ein Verfahren zur Erfassung eines Fahrbahnrandes für ein Fahrzeug bereitgestellt. Dabei umfasst das Verfahren folgende Schritte:

– Erfassen eines Bildes bei einer Vorwärtsfahrt des Fahrzeugs in der Fahrtrichtung vor dem Fahrzeug und bei einer Rückwärtsfahrt des Fahrzeugs in der Fahrtrichtung hinter dem Fahrzeug. Dabei besitzt das Bild Bildpunkte, und jeder Bildpunkt weist zumindest einen Wert, beispielsweise einen Grauwert oder einen Farbwert (oder mehrere Farbwerte), auf.
– Es werden diejenigen Bildpunkte als Merkmalpunkte bestimmt, bei welchen die Differenz einer von dem Wert des jeweiligen Bildpunkts abgeleiteten ersten Größe zu einer zweiten Größe, welche abhängig von Werten von Bildpunkten in einer Umgebung des betrachteten Merkmalpunkts ermittelt wird, größer als ein parametrierbarer Schwellenwert ist. Mit anderen Worten ist ein Bildpunkt ein Merkmalpunkt, wenn sich die abhängig von dem Wert des Bildpunkts ermittelte erste Größe ausreichend stark von der zweiten Größe unterscheidet, welche abhängig von den Werten derjenigen Bildpunkte bestimmt wird, die in der Nachbarschaft des jeweils betrachteten Bildpunkts liegen.
– Eine Gerade wird abhängig von den vorher bestimmten Merkmalpunkten konstruiert. Beispielsweise kann die Gerade derart bestimmt werden, dass sie einen minimalen bzw. möglichst geringen Abstand zu den bestimmten Merkmalpunkten aufweist.
– Der Fahrbahnrand wird abhängig von der konstruierten Geraden erfasst. Beispielsweise kann der Fahrbahnrand von denjenigen Merkmalpunkten gebildet erden, welche einen Abstand von der Geraden aufweisen, welcher unterhalb eines vorbestimmten Abstandsschwellenwerts liegt.

In the context of the present invention, a method for detecting a roadway edge for a vehicle is provided. The process comprises the following steps:

- Capture an image when driving forward of the vehicle in the direction of travel in front of the vehicle and when reversing the vehicle in the direction of travel behind the vehicle. In this case, the image has pixels, and each pixel has at least one value, for example a gray value or a color value (or a plurality of color values).
The image points are determined as feature points at which the difference between a first quantity derived from the value of the respective pixel and a second quantity, which is determined as a function of values of pixels in an environment of the considered feature point, is greater than a parameterizable threshold value. In other words, a pixel is a feature point if the first quantity determined depending on the value of the pixel differs sufficiently from the second size which is determined depending on the values of those pixels which are in the neighborhood of the respective pixel under consideration.
- A straight line is constructed depending on the previously determined feature points. For example, the straight line can be determined such that it has a minimum or smallest possible distance to the specific feature points.
- The roadside is detected depending on the constructed straight line. For example, the roadway edge can be formed by those feature points which have a distance from the straight line which lies below a predetermined distance threshold value.

Indem die Merkmalpunkte als Bildpunkte definiert werden, welche sich ausreichend von den umgebenden Bildpunkten unterscheiden, ist das erfindungsgemäße Verfahren robust gegen Störungen, wie beispielsweise Fahrbahnverschmutzungen oder anderweitige Kennzeichen auf der Fahrbahn, so dass das erfindungsgemäße Verfahren auch auf Straßen innerhalb der Stadt einsetzbar ist.By defining the feature points as pixels that are sufficiently different from the surrounding pixels, the inventive method is robust against disturbances, such as road dirt or other markings on the road, so that the inventive method can also be used on roads within the city.

Gemäß einer bevorzugten erfindungsgemäßen Ausführungsform werden zur Bestimmung der Merkmalpunkte Profillinien konstruiert, welche parallel zueinander verlaufen und einen bestimmten Winkel zu der Fahrtrichtung des Fahrzeugs aufweisen. Dieser Winkel liegt in einem Bereich von 80° bis 100°, wobei 90° bevorzugt werden. Dabei wird ein Bildpunkt nur dann als Merkmalpunkt erfasst, wenn der Bildpunkt auf einer dieser Profillinien liegt. Insbesondere weisen zwei benachbarte Profillinien jeweils denselben vorbestimmten Abstand auf.According to a preferred embodiment of the invention profile lines are designed to determine the feature points, which are parallel to each other and have a certain angle to the direction of travel of the vehicle. This angle is in a range of 80 ° to 100 °, with 90 ° being preferred. In this case, a pixel is detected as a feature point only if the pixel on a this profile lines lies. In particular, two adjacent profile lines each have the same predetermined distance.

Durch den Einsatz der Profillinien wird die Menge der zu untersuchenden Bildpunkte vorteilhafterweise eingeschränkt. Da sich jede Profillinie im Wesentlichen senkrecht zur Fahrtrichtung des Fahrzeugs und damit auch im Wesentlichen senkrecht zum Fahrbahnrand erstreckt, definieren die Profillinien auch den Abstand der Merkmalpunkte auf dem zu erkennenden Fahrbahnrand. Mit anderen Worten sorgen die Profillinien dafür, dass die auf dem Fahrbahnrand zu erfassenden Merkmalpunkte verteilt entlang dem Fahrbahnrand mit dem vorbestimmten Abstand erfasst werden.By using the profile lines, the amount of pixels to be examined is advantageously restricted. Since each profile line extends substantially perpendicular to the direction of travel of the vehicle and thus also substantially perpendicular to the roadway edge, the profile lines also define the spacing of the feature points on the roadway edge to be recognized. In other words, the profile lines ensure that the feature points to be detected on the roadway edge are detected distributed along the roadway edge at the predetermined distance.

Die Werte der Bildpunkte, welche auf einer der Profillinien liegen, können dabei mittels einer Filterung ermittelt werden. Bei dieser Filterung wird der Wert eines Bildpunkts abhängig von den Werten derjenigen Bildpunkte bestimmt, welche sich innerhalb einer definierten Umgebung oder Nachbarschaft des jeweiligen Bildpunkts befinden. Dabei wird nur eine Teilmenge der Bildpunkte in der Umgebung ermittelt und der Wert des jeweiligen Bildpunkts auf den Mittelwert der Werte der Teilmenge dieser Bildpunkte gesetzt.The values of the pixels which lie on one of the profile lines can be determined by means of a filtering. In this filtering, the value of a pixel is determined depending on the values of those pixels that are within a defined environment or neighborhood of the pixel in question. In this case, only a subset of the pixels in the environment is determined and the value of the respective pixel is set to the mean of the values of the subset of these pixels.

Beispielsweise kann ein Fenster der Größe n·n (z. B. 17·17 oder 5·5) um den betrachteten Bildpunkt herum definiert werden, wobei der betrachtete Bildpunkt in der Mitte dieses Fensters liegt. Anschließend wird nur eine Teilmenge der innerhalb dieses Fensters liegenden Bildpunkte betrachtet. Beispielsweise können die Bildpunkte der Teilmenge so bestimmt werden, dass jeder Bildpunkt der Teilmenge einen vorbestimmten Mindestabstand von einem anderen Bildpunkt der Teilmenge aufweist, so dass sich die Bildpunkte der Teilmenge nur aus jedem zweiten, dritten bzw. m-ten Bildpunkt innerhalb des Fensters zusammensetzen. Der Mittelwert der Werte dieser Teilmenge und damit der Wert des jeweiligen Bildpunkts kann dann beispielsweise durch eine arithmetische Mittelwertbildung oder durch eine geometrische Mittelwertbildung oder durch die Bestimmung des Medians (was aktuell bevorzugt wird) bestimmt werden. Zur Bestimmung des Medians werden die Bildpunkte der Teilmenge nach ihrem Wert sortiert und der Wert desjenigen Bildpunkts, welcher nach dieser Sortierung der Mitte der sortierten Liste entspricht, als Mittelwert dem Wert des jeweiligen Bildpunkt zugewiesen.For example, a window of size n * n (eg, 17 * 17 or 5 * 5) may be defined around the pixel under consideration with the pixel under consideration at the center of that window. Subsequently, only a subset of the pixels lying within this window is considered. For example, the pixels of the subset may be determined such that each pixel of the subset has a predetermined minimum distance from another pixel of the subset so that the pixels of the subset are composed only of every second, third, and mth pixels within the window. The mean value of the values of this subset and thus the value of the respective pixel can then be determined, for example, by an arithmetic mean value formation or by a geometric averaging or by the determination of the median (which is currently preferred). To determine the median, the pixels of the subset are sorted according to their value, and the value of that pixel, which after this sorting corresponds to the center of the sorted list, is assigned as the mean value to the value of the respective pixel.

Durch diese so genannte ”Sparse-Median-Filterung” können schwache Strukturen, wie z. B. ein Kopfsteinpflaster, bereits vor der Bestimmung der Merkmalpunkte herausgefiltert werden.This so-called "sparse median filtering" weak structures such. As a cobblestone, be filtered out before the determination of the feature points.

Da sich die Strukturen der Fahrbahn im erfassten Bild mit einer größeren Entfernung von der Kamera verkleinern, kann auch die jeweilige Fenstergröße entsprechend angepasst werden. So kann für die unterste Profillinie, welche am dichtesten am Fahrzeug liegt, ein relativ großes Fenster (z. B. 17·17) verwendet werden, während für die oberste Profillinie, welche am weitesten vom Fahrzeug entfernt ist, beispielsweise nur ein Fenster mit einer kleinen Fenstergröße (z. B. 5·5) verwendet werden kann. Bei einer kleinen Fenstergröße sollte die Teilmenge der Bildpunkte der gesamten Menge der Bildpunkte entsprechen, so dass der Mittelwert abhängig von allen Werten der Bildpunkte innerhalb des Fensters bestimmt wird.Since the structures of the road in the captured image with a greater distance from the camera zoom out, and the respective window size can be adjusted accordingly. Thus, for the lowermost profile line, which is closest to the vehicle, a relatively large window (eg 17.times.17) can be used, while for the uppermost profile line which is farthest from the vehicle, for example only one window with one small window size (eg 5x5) can be used. For a small window size, the subset of pixels should be equal to the total set of pixels so that the average is determined depending on all values of the pixels within the window.

Gemäß einer bevorzugten erfindungsgemäßen Ausführungsform wird innerhalb des erfassten Bildes ein Freiraum definiert. Dieser Freiraum wird so in das Bild gelegt, dass er quasi einen von dem Fahrzeug demnächst zu befahrenden Bereich, d. h. einen Bereich in Fahrtrichtung direkt vor dem Fahrzeug (wenn das Fahrzeug vorwärts fährt), markiert. Daher liegt der zu erfassende Fahrbahnrand in Fahrtrichtung rechts (insbesondere bei Rechtsverkehr) oder links (insbesondere bei Linksverkehr) neben dem Freiraum. Nachdem eine Fenstergröße bestimmt worden ist, werden für jede Profillinie folgende Schritte durchgeführt:

– Bestimmen eines Maximums (einer maximalen Standardabweichung) innerhalb derjenigen Standardabweichungen, welche für die Bildpunkte der jeweiligen Profillinie innerhalb des Freiraums bestimmt worden sind. Beispielsweise kann für jeden Bildpunkt, welcher sich auf der jeweiligen Profillinie befindet und innerhalb des Freiraums liegt, die Standardabweichung bestimmt werden, wobei dann die maximale Standardabweichung das Maximum innerhalb der derart bestimmten Standardabweichungen darstellt.
– Derjenige Bildpunkt der jeweiligen Profillinie wird als Merkmalpunkt bestimmt, welcher am dichtesten an dem Freiraum liegt und für welchen seine Standardabweichung größer als ein Produkt aus der vorab bestimmten maximalen Standardabweichung im Freiraum und einem vorbestimmten Faktor ist. Dabei liegt der Faktor in einem Bereich von 1,5 bis 3,5.

According to a preferred embodiment of the invention, a free space is defined within the captured image. This free space is placed in the image so that it virtually marks an area to be traveled by the vehicle, ie an area in the direction of travel directly in front of the vehicle (when the vehicle drives forward). Therefore, the edge of the lane to be detected lies in the direction of travel on the right (in particular for right-hand traffic) or on the left (in particular for left-hand traffic) next to the free space. After a window size has been determined, the following steps are performed for each profile line:

- Determining a maximum (a maximum standard deviation) within those standard deviations that have been determined for the pixels of the respective profile line within the free space. For example, for each pixel which is located on the respective profile line and lies within the free space, the standard deviation can be determined, in which case the maximum standard deviation represents the maximum within the thus determined standard deviations.
- The pixel of the respective profile line is determined as a feature point which is closest to the free space and for which its standard deviation is greater than a product of the predetermined maximum standard deviation in the free space and a predetermined factor. The factor is in a range of 1.5 to 3.5.

Zur Bestimmung der Standardabweichung eines bestimmten Bildpunkts wird ein Fenster, dessen Fenstergröße abhängig von der jeweiligen Profillinie ist (siehe oben), bestimmt. Der bestimmte Bildpunkt liegt dabei in der Mitte dieses Fensters. Anschließend wird die Standardabweichung der Werte der Bildpunkte innerhalb dieses Fensters bestimmt und entspricht der Standardabweichung des bestimmten Bildpunkts. Das Fenster kann dabei derart beschaffen sein, dass nur Bildpunkte derselben Profillinie innerhalb des Fensters liegen.To determine the standard deviation of a specific pixel, a window is determined whose window size depends on the respective profile line (see above). The specific pixel lies in the middle of this window. Subsequently, the standard deviation of the values of the pixels within this window is determined and corresponds to the standard deviation of the particular pixel. The window can be such that only pixels of the same profile line are within the window.

Durch die Definition des Freiraums wird vorteilhafterweise derjenige Bereich, in welchem Merkmalpunkte erfasst werden, entsprechend eingeschränkt. Due to the definition of the free space, the area in which feature points are detected is advantageously restricted accordingly.

Die Lage des Freiraums kann (innerhalb bestimmter Grenzen) so angepasst werden, dass der Freiraum stets einen Abstand zum Fahrbahnrand aufweist, welcher in bestimmten Grenzen liegt, so dass der Fahrbahnrand auch in den folgenden Bildern korrekt erfasst werden kann. Ohne eine solche Anpassung könnten schon leichte Lenkbewegungen oder leichte Kurven dazu führen, dass der Freiraum den Fahrbahnrand einschließt oder der Abstand zwischen dem Freiraum und dem Fahrbahnrand zu groß wird, was das Risiko von Fehlerkennungen des Fahrbahnrandes erhöht. The position of the free space can be adjusted (within certain limits) so that the free space always has a distance to the roadway edge, which is within certain limits, so that the roadway edge can be detected correctly in the following images. Without such an adjustment, even slight steering movements or slight curves could cause the clearance to include the roadway edge or the distance between the clearance and the roadway edge to become too large, increasing the risk of misjudgment of the roadway edge.

Zusätzlich zu dem pro Profillinie erfassten Merkmalpunkt können pro Profillinie weitere Merkmalpunkte bestimmt werden. Dazu kann in ähnlicher Weise wie der Merkmalpunkt ein Bildpunkt der jeweiligen Profillinie als erster weiterer Merkmalpunkt bestimmt werden, wenn er jede der folgenden Bedingungen erfüllt:

– Der Bildpunkt weist eine Standardabweichung auf, welche größer als ein Produkt aus der maximalen Standardabweichung und einem ersten Faktor ist. Dabei liegt der erste Faktor in einem Bereich von 1,0 bis 2,5.
– Der Bildpunkt liegt zwischen dem Freiraum und dem bereits bestimmten Merkmalpunkt.
– Der Bildpunkt weist einen vorbestimmten Mindestabstand (gemessen in Bildpunkten und abhängig von der jeweiligen Profillinie) von dem bereits bestimmten Merkmalpunkt auf.

In addition to the characteristic point recorded per profile line, further feature points can be determined per profile line. For this purpose, in a manner similar to the feature point, a pixel of the respective profile line can be determined as the first further feature point if it fulfills each of the following conditions:

The pixel has a standard deviation which is greater than a product of the maximum standard deviation and a first factor. The first factor is in a range of 1.0 to 2.5.
- The pixel is between the free space and the already determined feature point.
- The pixel has a predetermined minimum distance (measured in pixels and depending on the respective profile line) on the already determined feature point.

In ähnlicher Weise kann ein zweiter weiterer Merkmalpunkt bestimmt werden, wenn dieser Merkmalpunkt jeder der folgenden Bedingungen genügt:

– Der Bildpunkt weist eine Standardabweichung auf, welche größer als ein Produkt aus der maximalen Standardabweichung und einem zweiten Faktor ist. Dabei liegt der zweite Faktor in einem Bereich von 2,5 bis 4,5.
– Der Bildpunkt weist einen größeren Abstand von dem Freiraum auf als der bereits bestimmte Merkmalpunkt.
– Der Bildpunkt weist einen vorbestimmten Mindestabstand (gemessen in Bildpunkten und abhängig von der jeweiligen Profillinie) von dem bereits bestimmten Merkmalpunkt auf.

Similarly, a second further feature point may be determined if that feature point satisfies any of the following conditions:

The pixel has a standard deviation that is greater than a product of the maximum standard deviation and a second factor. The second factor is in a range of 2.5 to 4.5.
- The pixel has a greater distance from the free space than the already determined feature point.
- The pixel has a predetermined minimum distance (measured in pixels and depending on the respective profile line) on the already determined feature point.

Vorteilhafterweise gilt, dass der erste Faktor kleiner als der Faktor und dass der Faktor kleiner als der zweite Faktor ist. Durch das Produkt des ersten Faktors bzw. Faktors bzw. zweiten Faktors mit der maximalen Standardabweichung ergeben sich dynamische Schwellenwerte, welche automatisch an die jeweiligen Texturbedingungen der Straße, d. h. an das erfasste Bild, angepasst sind. In den meisten Fällen wird der Merkmalpunkt, welcher mit dem Faktor bestimmt wird, derjenige Bildpunkt sein, welcher den zu erfassenden Fahrbahnrand markiert. Zusätzlich werden allerdings vorteilhafterweise auf beiden Seiten dieses Merkmalpunkts entlang der jeweiligen Profillinie jeweils noch ein Merkmalpunkt (d. h. der erste bzw. zweite weitere Merkmalpunkt) erzeugt, damit der zu erfassenden Fahrbahnrand mit einer höheren Wahrscheinlichkeit mit einem der bestimmten Merkmalpunkte zusammenfällt. Dadurch ist das erfindungsgemäße Verfahren in der Lage, den Fahrbahnrand auch dann sicher zu erfassen, wenn am Straßenrand aufgrund von Leitplanken, Schildern, abgestellten Fahrzeugen, Zäunen, Bäumen, usw. starke Kanten im erfassten Bild vorhanden sind.Advantageously, the first factor is smaller than the factor and the factor is smaller than the second factor. The product of the first factor or second factor with the maximum standard deviation results in dynamic threshold values which are automatically adapted to the respective texture conditions of the road, i. H. to the captured image, are adapted. In most cases, the feature point which is determined by the factor will be that pixel which marks the roadway edge to be detected. In addition, however, in each case one feature point (i.e., the first or second further feature point) is advantageously generated on both sides of this feature point along the respective profile line so that the roadway edge to be detected coincides with a higher probability with one of the determined feature points. As a result, the method according to the invention is able to reliably detect the edge of the lane even if there are strong edges in the captured image on the roadside due to crash barriers, signs, parked vehicles, fences, trees, etc.

Gemäß einer weiteren erfindungsgemäßen Ausführungsform werden folgende Schritte für jede Profillinie durchgeführt:

– für jeden Bildpunkt der jeweiligen Profillinie, welcher sich entweder innerhalb des Freiraums oder rechts (insbesondere bei Rechtsverkehr) bzw. links (insbesondere bei Linksverkehr) neben dem Freiraum befindet, wird ein Vektor bestimmt. Dabei werden die drei Komponenten jedes Vektors wie folgt berechnet:
– Die erste Komponente des Vektors des betrachteten Bildpunkts der jeweiligen Profillinie entspricht dem Wert desjenigen ersten Bildpunkts, welcher sich eine vorbestimmte Anzahl von Bildpunkten vor dem betrachteten Bildpunkt auf der jeweiligen Profillinie befindet.
– Die zweite Komponente des Vektors des betrachteten Bildpunkts der jeweiligen Profillinie entspricht dem Wert desjenigen zweiten Bildpunkts, welcher sich die vorbestimmte Anzahl von Bildpunkten nach dem betrachteten Bildpunkt auf der jeweiligen Profillinie befindet.
– Die dritte Komponente des Vektors des betrachteten Bildpunkts der jeweiligen Profillinie entspricht einer Steigerung, welche die Werte derjenigen Bildpunkte aufweisen, die beginnend von dem ersten Bildpunkt bis zu dem zweiten Bildpunkt nacheinander auf der jeweiligen Profillinie liegen.
– Für diejenigen Vektoren, welche zu den Bildpunkten der jeweiligen Profillinie gehören, die neben dem Freiraum angeordnet sind, wird die euklidische Differenz bzw. euklidische Distanz zu allen Vektoren derjenigen Bildpunkte der jeweiligen Profillinie berechnet, die sich innerhalb des Freiraums befinden.
– Wenn das Minimum dieser derart bestimmten euklidischen Differenzen größer als ein weiterer vorbestimmter Schwellenwert ist, dann wird ein zusätzlicher Merkmalpunkt bestimmt. Dieser zusätzliche Merkmalpunkt entspricht demjenigen Bildpunkt der jeweiligen Profillinie, welcher außerhalb des Freiraums liegt und dessen Vektor zu der minimalen euklidischen Differenz führte.

According to another embodiment of the invention, the following steps are performed for each profile line:

- For each pixel of the respective profile line, which is located either within the free space or right (especially for right-hand traffic) or left (especially for left-hand traffic) next to the free space, a vector is determined. The three components of each vector are calculated as follows:
- The first component of the vector of the considered pixel of the respective profile line corresponds to the value of that first pixel, which is a predetermined number of pixels in front of the pixel under consideration on the respective profile line.
- The second component of the vector of the considered pixel of the respective profile line corresponds to the value of that second pixel, which is the predetermined number of pixels after the pixel under consideration on the respective profile line.
- The third component of the vector of the considered pixel of the respective profile line corresponds to an increase, which have the values of those pixels which lie starting from the first pixel to the second pixel successively on the respective profile line.
For those vectors which belong to the pixels of the respective profile line which are arranged next to the free space, the Euclidean difference or Euclidean distance to all vectors of those pixels of the respective profile line which are located within the free space is calculated.
If the minimum of such determined Euclidean differences is greater than another predetermined threshold, then an additional feature point is determined. This additional feature point corresponds to that pixel of the respective profile line which lies outside the free space and whose vector resulted in the minimum Euclidean difference.

Durch diese weitere Ausführungsform kann auf der Profillinie auch dann ein Merkmalpunkt in Form des zusätzlichen Merkmalpunkts bestimmt werden, wenn bereits innerhalb des Freiraums (beispielsweise durch Schattenkanten) sehr hohe Standardabweichungen auftreten, so dass neben dem Freiraum für die jeweilige Profillinie keine Standardabweichung berechnet wird, welche ausreichend deutlich größer als die maximale Standardabweichung innerhalb des Freiraums ist.By means of this further embodiment, a feature point in the form of the additional feature point can also be determined on the profile line if very high standard deviations already occur within the free space (for example due to shadow edges), so that no standard deviation is calculated in addition to the free space for the respective profile line sufficiently significantly greater than the maximum standard deviation within the free space.

Die Bestimmung eines Vektors für einen Bildpunkt soll beispielhaft erläutert werden. Dazu sei angenommen, dass auf einer Profillinie fünf nebeneinander liegende Bildpunkte mit den Grauwerten 80, 82, 85, 152, 160 existieren. Es soll nun der Vektor des 3-ten (i-ten) Bildpunkts berechnet werden, der sich in der Mitte dieser Bildpunkte befindet und somit den Grauwert 85 aufweist. Die erste Komponente des zu bestimmenden Vektors dieses i-ten Bildpunkts entspricht dem Grauwert desjenigen Bildpunkts, welcher sich zwei Bildpunkte (die vorbestimmte Anzahl von Bildpunkten entspricht also 2) vor dem Bildpunkt, dessen Vektor bestimmt wird, befindet, so dass die erste Komponente den Wert 80 aufweist. Die zweite Komponente des zu bestimmenden Vektors dieses Bildpunkts entspricht dem Grauwert desjenigen Bildpunkts, welcher sich zwei Bildpunkte nach dem Bildpunkt, dessen Vektor bestimmt wird, befindet, so dass die zweite Komponente den Wert 160 aufweist. Die dritte Komponente des zu bestimmenden Vektors entspricht der Gradientensteilheit und gibt damit an, wie sanft bzw. steil der Übergang der Grauwerte 80, 82, 85, 152, 160 verläuft.The determination of a vector for a pixel shall be explained by way of example. For this purpose, it is assumed that five adjacent pixels with the gray values 80, 82, 85, 152, 160 exist on one profile line. Let us now calculate the vector of the third (i-th) pixel, which is located in the middle of these pixels and thus has the gray value 85. The first component of the vector of this i-th pixel to be determined corresponds to the gray value of that pixel which is two pixels (the predetermined number of pixels corresponds to 2) before the pixel whose vector is determined, so that the first component is the value 80 has. The second component of the vector of this pixel to be determined corresponds to the gray value of that pixel which is two pixels after the pixel whose vector is determined, so that the second component has the value 160. The third component of the vector to be determined corresponds to the gradient slope and thus indicates how gentle or steep the transition of the gray values 80, 82, 85, 152, 160 is.

Die folgende Gleichung (1) gibt eine Möglichkeit an, die Steilheit S zu bestimmen.The following equation (1) indicates a possibility of determining the steepness S.

Dabei entspricht der Index i dem Index desjenigen Bildpunkts, für welchen der Vektor bzw. die Steilheit S zu bestimmen ist. p[x] gibt den Wert des Bildpunkts mit dem Index x an. N entspricht der vorbestimmten Anzahl, so dass zur Bestimmung der Steilheit die N Bildpunkte vor und die N Bildpunkte nach dem Bildpunkt mit dem Index i liegenden Bildpunkte sowie der Bildpunkt mit dem Index i selbst berücksichtigt werden.In this case, the index i corresponds to the index of that pixel for which the vector or the steepness S is to be determined. p [x] indicates the value of the pixel with the index x. N corresponds to the predetermined number, so that the N pixels before and the N pixels after the pixel with the index i lying pixels and the pixel with the index i itself are considered to determine the slope.

Um nun die Gerade zur Bestimmung des Fahrbahnrandes abhängig von den aufgefundenen Merkmalpunkten zu bestimmen, kann jeder Merkmalpunkt mit einem Gewicht versehen werden, welches umso größer ist, desto sicherer der jeweilige Merkmalpunkt den Fahrbahnrand markiert. Die Gerade wird dann abhängig von diesen Gewichten konstruiert.In order to determine the straight line for determining the roadway edge depending on the feature points found, each feature point can be provided with a weight that is greater, the more certain the respective feature point marks the roadside edge. The line is then constructed depending on these weights.

Das Gewicht oder der Gewichtungsfaktor des jeweiligen Merkmalpunkts ist von Kriterien, wie beispielsweise der Gradientenstärke des Merkmalpunkts, der Gradientenrichtung des Merkmalpunkts und dem Abstand des Merkmalpunkts zu einem vorher bestimmten Fahrbahnrand, abhängig. Dabei entspricht die Gradientenstärke des betrachteten Merkmalpunkts beispielsweise der absoluten Differenz zwischen dem Wert des Merkmalpunkts und dem Wert des auf der Profillinie folgenden Bildpunkts.The weight or weighting factor of the respective feature point depends on criteria such as the gradient strength of the feature point, the gradient direction of the feature point, and the distance of the feature point to a predetermined lane edge. The gradient strength of the considered feature point corresponds, for example, to the absolute difference between the value of the feature point and the value of the pixel following the profile line.

Zur Bestimmung der Gradientenrichtung wird dabei insbesondere davon ausgegangen, dass der zu ermittelnde Fahrbahnrand eine bestimmte Orientierung aufweist. Abhängig von dieser Orientierung kann dann mit Hilfe eines so genannten Operatorfensters ein Maß für die Stärke einer entsprechenden Kante, welche in der Richtung der angenommenen Orientierung verläuft, für den entsprechenden Merkmalpunkt (bzw. in seiner unmittelbaren Umgebung) bestimmt werden. Dabei gleicht das Operatorfenster beispielsweise einer quadratischen Matrix (Anzahl Spalten = Anzahl Zeilen) mit einer ungeraden Spalten- bzw. Zeilenanzahl. Die Elemente dieser Matrix, welche entsprechend einer durch die Mitte der Matrix verlaufenden Geraden der bestimmten Orientierung verlaufen, weisen den Wert 0 auf. Diese Gerade teilt die Matrix in zwei gleich große Bereiche, wobei der eine Bereich Elemente mit dem Wert –1 und der andere Bereich Elemente mit dem Wert 1 aufweist. Verläuft die Orientierung beispielsweise in einem Winkel von 45° gegen den Uhrzeigersinn zur y-Achse, dann könnte das Operatorfenster folgende Elemente aufweisen:

To determine the gradient direction, it is assumed in particular that the roadway edge to be determined has a specific orientation. Depending on this orientation, a measure for the strength of a corresponding edge, which runs in the direction of the assumed orientation, can then be determined for the corresponding feature point (or in its immediate vicinity) with the aid of a so-called operator window. The operator window, for example, resembles a square matrix (number of columns = number of rows) with an odd number of columns or rows. The elements of this matrix, which run according to a straight line of the specific orientation running through the center of the matrix, have the value 0. This straight line divides the matrix into two equally sized areas, where one area has elements with the value -1 and the other area elements with the value 1. For example, if the orientation is at an angle of 45 ° counterclockwise to the y-axis, then the operator window might have the following elements:

Um nun das Maß G für die Stärke der entsprechenden Kante am Merkmalpunkt zu bestimmen, wird das Operatorfenster quasi derart über die Bildpunkte gelegt, so dass die Mitte des Operatorfensters über dem entsprechenden Merkmalpunkt liegt. Anschließend wird der Wert des entsprechenden Elements des Operatorfensters mit dem Wert des entsprechenden Bildpunkts multipliziert, über welchem das entsprechende Element des Operatorfensters liegt. Der Betrag der Summe dieser Produkte entspricht dann dem Maß G für die Gradientenstärke.In order to now determine the dimension G for the thickness of the corresponding edge at the feature point, the operator window is as it were placed over the pixels, so that the center of the operator window is above the corresponding feature point. Then, the value of the corresponding element of the operator window is multiplied by the value of the corresponding pixel over which the corresponding element of the operator window is located. The sum of the sum of these products then corresponds to the measure G for the gradient strength.

Wenn die Bildpunkte um den Merkmalpunkt p beispielsweise die folgenden Werte aufweisen:

ergibt sich für G(p) = |0·2 +– 1·5 +– 1·5 + 1·2 + 0·p +– 1·5 + 1·2 + 1·2 + 0·5| = 9.For example, if the pixels around feature point p have the following values:

results for G (p) = | 0 · 2 + - 1 · 5 + - 1 · 5 + 1 · 2 + 0 · p + - 1 · 5 + 1 · 2 + 1 · 2 + 0 · 5 | = 9.

Darüber hinaus hängt die Gewichtung des jeweiligen Merkmalpunkts davon ab, ob der jeweilige Merkmalpunkt mittels des Faktors, mittels des ersten Faktors, mittels des zweiten Faktors oder anhand der Vektoren bestimmt wurde.In addition, the weighting of the respective feature point depends on whether the respective feature point was determined by means of the factor, by the first factor, by the second factor or by the vectors.

Die Gewichtung weist dabei jeweils einen Wert zwischen 0 (kleinstes Gewicht) und 1 (größtes Gewicht) auf. Wenn der Merkmalpunkt über den Faktor bestimmt wird, kann die Gewichtung beispielsweise 1,0 betragen, während die Gewichtung 0,6 bzw. 0,8 betragen kann, wenn der Merkmalpunkt über den ersten bzw. zweiten Faktor bestimmt wird. Wenn der Merkmalpunkt dagegen anhand der Vektoren bestimmt wird, kann die Gewichtung den Wert 0,5 aufweisen. Für die weitere Bewertung (beispielsweise anhand der Gradientenstärke) wird die aktuelle Gewichtung dann insbesondere mit weiteren Gewichtungsfaktoren zwischen 0 und 1 multipliziert, so dass nach einer Anwendung aller Gewichtungskriterien jeder Merkmalpunkt eine Gewichtung zwischen 0 und 1 aufweist.The weighting in each case has a value between 0 (smallest weight) and 1 (largest weight). For example, if the feature point is determined by the factor, the weight may be 1.0, while the weight may be 0.6 and 0.8 respectively when the feature point is determined by the first and second factors. In contrast, if the feature point is determined from the vectors, the weight may be 0.5. For the further evaluation (for example on the basis of the gradient strength), the current weighting is then multiplied in particular by further weighting factors between 0 and 1, so that after an application of all weighting criteria, each feature point has a weighting between 0 and 1.

Die Gerade kann ausgehend von den Merkmalpunkten anhand eines RANSAC-Verfahrens (RANSAC-Algorithmus (”RANdom SAmple Consensus”)) bestimmt werden. Dabei bestimmt das RANSAC-Verfahren die Gerade derart, dass die Summe der Gewichte derjenigen Merkmalpunkte, deren Abstand zu der Gerade unterhalb eines vorbestimmten Abstandschwellenwerts liegt, maximal ist.The straight line can be determined on the basis of the feature points by means of a RANSAC method (RANSAC algorithm ("RANdom SAmple Consensus")). In this case, the RANSAC method determines the straight line such that the sum of the weights of those feature points whose distance from the straight line lies below a predetermined distance threshold is maximum.

Das RANSAC-Verfahren wird in ”Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography”, M. A. Fischler u. a., 1981 beschrieben.The RANSAC procedure is in "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography", MA Fischler et al., 1981 described.

Vorteilhafterweise werden die Merkmalpunkte auf die Bodenebene projiziert, bevor mit Hilfe der Gewichtungen der einzelnen Merkmalpunkte durch das RANSAC-Verfahren eine Gerade berechnet wird. Während bei dem normalen RANSAC-Verfahren, wie es in der oben referenzierten Druckschrift beschrieben ist, nur die Anzahl der zur Hypothese passenden Datenpunkte (vergleichbar mit Merkmalpunkten mit genügend geringem Abstand zur Geraden) entscheidend ist, kann erfindungsgemäß die Hypothese (Gerade) als Ergebnis gewählt werden, bei welcher die Summe der Gewichtungen der Merkmale, welche einen ausreichend geringen Abstand von der Geraden (der Abstand zu der Geraden liegt unterhalb des vorbestimmten Abstandschwellenwerts) aufweisen, maximal ist.Advantageously, the feature points are projected onto the ground plane before a straight line is calculated using the weights of the individual feature points by the RANSAC method. While in the normal RANSAC method, as described in the reference referenced above, only the number of data points suitable for the hypothesis (comparable with feature points with sufficiently small distance from the straight line) is decisive, according to the invention the hypothesis (straight line) can be selected as the result in which the sum of the weights of the features which are sufficiently short distance from the straight line (the distance to the straight line lies below the predetermined distance threshold value) is maximal.

Abhängig von einem ersten Verhältnis V1 der Summe der Gewichte derjenigen Merkmalpunkte, deren Abstand zu der Geraden unterhalb des vorbestimmten Abstandschwellenwerts liegt, und der Anzahl dieser Merkmalpunkte und abhängig von einem zweiten Verhältnis V2 der Anzahl dieser Merkmalpunkte, deren Abstand zu der Geraden unterhalb des vorbestimmten Abstandschwellenwerts liegt, zu der Anzahl aller Profillinien kann ein Qualitätsmaß bestimmt werden, welches eine Wahrscheinlichkeit dafür angibt, mit welcher der erfasste Fahrbahnrand dem tatsächlichen Fahrbahnrand entspricht.Depending on a first ratio V1 of the sum of the weights of those feature points whose distance from the straight line is below the predetermined distance threshold and the number of these feature points and a second ratio V2 of the number of these feature points whose distance from the straight line is below the predetermined distance threshold value is, to the number of all profile lines, a quality measure can be determined, which indicates a probability with which the detected lane edge corresponds to the actual lane edge.

Beispielsweise kann mittels der Gleichung (2) das Qualitätsmaß Q bestimmt werden.For example, by means of equation (2) the quality measure Q can be determined.

Im optimalen Fall wird für jede Profillinie ein Merkmalpunkt bestimmt, dessen Abstand zu der Geraden unterhalb des vorbestimmten Abstandschwellenwerts liegt. Allerdings ist es auch möglich, dass auf einer Profillinie mehrere Merkmalpunkte liegen, deren Abstand zu der Geraden unterhalb des vorbestimmten Abstandschwellenwerts liegt. Um sicherzustellen, dass auch in diesen Fällen das Qualitätsmaß Q nicht größer als 1 ist, wird bei der obigen Gleichung (2) das Minimum aus dem zweiten Verhältnis V2 und 1 gebildet.In the optimal case, a feature point is determined for each profile line whose distance from the line lies below the predetermined distance threshold value. However, it is also possible for a plurality of feature points to lie on a profile line whose distance from the straight line lies below the predetermined distance threshold value. In order to ensure that even in these cases the quality measure Q is not greater than 1, in the above equation (2), the minimum is formed from the second ratio V2 and 1.

Beispielsweise kann das Gewicht jedes Merkmalpunkts umso mehr verkleinert werden, je größer ein Abstand des jeweiligen Merkmalpunkts zu einem direkt vorher ermittelten Fahrbahnrand ist. Damit kann auch das Qualitätsmaß umso kleiner ausfallen, je größer der Abstand der Merkmalpunkte von dem vorher ermittelten Fahrbahnrand ist. Bei einer zu großen Abweichung und damit einem zu kleinen Qualitätsmaß kann das erfindungsgemäße Verfahren anstelle eines erfassten Fahrbahnrandes auch einen Fehler ausgeben, welcher darauf hinweist, dass die Erfassung eines Fahrbahnrandes für das aktuell erfasste Bild nicht möglich ist.For example, the greater the distance between the respective feature point and a directly previously determined roadway edge, the smaller the weight of each feature point can be. Thus, the quality measure can also be smaller, the greater the distance of the feature points from the previously determined road edge. If there is too great a deviation and thus too small a quality measure, the method according to the invention can also output an error instead of a detected roadway edge, which indicates that the detection of a roadway edge is not possible for the currently acquired image.

Mit anderen Worten wird erfindungsgemäß periodisch der Fahrbahnrand erfasst. Zur Bestimmung des Gewichts jedes Merkmalpunkts wird der Abstand des jeweiligen Merkmalpunkts zu dem Fahrbahnrand bestimmt, welcher erfindungsgemäß eine Periode vorher erfasst wurde. Umso kleiner der Abstand des jeweiligen Merkmalpunkts zu diesem eine Periode vorher erfassten Fahrbahnrand ist, desto größer ist das Gewicht des jeweiligen Merkmalpunkts.In other words, according to the invention, the roadway edge is periodically detected. In order to determine the weight of each feature point, the distance of the respective feature point to the roadway edge is determined, which according to the invention was previously detected one period. The smaller the distance of the respective feature point to this lane edge previously detected period, the greater the weight of the respective feature point.

Mit anderen Worten wird die Konsistenz der Detektion des Fahrbahnrandes über mehrere Zeitschritte oder Zeitperioden sichergestellt, indem die Gewichtungen der Merkmalpunkte abhängig von einem Abstand (beispielsweise einem euklidischen Abstand) zu einem in vorherigen Bildern erfassten Fahrbahnrand angepasst wird.In other words, the consistency of the detection of the lane edge over several time steps or time periods is ensured by adjusting the weights of the feature points depending on a distance (for example, a Euclidean distance) to a lane edge detected in previous images.

Es sei darauf hingewiesen, dass das erfindungsgemäße Verfahren in erster Linie ausgelegt ist, um bei Rechtsverkehr den rechten Fahrbahnrand und um bei Linksverkehr den linken Fahrbahnrand zu erfassen. Selbstverständlich ist das erfindungsgemäße Verfahren allerdings auch in der Lage bei Rechtsverkehr den linken Fahrbahnrand und bei Linksverkehr den rechten Fahrbahnrand zu erfassen. Das bedeutet, dass das erfindungsgemäße Verfahren auch in der Lage ist, sowohl den rechten als auch den linken Fahrbahnrand (zum Beispiel innerhalb desselben Bildes) zu erfassen.It should be pointed out that the method according to the invention is designed primarily to detect the right-hand side of the road in right-hand traffic and the left-hand side of the road in left-hand traffic. Of course, the method according to the invention, however, is also able to capture the left-hand lane edge in right-hand traffic and the right-hand lane edge in left-hand traffic. This means that the method according to the invention is also capable of detecting both the right and left lane edges (for example within the same image).

Beispielsweise kann in einem ersten Schritt ein linker (rechter) Fahrbahnrand erfindungsgemäß erfasst werden. Abhängig davon wird ein erster Winkel zwischen dem erfassten Fahrbahnrand und der Fahrtrichtung des Fahrzeugs ermittelt. Zur Konstruktion des rechten (linken) Fahrbahnrandes wird die dem rechten (linken) Fahrbahnrand entsprechende Gerade mit Hilfe des RANSAC-Verfahrens abhängig von diesem Winkel konstruiert, indem eine jeweilige Gerade von dem erfindungsgemäßen Verfahren umso mehr bevorzugt wird, je geringer eine Differenz zwischen einem zweiten Winkel, welchen die jeweilige Gerade zu der Fahrtrichtung des Fahrzeugs aufweist, zu dem ersten Winkel ausfällt. Dabei kann zur erfindungsgemäßen Bestimmung des linken (rechten) Fahrbahnrandes mit einem erwarteten Winkel von 0° zur Fahrtrichtung gearbeitet werden, während dann der erwartete Winkel zur Bestimmung des rechten (linken) Fahrbahnrandes dem ersten Winkel zwischen dem erfassten linken (rechten) Fahrbahnrand und der Fahrtrichtung des Fahrzeugs entspricht.For example, in a first step, a left (right) lane edge can be detected according to the invention. Depending on this, a first angle between the detected roadway edge and the direction of travel of the vehicle is determined. For the construction of the right (left) roadway edge, the straight line corresponding to the right (left) roadway edge is constructed using the RANSAC method depending on this angle, in which case the more preferred is a particular straight line of the inventive method, the smaller a difference between a second Angle, which has the respective straight line to the direction of travel of the vehicle, fails to the first angle. In this case, for the determination according to the invention of the left (right) lane edge can be worked with an expected angle of 0 ° to the direction of travel, while then the expected angle for determining the right (left) lane edge of the first angle between the detected left (right) lane edge and the direction of travel of the vehicle corresponds.

Diese erfindungsgemäße Vorgehensweise bietet dann Vorteile, wenn die Bestimmung des linken (rechten) Fahrbahnrandes im ersten Schritt beispielsweise aufgrund entsprechender äußerer Bedingungen einfacher ist, als die Bestimmung des rechten (linken) Fahrbahnrandes im folgenden Schritt.This procedure according to the invention offers advantages if the determination of the left (right) lane edge in the first step is easier, for example due to corresponding external conditions, than the determination of the right (left) lane edge in the following step.

Die vorliegende Erfindung kann anhand von Bildern nur einer Monokamera den Fahrbahnrand recht gut erfassen. Dabei werden Störungen durch Schatten, Fahrbahnverschmutzungen oder Schriftzüge eliminiert.The present invention can detect the roadway edge quite well based on images of only a monocamera. Disturbances caused by shadows, road dirt or lettering are eliminated.

Im Rahmen der vorliegenden Erfindung wird auch eine Vorrichtung zur Erfassung eines Fahrbahnrandes für ein Fahrzeug bereitgestellt. Dabei umfasst die Vorrichtung eine Kamera und eine Steuerung. Die Vorrichtung ist ausgestaltet, um mittels der Kamera ein Bild in einer Fahrtrichtung des Fahrzeugs vor oder hinter dem Fahrzeug zu erfassen. Dabei weist das Bild Bildpunkte und jeder Bildpunkt einen Wert auf. Die Vorrichtung ist darüber hinaus ausgestaltet, um mittels der Steuerung diejenigen Bildpunkte als Merkmalpunkte zu bestimmen, bei welchen eine Differenz einer von dem Wert des jeweiligen Bildpunkts abgeleitete erste Größe zu einer zweiten Größe, welche abhängig von Werten von Bildpunkten in einer Umgebung bzw. Nähe des Merkmalpunkts ermittelt wird, größer als ein parametrisierbarer Schwellenwert ist. Der Fahrbahnrand wird von der Vorrichtung abhängig von einer Geraden bestimmt, welche abhängig von den vorher erfassten Merkmalpunkten konstruiert wird.In the context of the present invention, a device for detecting a roadway edge for a vehicle is also provided. The device comprises a camera and a controller. The device is designed to capture an image in a direction of travel of the vehicle in front of or behind the vehicle by means of the camera. The image has pixels and each pixel has a value. The device is further configured to use the controller to determine those pixels as feature points in which a difference of a first quantity derived from the value of the respective pixel to a second quantity which depends on values of pixels in an environment or proximity of the image Feature point is greater than a parameterizable threshold. The roadway edge is determined by the device depending on a straight line which is constructed depending on the previously detected feature points.

Die Vorteile der erfindungsgemäßen Vorrichtung entsprechen im Wesentlichen den Vorteilen des erfindungsgemäßen Verfahrens, welche vorab im Detail ausgeführt sind, so dass hier auf eine Wiederholung verzichtet wird.The advantages of the device according to the invention essentially correspond to the advantages of the method according to the invention, which are carried out in advance in detail, so that a repetition is dispensed with here.

Die Vorrichtung kann eine weitere Kamera umfassen. In diesem Fall ist die Vorrichtung ausgestaltet, um mit der Kamera ein Bild eines Nahbereichs (z. B. 0–4 m) des Fahrzeugs und mit der weiteren Kamera ein Bild eines Fernbereichs (z. B. 4–20 m) des Fahrzeugs zu erfassen. Die Kamera und die weitere Kamera sind dabei derart kalibriert, dass die Bilder der Kamera und die Bilder der weiteren Kamera in eine einzige Umfeldkarte eingetragen werden können, welche mit Hilfe der Steuerung aufgebaut wird.The device may include another camera. In this case, the apparatus is configured to form an image of a close range (eg 0-4 m) of the vehicle with the camera and an image of a long range (eg 4-20 m) of the vehicle with the other camera to capture. The camera and the further camera are calibrated in such a way that the images of the camera and the images of the further camera can be entered in a single environment map, which is set up with the aid of the controller.

Durch den Einsatz von mehreren Kameras, wobei die eine Kamera zur Aufnahme des Nahbereichs und die andere Kamera für die Aufnahme des Fernbereichs spezialisiert ist, kann die Qualität des auszuwertenden Bildes oder der auszuwertenden Umfeldkarte vorteilhafterweise verbessert werden. Darüber hinaus kann die weitere Kamera Bilder in einer anderen Blickrichtung erfassen als die andere Kamera. Durch den Einsatz mehrerer Kameras können somit Fahrbahnränder in verschiedenen Blickrichtungen und Entfernungen erkannt und fusioniert werden.By using a plurality of cameras, with one camera specialized for recording the near range and the other camera for recording the long range, the quality of the image to be evaluated or the environmental map to be evaluated can advantageously be improved. In addition, the other camera can capture images in a different direction than the other camera. Through the use of multiple cameras, road edges can be detected and fused in different directions and distances.

Schließlich wird im Rahmen der vorliegenden Erfindung ein Fahrzeug bereitgestellt, welches eine erfindungsgemäße Vorrichtung umfasst.Finally, in the context of the present invention, a vehicle is provided, which comprises a device according to the invention.

Die vorliegende Erfindung ist insbesondere für Fahrerassistenzsystem eines Kraftfahrzeugs geeignet. Selbstverständlich ist die vorliegende Erfindung nicht auf diesen bevorzugten Anwendungsbereich eingeschränkt, da die vorliegende Erfindung auch bei Schiffen und Flugzeugen (am Boden) eingesetzt werden kann.The present invention is particularly suitable for driver assistance system of a motor vehicle. Of course, the present invention is not limited to this preferred application, since the present invention can also be applied to ships and aircraft (on the ground).

Im Folgenden wird die vorliegende Erfindung anhand bevorzugter erfindungsgemäßer Ausführungsformen mit Bezug zu den Figuren im Detail beschrieben.In the following, the present invention will be described in detail based on preferred embodiments of the invention with reference to the figures.

1 zeigt ein auszuwertendes Bild mit Profillinien und Freiraum. 1 shows an image to be evaluated with profile lines and free space.

2 zeigt ein ausgewertetes Bild mit erfasstem Fahrbahnrand 2 shows an evaluated image with detected lane edge

In 3 ist schematisch ein erfindungsgemäßes Fahrzeug mit einer erfindungsgemäßen Vorrichtung dargestellt.In 3 is schematically illustrated an inventive vehicle with a device according to the invention.

In 1 ist ein auszuwertendes Bild dargestellt, in welches Profillinien 1 und ein Freiraum 3 eingezeichnet sind. Vorausgesetzt wird, dass die das Bild aufnehmende Kamera in die Fahrtrichtung des Fahrzeugs blickt. Darüber hinaus wird vorausgesetzt, dass sich der zu erfassende Fahrbahnrand im rechten Teil des Bildes befindet, da das Fahrzeug gerade auf der Fahrbahn steht oder fährt.In 1 is an image to be evaluated, in which profile lines 1 and a free space 3 are drawn. It is assumed that the image-taking camera is looking in the direction of travel of the vehicle. In addition, it is assumed that the edge of the road to be detected is in the right-hand part of the image, since the vehicle is standing or driving straight on the road.

Bestimmte Parameter, welche die Lage der Profillinien 1 und des Freiraums 3 in Bildkoordinaten definieren, sind in 1 dargestellt. Definiert wird die Lage der ersten Profillinie mit den Bildpunkten P_1,1 und P_1,N und der letzten Profillinie mit den Bildpunkten P_M,1 und P_M,O.Certain parameters indicating the location of the profile lines 1 and the free space 3 in image coordinates are defined in 1 shown. The position of the first profile line with the pixels P _1,1 and P _{1, N} and the last profile line with the pixels P _{M, 1} and P _{M, O is defined} .

Die Lage der dazwischenliegenden Profillinien 1 wird interpoliert. Dabei bezeichnet die erste Profillinie diejenige Profillinie, welche dem Fahrzeug am nächsten liegt bzw. die unterste in 1, und die letzte Profillinie diejenige Profillinie, welche vom Fahrzeug am weitesten entfernt bzw. die oberste in 1 ist.The location of the intermediate profile lines 1 is interpolated. In this case, the first profile line denotes that profile line which is closest to the vehicle or the lowest in 1 , and the last profile line the profile line furthest away from the vehicle or the top one in 1 is.

Die Profillinien 1 werden so in dem erfassten Bild definiert, dass sie (für die Erkennung des rechten Fahrbahnrandes) auf dem befahrbaren Bereich der Straße beginnen (P_1,1 bzw. P_M,1) und soweit nach außen rechts verlaufen, dass sich der vermutete Fahrbahnrand mit den Profillinien schneidet oder die Endpunkte (P_1,N bzw. P_M,O) der Profillinien 1 rechts vom vermuteten Fahrbahnrand liegen. Dabei werden entsprechende Parameter derart gewählt, dass die Lage der Profillinien oben genannte Bedingungen auch in Kurvensituationen korrekt erfüllen.The profile lines 1 are defined in the captured image that they start (for the detection of the right lane edge) on the passable area of the road (P _1,1 and P _{M, 1} ) and as far as the outside right, that the presumed road edge with cuts the profile lines or the end points (P _{1, N} or P _{M, O} ) of the profile lines 1 lie to the right of the suspected roadside edge. Corresponding parameters are selected in such a way that the position of the profile lines correctly fulfill the conditions mentioned above even in curve situations.

In 1 ist der Beginn und das Ende des Freiraums 3 für die erste und die letzte Profillinie jeweils als Skalar (A_1,1 und A_M,1 für den Beginn sowie A_1,2 und A_M,2 für das Ende) definiert, welcher angibt, nach wie vielen Bildpunkten entlang der jeweiligen Profillinie 1 ausgehend vom ersten Bildpunkt der Profillinie der Freiraum 3 beginnt oder endet.In 1 is the beginning and the end of the free space 3 for the first and the last profile line respectively defined as a scalar (A _1,1 and A _{M, 1} for the beginning and A _1,2 and A _{M, 2} for the end), which indicates how many Pixels along the respective profile line 1 starting from the first pixel of the profile line the free space 3 begins or ends.

Dabei gibt N die Anzahl der Bildpixel der ersten Profillinie, 0 die Anzahl der Bildpixel der letzten Profillinie und M die Anzahl der Profillinien 1 an.Where N is the number of image pixels of the first profile line, 0 the number of image pixels of the last profile line, and M the number of profile lines 1 at.

Der Freiraum 3 wird so definiert, dass er auf jeder Profillinie 1 bereit genug ist bzw. eine ausreichende Anzahl von Bildpunkten aufweist, um in ausreichender Anzahl und Güte statistische Merkmale über die Textur der Fahrbahn erfassen zu können. Darüber hinaus sollte der Abstand zwischen dem Freiraum 3 und dem vermuteten Fahrbahnrand nicht zu groß sein, um die Wahrscheinlichkeit einer falschen Detektion von Texturänderungen auf der Fahrbahn gering halten zu können. Schließlich sollte der Freiraum 3 nicht zu breit sein, damit Texturänderungen (beispielsweise aufgrund der Gegenspur), welche einen großen Abstand von dem zu erfassenden Fahrbahnrand aufweisen, das Ergebnis nicht verfälschen.The open space 3 is defined to be on each profile line 1 is ready enough or has a sufficient number of pixels in order to capture in sufficient numbers and quality statistical features on the texture of the road surface can. In addition, the distance between the free space should be 3 and the presumed roadway edge should not be too large to minimize the likelihood of false detection of texture changes on the roadway. Finally, the clearance should 3 not too wide, so that texture changes (for example, due to the counter-track), which have a large distance from the edge of the road to be detected, do not distort the result.

Darüber hinaus kann eine Freiraum-Anpassungsregion durch die Skalare A_1,3 und A_M,3 definiert werden, innerhalb welcher der Freiraum 3 automatisch an den erfassten Fahrbahnrand angepasst wird, um auch in Kurvensituationen bzw. bei Lenkbewegungen einen bestimmten gewünschten Abstand des Freiraums 3 zum Fahrbahnrand sicherzustellen. Dieser Anpassungsbereich reicht vom Anfang der Profillinien 1 (links) bis zum Anfang des Freiraums 3 und vom Ende des Freiraums 3 bis zu einem durch A_1,3 bzw. A_M,3 definierten Offset. Alle Parameter hängen nicht nur von der Auflösung der Kamera, sondern auch von der Einbauhöhe der Kamera, dem Blickwinkel der Kamera und dem Öffnungswinkel bzw. Sichtsbereich der Kamera ab.In addition, a free space adjustment region may be defined by the scalars A _1,3 and A _{M, 3} , within which the free space 3 is automatically adapted to the detected lane edge to even in curve situations or steering movements a certain desired distance of the free space 3 to ensure the roadside. This adjustment range extends from the beginning of the profile lines 1 (left) to the beginning of the free space 3 and the end of the free space 3 up to an offset defined by A _1,3 or A _{M, 3} . All parameters depend not only on the resolution of the camera, but also on the installation height of the camera, the viewing angle of the camera and the opening angle or field of view of the camera.

In 2 ist eine Situation dargestellt, bei welcher die Standardabweichung innerhalb des Freiraums 3 aufgrund der scharfen Kanten der Busspurmarkierung im Freiraum 3 größer ist, als die Standardabweichung im Bereich des zu erfassenden Fahrbahnrandes. In so einer Situation wird für jede Profillinie mithilfe von Grauwertübergängen zumindest ein Merkmalpunkt (in Form des zusätzlichen Merkmalpunkts) bestimmt.In 2 a situation is shown in which the standard deviation within the free space 3 due to the sharp edges of the bus mark in the free space 3 is greater than the standard deviation in the region of the roadway edge to be detected. In such a situation, at least one feature point (in the form of the additional feature point) is determined for each profile line by means of gray value transitions.

Schließlich ist in 3 ein erfindungsgemäßes Fahrzeug 10 dargestellt, welches eine erfindungsgemäße Vorrichtung 20 umfasst. Dabei umfasst die Vorrichtung 20 selbst neben einer Steuerung 12 zwei Kameras 11, 13. Mit der einen Kamera 11 wird der Nahbereich vor dem Fahrzeug 10 und mit der anderen Kamera 13 der Fernbereich vor dem Fahrzeug 10 dargestellt. Die von den Kameras 11, 13 erfassten Bilder werden jeweils zu einer einzigen Umfeldkarte zusammengefasst, welche dann zum Erfassen des Fahrbahnrandes 2 ausgewertet wird.Finally, in 3 an inventive vehicle 10 shown, which is a device according to the invention 20 includes. In this case, the device comprises 20 even next to a controller 12 two cameras 11 . 13 , With the one camera 11 becomes the near area in front of the vehicle 10 and with the other camera 13 the distant area in front of the vehicle 10 shown. The ones from the cameras 11 . 13 captured images are each combined into a single environment map, which then to capture the edge of the road 2 is evaluated.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

WO 2009/097918 A2 [0002]
US 2010/0238283 A1 [0003]
EP 1803622 A1 [0004]
DE 102005039167 A1 [0005]

Zitierte Nicht-PatentliteraturCited non-patent literature

"Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography", MA Fischler et al., 1981 [0037]

Claims

Method for detecting a roadway edge ( 2 ) for a vehicle ( 10 ), the method comprising the steps of: capturing an image in a direction of travel of the vehicle ( 10 ) in front of or behind the vehicle ( 10 ), wherein the image has pixels (P _{x, y} ) and each pixel (P _{x, y} ) has a value, determining those pixels (P _{x, y} ) as feature points where a difference of one of the value of the respective pixel (P _{x, y} ) derived first quantity to a second size, which is determined as a function of values of pixels (P _{x, y} ) in an environment of the feature point, is greater than a threshold value, and detecting the roadway edge ( 2 ) depending on a straight line which is constructed depending on the feature points.

Method according to claim 1, characterized in that the determination of the feature points comprises constructing profile lines ( 1 ) which run parallel to each other and at an angle to the direction of travel of the vehicle ( 10 ), which is in a range of 80 ° to 100 °, and that a pixel (P _{x, y} ) is detected only as a feature point if the pixel (P _{x, y} ) on one of the profile lines ( 1 ) lies.

Method according to Claim 2, characterized in that the values of the pixels (P _{x, y} ) which are located on one of the profile lines ( 1 ) are determined by means of a filtering, wherein the value of one of the pixels (P _{x, y} ) depending on values of pixels (P _{x, y} ), which are located in a defined environment of the respective pixel (P _{x, y} ) , is set to determine a subset of the pixels (P _{x, y} ) in the environment, and that the value of the respective pixel (P _{x, y} ) is set to an average of the values of the subset of pixels (P _{x, y} ) becomes.

Method according to claim 2 or 3, characterized in that a free space ( 3 ) is defined within the image which is on one of the vehicle ( 10 ) is about to be traveled area, so that the roadside ( 2 ) in the direction of travel to the right or left of the free space ( 3 ), that for each profile line ( 1 ), the following steps are carried out: determining a maximum standard deviation of those standard deviations which for the picture elements (P _{x, y} ) of the respective profile line ( 1 ) within the free space ( 3 ), and - determining the image point (P _{x, y} ) of the respective profile line as a feature point which is closest to the free space ( 3 ) and for which the standard deviation is greater than a product of the maximum standard deviation and a factor, wherein the factor is in a range of 1.5 to 3.5, the standard deviation being determined for a particular pixel (P _{x, y} ) is determined by determining the standard deviation for values of pixels (P _{x, y} ) which lie in a window in the middle of which the particular pixel is located.

Method according to claim 4, characterized in that for each profile line ( 1 ) in addition the following steps are carried out: determining a pixel (P _{x, y} ) of the respective profile line ( 1 ) as the first further feature point, which between the free space ( 3 ) and the feature point having a standard deviation greater than a product of the maximum standard deviation and a first factor and having a predetermined minimum distance from the feature point, wherein the first factor is smaller than the factor and within a range of 1 to 2.5, and - determining a pixel (P _{x, y} ) of the respective profile line ( 1 ) as a second further feature point, which is a greater distance from the free space ( 3 ) as the feature point having a standard deviation greater than a product of the maximum standard deviation and a second factor and having the predetermined minimum distance from the feature point, wherein the second factor is greater than the factor and within a range of 2.5 to 4.5.

Method according to one of claims 2-5, characterized the following steps are carried out for each of the profile lines: determining a vector for each pixel (P _{x, y} ) of the respective profile line ( 1 ), which is within the free space ( 3 ) or to the right or left of the free space ( 3 ) - wherein a first component of the vector of the i-th pixel of the respective profile line ( 1 ) of the value of the first pixel which has a predetermined number of pixels before the i-th pixel on the respective profile line ( 1 ), - wherein a second component of the vector of the i-th pixel of the respective profile line ( 1 ) of the value of the second pixel which matches the predetermined number of pixels after the i-th pixel on the respective profile line ( 1 ), - wherein a third component of the vector of the i-th pixel of the respective profile line ( 1 ) corresponds to a slope having the values of the pixels starting from the first pixel to the second pixel on the respective profile line ( 1 ), - for each vector of the pixels of the respective profile line ( 1 ), which next to the free space ( 3 ), the Euclidean difference to all vectors of the pixels of the respective profile line ( 1 ) within the free space ( 3 ), if, the minimum Euclidean difference of these particular Euclidean differences is greater than another predetermined threshold, then that pixel (P _{x, y} ) of the respective profile line ( 1 ), which outside the open space ( 3 ) and whose vector resulted in the minimum Euclidean difference, is determined as a feature point.

Method according to one of the preceding claims, characterized in that the feature points are each provided with a weight, which is the greater, the safer the respective feature point the roadside edge ( 2 ) and that the straight line is constructed depending on the weights.

Method according to claim 7, characterized, that the straight line is determined on the basis of the feature points by means of a RANSAC method, and in that the RANSAC method determines the straight line in such a way that the sum of the weights of those feature points whose distance from the straight line lies below a predetermined distance threshold value is maximum.

A method according to claim 8, characterized in that depending on an average weight of those feature points whose distance from the straight line is below the predetermined distance threshold, and a ratio of a first number of those feature points whose distance from the straight line below the predetermined distance threshold, to one Number of all profile lines, a quality measure is determined, which corresponds to a measure of a probability with which the constructed roadside edge of the actual roadside ( 2 ) corresponds.

Method according to one of claims 7-9, characterized in that the weight of each feature point is reduced the more, the greater a distance of the respective feature point to a directly previously determined roadside edge ( 2 ).

Method according to one of claims 7-10, characterized in that in a first step, a left or a right lane edge ( 2 ) is constructed by a method according to any one of the preceding claims, that a first angle between the constructed roadway edge ( 2 ) and the direction of travel of the vehicle ( 10 ) is determined, and that the construction of each other edge of the road, the straight line is constructed by means of the RANSAC method depending on this angle by a respective straight line is the more preferred, the smaller a difference between a second angle which the respective line with the Direction of travel of the vehicle ( 10 ), at the first angle.

Device for detecting a roadway edge ( 2 ) for a vehicle ( 10 ) the device ( 20 ) a camera ( 11 ) and a controller ( 12 ), the device ( 20 ) is configured to use the camera ( 11 ) an image in a direction of travel of the vehicle ( 10 ) in front of or behind the vehicle ( 10 ), wherein the image has pixels (P _{x, y} ) and each pixel (P _{x, y} ) has a value, wherein the device ( 20 ) is configured to be controlled by the controller ( 12 ) to determine those pixels (P _{x, y} ) as feature points in which a difference of a first quantity derived from the value of the respective pixel (P _{x, y} ) to a second quantity which depends on values of pixels (P _{x, y} ) is detected in an environment of the feature point is greater than a threshold, and to detect the lane edge depending on a straight line which is constructed depending on the feature points.

Device according to claim 12, characterized in that the device ( 20 ) another camera ( 13 ) that the device ( 20 ) is configured such that the camera ( 11 ) an image of a vicinity of the vehicle ( 10 ) and the other camera ( 13 ) an image of a long range of the vehicle ( 10 ) detects that the camera ( 11 ) with respect to the other camera ( 13 ) is calibrated so that the image of the camera ( 11 ) and the image of the other camera ( 13 ) can be entered in a single environment map, which by means of the control ( 12 ) is constructed.

Device according to claim 12 or 13, characterized in that the device ( 20 ) is designed for carrying out the method according to one of claims 1-11.

Vehicle with a device ( 20 ) according to any one of claims 12-14.