DE102013224791A1

DE102013224791A1 - A method of detecting at least one lane marking of a lane ahead of a vehicle

Info

Publication number: DE102013224791A1
Application number: DE102013224791.5A
Authority: DE
Inventors: Stefan Hegemann; David Kubera; Rolf Adomat; Matthias Strauss
Original assignee: Conti Temic Microelectronic GmbH; Continental Teves AG and Co OHG
Current assignee: Conti Temic Microelectronic GmbH; Continental Teves AG and Co OHG
Priority date: 2013-12-03
Filing date: 2013-12-03
Publication date: 2015-06-03
Also published as: WO2015081955A1; DE112014003284A5

Abstract

Die Erfindung betrifft ein Verfahren zur Erkennung von wenigstens einer Fahrbahnmarkierung (1) einer einem Fahrzeug (10) vorausliegenden Fahrspur (21), indem die von einer 3D-Kamera (11) erzeugten Bilddaten der vor dem Fahrzeug (10) vorausliegenden Fahrbahn (20) einer Auswerteeinheit (13) zur Auswertung zugeführt werden. Erfindungsgemäß ist vorgesehen, dass aus den Bilddaten ein Straßenhöhenprofil (P1) quer zur Fahrtrichtung (F) des Fahrzeugs (10) mittels der Auswerteeinheit (13) erzeugt wird, im Verlauf des Straßenhöhenprofils (P1) wenigstens eine Erhebung (1.1) gegenüber der Fahrbahnebene der Fahrbahn (20) anzeigende Höhensprünge (S11, S12) aus dem Straßenhöhenprofil (P1) detektiert werden, der Wert (b1) des Abstandes (B1) der Höhensprünge (S11, S12) der wenigstens einen Erhebung (1.1) und der Wert (h1) der Höhe (H1) des die wenigstens eine Erhebung anzeigenden Höhensprunges (S11, S12) als Geometriedaten der wenigstens einen Erhebung (1.1) mittels der Auswerteeinheit (13) bestimmt werden und durch Vergleich der Werte (b1, h1) der Geometriedaten der wenigstens einen Erhebung (1.1) mit in der Auswerteeinheit abgelegten Geometriedaten eine Fahrbahnmarkierung (1) der Fahrbahn (20) detektiert wird.The invention relates to a method for detecting at least one lane marking (1) of a lane (21) ahead of a vehicle (10) in that the image data generated by a 3D camera (11) lies ahead of the lane (20). an evaluation unit (13) are supplied for evaluation. According to the invention, from the image data, a road height profile (P1) is generated transversely to the direction of travel (F) of the vehicle (10) by means of the evaluation unit (13), in the course of the road height profile (P1) at least one elevation (1.1) relative to the road plane of the Lane jumps (S11, S12) indicative of lane (20) from the road height profile (P1), the value (b1) of the distance (B1) of the height jumps (S11, S12) of the at least one lobe (1.1) and the value (h1) the height (H1) of the elevation jump (S11, S12) indicating the at least one elevation is determined as geometric data of the at least one elevation (1.1) by means of the evaluation unit (13) and by comparing the values (b1, h1) of the geometry data of the at least one elevation (1.1) a roadway marking (1) of the roadway (20) is detected by means of geometry data stored in the evaluation unit.

Description

Die Erfindung betrifft ein Verfahren zur Erkennung von wenigstens einer Fahrbahnmarkierung einer einem Fahrzeug vorausliegenden Fahrspur gemäß Oberbegriff des Patentanspruchs 1. The invention relates to a method for detecting at least one lane marking of a lane ahead of a vehicle according to the preamble of patent claim 1.

Zur automatischen Steuerung einer Längs- und/oder Querbewegung eines Fahrzeugs, bspw. im Rahmen einer kamerabasierten Abstandsregelung oder eines kamerabasierten Spurhalteassistenten wird bekannterweise eine optische Fahrspurerkennungseinrichtung verwendet. Eine solche Fahrspurerkennungseinrichtung umfasst in der Regel ein Bildaufnahmesystem, bspw. eine Monokamera und ein nachgeschaltetes Bildverarbeitungssystem, welchem die von der Monokamera erzeugten Bilddaten zur Detektion von Fahrbahnmarkierungen der Fahrbahn zugeführt werden. In der Regel erfolgt die Detektion solcher Fahrbahnmarkierungen durch Auswertung von Grauwertbildern einer Monokamera auf der Basis einer Kantendetektion. Mit Hilfe von speziellen Filtern können unterschiedliche Typen von Fahrbahnmarkierungen, wie bspw. unterbrochene oder durchgezogene Längsmarkierungen, wie Mittel- oder Randlinien der Fahrbahn erkannt werden. For the automatic control of a longitudinal and / or transverse movement of a vehicle, for example in the context of a camera-based distance control or a camera-based lane departure warning, an optical lane recognition device is known to be used. Such a lane recognition device generally comprises an image acquisition system, for example a monocamera and a downstream image processing system, to which the image data generated by the monocamera are fed for the purpose of detecting lane markings on the roadway. As a rule, the detection of such lane markings is carried out by evaluating gray value images of a monocamera on the basis of edge detection. With the aid of special filters, different types of road markings, such as interrupted or continuous longitudinal markings, such as center lines or edge lines of the roadway, can be detected.

Es hat sich jedoch gezeigt, dass die Merkmale in den Grauwertbildern nicht immer so stark ausgeprägt sind, dass mit hoher Sicherheit solche Fahrbahnmarkierungen erkannt werden können. Dies ist insbesondere dann der Fall wenn solche Fahrbahnmarkierungen verschmutzt oder alt sind. However, it has been shown that the features in the gray value images are not always so pronounced that with high security such road markings can be detected. This is especially the case when such lane markings are dirty or old.

Mit Blick hierauf schlägt die DE 10 2009 053 748 A1 ein Verfahren zur Spurführung eines Fahrzeugs vor, bei dem Spurrillen als Spurinformation verwendet werden und diese Spurrillen mittels einer Sensor- und/oder Kamera- und/oder Scannereinrichtung erfasst und/oder abgetastet werden. Es kann jedoch im Allgemeinen nicht davon ausgegangen werden, dass alle Fahrbahnen solche Spurrillen aufweisen. With a view to this beats the DE 10 2009 053 748 A1 a method for tracking a vehicle, in which ruts are used as lane information and these ruts are detected and / or scanned by means of a sensor and / or camera and / or scanner device. However, it can not generally be assumed that all lanes have such ruts.

Ausgehend von diesem Stand der Technik ist es Aufgabe der Erfindung, ein Verfahren zur Erkennung von wenigstens einer Fahrbahnmarkierung einer einem Fahrzeug vorausliegenden Fahrspur anzugeben, mit welchem die oben genannten Nachteile vermieden werden, insbesondere mit hoher Funktionssicherheit Fahrbahnmarkierungen erkannt werden können. Based on this prior art, it is an object of the invention to provide a method for detecting at least one lane marking a lane ahead of a vehicle, with which the above-mentioned disadvantages are avoided, in particular with high reliability road markings can be detected.

Diese Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 This object is achieved by a method having the features of patent claim 1

Ein solches Verfahren zur Erkennung von wenigstens einer Fahrbahnmarkierung einer einem Fahrzeug vorausliegenden Fahrspur, bei dem die von einer 3D-Kamera erzeugten Bilddaten der vor dem Fahrzeug vorausliegenden Fahrbahn einer Auswerteeinheit zur Auswertung zugeführt werden, zeichnet sich erfindungsgemäß dadurch aus, dass

– aus den Bilddaten ein Straßenhöhenprofil quer zur Fahrtrichtung des Fahrzeugs mittels der Auswerteeinheit erzeugt wird,
– im Verlauf des Straßenhöhenprofils wenigstens eine Erhebung gegenüber der Fahrbahnebene der Fahrbahn anzeigende Höhensprünge aus dem Straßenhöhenprofil detektiert werden,
– der Wert des Abstandes der Höhensprünge der wenigstens einen Erhebung und der Wert der Höhe des die wenigstens eine Erhebung anzeigenden Höhensprunges als Geometriedaten der wenigstens einen Erhebung mittels der Auswerteeinheit bestimmt werden, und
– durch Vergleich der Werte der Geometriedaten der wenigstens einen Erhebung mit in der Auswerteeinheit abgelegten Geometriedaten eine Fahrbahnmarkierung der Fahrbahn detektiert wird.

Such a method for detecting at least one lane marking of a lane ahead of a vehicle, in which the image data generated by a 3D camera are fed to the roadway ahead of the vehicle to an evaluation unit for evaluation, according to the invention is characterized in that

From the image data, a road height profile is generated transversely to the direction of travel of the vehicle by means of the evaluation unit,
In the course of the road height profile at least one elevation with respect to the roadway level of the roadway indicating height jumps are detected from the road elevation profile,
The value of the distance of the height jumps of the at least one elevation and the value of the height of the elevation indicating the at least one elevation are determined as geometric data of the at least one elevation by means of the evaluation unit, and
- By comparing the values of the geometry data of the at least one survey with stored in the evaluation unit geometry data a lane marking of the roadway is detected.

Aufgrund der Verwendung einer 3D-Kamera kann die Höhe der Fahrbahnoberfläche bis auf wenige Millimeter genau vermessen werden. Da Fahrbahnmarkierungen unabhängig von ihrem Verschmutzungsgrad oder Alter immer eine Erhebung mit wenigen Millimetern darstellen, sind diese mit dem erfindungsgemäßen Verfahren sicher erkennbar. Durch die Speicherung von Geometriedaten von unterschiedlichen Fahrbahnmarkierungen in der Auswerteeinheit lassen sich dadurch auch die detektierten Fahrbahnmarkierungen spezifizieren. Due to the use of a 3D camera, the height of the road surface can be measured accurately down to a few millimeters. Since lane markings always represent a survey with a few millimeters, regardless of their degree of contamination or age, they are certainly recognizable by the method according to the invention. By storing geometric data from different lane markings in the evaluation unit, the detected lane markings can thereby also be specified.

Nach einer vorteilhaften Ausgestaltung der Erfindung wird die Profilierung der wenigstens einen Erhebung quer zur Fahrtrichtung des Fahrzeugs bestimmt und durch Vergleich der Profilierung mit in der Auswerteeinheit abgelegten Profilierungsdaten die Fahrbahnmarkierung detektiert. So können bspw. Längsstreifen, wie Mittelstreifen, die einen rechteckförmigen Querschnitt aufweisen, sicher von anderen Fahrbahnmarkierungen mit profilierten Oberflächen, wie bspw. Markierungsknöpfen (spot dots) unterschieden werden, die eine gewölbte Oberseite aufweisen. According to an advantageous embodiment of the invention, the profiling of the at least one elevation is determined transversely to the direction of travel of the vehicle and detected by comparing the profiling with profiling data stored in the evaluation unit, the lane marking. For example, longitudinal strips, such as center strips, which have a rectangular cross-section, can be distinguished from other road markings with profiled surfaces, such as, for example, spot dots, which have a curved upper side.

Ferner zeichnet sich eine weitere Ausgestaltung der Erfindung dadurch aus, dass als weitere Geometriedaten der wenigstens einen Erhebung zusätzlich in Fahrtrichtung die Länge der detektierten Erhebung und/oder der Abstand zwischen in Längsrichtung aufeinanderfolgenden Erhebungen bestimmt wird und durch Vergleich der weiteren Geometriedaten der Erhebung in Fahrtrichtung mit in der Auswerteeinheit abgelegten weiteren Geometriedaten eine Fahrbahnmarkierung bestimmt wird. Further, a further embodiment of the invention is characterized in that as additional geometric data of at least one survey in the direction of travel, the length of the detected survey and / or the distance between successive elevations in the longitudinal direction is determined and by comparing the other geometric data of the survey in the direction of travel In the evaluation unit stored further geometry data a lane marking is determined.

Somit lässt sich auch anhand der Geometrie in Fahrtrichtung des Fahrzeugs nicht nur eine Fahrbahnmarkierung, sondern auch deren Typ erkennen, wie bspw. in Fahrtrichtung des Fahrzeugs durchgezogene oder unterbrochene Fahrbahnmarkierungen. Thus, based on the geometry in the direction of travel of the vehicle, not only a lane marking but also its type can be recognized, such as in the direction of travel of the vehicle solid or interrupted road markings.

Ebenso lässt sich nach einer weiteren Ausgestaltung der Erfindung die Profilierung der wenigstens einen Erhebung in Fahrtrichtung bestimmen und durch Vergleich der Profilierung mit in der Auswerteeinheit abgelegten weiteren Profilierungsdaten die Fahrbahnmarkierung detektieren. Damit können insbesondere in Längsrichtung strukturierte Fahrbahnmarkierungen, wie bspw. Pfeile und/oder andere Flächenmarkierungen detektiert werden. Likewise, according to a further embodiment of the invention, the profiling of the at least one elevation in the direction of travel can be determined and the lane marking can be detected by comparing the profiling with further profiling data stored in the evaluation unit. Thus, in particular longitudinally structured road markings, such as, for example, arrows and / or other surface markings can be detected.

Des Weiteren ist gemäß einer weiteren Ausgestaltung der auf von vorgesehen, dass zur Detektion von Längsmarkierungen als Fahrbahnmarkierungen Geometriedaten und weitere Geometriedaten von Längsmarkierungen der Fahrbahn in der Auswerteeinheit gespeichert werden. So können anhand der abgespeicherten Geometriedaten quer zur Fahrtrichtung als auch in Fahrtrichtung im Wesentlichen alle Längsmarkierungen einer Fahrbahn detektiert werden. Dies betrifft sowohl eine unterbrochene Leitlinie, auch Mittelstreifen genannt, eine Fahrbahnbegrenzung als durchgezogene Randlinie oder auch doppelte Fahrstreifenbegrenzungen, die aus zwei durchgezogenen parallelen Linien bestehen. Auch gibt es Längsmarkierungen, die aus einem durchgezogenen und unterbrochenem Doppelstrich oder einem unterbrochenem Doppelstrich bestehen. Furthermore, according to a further embodiment, provision is made for the fact that, for the detection of longitudinal markings as road markings, geometry data and further geometric data of longitudinal markings of the roadway are stored in the evaluation unit. Thus, based on the stored geometry data transversely to the direction of travel as well as in the direction of travel substantially all longitudinal markings of a roadway can be detected. This applies to both an interrupted guideline, also called median strip, a lane boundary as a solid edge line or double lane boundaries, which consist of two solid parallel lines. There are also longitudinal markings consisting of a solid and interrupted double line or a broken double line.

Besonders vorteilhaft ist es gemäß einer weiteren Ausgestaltung der Erfindung, wenn zur Detektion von Markierungsknöpfen als Fahrbahnmarkierungen Profilierungsdaten und weitere Profilierungsdaten von Markierungsknöpfen der Fahrbahn in der Auswerteeinheit gespeichert werden. Somit kann bei der Detektion von Markierungsknöpfen, die auch in Fahrtrichtung eine gewölbte Oberfläche aufweisen, die Erkennungssicherheit erhöht werden. According to a further embodiment of the invention, profiling data and further profiling data of marking buttons of the roadway are stored in the evaluation unit in order to detect marking buttons as roadway markings. Thus, the detection reliability can be increased in the detection of marker buttons, which also have a curved surface in the direction of travel.

Nach einer weiteren bevorzugten Ausgestaltung der Erfindung werden zur Detektion von Quermarkierungen als Fahrbahnmarkierungen Geometriedaten und weitere Geometriedaten Daten von Quermarkierungen der Fahrbahn in der Auswerteeinheit gespeichert. Damit können bspw. als Fahrbahnmarkierungen Haltelinien oder Fußgängerüberwege detektiert werden. According to a further preferred embodiment of the invention, for the detection of cross-markings as road markings, geometry data and further geometric data are stored in the evaluation unit of data from cross-markings of the roadway. Thus, for example, as road markings stop lines or pedestrian crossings can be detected.

Des Weiteren können weiterbildungsgemäß auch Flächenmarkierungen als Fahrbahnmarkierungen detektiert werden, wenn entsprechende Geometriedaten und weitere Geometriedaten von Flächenmarkierungen der Fahrbahn in der Auswerteeinheit gespeichert werden. Solche Flächenmarkierungen stellen bspw. Pfeile oder Piktogramme (Radfahrer, Behinderte) sowie Parkflächenmarkierungen dar. Furthermore, according to further development, surface markings can also be detected as road markings if corresponding geometric data and further geometric data of surface markings of the roadway are stored in the evaluation unit. Such surface markings represent, for example, arrows or pictograms (cyclists, the disabled) and parking area markings.

Bei einer letzten vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass zur Spurerkennung des Fahrzeugs ein Grauwertbild oder ein Farbbild mittels eines Umgebungssensors von der dem Fahrzeug vorausliegenden Fahrbahn erzeugt und die erkannte Fahrspur des Fahrzeugs mit der wenigstens einen erkannten Fahrbahnmarkierung plausibilisiert wird. Damit werden Spurmarkierungen, die mittels Kantenerkennung aus Monokamerabildern erkannt werden, mittels der detektierten Fahrbahnmarkierungen plausibilisiert. In a last advantageous embodiment of the invention, it is provided that a gray value image or a color image generated by the vehicle ahead of the roadway for lane detection of the vehicle and the recognized lane of the vehicle with the at least one recognized lane marking is plausibility. This lane markers, which are detected by means of edge detection from Monokamerabildern be plausible by means of the detected lane markings.

Als 3D-Kamera kann eine Stereokamera verwendet wird, wobei ein Bildsensor dieser Stereokamera als Monokamera zur Detektion von Fahrbahnmarkierungen mittels Kantenerkennung einsetzbar ist. As a 3D camera, a stereo camera is used, wherein an image sensor of this stereo camera can be used as a monocamera for the detection of lane markings by means of edge detection.

Die Erfindung wird nachfolgend unter Bezugnahme auf die beigefügten Figuren näher erläutert. Es zeigen: The invention will be explained in more detail with reference to the accompanying figures. Show it:

1 ein schematisches Blockschaltbild eines Fahrzeugs mit einer von einer 3D-Kamera aufgenommenen Straßenszene zur Erläuterung des erfindungsgemäßen Verfahrens, 1 2 is a schematic block diagram of a vehicle with a road scene recorded by a 3D camera to explain the method according to the invention;

2 eine Darstellung eines Straßenhöhenprofils im Bereich einer Mittellinie als Fahrbahnmarkierung einer Fahrbahn, und 2 a representation of a road height profile in the region of a center line as a lane marking a roadway, and

3 eine Darstellung eines Straßenhöhenprofils im Bereich eines Markierungsknopfes als Fahrbahnmarkierung einer Fahrbahn. 3 a representation of a road height profile in the range of a marker button as a lane marking a roadway.

Das in 1 schematisch dargestellte Fahrzeug 10 umfasst eine als Stereokamera 11 ausgebildete 3D-Kamera, die von der vor dem Fahrzeug 10 liegenden Straßenszene Z Bilddaten erzeugt. Diese Straßenszene Z zeigt eine Fahrbahn 20 mit zwei durch eine unterbrochene Mittellinie 1 als Fahrbahnmarkierungen getrennte Fahrspuren 21 und 22, wobei sich das Fahrzeug 10 auf der rechten Fahrspur 21 in Fahrtrichtung F bewegt. Die Fahrbahn 20 wird durch eine rechte und linke durchgezogenen Randlinie 2.1 bzw. 2.2 als Fahrstreifenbegrenzung begrenzt. An die rechte und linke Randlinie 2.1 und 2.2 als Fahrbahnmarkierung schließt sich jeweils ein Randstreifen 21.1 und 22.1 der Fahrbahn 20 an. This in 1 schematically illustrated vehicle 10 includes one as a stereo camera 11 trained 3D camera taken from the front of the vehicle 10 lying street scene Z image data generated. This street scene Z shows a roadway 20 with two through a broken center line 1 as lane markings separate lanes 21 and 22 , where the vehicle 10 in the right lane 21 moved in the direction of travel F. The roadway 20 is defined by a right and left solid border line 2.1 respectively. 2.2 Limited as lane boundary. To the right and left margin line 2.1 and 2.2 as roadway marking, each one edge strip closes 21.1 and 22.1 the roadway 20 at.

Die von der Stereokamera 11 aufgenommenen Bilddaten werden zu deren Auswertung einer Bildverarbeitungseinheit 12 zugeführt, die hieraus ein Straßenhöhenprofil P1 entlang einer Linie L durch einen Streifen 1.1 der Mittellinie 1 quer zur Fahrtrichtung F erzeugt. Dieses Straßenhöhenprofil P1 zeigt 2, welches zur Auswertung einer Auswerteeinheit 13 zugeführt wird. The from the stereo camera 11 recorded image data are for their evaluation of an image processing unit 12 supplied therefrom, a road height profile P1 along a line L by a strip 1.1 the middle line 1 transversely to the direction of travel F generated. This road height profile P1 shows 2 , which is used to evaluate an evaluation unit 13 is supplied.

Die Auswertung mittels der Auswerteeinheit 13 beginnt damit, dass aus dem Verlauf des Straßenhöhenprofils P1 eine Erhebung 1 gegenüber der Fahrbahnebene der Fahrbahn 20 anzeigende Höhensprünge S11 und S12 detektiert werden. Diese beiden Höhensprünge S11 und S12 zeigen die Breite b₁ des Streifens 1.1 der Mittellinie 1 an. Im weiteren Verlauf der Auswertung wird der Wert B1 des Abstandes b₁ der Höhensprünge H11 und H12 der Erhebung 1.1 und der Wert h₁ der Höhe H1 des die Erhebung 1.1 anzeigenden Höhensprunges S11 und S12 als Geometriedaten dieser Erhebung 1.1 bestimmt. The evaluation by means of the evaluation unit 13 begins with the fact that from the course of the road height profile P1 a survey 1 opposite the roadway level of the roadway 20 indicating altitude jumps S11 and S12 are detected. These two height jumps S11 and S12 show the width b _{1 of} the strip 1.1 the middle line 1 at. In the further course of the evaluation, the value B1 of the distance b _{1 of} the height jumps H11 and H12 of the survey 1.1 and the value h _{1 of} the height H1 of the survey 1.1 indicating height jump S11 and S12 as geometric data of this survey 1.1 certainly.

Die Auswerteeinheit 13 umfasst eine Speichereinrichtung, in welcher Geometriedaten von Fahrbahnmarkierungen, insbesondere von Längsmarkierungen, wie Mittellinien und Randlinien einer Fahrbahn gespeichert sind. Diese Geometriedaten entsprechen den Abmessungen von Fahrbahnmarkierungen quer zur Fahrtrichtung F des Fahrzeugs 10. Durch Vergleich der Werte b₁ und h₁ der detektierten Geometriedaten der Erhebung 1.1 mit in der Auswerteeinheit 13 abgelegten Geometriedaten wird bei Übereinstimmung diese Erhebung 1.1 als Fahrbahnmarkierung 1 der Fahrbahn 20 detektiert. The evaluation unit 13 comprises a memory device in which geometry data of lane markings, in particular of longitudinal markings, such as center lines and boundary lines of a roadway are stored. These geometric data correspond to the dimensions of road markings transverse to the direction of travel F of the vehicle 10 , By comparing the values b ₁ and h _{1 of} the detected geometric data of the survey 1.1 in the evaluation unit 13 stored geometry data will match this survey 1.1 as a road marking 1 the roadway 20 detected.

Während der Fahrt des Fahrzeugs 10 in Fahrtrichtung F werden für eine Mehrzahl von weiteren quer zur Fahrtrichtung F verlaufenden Linien L1 und L2 usw. die zugehörigen Straßenhöhenprofile von der Bildverarbeitungseinheit 12 erstellt und von der Auswerteeinheit 13 ausgewertet. Durch die Auswertung dieser Straßenhöhenprofile in Querrichtung der Fahrtrichtung F kann auch ein in Fahrtrichtung F verlaufendes Straßenhöhenprofil erstellt werden. Aus einem solchen in Fahrtrichtung F verlaufenden Straßenhöhenprofil lässt sich der Wert der Länge des Streifens 1.1 der Mittellinie 1 bestimmen. Um diese Längsmarkierung 1 als unterbrochene Mittellinie detektieren zu können, sind die Werte der Länge von Längsmarkierungen als weitere Geometriedaten in der Speichereinrichtung der Auswerteeinheit 13 abgelegt. While driving the vehicle 10 in the direction of travel F are for a plurality of further transverse to the direction of travel F lines L1 and L2, etc., the associated road height profiles of the image processing unit 12 created and by the evaluation unit 13 evaluated. By evaluating these road height profiles in the transverse direction of the direction of travel F, a road height profile running in the direction of travel F can also be created. From such a running in the direction of travel F road height profile can be the value of the length of the strip 1.1 the middle line 1 determine. To this longitudinal mark 1 to be able to detect as an interrupted center line, the values of the length of longitudinal markings as further geometry data in the memory device of the evaluation unit 13 stored.

Neben der Länge des Streifens 1.1 der Mittellinie 1 kann auch der Abstand zwischen zwei aufeinanderfolgenden Streifen 1.1 der Mittellinie 1 erfasst und dessen Wert ermittelt werden. Durch Vergleich dieses Wertes des Abstandes zwischen zwei aufeinanderfolgenden Streifen 1.1 mit in der Speichereinrichtung der Auswerteeinheit 13 abgelegten Werten lässt sich ebenso auf den Typ der Längsmarkierung schließen. Next to the length of the strip 1.1 the middle line 1 can also be the distance between two consecutive strips 1.1 the middle line 1 and whose value is determined. By comparing this value of the distance between two consecutive strips 1.1 with in the memory device of the evaluation unit 13 stored values can also be concluded on the type of longitudinal marking.

Wird ein Straßenhöhenprofil über die gesamte Breite der Fahrbahn 20 erzeugt, welches auch die Randlinien 2.1 und 2.2 umfasst, können aufgrund der weiteren Geometriedaten in der Speichereinrichtung der Auswerteeinheit 13 diese Erhebungen als durchgehende Randlinien 2.1 und 2.2 detektiert werden. Will a road height profile across the entire width of the roadway 20 generates, which also the border lines 2.1 and 2.2 may include, due to the further geometry data in the memory device of the evaluation unit 13 these surveys as a continuous border lines 2.1 and 2.2 be detected.

Diese Daten hinsichtlich der detektierten Fahrbahnmarkierungen 1, 2.1 und 2.2 werden einem Fahrerassistenzsystem 14, bspw. einer spurgeführten Abstandsregelung oder einem Spurhalteassistenten zugeführt, um mit diesen Daten eine Spurerkennung für das Fahrzeug 10 zu realisieren. This data regarding the detected lane markings 1 . 2.1 and 2.2 become a driver assistance system 14 , For example, a track-guided distance control or a lane departure warning supplied with these data, a lane detection for the vehicle 10 to realize.

Es ist auch möglich, dass diese Daten hinsichtlich der detektierten Fahrbahnmarkierungen 1, 2.1 und 2.2 zur Plausibilisierung einer monokamerabasierten Spurerkennung zu verwenden. Bei einer solchen monokamerabasierten Spurerkennung wird von einer der beiden Kameras der Stereokamera 11 ein Grauwertbild erzeugt, aus welchem mittels Kantenerkennung Fahrbahnmarkierungen, wie bspw. Längsmarkierungen (unterbrochene oder durchgezogene Mittellinie, durchgezogene Randlinien usw.) detektiert werden. Die aus einem solchen Grauwertbild detektierten Spurmarkierungen werden mit den erfindungsgemäß detektierten Fahrbahnmarkierungen 1, 2.1 2.2 plausibilisiert. It is also possible that these data regarding the detected lane markings 1 . 2.1 and 2.2 to use for plausibility of a monocamer-based track recognition. In such a monochrome-based lane detection is by one of the two cameras of the stereo camera 11 generates a grayscale image from which by means of edge detection lane markings, such as. Longitudinal marks (broken or solid center line, solid border lines, etc.) are detected. The lane markings detected from such a gray value image are detected by the lane markings detected according to the invention 1 . 2.1 2.2 plausibility.

Als Fahrbahnmarkierungen werden auch Markierungsknöpfe (Bot Dots) verwendet, welche anstelle einer ebenen Oberfläche eine gewölbte Oberfläche aufweisen. Marking buttons (bot dots) which have a curved surface instead of a flat surface are also used as lane markings.

Werden im Bereich solcher Markierungsknöpfe ebenso Straßenhöhenprofile quer zur Fahrtrichtung F des Fahrzeugs 10 von der Bildverarbeitungseinheit 12 erstellt, ergibt sich ein in 3 dargestellter Verlauf eines solchen Straßenhöhenprofils P2 mit einer Erhebung 3 über der Fahrbahnoberfläche der Fahrbahn 20. Eine solche Erhebung 3 wird ebenso wie oben bereits dargelegt anhand von zwei Höhensprüngen S21 und S22 detektiert und der Wert b2 des Abstandes B2 der beiden Höhensprünge S21 und S22 sowie der Wert h₂ der Höhe H2 dieser Höhensprünge bestimmt. Zusätzlich wird auch die Profilierung, also die gewölbte Oberfläche dieser Erhebung 3 quer zur Fahrtrichtung bestimmt. Durch Vergleich der Werte b₂ und h₂ als Geometriedaten sowie der detektierten Profilierung mit in Speichereinheit der Auswerteeinheit 13 abgelegten Geometriedaten und Profilierungsdaten wird diese Erhebung 3 als Markierungsknopf detektiert. Be in the range of such marker buttons also road height profiles transverse to the direction of travel F of the vehicle 10 from the image processing unit 12 created, results in a 3 illustrated course of such a road height profile P2 with a survey 3 above the road surface of the roadway 20 , Such a survey 3 is also detected as already stated above by two height jumps S21 and S22 and determines the value b2 of the distance B2 of the two height jumps S21 and S22 and the value h _{2 of} the height H2 of these height jumps. In addition, the profiling, so the curved surface of this survey 3 determined transversely to the direction of travel. By comparing the values b ₂ and h ₂ as geometric data as well as the profiling detected in the memory unit of the evaluation unit 13 stored geometry data and profiling data becomes this survey 3 detected as a marker button.

Werden in Fahrtrichtung mehrere Straßenhöhenprofil P2 erzeugt, kann hieraus ein Straßenhöhenprofil in Fahrtrichtung erstellt werden, woraus die Geometriedaten von detektierten Erhebungen als auch deren Profilierung in Fahrtrichtung detektiert und deren Werte bzw. deren Profilierung mit in der Speichereinrichtung der Auswerteeinheit 13 abgelegten weiteren Geometriedaten und weiteren Profilierungsdaten verglichen werden, um hieraus die Erkennungssicherheit solcher Markierungsknöpfe 3 zu verbessern. If several road height profile P2 are generated in the direction of travel, a road height profile in the direction of travel can be created from this, from which the geometry data of detected elevations and their profiling in the direction of travel detected and their values or their profiling with in the memory device of the evaluation 13 stored further geometry data and other Profilierungsdaten be compared, in order to determine the reliability of such marking buttons 3 to improve.

Neben der Detektion von Längsmarkierungen lassen sich mit dem oben erläuterten erfindungsgemäßen Verfahren auch Quermarkierungen und Flächenmarkierungen als Fahrbahnmarkierungen detektieren, indem aus den entsprechenden Straßenhöhenprofilen in Querrichtung der Fahrtrichtung F und gegebenenfalls auch in Fahrtrichtung F Geometriedaten und weitere Geometriedaten solcher Quermarkierungen und Flächenmarkierungen der Fahrbahn 20 in der Auswerteeinheit 13 gespeichert werden. In addition to the detection of longitudinal markings, cross marks and area markings can also be detected as road markings using the method according to the invention explained above, by geometric data and further geometric data of such transverse markings and area markings of the roadway from the corresponding road height profiles in the transverse direction of the travel direction F and possibly also in the direction of travel F 20 in the evaluation unit 13 get saved.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1 1: Mittellinie der Fahrbahn 20 Centerline of the roadway 20
1.1 1.1: Erhebung der Fahrbahn 20 Elevation of the roadway 20
2.1 2.1: rechte Randlinie der Fahrbahn 20 right edge line of the roadway 20
2.2 2.2: linke Randlinie der Fahrbahn 20 left edge line of the roadway 20
3 3: Markierungsknopf (Bot Dot) der Fahrbahn 20 Marking button (bot dot) of the roadway 20
10 10: Fahrzeug vehicle
11 11: 3D-Kamera, Stereokamera 3D camera, stereo camera
12 12: Bildverarbeitungseinheit Image processing unit
13 13: Auswerteeinheit evaluation
14 14: Fahrerassistenzsystem Driver assistance system
20 20: Fahrbahn roadway
21 21: rechte Fahrspur der Fahrbahn 20 right lane of the roadway 20
21.121.1: rechter Randstreifen der Fahrbahn 20 Right edge strip of the roadway 20
22 22: linke Fahrspur der Fahrbahn 20 left lane of the roadway 20
22.122.1: linker Randstreifen der Fahrbahn 20 left edge strip of the roadway 20
b₁ b ₁: Wert der Breite B1 Value of width B1
b₂ b ₂: Wert der Breite B2 Value of width B2
B1 B1: Breite der Erhebung 1.1 Width of the survey 1.1
B2 B2: Breite des Markierungsknopfes 3 Width of the marker button 3
F F: Fahrtrichtung des Fahrzeugs 10 Driving direction of the vehicle 10
L L: Linie quer zur Fahrtrichtung F Line across the direction of travel F
L1 L1: Linie quer zur Fahrtrichtung F Line across the direction of travel F
L2 L2: Linie quer zur Fahrtrichtung F Line across the direction of travel F
P1 P1: Straßenhöhenprofil Street level profile
P2 P2: Straßenhöhenprofil Street level profile
S11 S11: Höhensprung im Straßenhöhenprofil P1 Height jump in the street height profile P1
S12 S12: Höhensprung im Straßenhöhenprofil P1 Height jump in the street height profile P1
S21 S21: Höhensprung im Straßenhöhenprofil P2 Height jump in the road height profile P2
S22 S22: Höhensprung im Straßenhöhenprofil P2 Height jump in the road height profile P2
Z Z: Straßenszene street scene

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102009053748 A1 [0004]

Claims

Method for detecting at least one lane marking ( 1 ) of a vehicle ( 10 ) lane ( 21 ) by a 3D camera ( 11 ) generated image data in front of the vehicle ( 10 ) road ahead ( 20 ) of an evaluation unit ( 13 ) are fed to the evaluation, characterized in that - from the image data, a road height profile (P1) transversely to the direction of travel (F) of the vehicle ( 10 ) by means of the evaluation unit ( 13 ) is generated, - in the course of the road height profile (P1) at least one survey ( 1.1 ) relative to the roadway level of the roadway ( 20 ) height hops (S11, S12) are detected from the road height profile (P1), - the value (b ₁ ) of the distance (B1) of the height jumps (S11, S12) of the at least one survey ( 1.1 ) and the value (h ₁ ) of the height (H1) of the elevation (S11, S12) indicating the at least one elevation as geometric data of the at least one elevation ( 1.1 ) by means of the evaluation unit ( 13 ), and by comparing the values (b ₁ , h ₁ ) of the geometry data of the at least one survey ( 1.1 ) with the geometry data stored in the evaluation unit, a lane marking ( 1 ) of the roadway ( 20 ) is detected.

Method according to claim 1, characterized in that - the profiling of the at least one survey ( 3 ) is determined transversely to the direction of travel, and - by comparing the profiling with profiling data stored in the evaluation unit, the lane marking is detected.

A method according to claim 1 or 2, characterized in that - as further geometric data of the at least one survey additionally in the direction of travel, the length of the detected survey and / or the distance between successive surveys in the longitudinal direction is determined, and - by comparison of the further geometric data of the survey in Direction of travel with stored in the evaluation unit further geometry data a lane marking is determined.

Method according to one of the preceding claims, characterized in that - the profiling of the at least one elevation in the direction of travel is determined, and - the lane marking is detected by comparing the profiling with further profiling data stored in the evaluation unit.

Method according to one of the preceding claims, characterized in that for the detection of longitudinal markings as road markings geometry data and further geometric data of longitudinal markings of the road are stored in the evaluation unit.

Method according to one of the preceding claims, characterized in that profiling data and further profiling data of marking buttons of the roadway are stored in the evaluation unit for the purpose of detecting marking buttons as roadway markings.

Method according to one of the preceding claims, characterized in that for the detection of cross-markings as road markings geometry data and further geometric data data of cross-markings of the carriageway are stored in the evaluation unit.

Method according to one of the preceding claims, characterized in that for the detection of surface markings as road markings, geometry data and further geometric data are stored data of surface markings of the roadway in the evaluation unit

Method according to one of the preceding claims, characterized in that - for the lane detection of the vehicle, a gray value image or a color image is generated by means of an environmental sensor from the road ahead of the vehicle, and - the recognized lane of the vehicle with the at least one recognized lane marking is plausibility.

Method according to one of the preceding claims, characterized in that a stereo camera is used as the 3D camera.