DE102005044981A1 - Lane markings identifying method for moving motor vehicle, involves combining coherent images having similar brightness to cluster for determining form of objects, and identifying lane markings based on form and periodic arrangement in lane - Google Patents

Lane markings identifying method for moving motor vehicle, involves combining coherent images having similar brightness to cluster for determining form of objects, and identifying lane markings based on form and periodic arrangement in lane Download PDF

Info

Publication number
DE102005044981A1
DE102005044981A1 DE102005044981A DE102005044981A DE102005044981A1 DE 102005044981 A1 DE102005044981 A1 DE 102005044981A1 DE 102005044981 A DE102005044981 A DE 102005044981A DE 102005044981 A DE102005044981 A DE 102005044981A DE 102005044981 A1 DE102005044981 A1 DE 102005044981A1
Authority
DE
Germany
Prior art keywords
lane
objects
lane markings
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102005044981A
Other languages
German (de)
Inventor
Thomas Dipl.-Ing. Fechner
Stefan Dipl.-Ing. Heinrich
Dirk Dipl.-Ing. Ulbricht
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ADC Automotive Distance Control Systems GmbH
Original Assignee
ADC Automotive Distance Control Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ADC Automotive Distance Control Systems GmbH filed Critical ADC Automotive Distance Control Systems GmbH
Priority to DE102005044981A priority Critical patent/DE102005044981A1/en
Publication of DE102005044981A1 publication Critical patent/DE102005044981A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

The method involves analyzing brightness difference and extracting edges from a recorded image data. Coherent images that are having similar brightness are combined to cluster for determining a form of objects. Lane markings are identified based on the form and periodic arrangement in the lane. The objects are identified as the lane markings and/or the lane markings types such as broken lines or dots are identified when distance and form of the object corresponds to a value of the typical lane markings, where the value is predetermined within the image.

Description

Die Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zur Fahrspurerkennung. Ein wichtiger Bestandteil von Fahrerassistenzsystemen, die z. B. zur Abstandsregelung oder Spurhaltung eingesetzt werden, ist die Prädiktion der Fahrspur. In der Literatur werden verschiedene Lösungsansätze zu diesem Thema angegeben. DE 10327869 offenbart ein Navigationssystem mit Fahrspurhinweisen, bei dem Straßenkartendaten mit Fahrspurinformationen in einem Speicherelement abgelegt und zusätzlich die Straße vor dem Kraftfahrzeug erfasst wird. Die Datensätze werden zur Positions- und Fahrspurbestimmung des Kraftfahrzeugs verglichen.The invention relates to a method and a device for lane detection. An important component of driver assistance systems, the z. B. are used for distance control or tracking, the prediction of the lane. The literature suggests various approaches to this topic. DE 10327869 discloses a navigation system with lane indications, in which road map data with lane information is stored in a memory element and, in addition, the road in front of the motor vehicle is detected. The data sets are compared for determining the position and lane of the motor vehicle.

Alternativ werden häufig Kamerasysteme zur Fahrspurfindung eingesetzt. Es wird z. B. in DE 102004003502 ein Verfahren und Vorrichtung zum Assistieren beim Führen eines Kraftfahrzeugs vorgestellt. Die Fahrzeugumgebung wird mit einer Kamera aufgenommen. Zur Auswertung der Bilddaten werden vorgegebene Suchfenster benutzt, in denen Fahrbahnmarkierung detektiert werden. Die Maximalanzahl der verfügbaren Suchfenster wird situationsbedingt ermittelt. Dieses Vorgehen bietet den Vorteil, dass auch bei einer Kurvenfahrt oder einem Fahrspurwechsel eine Fahrspur weiterhin erkannt werden kann.Alternatively, camera systems are often used for lane finding. It is z. In DE 102004003502 a method and apparatus for assisting in driving a motor vehicle presented. The vehicle environment is recorded with a camera. For evaluating the image data, predetermined search windows are used in which lane markings are detected. The maximum number of available search windows is determined depending on the situation. This approach has the advantage that even when cornering or a lane change a lane can still be detected.

Es ist eine Aufgabe der hier vorliegenden Erfindung, die Fahrspur eines Kraftfahrzeugs schnell und zuverlässig zu erkennen.It is an object of the present invention, the lane of a Motor vehicle quickly and reliably recognize.

Die Aufgabe wird erfinderisch gemäß den unabhängigen Patentansprüchen gelöst. Die abhängigen Unteransprüche zeigen vorteilhafte Ausführungsformen und Weiterentwicklungen der Erfindung auf.The Problem is solved according to the invention according to the independent claims. The dependent dependent claims show advantageous embodiments and further developments of the invention.

Für eine kamerabasierte Fahrspurfindung eines Fahrzeugs werden die Bilddaten mit einem dafür geeigneten Auswerteverfahren (Algorithmus) analysiert. Für ein schnelles und sicheres Auffinden der Fahrspur ist es von Vorteil, die Markierungsart zu kennen. Z. B. wird in Deutschland bevorzugt eine in periodischen Abständen unterbrochene weiße Line als Fahrspurmarkierung verwendet, wohingegen in den USA häufig punktförmige, erhabenen Spurmarkierungen, sog. Bot Dots, anzutreffen sind. Ist die Art der Fahrspurmarkierung bekannt, die aktuell die Fahrspur des Fahrzeugs begrenzt, kann in den Bilddaten gezielt nach dem Vorhandensein von Objekten mit einer vorgegeben Form und einem vorgegebenen Abstand gesucht werden.For a camera-based Lane finding of a vehicle, the image data with a suitable Evaluation method (algorithm) analyzed. For a fast and safe Finding the lane, it is advantageous to the marker type too know. For example, in Germany one is preferred in periodic intervals interrupted white Line is used as a lane marker, whereas in the US often punctate, raised Lane markers, so-called bot dots, are encountered. Is the type of Lane marking known, which is currently the lane of the vehicle limited, in the image data can be targeted for the presence of Objects with a given shape and a given distance be searched.

Dazu wird ein Verfahren zur für ein bewegtes Kraftfahrzeug mit einer Bildaufnahmeeinheit angegeben. In den aufgenommenen Bilddaten werden Helligkeitsunterschiede (Kontraste) analysiert und/oder Kanten extrahiert. Zusammenhängende Gebilde mit ähnlicher Helligkeit werden zu Clustern zusammengefasst, um die Form von Objekten zu analysieren. Erfindungsgemäß werden die Fahrbahnmarkierungen anhand ihrer Form und ihrer periodischen Anordnung auf der Fahrbahn erkannt. Insbesondere werden Objekte und damit Fahrbahnmarkierungen dann erkannt, wenn Abstand und Form der Objekte im Bild vorgegebenen, zuvor in einer Steuereinheit abgelegten Werten entsprechen. Anhand von Form und Abstand der Objekte kann auch die Markierungsart (unterbrochenen Linie, Bot Dot, etc.) identifiziert werden.To becomes a procedure for a moving motor vehicle indicated with an image pickup unit. In the recorded image data becomes differences in brightness (contrasts) analyzed and / or edges extracted. Related entities with similar Brightness is clustered to the shape of objects analyze. According to the invention the lane markings on the basis of their shape and their periodic Disposition on the roadway detected. In particular, objects become objects and thus lane markings then recognized when distance and shape of the objects in the image, previously stored in a control unit Correspond to values. Based on shape and distance of objects can also the marking type (broken line, bot dot, etc.) identified become.

In einer weiteren Ausführungsform werden Objekte als Fahrbahnmarkierungen erkannt, wenn sie mit einem vorgegebenen, vorher in der Steuereinheit abgelegten Muster übereinstimmen (Pattern Matching). Die in der Steuereinheit abgelegten Muster entsprechen denen typischer Fahrbahnmarkierungen. Die Fahrbahnmarkierungen sind in einer Perspektive dargestellt, die der Ausrichtung des vorliegenden Bildaufnehmers auf die Fahrbahn im Wesentlichen entspricht. Der Vergleich mit einem vorgegebenen Muster ermöglicht auch die Identifizierung der MarkierungsartIn a further embodiment objects are recognized as lane markings, if they are with a predetermined, previously stored in the control unit pattern match (Pattern matching). The patterns stored in the control unit correspond those typical road markings. The lane markings are presented in a perspective that reflects the orientation of the present Image pickup on the roadway substantially corresponds. Of the Comparison with a given pattern also allows identification the marking type

In einer vorteilhaften Ausgestaltung der Erfindung wird nur in vorgegebenen Bereichen des Bildes nach Kontrastunterschieden und damit Fahrbahnmarkierungen gesucht. Die vorgegebenen Bereiche sind so angeordnet, dass sie den modellhaft angenommenen Spurverlauf begrenzen.In An advantageous embodiment of the invention is only in predetermined Areas of the image after contrast differences and thus lane markings searched. The predetermined areas are arranged so that they limit the model assumed track course.

Weitere Verfahrensschritte zur Prüfung des erhaltenen Resultats und zur Vermeidung von Auswertefehlern werden im den folgenden vorteilhaften Ausführungsformen der Erfindung angegeben. Fälschlicherweise erkannte Fahrbahnmarkierungen erschweren die Spurerkennung. „Falsche Fahrbahnmarkierungen" können durch Schmutz, Texturen oder Spiegelbilder der Fahrbahnmarkierungen z. B. auf nasser Fahrbahn im betrachteten Bildausschnitt entstehen.Further Procedural steps for testing of the result obtained and to avoid evaluation errors be in the following advantageous embodiments of the invention specified. falsely Detected road markings make it difficult to track detection. "Incorrect Road markings "can through Dirt, textures or mirror images of the road markings z. B. arise on wet roads in the viewed image detail.

In einer besonderen Ausführungsform der Erfindung wird im Bild für jeweils einzelne Segmente (Bildausschnitte/Bildpixel) entlang der identifizierten Fahrspurmarkierungen ein Frequenzspektrum des Helligkeitsverlaufs ermittelt. Die Frequenzspektren der unterschiedlichen Bildsegmente werden in den relevanten Frequenzbereichen verglichen. Weicht in einem Bildsegment das Frequenzspektrum stark von dem der anderen Segmente ab, so wird das Messsignal in diesem Segment verworfen.In a particular embodiment The invention is in the picture for each individual segments (image sections / image pixels) along the Lane markings identified a frequency spectrum of the brightness curve determined. The frequency spectra of the different image segments are compared in the relevant frequency ranges. Dodge in One image segment, the frequency spectrum of the other segments from, the measurement signal is discarded in this segment.

In einer vorteilhaften Ausgestaltung der Erfindung wird im Bild für jeweils einzelne Segmente (Bildausschnitte bzw. Bildpixel) entlang der identifizierten Fahrspurmarkierungen ein Helligkeitsverlauf ermittelt. Markierungslinien sind üblicherweise durch periodische Strukturen in Fahrtrichtung repräsentiert. Neben der örtlichen Periodizität tritt im Fahrbetrieb aber auch eine zeitliche Periodizität der Markierungsmesswerte auf. Durch den zeitlichen Wechsel zwischen Markierungsmessung und Markierungslücke entsteht in allen Bildsegmenten der gleiche Helligkeitsverlauf. Durch den Vergleich der Helligkeitsverläufe durch eine Kreuzkorrelation kann die Ähnlichkeit der Helligkeitsverläufe ermittelt werden. Stimmt der Helligkeitsverlauf in einem bestimmten Bildsegment nicht mit den anderen In einer weiteren Ausgestaltung der Erfindung wird zur Identifizierung von Auswertefehlern der zeitabhängige Helligkeitsverlauf in den einzelnen Bildsegmenten unter Berücksichtigung der Eigengeschwindigkeit mit vorgegebenen Helligkeitsverläufen verglichen. Gemessenes und vorgegebenes Signal können nur miteinander verglichen werden, wenn beide bei der gleichen Fahrzeuggeschwindigkeit aufgenommen bzw. simuliert wurden. Der Vergleich wird mittels Korrelation oder Frequenzanalyse und anschließendem Vergleich der Spektren durchgeführt. Beide Auswerteverfahren wurden unmittelbar zuvor beschrieben. Die vorgegeben Helligkeitsverläufe entsprechen denen typischer Fahrspurmarkierungen. Zeit der aufgenommene Helligkeitsverlauf in einem Bildsegment keine Ähnlichkeit mit einem der vorgegebenen Helligkeitsverläufen auf, wird dieses Messsignal verworfen.In An advantageous embodiment of the invention is shown in the picture for each individual segments (image sections or image pixels) along the identified Lane markings determined a brightness gradient. marking lines are common represented by periodic structures in the direction of travel. In addition to the local periodicity occurs during driving but also a temporal periodicity of the marking measured values on. Due to the temporal change between marking measurement and marking gap The same brightness gradient occurs in all image segments. By comparing the brightness gradients by a cross-correlation can the similarity the brightness gradients be determined. Does the brightness curve in a certain Image segment not with the others In a further embodiment In order to identify evaluation errors, the invention uses the time-dependent brightness curve in the individual image segments taking into account the airspeed with given brightness gradients compared. Measured and given signal can only be compared with each other when both are recorded at the same vehicle speed or simulated. The comparison is done by correlation or Frequency analysis and subsequent Comparison of the spectra performed. Both evaluation methods were described immediately before. The specified brightness gradients correspond to those of typical lane markings. Time of the recorded Brightness course in a picture segment is not similar to one of the given brightness profiles on, this measurement signal is discarded.

In einer vorteilhaften Ausgestaltung der Erfindung werden zur Vermeidung von Auswertefehlern nur Objekte als Fahrbahnmarkierungen erkannt werden, die entlang einer Gerade oder eines Bogens angeordnet sind. Diese Anordnung entspricht dem typischen Verlauf von Fahrspurmarkierungen.In An advantageous embodiment of the invention will be to avoid of evaluation errors only objects recognized as lane markings be arranged along a straight line or an arc. This arrangement corresponds to the typical course of lane markings.

Die Bewegungsrichtung der als Fahrbahnmarkierung erkannten Objekte wird in einer besonderen Ausführungsform der Erfindung in nacheinander aufgenommenen Bildern untersucht. Die Bewegungsrichtung „echter" Fahrspurmarkierungen stimmt bei einem zumindest nahezu geradlinigen Verlauf der Fahrbahn bzw. im Nahbereich vor dem Fahrzeug im Wesentlichen überein. Messwerte von Objekten, die von der Bewegungsrichtung anderer Markierungen wesentlich abweichen, werden verworfen.The Direction of movement of the recognized as lane marking objects in a particular embodiment of the invention examined in successive images. The direction of movement of "real" lane markings agrees with an at least almost straight course of the road or in the vicinity in front of the vehicle substantially match. Measurements of objects by the direction of movement of other markers deviate significantly, are discarded.

In einer vorteilhaften Ausgestaltung der Erfindung wird die Bewegungsrichtung und/oder Bewegungsgeschwindigkeit der als Fahrbahnmarkierung erkannten Objekte in nacheinander aufgenommenen Bildern untersucht und mit einem erwarteten Verlauf verglichen. Der erwartete Verlauf wird in Abhängigkeit der Eigengeschwindigkeit des Fahrzeugs und ggf. von der Markierungsart (unterbrochene Linie, Bot Dots, etc.) bestimmt. Objekte, die von diesem erwarteten Verlauf abweichend, werden verworfen.In An advantageous embodiment of the invention is the direction of movement and / or movement speed of the recognized as a lane marker Objects examined in successive pictures and with compared to an expected course. The expected course will be dependent on the vehicle's own speed and possibly the type of marking (broken line, bot dots, etc.). Objects by deviating from this expected course, are discarded.

Zudem wird eine Vorrichtung mit einer Bildaufnahmeeinheit und einer Steuereinheit mit einer hinterlegten Programmierung zur Durchführung eines wie oben beschriebenen Verfahrens vorgestellt. Referenzdaten zu bekannten Fahrspurmarkierungen und eine Programmierung zur Durchführung eines wie oben beschriebenen Verfahrens sind auf der Steuereinheit hinterlegt.moreover is a device with an image pickup unit and a control unit with a stored programming for performing one as described above Procedure presented. Reference data for known lane markings and programming to perform one as described above Procedure are stored on the control unit.

Die Erfindung wird nachfolgend anhand eines Ausführungsbeispiels und einer Abbildung näher beschrieben.The Invention will be described below with reference to an embodiment and an illustration described in more detail.

1 Entfernungsbestimmung von Objekten aus einem Kamerabild und den Kalibrierungsdaten der Kamera. 1 Distance determination of objects from a camera image and the calibration data of the camera.

2 Zeitlicher Verlauf von Fahrspurmarkierungen im Kamerabild 2 Time course of lane markings in the camera image

Eine Bildaufnahmeeinheit in einem bewegten Kraftfahrzeug nimmt die Umgebung vor dem Kraftfahrzeug auf. Teilbereiche der aufgenommenen Bilddaten werden Helligkeitsunterschiede (Kontraste) analysiert und/oder Kanten extrahiert. Die Teilbereiche sind so angeordnet, dass sie den modellhaft angenommenen Fahrspurverlauf im Bild begrenzen. Der angenommene Fahrspurverlauf ergibt sich entweder aus früheren Messungen oder aus der Ausrichtung der kalibrierten Kamera auf die Fahrzeugumgebung, wobei davon ausgegangen wird dass sich die Fahrspurmarkierungen auf der linken und rechten Seite des Fahrzeugs befinden.A Image capture unit in a moving motor vehicle takes the environment in front of the motor vehicle. Subareas of the recorded image data Brightness differences (contrasts) are analyzed and / or edges extracted. The subregions are arranged so that they are modeled limit assumed lane course in the picture. The assumed Lane course results either from earlier measurements or from the Orientation of the calibrated camera on the vehicle environment, where It is assumed that the lane markings on the left and right side of the vehicle.

Benachbart detektierte Kantenpaare werden daraufhin untersucht, ob sie den vorgeschlagenen Markierungsgeometrien entsprechen. Hierzu wird die Position der Kantenpaare in Weltkoordinaten, und somit er tatsächlichen Form der Objekte auf der Fahrbahn, ermittelt. Die relevanten Kantenpaare werden dann zu möglichen Markierungen zusammengefasst (Clusterbildung). Der Umriss eines solchen Clusters gibt die Form des Objekts an. Der Abstand der erkannten Objekte kann aus den Bilddaten und den Kalibrierdaten des eingebauten Bildaufnehmers aus geometrischen Überlegungen heraus bestimmt werden. 1 stellt die Abstandsbestimmung eines Punktes d zur Kamera dar. Der Abstand wird aus h der Kameraeinbauhöhe, α dem Kameranickwinkel, y der Bildzeile des Punktes, η der Pixelgröße und f die Kamerabrennweite zu

Figure 00050001
Adjacent detected pairs of edges are examined to see if they conform to the proposed marker geometries. For this purpose, the position of the edge pairs in world coordinates, and thus the actual shape of the objects on the road, determined. The relevant edge pairs are then combined to form possible markings (clustering). The outline of such a cluster indicates the shape of the object. The distance of the detected objects can be determined from the image data and the calibration data of the built-in image sensor out of geometric considerations out. 1 represents the distance determination of a point d to the camera. The distance becomes from h the camera installation height, α the camera angle, y the image line of the point, η the pixel size and f the camera focal length
Figure 00050001

Die Fahrbahnmarkierungen werden anhand ihrer Form und ihrer periodischen Anordnung auf der Fahrbahn erkannt. Dazu werden die Form und der Abstand der im Bild vorhandnen Objekte analysiert. Ist der Abstand zwischen den Objekten äquidistant, handelt es sich mit wahrscheinlich um Fahrspurmarkierungen. In einer Steuereinheit zur Datenverarbeitung und Auswertung werden die im Bild erkannten Objekte mit zuvor abgelegten Werten typischer Fahrbahnmarkierungen verglichen. Anhand dieses Vergleichs kann mit großer Sicherheit bestimmt werden, ob es sich um Fahrbahnmarkierungen handelt und mit welche Markierungsart (unterbrochene Linie, Bot Dot, etc.) vorliegt. Die so erhaltenen Informationen über den Fahrspurverlauf und die Markierungsart werden im weiteren Verlauf der Fahrspurerkennung genutzt, wobei gezielt nach Markierungen die der zuvor erkannten Art entspricht gesucht wird.The Road markings are based on their shape and their periodic Disposition on the roadway detected. These are the shape and the Distance of the objects present in the image analyzed. Is the distance equidistant between the objects, they are probably lane markings. In a Control unit for data processing and evaluation will be in the Image detected objects with previously stored values of typical lane markings compared. On the basis of this comparison can with great certainty determine whether it is road markings and with which type of marking (broken line, bot dot, etc.) is present. The information obtained in this way the course of the lane and the type of marking will be discussed later the lane detection used, with targeted for markings the the previously recognized type is searched.

Um Auswertefehler bei der Fahrspurerkennung zu vermeiden wird zusätzlich zu dem oben genannten Verfahren die zeitliche Periodizität von Fahrspurbegrenzungslinien geprüft. Markierungslinien werden üblicherweise durch periodische Strukturen in Fahrtrichtung repräsentiert. Neben der örtlichen Periodizität tritt im Fahrbetrieb aber auch eine zeitliche Periodizität der Markierungsmesswerte auf. In 2 ist dargestellt, dass die Wiederholfrequenz mit der Fahrbahnmarkierungen in Bildsegmenten entlang des des mittleren Fahrspurrandes 1 detektiert werden, unabhängig von der Entfernung der Fahrspurmarkierung zum Fahrzeug ist. Dazu ist rechts in 2 der zeitliche Verlauf des Messsignals an bestimmten Bildpunkten wiedergegeben. Weicht die Wiederholfrequenz des mittleren Fahrspurrands 1 also in einem Bildsegment stark von der in anderen Bildsegmenten bestimmten Wiederholfrequenz ab, wird das Messsignal in diesem Bildsegment verworfen.In order to avoid evaluation errors in lane recognition, in addition to the above-mentioned method, the temporal periodicity of lane boundary lines is checked. Marking lines are usually represented by periodic structures in the direction of travel. In addition to the local periodicity, a temporal periodicity of the marking measured values also occurs during driving operation. In 2 It is shown that the repetition frequency with the lane markings in image segments along the middle lane boundary 1 is detected, regardless of the distance of the lane marking to the vehicle. This is right in 2 the time course of the measured signal reproduced at certain pixels. Deviates the repetition frequency of the middle driving lane 1 So in one image segment strongly from the determined in other image segments repetition, the measurement signal is discarded in this image segment.

Claims (12)

Verfahren zur Erkennung von Fahrspurmarkierungen (1) für ein bewegtes Kraftfahrzeug mit einer Bildaufnahmeeinheit, wobei in den aufgenommenen Bilddaten Helligkeitsunterschiede (Kontraste) analysiert und/oder Kanten extrahiert werden und zur Bestimmung der Form von Objekten zusammenhängende Gebilde mit ähnlicher Helligkeit zu Clustern zusammengefasst werden dadurch gekennzeichnet, dass Fahrbahnmarkierungen (1) anhand ihrer Form und ihrer periodischen Anordnung auf der Fahrbahn erkannt werden.Method for detecting lane markings ( 1 ) for a moving motor vehicle with an image acquisition unit, in which recorded image data brightness differences (contrasts) are analyzed and / or edges are extracted and for determining the shape of objects related entities of similar brightness are clustered, characterized in that lane markings ( 1 ) are recognized on the basis of their shape and their periodic arrangement on the road. Kamerabasiertes Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Objekte als Fahrbahnmarkierungen (1) erkannt werden und/oder die Art der Fahrbahnmarkierung (1) identifiziert wird, wenn Abstand und Form der Objekte im Bild vorgegebenen Werten von typischen Fahrbahnmarkierungen (1) entsprechen.Camera-based method according to claim 1, characterized in that objects are used as lane markings ( 1 ) and / or the type of lane marking ( 1 ) is identified if the distance and shape of the objects in the image are predetermined values of typical road markings ( 1 ) correspond. Kamerabasierte Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Objekte als Fahrbahnmarkierungen (1) erkannt werden und oder. die Art der Fahrbahnmarkierung identifiziert wird, wenn sie mit einem vorgegebenen Muster, das dem einer typischen Fahrbahnmarkierung entspricht, übereinstimmen (Pattern matching).Camera-based method according to claim 1, characterized in that objects are used as lane markings ( 1 ) and / or. the type of lane marking is identified when it matches a given pattern corresponding to that of a typical lane marker (pattern matching). Kamerabasiertes Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass nur in vorgegebenen Bereichen des Bilds nach Fahrbahnmarkierungen (1) gesucht wird. Camera-based method according to one of the preceding claims, characterized in that only in predetermined areas of the image according to lane markings ( 1 ) is searched. Kamerabasiertes Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass zur Identifizierung von Auswertefehlern – im Bild für jeweils einzelne Segmente (Bildausschnitte) entlang der identifizierten Fahrspurmarkierungen (1) das Frequenzspektrum des Helligkeitsverlaufs ermittelt wird und – die Spektren untereinander verglichen werden und – bei einer starken Abweichung des Frequenzspektrums in einem Segment dieses Messsignal verworfen wird.Camera-based method according to one of the preceding claims, characterized in that for identifying evaluation errors - in the image for individual segments (image sections) along the identified lane markings ( 1 ) the frequency spectrum of the brightness profile is determined and - the spectra are compared with each other and - is discarded in a strong deviation of the frequency spectrum in a segment of this measurement signal. Kamerabasiertes Verfahren nach einem der vorherigen Ansprüche 4 oder 5, dadurch gekennzeichnet, dass zur Identifizierung von Auswertefehlern der Helligkeitsverlauf für jeweils einzelne Bildsegmenten unter -Berücksichtigung der Eigengeschwindigkeit mit vorgegebenen Helligkeitsverläufen, die denen typischer Fahrspurmarkierungen (1) entsprechen, mittels Korrelation und Frequenzanalyse verglichen werden, wobei bei einer starken Abweichung des Helligkeitsverlaufs in einem Segment von allen vorgegebenen Signalen das Messsignal verworfen wird.Camera-based method according to one of the preceding claims 4 or 5, characterized in that for the identification of evaluation errors of the brightness curve for each individual image segments below Considering the airspeed with given brightness gradients, which correspond to those of typical lane markings ( 1 ) are compared by means of correlation and frequency analysis, wherein in a strong deviation of the brightness curve in a segment of all predetermined signals, the measurement signal is discarded. Kamerabasiertes Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Helligkeitsverlauf mit einem für die Eigengeschwindigkeit der Vorrichtung prädizierten Verlauf verglichen wird und Messwerte die dem vorgegebenen Verlauf nicht entsprechen, verworfen werden.Camera-based method according to one of the previous Claims, characterized in that the brightness curve with one for the airspeed predicted the device History is compared and measured values the given course do not correspond, be discarded. Kamerabasiertes Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass zur Vermeidung von Auswertefehlern nur Objekte als Fahrbahnmarkierungen (1) erkannt werden, die entlang einer Gerade oder eines Bogens angeordnet sind. Camera-based method according to one of the preceding claims, characterized in that to avoid evaluation errors only objects as lane markings ( 1 ), which are arranged along a straight line or an arc. Kamerabasiertes Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass eine Bewegungsrichtung der als Fahrbahnmarkierung (1) erkannten Objekte im Bild untersucht werden, wobei Messwerte von Objekten, die von der Bewegungsrichtung anderer Markierungen abweichen verworfen werden.Camera-based method according to one of the preceding claims, characterized in that a direction of movement of the road mark ( 1 ) detected objects in the image are examined, whereby measured values of objects which deviate from the direction of movement of other markings are discarded. Kamerabasiertes Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass eine Bewegungsrichtung und/oder Bewegungsgeschwindigkeit der als Fahrbahnmarkierung (1) erkannten Objekte im Bild untersucht und mit einem prädizierten Verlauf verglichen werden, wobei der prädizierte Verlauf von der Eigengeschwindigkeit der Vorrichtung abhängt, und von diesem Verlauf abweichende Objekte verworfen werden.Camera-based method according to one of the preceding claims, characterized in that a movement direction and / or movement speed of the road mark ( 1 ) are examined in the image and compared with a predicted course, wherein the predicted course depends on the intrinsic speed of the device, and objects deviating from this course are discarded. Vorrichtung mit einer Bildaufnahmeeinheit und einer Steuereinheit mit einer hinterlegten Programmierung zur Durchführung eines Verfahrens nach einem der vorherigen Ansprüche.Device with an image acquisition unit and a Control unit with a stored programming for carrying out a Method according to one of the preceding claims. Kraftfahrzeug mit einer Vorrichtung nach Anspruch 11.Motor vehicle with a device according to claim 11th
DE102005044981A 2005-09-20 2005-09-20 Lane markings identifying method for moving motor vehicle, involves combining coherent images having similar brightness to cluster for determining form of objects, and identifying lane markings based on form and periodic arrangement in lane Withdrawn DE102005044981A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102005044981A DE102005044981A1 (en) 2005-09-20 2005-09-20 Lane markings identifying method for moving motor vehicle, involves combining coherent images having similar brightness to cluster for determining form of objects, and identifying lane markings based on form and periodic arrangement in lane

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102005044981A DE102005044981A1 (en) 2005-09-20 2005-09-20 Lane markings identifying method for moving motor vehicle, involves combining coherent images having similar brightness to cluster for determining form of objects, and identifying lane markings based on form and periodic arrangement in lane

Publications (1)

Publication Number Publication Date
DE102005044981A1 true DE102005044981A1 (en) 2007-03-22

Family

ID=37775873

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102005044981A Withdrawn DE102005044981A1 (en) 2005-09-20 2005-09-20 Lane markings identifying method for moving motor vehicle, involves combining coherent images having similar brightness to cluster for determining form of objects, and identifying lane markings based on form and periodic arrangement in lane

Country Status (1)

Country Link
DE (1) DE102005044981A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007047362A1 (en) 2007-10-02 2009-04-09 Valeo Schalter Und Sensoren Gmbh Method and arrangement for controlling a parking assistance system for vehicles in limited parking spaces
WO2010111993A1 (en) * 2009-03-30 2010-10-07 Conti Temic Microelectronic Gmbh Method and device for lane detection
DE102009060600A1 (en) 2009-12-23 2011-06-30 Volkswagen AG, 38440 Method for assigning driving strip of road to car, involves compensating marking characteristics that are extracted from digital map and determined by image processing device using classifier to find driving path regarding actual position
WO2015081955A1 (en) * 2013-12-03 2015-06-11 Conti Temic Microelectronic Gmbh Method for detecting at least one lane marker of a lane lying ahead of a vehicle
WO2015113678A1 (en) * 2014-02-03 2015-08-06 Robert Bosch Gmbh Method and device for determining the position of a vehicle

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69904056T2 (en) * 1998-08-25 2003-10-09 Bev Holding Sa IMAGE PROCESSING DEVICE AND METHOD

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69904056T2 (en) * 1998-08-25 2003-10-09 Bev Holding Sa IMAGE PROCESSING DEVICE AND METHOD

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KREUCHER,C.,LAKSHMANAN,S.:LANA: A Lane Extraction Algorithm that Uses Frequency Domain Features.In:IEEE Transactions on Robotics and Automation, Vol.15,No.2,April 1999,S.343-350 *
KREUCHER,C.,LAKSHMANAN,S.:LANA: A Lane Extraction Algorithm that Uses Frequency Domain Features.In:IEEE Transactions on Robotics and Automation, Vol.15,No.2,April 1999,S.343-350;

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007047362A1 (en) 2007-10-02 2009-04-09 Valeo Schalter Und Sensoren Gmbh Method and arrangement for controlling a parking assistance system for vehicles in limited parking spaces
WO2010111993A1 (en) * 2009-03-30 2010-10-07 Conti Temic Microelectronic Gmbh Method and device for lane detection
US8842884B2 (en) 2009-03-30 2014-09-23 Conti Temic Microelectronic Gmbh Method and device for lane detection
DE102009060600A1 (en) 2009-12-23 2011-06-30 Volkswagen AG, 38440 Method for assigning driving strip of road to car, involves compensating marking characteristics that are extracted from digital map and determined by image processing device using classifier to find driving path regarding actual position
WO2015081955A1 (en) * 2013-12-03 2015-06-11 Conti Temic Microelectronic Gmbh Method for detecting at least one lane marker of a lane lying ahead of a vehicle
WO2015113678A1 (en) * 2014-02-03 2015-08-06 Robert Bosch Gmbh Method and device for determining the position of a vehicle
US10648828B2 (en) 2014-02-03 2020-05-12 Robert Bosch Gmbh Method and apparatus for determining the position of a vehicle

Similar Documents

Publication Publication Date Title
EP1927093B1 (en) Method of and apparatus for detecting lane markings
EP2629243A1 (en) Method for detecting and tracking lane markings
DE19749086C1 (en) Device for determining data indicating the course of the lane
DE102011004946A1 (en) Device for detecting a lane marking on a road
DE19926559A1 (en) Method and device for detecting objects in the vicinity of a road vehicle up to a great distance
DE10349631A1 (en) Driver assistance method and apparatus based on lane information
EP2150939B1 (en) Method and device for determining the position of a road sign
DE102007013023A1 (en) Recursive method for providing raster card, involves assigning actual individual value to free lattice cell of single measuring raster, where actual individual value is based on distance from free lattice cell to ambient environment sensor
DE102009007342A1 (en) Method and device for determining an applicable lane marking
DE10311240B4 (en) Method and device for tracking a vehicle
EP2206075B1 (en) Detector and method for detecting a lane boundary
EP2116958A2 (en) Method and device for calculating the drive path in the area in front of a vehicle
DE102005044981A1 (en) Lane markings identifying method for moving motor vehicle, involves combining coherent images having similar brightness to cluster for determining form of objects, and identifying lane markings based on form and periodic arrangement in lane
DE102011078746A1 (en) Device for detecting object i.e. airplane, during docking of object at gate of airport, has measuring device for detecting distance pattern and detecting object in area when portion of distance pattern remains constant temporally
DE102007051966A1 (en) Method and device for detecting the course of a traffic lane
DE102011113325A1 (en) Method for object recognition by image data, involves recognizing objects in vicinity of vehicle and differentiating objects in object types, where distance in Y-direction is determined for all objects recognized in vicinity
DE102010028122A1 (en) Wrong-way drivers recognizing method for foreign vehicle, involves detecting spotlight of oncoming vehicle, and determining whether wrong-way driver is driving oncoming vehicle based on determined position of oncoming vehicle
DE102009033853A1 (en) Driver assistance system operating method for car, involves determining complexity of traffic situation, determining reliability of sensor data, and merging sensor data in dependence of determined reliability
DE102005027642A1 (en) Parking aid system for use with a an automobile has side mounted ultrasonic sensors and roof mounted orientation sensor
DE102012018471A1 (en) Method for detecting e.g. lane markings of lane edge for motor car, involves performing classification in image region of individual images, which are detected by cameras, and in another image region of disparity images
DE102010002300B4 (en) Method for determining driving behavior
DE102019211459B4 (en) Method and device for checking a calibration of environmental sensors
DE102021005933A1 (en) Method for detecting a lane course using a LIDAR and vehicle
AT525694A1 (en) METHOD OF DETERMINING THE SPEED AND/OR DIRECTION OF MOVEMENT OF A VEHICLE
DE102017216802A1 (en) METHOD AND DEVICE FOR DETECTING LICENSES, DRIVER ASSISTANCE SYSTEM AND VEHICLE

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
R012 Request for examination validly filed

Effective date: 20120704

R084 Declaration of willingness to licence
R016 Response to examination communication
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee