DE102004061822B4 - Verfahren zur Erkennung von Fahrbahnmarkierungen und Fahrerassistenzsystem - Google Patents

Verfahren zur Erkennung von Fahrbahnmarkierungen und Fahrerassistenzsystem Download PDF

Info

Publication number
DE102004061822B4
DE102004061822B4 DE102004061822.4A DE102004061822A DE102004061822B4 DE 102004061822 B4 DE102004061822 B4 DE 102004061822B4 DE 102004061822 A DE102004061822 A DE 102004061822A DE 102004061822 B4 DE102004061822 B4 DE 102004061822B4
Authority
DE
Germany
Prior art keywords
yellow
markings
lane
lane markings
white
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102004061822.4A
Other languages
English (en)
Other versions
DE102004061822A1 (de
Inventor
Calin Rotaru
Dr. Schmidt Rolf
Dr. Graf Thorsten
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of DE102004061822A1 publication Critical patent/DE102004061822A1/de
Application granted granted Critical
Publication of DE102004061822B4 publication Critical patent/DE102004061822B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Bei dem erfindungsgemäßen Verfahren zur Erkennung von Fahrbahnmarkierungen, insbesondere im Baustellenbereich, wobei die Fahrbahnmarkierungen in Form von Bildkoordinaten vorliegen, die aus einem farbigen Umgebungsbild eines Kraftfahrzeugs ermittelt werden, wird in einem ersten Schritt das Sättigungshistogramm der Fahrbahnmarkierungen errechnet, werden aus dem Sättigungshistogramm die Sättigungswerte oberhalb einer vorgegebenen ersten Schwelle bestimmt, wird eine gelbe Fahrbahnmarkierungen anzeigende erste Marke gesetzt, wenn die Anzahl der oberhalb der Schwelle liegenden Sättigungswerte größer als ein vorgegebener Wert ist, wobei alle Fahrbahnmarkierungen mit einem niedrigen Sättigungmittelwert und mit Farbtonmittelwerten, die nicht im gelben Farbtonbereich liegen, also weiße Fahrbahnmarkierungen, als unsicher gekennzeichnet werden, und wird ansonsten keine erste Marke gesetzt.

Description

  • Die Erfindung betrifft ein Verfahren zur Erkennung von Fahrbahnmarkierungen, insbesondere von gelben Fahrbahnmarkierungen, nach dem Oberbegriff von Anspruch 1 und ein entsprechendes Fahrerassistenzsystem nach dem Oberbegriff des Anspruchs 11.
  • Baustellenbereiche auf öffentlichen Strasse, Insbesondere Baustellenbereiche auf Autobahnen, stellen eine ständige Quelle von Verkehrsproblemen dar. Die speziellen, temporären Fahrbahnmarkierungen dieser Bereiche, deren schmalere Ausführung, sowie die Anwesenheit alter, jedoch nicht mehr gültiger Markierungen führen zu Problemen, die andernorts nicht auftreten. Insbesondere für Fahrerassistenzsysteme ist es daher wichtig zwischen neuen und alten Markierungen im Baustellenbereich unterscheiden zu können.
  • Innerhalb Europa werden für die neuen Markierungen Im Baustellenbereich überwiegend gelbe Markierungen verwendet, die meist zusätzlich zu den bestehenden weißen Markierungen aufgebracht werden. Daher ist ein Modell zur Erkennung gelber und weißer Markierungen, das Graustufen verwendet, nicht sonderlich sinnvoll, da in einem solchen Modell sowohl die weißen als auch die gelben Markierungen durch relativ hohe Intensitätswerte beschrieben werden. Folglich ist im Graustufenmodell keine verlässliche Unterscheldung zwischen weißen und gelben Markerungen möglich, In einer solchen Situation wird dem Fahrer vom Assistenzsystem mitgeteilt, dass sich das System einer unbekannten Verkehrssituation gegenüber sieht und die Assistenzfunktion vorübergehend beendet wird.
  • Ein Lösungsansatz, der die Farben der Umgebung bzw. des Umgebungsbildes berücksichtigt, hat bessere Aussichten zur Interpretation von Markierungen im Baustellenbereich. Derartige Verfahren zur Erkennung von Fahrbahnmarkierungen liegen vor. so beispielsweise in dem Artikel von Rotaru et. al.. „Extracting Road Features from Color Images using a Cognitive Approach", IEEE Conference on Intelligent Vehicles, Parma IT, 2004. In dem Artikel wird ein kognitives Verfahren zur Extraktion signifikanter Straßeninformation wie beispielsweise Straßenbreite und Fahrbahnmarkierungen, aus Farbbildern der Umgebung eines Kraftfahrzeugs beschrieben. Das Verfahren ist in der Lage alle Fahrbahnmarkierungen zu identifizieren und zwischen durchgehenden und unterbrochenen Markierungen zu unterscheiden und kann in Fahrerassistenzsystemen eingesetzt werden.
  • De Druckschrift US 20030044061 A1 betrifft ein Verfahren zum Segmentieren eines Farbbildes in eine Vielzahl von Bereichen, wobei das Bild in einem dreidimensionalen Farbraum überführt und ein Histogramm für jede Dimension des Farbraumes erstellt wird. Aus dem Histogramm für jede Dimension wird eine Vielzahl von Verbindungsboxen im dreidimensionalen Farbraum erstellt und eine normalisierte Varianz wird für jede Verbindungsbox berechnet, um ein Cluster von Verbindungsboxen zu bilden, die Bereichen des Farbbildes entsprechen. Diese Cluster von Verbindungsboxen werden dazu benutzt, den Messkopf eines Rasterkraftmikroskops mit Merkmalen der zu untersuchenden Probe auszurichten.
  • Die Druckschrift K. Morioka et al: „Robust tracking of multiple objects using color histogram in intelligent environment", Proceedings of the IEEE/ASME, International Conferenceon Advanced Intelligent Mechatronics, AIM 2003, betrifft ein Verfahren zum robusten Tracking einer Vielzahl von Objekten unter Verwendung von Farbhistogrammen. Dabei ist insbesondere das Tracking von sich bewegenden Personen für eine Roboteranwendung von Bedeutung ist, beispielsweise damit ein Roboter in seinem Umfeld auf sich bewegende Personen reagieren kann.
  • Weitere Algorithmen zur Erkennung von Fahrbahnmarkierungen suchen nach wesentlichen, vorgegebenen Eigenschaften in den Umgebungsbildern. Allerdings können derzeitige Algorithmen keine Unterscheidung zwischen gelben und weißen Fahrbahnmarkierungen treffen und sind daher nicht in der Lage in Baustellenbereichen zwischen den Fahrbahnmarkierungen zu differenzieren.
  • Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren und ein Fahrerassistenzsystem zu entwickeln, das mit hoher Wahrscheinlichkeit zwischen weißen und gelben Fahrbahnmarkierungen, Insbesondere im Baustellenbereich, unterscheiden kann.
  • Die Aufgabe wird durch ein Verfahren zu Erkennung von Fahrbahnmarkierungen mit den Merkmalen des Anspruchs 1 und ein Fahrerassistenzsystem mit den Merkmalen des Anspruchs 11 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
  • Inkonsistente Fahrbahnmarkierungen, beispielsweise weiße Markierungen, die sich nicht am vorgeschriebenen Ort befinden oder die nicht im Baustellenbereich durch gelbe Markierungen ersetzt wurden, nicht aufgebrachte Markierungen, wie beispielsweise keine Anordnung einer gelben Markierung an den äußeren Fahrbahnrändern im Baustellenbereich, oder nicht vollständige Markierungen sind nur einige Beispiele, welche die Komplexität der in Frage kommenden Umgebung, beispielsweise Im Baustellenbereich, aufzeigen. Dies legt nahe, dass eine ausschließliche Beschränkung des Algorithmus auf die Untersuchung der Farbinformationen des Umgebungsbildes nicht unbedingt ausreichend ist. Es werden daher neben der Untersuchung der Farbinformation in dem erfindungsgemäßen Verfahren noch weitere Bildinformation verwendet, beispielsweise die dem Umgebungsbild zu entnehmenden Fahrbahnränder, sowie die folgenden Annahmen getroffen:
    1. a) Gelbe Markierungen sind zwischen zwei Fahrspuren angeordnet, was üblicherweise der Fall ist.
    2. b) Die äußeren weißen Markierungen an den äußeren linken und rechten Seiten der üblicherweise aus mehreren Fahrbahnen bestehenden Straßen können in Kraft sein, selbst wenn gelbe Markierungen in der Umgebung vorhanden sind. Falls gelbe Markierungen in der näheren Umgebung der äußeren weißen Markierungen vorhanden sein sollten, so werden die weißen Markierungen als nicht zu beachten gewertet.
  • Bei dem erfindungsgemäßen Verfahren zur Erkennung von Fahrbahnmarkierungen, insbesondere im Baustellenbereich, wobei die Fahrbahnmarkierungen in Form von Bildkoordinaten in HSI-Darstellung (HSI = Farbton-Sättigung-Intensität) vorliegen, die aus einem farbigen Umgebungsbild eines Kraftfahrzeugs ermittelt werden, werden in einem ersten Schritt aus einem Sättigungshistogramm der Fahrbahnmarkierungen die Sättigungswerte oberhalb einer vorgegebenen ersten Schwelle bestimmt und es wird eine gelbe Fahrbahnmarkierungen anzeigende erste Marke gesetzt, wenn die Anzahl der oberhalb der Schwelle liegenden Sättigungswerte größer als ein vorgegebener Wert ist, wobei alle Fahrbahnmarkierungen mit einem niedrigen Sättigungmittelwert und mit Farbtonmittelwerten, die nicht im gelben Farbtonbereich liegen, also weiße Fahrbahnmarkierungen, als nicht gesichert gekennzeichnet werden. Wird die oben genannte Bedingung nicht erfüllt, so wird keine erste Marke gesetzt. Eine Marke setzen heißt wie üblich, dass eine logische Variable den Wert „1“ oder „wahr“ erhält.
  • Die zur Durchführung des Verfahrens notwendigen Fahrbahnmarkierungen werden durch ein in der Einleitung beschriebenes Verfahren ermittelt und an das Verfahren übergeben. Diese an das Verfahren übergebenen Daten bestehen aus den detaktierten Fahrbahnmarkierungen in Bildkoordinaten als Gruppen vertikaler Segmente, vertikale Begrenzungen der Straßenoberfläche, durchschnittliche Farbtonwerte, Sättigungswerte und Intensitätswerte der Straßenoberfläche und die Farbton-, Sättigungs- und Intensitätsquellbilder, die sich aus dem aufgenommenen farbigen Bild, üblicherweise ein RGB-Bild, ergeben.
  • Vorzugsweise beträgt die erste Schwelle 10%, insbesondere 15% des maximalen Sättigungswertes. Dabei kann die Schwelle in Abhängigkeit von der Kamera variieren.
  • Vorzugsweise wird in einem zweiten Schritt ein Farbtonhistogramm der detektierten Fahrbahnmarkierungen betrachtet, wenn keine erste Marke gesetzt ist, also wenn im ersten Schritt nicht eindeutig ermittelt wurde, dass gelbe Fahrbahnmarkierungen vorhanden sind. Das Farbtonhistogramm wird folglich analysiert, wenn die Sättigungsdaten zwischen der ersten Schwelle und einer zweiten vorgegebenen Schwelle liegen, wobei die zweite Schwelle kleiner als die erste Schwelle ist. Es wird auf das Vorhandensein gelber Fahrbahnmarkierungen geschlossen und die eine gelbe Fahrbahnmarkierung anzeigende erste Marke wird gesetzt, wenn die Anzahl der Farbtonwerte zwischen dunklem Orange und Gelb größer als ein zweiter vorgegebener Wert ist, wobei alle Fahrbahnmarkierungen mit einem niedrigen Sättigungsmittelwert und mit Farbtonmittelwerten, die nicht im gelben Farbtonbereich liegen, also weiße Fahrbahnmarkierungen, als nicht gesichert gekennzeichnet werden, und ansonsten das Vorhandensein gelber Fahrbahnmarkierungen ausgeschlossen wird.
  • Vorzugsweise wird im dem Fall, in dem das Vorhandensein gelber Markierungen im ersten und zweiten Schritt ausgeschlossen wurde, in einem dritten Schritt die Mittelwerte für Farbton und Sättigung aller betrachteten Fahrbahnmarkierungen berechnet. Es werden die gewichteten Abweichungen für Farbton und Sättigung der einzelnen Fahrbahnmarkierungen von den Mittelwerten berechnet, wobei auf eine gelbe Fahrbahnmarkierung geschlossen wird, wenn die gewichteten Abweichungen größer als ein vorgegebenes Maß für eine Markierung ist.
  • Vorzugsweise müssen die Abweichungen für die Sättigungswerte größer oder gleich 50% betragen und der Farbton der betrachteten Fahrbahnmarkierung muß Im gelben Bereich liegen. Insbesondere kann eine zweite Marke gesetzt werden, wenn der dritte Schritt das Vorhandensein gelber Fahrbahnmarkierungen ergibt. Diese zweite Marke sagt aus, dass eine nicht ausreichende Qualität der Detektion der Fahrbahnmarkierungen vorliegt, d.h. eine gesicherte Differenzierung der Fahrbahnmarkierungen ist nicht möglich, solange keine höhere Detektionsqualität bezüglich der Eingabedaten vorliegt.
  • Vorzugsweise werden in dem Fall des Vorhandenseins gelber Markierungen, d.h. die erste Marke ist gesetzt, in einem vierten Schritt diejenigen weißen Fahrbahnmarkierungen, die sich am Straßenrand befinden, wieder als vertrauenswürdig eingestuft, wenn der Abstand zwischen der weißen Fahrbahnmarkierung und dem Straßenrand kleiner als ein vorgegebenes Maß ist und die weiße Fahrbahnmarkierung sich auf der Straße befindet.
  • Vorzugsweise werden in dem Fall der Existenz von mindestens zwei gelben Fahrbahnmarkierungen die mittleren Abstände der als unsicher betrachteten weißen Fahrbahnmarkierungen zu den gelben Fahrbahnmarkierungen bestimmt und diejenigen weißen Fahrbahnmarkierungen werden als ungültig eingestuft bzw. die Einstufung unsicher wird beibehalten, deren mittlerer Abstand zu einer gelben Fahrbahnmarkierung kleiner als ein vorgegebener Wert ist.
  • Ferner wird vorzugsweise eine weiße, als unsicher eingestufte Fahrbahnmarkierung als ungültig eingestuft bzw. die Einstufung als unsicher wird beibehalten, wenn sie zwischen zwei gelben Fahrbahnmarkierungen verläuft.
  • Ein erfindungsgemäßes Fahrerassistenzsystem eines Kraftfahrzeugs zur Durchführung des ober erläuterten Verfahrens umfaßt eine Einrichtung zur Aufnahme eines farbigen Umgebungsbildes des Kraftfahrzeugs und eine Steuer- und Recheneinrichtung, Insbesondere kann die Einrichtung zur Aufnahme eines farbigen Umgebungsbildes eine Videokamera sein, die Umgebungsbilder in Fahrrichtung des Kraftfahrzeugs aufzeichnet.
  • Eine bevorzugte Ausführungsform der Erfindung wird nachfolgend anhand der Zeichnungen erläutert.
    • 1a zeigt eine typische Verkehrssituation in einem Baustellenbereich bei Tag,
    • 1b zeigt eine typische Verkehrssituation bei Nacht,
    • 2a zeigt ein Histogramm der H, S und I Komponenten einer Verkehrssituation mit nur weißen Markierungen bei Tag
    • 2b zeigt ein Histogramm der H, S und I Komponenten einer Verkehrssituation mit weißen und gelben Markierungen bei Tag,
    • 2c zeigt ein Histogramm der H, S und I Komponenten einer Verkehrssituation mit nur weißen Markierungen bei Nacht,
    • 2d zeigt ein Histogramm der H, S und I Komponenten einer Verkehrssituation mit weißen und gelben Markierungen bei Nacht, und
    • 3 zeigt ein Ablaufdiagramm des erfindungsgemäßen Verfahrens,
  • 1a zeigt eine typische Verkehrssituation in einem Baustellenbereich bei Tag, wobei weiße Markierungen 1 und gelbe Markierungen 2 sich auf der Fahrbahn befinden. Die beiden gelben Markierungen 2 definieren die einzige Fahrspur im Baustellenbereich, die ferner nach rechts durch eine Leitplanke 3 und nach links durch Verkehrszeichen begrenzt ist.
  • Eine vergleichbare Verkehrssituation in einer Baustelle bei Nacht mit weißen und gelben Markierungen 1, 2 zeigt die 1b, wobei auch hier noch zusätzliche Verkehrszeichen 4 angeordnet sind.
  • 2a zeigt ein typisches Histogramm der H, S und I-Komponenten für eine Verkehrssituation, in der nur weiße Markierungen auf der Fahrbahn vorliegen. Dabei Ist der S-Verlauf punktiert, der H-Verlauf strichpunktiert und der I-Verlauf durchgezogen dargestellt, wobei horizontal die auf 0...255 skalierten mittleren H, S, I-Werte und vertikal der prozentuale Anteil bezogen auf die Gesamtzahl an Segmenten dargestellt ist.
  • 2b zeigt ein typisches Histogramm der H, S und I-Komponenten für eine Verkehrssituation, in der weiße und gelbe Markierungen auf der Fahrbahn vorliegen, d.h. eine Situation in einem Baustellenbereich.
  • 2c und 2d zeigen Histogramme der H, S und I-Komponenten bei Nacht, wobei In 2c nur weiße Markierungen auf der Fahrbahn aufgebracht sind, während 2d weiße und gelbe Markierungen bei Nacht betrifft.
  • Der Vergleich zwischen den 2a und 2b bzw. 2c und 2d zeigt, dass für weiße Markierungen Sättigungwerte Sw im niedrigen Bereich vorliegen, während oberhalb einer Schwelle von 10% des Maximalwertes Sättigungswerte Sg nur im Fall gelber Markierungen auftreten. Ferner erkennt man in den 2b und 2d den Farbtonpeak Hg für die gelbe Markierungen. Für die Intensitäten gilt, dass die Intensitätswerte für weiß Iw und für gelb Ig eng beieinander liegen, wobei deren Lage noch eine Funktion der Beleuchtung und der Kameraausrichtung ist.
  • 3 beschreibt den Ablauf des erfindungsgemäßen Verfahrens. Das Verfahren beginnt mit der Übernahme 10 der Markierungsdaten in HSI-Darstellung. Diese Daten werden durch ein In der Einleitung angesprochenen bekanntes Verfahrens ermittelt.
  • Die Daten werden im Abschnitt 11 einer Gelb/Weiß-Separation unterzogen. Dazu werden die Histogramme für Farbton und Sättigung der ermittelten Markierungen bestimmt und die Anzahl der Sättigungswerte größer als 15% des Maximalwertes bestimmt. Falls die Anzahl signifikant Ist, d.h. größer als eine vorgegebene Schwelle, wird im Abschnitt 12 eine Marke gesetzt, die das Vorhandensein gelber Markierungen anzeigt.
  • Falls die Sättigungsdaten zu nahe an der Schwelle liegen, wird das Farbtonhistogramm analysiert. Falls die Anzahl der Farbtondaten im Bereich dunkles Orange und Gelb größer als ein vorgegebener Wert ist, so wird ebenfalls auf das Vorhandensein gelber Markierungen geschlossen und die erste Marke gesetzt. Werden keine oder eine nicht ausreichende Anzahl von „gelben“ Farbtondaten ermittelt, so wird keine erste Marke 12 gesetzt und es wird im Abschnitt 11 die Aussage getroffen, dass keine gelben Markierungen vorhanden sind.
  • Wurden im Abschnitt 11 gelbe Markierungen gefunden, d.h. die erste Marke gesetzt, so werden alle gefundenen weißen Markierungen, das sind solche mit entsprechenden Farbton und Sättigungswerten vergleichbar zu den 2a und 2c, als nicht gesichert, d.h. unsicher oder ungültig, markiert.
  • Im Abschnitt 13 wird abgefragt, ob die Gelb/Weiß-Separation 11 gelbe Markierungen aufgefunden hat. Ist das Ergebnis „Nein“, was auch sein kann, wenn die Markierungen nicht kontinuierlich oder alt sind, so wird im Abschnitt 14 ein Algorithmus mit größerer Sensitivität bezüglich gelber Markierungen eingesetzt. Dabei wird für die betrachtete Markierung geprüft, ob deren H- und S-Werte von den H- und S-Mittelwerten für alle detektierten Markierungen abweichen. Mit anderen Worten, es wird die gewichtete Abweichung der H- und S-Werte eines Markierungssegments oder Abschnitts von den Mittelwerten für alle Markierungen berechnet. Diese Funktion arbeitet zufriedenstellend, wenn die Anzahl von gelben Markierungssegmenten weniger als 10% aller Markierungssegmente beträgt. In diesen Fällen weicht die H- und S-Werte von den Mittelwerten ab. Ist die Abweichung größer als ein vorgegebener Wert und ergibt eine weitere Überprüfung, dass die Farbe der betrachteten Markierung, d.h. der H-Wert, nahe an Gelb liegt, so wird geschlossen, dass die untersuchte Markierungen gelb ist und es wird geschlossen, dass die Detektion, d.h. die Markierungsdaten 12, ungenau war.
  • Ist die Abfrage im Abschnitt 13 „Ja“, d.h. die erste (gelbe) Marke ist gesetzt, so werden die Markierungsdaten Im Abschnitt 16 „Position auf der Straße“ weiter untersucht, da festgestellt werden muß, welche als unsicher markierten weißen Markierungen beim Vorhandensein gelber Markierungen gültig oder ungültig sind.
  • Dazu werden im Abschnitt 16 Ergebnisse des Straßendetektionsverfahrens, welches die Markierungsdaten liefert, verwendet, da dieser Algorithmus die seitliche Erstreckung der Straße liefert. Bekannt sind daher die lateralen Koordinaten der Straße. Es wird daher der Abstand oder Offset zwischen den Straßenrändern und der Position der seitlichen weißen Markierung berechnet. Ist das Ergebnis negativ, d.h. der Offset ist kleiner als ein vorgegebener Wert, so wird die weiße Markierung als gültig zurückgestuft. Falls nicht, so wird die als unsicher eingestufte weiße Markierung als ungültig eingestuft bzw. die unsichere Einstufung beibehalten.
  • Der nachfolgende Abschnitt 17 „Relative Position“ untersucht den Fall, in dem eine weiße Markierung nahe zu einer gelben Markierung ist. In diesem Fall wird sie als ungültig eingestuft bzw. die Einstufung als unsicher beibehalten. Der Abschnitt 17 wird in Verkehrssituationen verwendet, in denen mindestens zwei gelbe Markierungen aufgefunden wurden und berechnet relative Abstände. Dies kann beispielsweise durch ein Schätzen des mittleren Abstands zwischen den Fahrbahnmarkierungen über eine Funktion dx = ay + b
    Figure DE102004061822B4_0001
    geschehen, wobei dx der relative Abstand in dem Bild (ausgedrückt in Pixeln) und y die vertikale Bildposition ist. Mit dieser Abstandsdefinition kann die Distanz zur nächsten gelben Markierung für alle weißen Markierungen geprüft werden. Die Differenz wird dann mit 40% des minimalen Abstandes der gelben Markierung bei der y-Position in dem Bild verglichen. Ist der Abstand kleiner, so wird die betrachtete weiße Markierung als ungültig eingestuft. Trifft dies nicht zu, so wird in einem weiteren Schritt geprüft, ob die weiße Markierung von Gelben Markierungen umgeben Ist. Ist dies der Fall, so wird die Markierung als ungültig eingestuft bzw. die Einstufung als unsicher beibehalten.
  • Die Ausgangsdaten 18 sind daher die gelben und weißen Fahrbahnmarkierungen mit einem ermittelten Gültigkeitswert, d.h. 0 = ungültig und 255 = gültig.
  • Bezugszeichenliste
  • 1
    weiße Markierungen
    2
    gelbe Markierungen
    3
    Leitplanke
    4
    Verkehrszeichen
    10
    Fahrbahnmarkierungsdaten
    11
    Gelb/Weiß-Separation
    12
    erste Marke
    13
    Abfrage, ob gelbe Markierungen vorhanden sind
    14
    Bestimmen gelber Markierungen
    15
    zweite Marke
    16
    Bestimmung weißer Randmarkierungen
    17
    Bestimmung ungültiger weißer Mittenmarkierungen
    18
    Ausgabe der bearbeiteten Fahrbahnmarkierungen
    S
    Sättigungsverlauf
    H
    Farbtonverlauf
    I
    Intensitätsverlauf
    Y
    Ja
    N
    Nein
    Sw
    Sättigungswert weiße Markierung
    Sg
    Sättigungswert gelbe Markierung
    Hg
    Farbtonwert gelb
    Iw
    Intensitätswert weiß
    Ig
    Intensitätswert gelb

Claims (12)

  1. Verfahren zur Erkennung von Fahrbahnmarkierungen, insbesondere im Baustellenbereich, wobei mit einer Einrichtung zur Aufnahmen eines farbigen Umgebungsbildes aus Farbbildern der Umgebung eines Kraftfahrzeugs die Fahrbahnmarkierungen ermittelt und die Lage der Fahrbahnmarkierungen identifiziert werden, so dass die Fahrbahnmarkierungen in Form von Bildkoordinaten vorliegen, dadurch gekennzeichnet, dass in einem ersten Sohritt aus einem Sättigungshistogramm der ermittelten Fahrbahnmarkierungen die Sättigungswerte oberhalb einer vorgegebenen ersten Schwelle bestimmt werden, eine gelbe Fahrbahnmarkierungen anzeigende erste Marke gesetzt wird, wenn die Anzahl der oberhalb der Schwelle liegenden Sättigungswerte größer als ein vorgegebener Wert ist, wobei alle Fahrbahnmarkierungen mit einem niedrigen Sättigungsmittelwert und mit Farbtonmittelwerten, die nicht im gelben Farbtonbereich liegen, also weiße Fahrbahnmarkierungen, als unsicher gekennzeichnet werden, und ansonsten keine erste Marke gesetzt wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die erste Schwelle 15% des maximalen Sättigungswertes beträgt.
  3. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass in einem zweiten Schritt, wenn keine erste Marke gesetzt ist, ein Farbtonhistogramm der detektierten Fahrbahnmarkierungen analysiert wird, wenn die Sättigungsdaten zwischen der ersten Schwelle und einer zweiten vorgegebenen Schwelle liegen, wobei die zweite Schwelle kleiner als die erste Schwelle ist, und auf das Vorhandensein gelber Fahrbahnmarkierungen geschlossen wird und die eine gelbe Fahrbahnmarkierung anzeigende erste Marke gesetzt wird, wenn die Anzahl der Farbtonwerte zwischen dunklem Orange und Gelb größer als ein zweiter vorgegebener Wert ist, wobei alle Fahrbahnmarkierungen mit einem niedrigen Sättigungsmittelwert und mit Farbtonmittelwerten, die nicht im gelben Farbtonbereich liegen, also weiße Fahrbahnmarkierungen, als nicht gesichert gekennzeichnet werden, und ansonsten das Vorhandensein gelber Fahrbahnmarkierungen ausgeschlossen wird.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass aus der Schluss des Vorhandensein gelber Fahrbahnmarkierungen aus der Analyse des Farbtonhistogramms die weißen Fahrbahnmarkierungen als nicht vertrauenswürdig eingestuft werden.
  5. Verfahren nach einem der Ansprüche 3 oder 4, dadurch gekennzeichnet, dass im dem Fall, dass das Vorhandensein gelber Markierungen im ersten und zweiten Schritt ausgeschlossen wurde, in einem dritten Schritt die Mittelwerte für Farbton und Sättigung aller betrachteten Fahrbahnmarkierungen berechnet wird, und die gewichteten Abweichungen für Farbton und Sättigung der einzelnen Fahrbahnmarkierungen von den Mittelwerten berechnet wird, wobei auf eine gelbe Fahrbahnmarkierung geschlossen wird, wenn die gewichteten Abweichungen größer als ein vorgegebenes Maß für eine Markierung ist.
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Abweichungen für die Sättigungwerte größer oder gleich 50% betragen und dass der Farbton der betrachteten Fahrbahnmarkierung im gelben Bereich liegen muss.
  7. Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass eine zweite Marke gesetzt wird, wenn der dritte Schritt das Vorhandensein gelber Fahrbahnmarkierungen ergibt.
  8. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass in dem Fall des Vorhandenseins gelber Markierungen in einem vierten Schritt diejenigen weißen Fahrbahnmarkierungen, die sich am Straßenrand befinden, wieder als vertrauenswürdig eingestuft werden, wenn der Abstand zwischen der weißen Fahrbahnmarkierung und dem Straßenrand kleiner als ein vorgegebenes Maß ist und die weiße Fahrbahnmarkierung sich auf der Straße befindet.
  9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass falls mindestens zwei gelbe Fahrbahnmarkierungen existieren, die mittleren Abstände der als unsicher betrachteten weißen Fahrbahnmarkierungen zu den gelben Fahrbahnmarkierungen bestimmt werden, und diejenigen weißen Fahrbahnmarkierungen als ungültig eingestuft werden bzw. deren Einstufung als unsicher beibehalten wird, deren mittlerer Abstand zu einer gelben Fahrbahnmarkierung kleiner als ein vorgegebener Wert ist.
  10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass eine weiße, als unsicher eingestufte Fahrbahnmarkierung als ungültig eingestuft wird bzw. deren Einstufung als unsicher beibehalten, wenn sie zwischen zwei gelben Fahrbahnmarkierungen verläuft.
  11. Fahrerassistenzsystem eines Kraftfahrzeugs zur Durchführung des Verfahrens nach einem der vorangegangenen Ansprüche mit einer Einrichtung zur Aufnahme eines farbigen Umgebungsbildes des Kraftfahrzeugs und einer Steuer- und Recheneinrichtung.
  12. Fahrerassistenzsystem nach Anspruch 11, dadurch gekennzeichnet, dass die Einrichtung zur Aufnahme eines farbigen Umgebungsbildes eine Videokamera ist, die Umgebungsbilder in Fahrrichtung des Kraftfahrzeugs erzeugt.
DE102004061822.4A 2003-12-22 2004-12-22 Verfahren zur Erkennung von Fahrbahnmarkierungen und Fahrerassistenzsystem Expired - Fee Related DE102004061822B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP030295356 2003-12-22
EP03295356 2003-12-22

Publications (2)

Publication Number Publication Date
DE102004061822A1 DE102004061822A1 (de) 2006-03-16
DE102004061822B4 true DE102004061822B4 (de) 2018-10-31

Family

ID=35853662

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102004061822.4A Expired - Fee Related DE102004061822B4 (de) 2003-12-22 2004-12-22 Verfahren zur Erkennung von Fahrbahnmarkierungen und Fahrerassistenzsystem

Country Status (1)

Country Link
DE (1) DE102004061822B4 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009003698A1 (de) * 2009-03-30 2010-10-07 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Fahrspurerkennung
DE102009036433A1 (de) 2009-08-06 2010-05-06 Daimler Ag Verfahren und Vorrichtung zum Betrieb eines Fahrerassistenzsystems
DE102017208124B4 (de) * 2017-05-15 2019-04-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung und System zum Ermitteln einer Straßenbaustelle
EP3570206B1 (de) * 2018-05-15 2023-12-06 Aptiv Technologies Limited Vorrichtung und verfahren zum suchen einer fahrspur, auf der ein fahrzeug fahren kann

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0451117A2 (de) * 1990-04-05 1991-10-09 Nevio Nati Elektronische Sicherheitsvorrichtung für Lastwagen
US20030044061A1 (en) 2001-08-31 2003-03-06 Pradya Prempraneerach Color image segmentation in an object recognition system
DE10311240A1 (de) * 2003-03-14 2004-09-30 Robert Bosch Gmbh Verfahren und Einrichtung für die Spurführung eines Fahrzeugs

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0451117A2 (de) * 1990-04-05 1991-10-09 Nevio Nati Elektronische Sicherheitsvorrichtung für Lastwagen
US20030044061A1 (en) 2001-08-31 2003-03-06 Pradya Prempraneerach Color image segmentation in an object recognition system
DE10311240A1 (de) * 2003-03-14 2004-09-30 Robert Bosch Gmbh Verfahren und Einrichtung für die Spurführung eines Fahrzeugs

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DE LA ESCALERA,Arturo,et.al.:Visual Sign Information Extraction and Identification by Deformable Models for Intelligent Vehicles.In: IEEE Transactions on Intelligen Transportation Systems, Vol.5, No.2, June 2004,S.57-68; *
K. Morioka et al: „Robust tracking of multiple objects using color histogram in intelligent environment", Proceedings of the IEEE/ASME, International Conferenceon Advanced Intelligent Mechatronics, AIM 2003
Morioka, K. ; Ando, Noriaki ; Joo-Ho Lee ; Hashimoto, H.: Robust tracking of multiple objects using color histogram in intelligent environment. In: Advanced Intelligent Mechatronics, 2003. AIM 20-24 July 2003, Proceedings, IEEE/ASME International Conference on, vol. 1, 20-24 July 2003, 533 - 538. *
Rotaru et. al.. „Extracting Road Features from Color Images using a Cognitive Approach", IEEE Conference on Intelligent Vehicles, Parma IT, 2004

Also Published As

Publication number Publication date
DE102004061822A1 (de) 2006-03-16

Similar Documents

Publication Publication Date Title
DE19852631C2 (de) Vorrichtung und Verfahren zur Verkehrszeichenerkennung
DE102006057552B4 (de) System und Verfahren zur Messung des Abstands eines vorausfahrenden Fahrzeugs
EP2394234B1 (de) Verfahren und vorrichtung zum ermitteln einer geltenden fahrspurmarkierung
EP1192597B1 (de) Verfahren zur detektion von objekten im umfeld eines strassenfahrzeugs bis in grosse entfernung
DE102011086512B4 (de) Nebeldetektion
EP1904340B1 (de) Verfahren und vorrichtung zur fahrerunterstützung
DE102006005512B4 (de) System und Verfahren zur Messung der Entfernung eines vorausfahrenden Fahrzeugs
DE102009050502A1 (de) Detektion eines freien Pfads unter Verwendung eines hierarchischen Ansatzes
DE102016118502A1 (de) Verfahren, Einrichtung und Vorrichtung zum Ermitteln einer Fahrbahngrenze
DE102015206144A1 (de) Verfahren und Vorrichtung zum sicheren Abstellen eines Fahrzeuges
EP2116958B1 (de) Verfahren und Vorrichtung zum Ermitteln des Fahrbahnverlaufs im Bereich vor einem Fahrzeug
DE102013205950A1 (de) Detektion und Verfolgung einer Straßenstruktur
DE102009048892A1 (de) Pixelbasierte strukturreiche Detektion eines freien Pfads
DE102018008442A1 (de) Verfahren zur Wetter- und/oder Sichtweitenerkennung
DE102006036402A1 (de) System und Verfahren zur Messung der Entfernung eines vorausfahrenden Fahrzeugs
DE102019127190A1 (de) System und verfahren zum beurteilen des bekanntseins eines gelernten fahrzeugdatensatzes eines fahrerassistenzsystems
DE102004003502B3 (de) Verfahren und Vorrichtung zum Assistieren beim Führen eines Kraftfahrzeugs
DE102004061822B4 (de) Verfahren zur Erkennung von Fahrbahnmarkierungen und Fahrerassistenzsystem
DE102011005969A1 (de) In einem Fahrzeug montierte Vorrichtung zur Erfassung einer Linienmarkierung
DE102016120066A1 (de) Computer-implementiertes Verfahren zum Kontrollieren bzw. Testen eines Objekterkennungssystems
DE102005017541A1 (de) Verfahren zur Erkennung von kreisförmigen Objekten
DE102013201682A1 (de) Auswählen von sichtbaren Gebieten in Nachtbildern zum Durchführen einer Detektion eines freien Pfads
DE102008050456B4 (de) Verfahren und Vorrichtung zur Fahrspurerkennung
WO2019057252A1 (de) Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
DE19549216C2 (de) Verfahren zur Bildauswertung

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
R012 Request for examination validly filed

Effective date: 20110630

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee