-
Die Erfindung betrifft ein Verfahren zur Erkennung von Fahrbahnmarkierungen, insbesondere von gelben Fahrbahnmarkierungen, nach dem Oberbegriff von Anspruch 1 und ein entsprechendes Fahrerassistenzsystem nach dem Oberbegriff des Anspruchs 11.
-
Baustellenbereiche auf öffentlichen Strasse, Insbesondere Baustellenbereiche auf Autobahnen, stellen eine ständige Quelle von Verkehrsproblemen dar. Die speziellen, temporären Fahrbahnmarkierungen dieser Bereiche, deren schmalere Ausführung, sowie die Anwesenheit alter, jedoch nicht mehr gültiger Markierungen führen zu Problemen, die andernorts nicht auftreten. Insbesondere für Fahrerassistenzsysteme ist es daher wichtig zwischen neuen und alten Markierungen im Baustellenbereich unterscheiden zu können.
-
Innerhalb Europa werden für die neuen Markierungen Im Baustellenbereich überwiegend gelbe Markierungen verwendet, die meist zusätzlich zu den bestehenden weißen Markierungen aufgebracht werden. Daher ist ein Modell zur Erkennung gelber und weißer Markierungen, das Graustufen verwendet, nicht sonderlich sinnvoll, da in einem solchen Modell sowohl die weißen als auch die gelben Markierungen durch relativ hohe Intensitätswerte beschrieben werden. Folglich ist im Graustufenmodell keine verlässliche Unterscheldung zwischen weißen und gelben Markerungen möglich, In einer solchen Situation wird dem Fahrer vom Assistenzsystem mitgeteilt, dass sich das System einer unbekannten Verkehrssituation gegenüber sieht und die Assistenzfunktion vorübergehend beendet wird.
-
Ein Lösungsansatz, der die Farben der Umgebung bzw. des Umgebungsbildes berücksichtigt, hat bessere Aussichten zur Interpretation von Markierungen im Baustellenbereich. Derartige Verfahren zur Erkennung von Fahrbahnmarkierungen liegen vor. so beispielsweise in dem Artikel von Rotaru et. al.. „Extracting Road Features from Color Images using a Cognitive Approach", IEEE Conference on Intelligent Vehicles, Parma IT, 2004. In dem Artikel wird ein kognitives Verfahren zur Extraktion signifikanter Straßeninformation wie beispielsweise Straßenbreite und Fahrbahnmarkierungen, aus Farbbildern der Umgebung eines Kraftfahrzeugs beschrieben. Das Verfahren ist in der Lage alle Fahrbahnmarkierungen zu identifizieren und zwischen durchgehenden und unterbrochenen Markierungen zu unterscheiden und kann in Fahrerassistenzsystemen eingesetzt werden.
-
De Druckschrift
US 20030044061 A1 betrifft ein Verfahren zum Segmentieren eines Farbbildes in eine Vielzahl von Bereichen, wobei das Bild in einem dreidimensionalen Farbraum überführt und ein Histogramm für jede Dimension des Farbraumes erstellt wird. Aus dem Histogramm für jede Dimension wird eine Vielzahl von Verbindungsboxen im dreidimensionalen Farbraum erstellt und eine normalisierte Varianz wird für jede Verbindungsbox berechnet, um ein Cluster von Verbindungsboxen zu bilden, die Bereichen des Farbbildes entsprechen. Diese Cluster von Verbindungsboxen werden dazu benutzt, den Messkopf eines Rasterkraftmikroskops mit Merkmalen der zu untersuchenden Probe auszurichten.
-
Die Druckschrift K. Morioka et al: „Robust tracking of multiple objects using color histogram in intelligent environment", Proceedings of the IEEE/ASME, International Conferenceon Advanced Intelligent Mechatronics, AIM 2003, betrifft ein Verfahren zum robusten Tracking einer Vielzahl von Objekten unter Verwendung von Farbhistogrammen. Dabei ist insbesondere das Tracking von sich bewegenden Personen für eine Roboteranwendung von Bedeutung ist, beispielsweise damit ein Roboter in seinem Umfeld auf sich bewegende Personen reagieren kann.
-
Weitere Algorithmen zur Erkennung von Fahrbahnmarkierungen suchen nach wesentlichen, vorgegebenen Eigenschaften in den Umgebungsbildern. Allerdings können derzeitige Algorithmen keine Unterscheidung zwischen gelben und weißen Fahrbahnmarkierungen treffen und sind daher nicht in der Lage in Baustellenbereichen zwischen den Fahrbahnmarkierungen zu differenzieren.
-
Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren und ein Fahrerassistenzsystem zu entwickeln, das mit hoher Wahrscheinlichkeit zwischen weißen und gelben Fahrbahnmarkierungen, Insbesondere im Baustellenbereich, unterscheiden kann.
-
Die Aufgabe wird durch ein Verfahren zu Erkennung von Fahrbahnmarkierungen mit den Merkmalen des Anspruchs 1 und ein Fahrerassistenzsystem mit den Merkmalen des Anspruchs 11 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Inkonsistente Fahrbahnmarkierungen, beispielsweise weiße Markierungen, die sich nicht am vorgeschriebenen Ort befinden oder die nicht im Baustellenbereich durch gelbe Markierungen ersetzt wurden, nicht aufgebrachte Markierungen, wie beispielsweise keine Anordnung einer gelben Markierung an den äußeren Fahrbahnrändern im Baustellenbereich, oder nicht vollständige Markierungen sind nur einige Beispiele, welche die Komplexität der in Frage kommenden Umgebung, beispielsweise Im Baustellenbereich, aufzeigen. Dies legt nahe, dass eine ausschließliche Beschränkung des Algorithmus auf die Untersuchung der Farbinformationen des Umgebungsbildes nicht unbedingt ausreichend ist. Es werden daher neben der Untersuchung der Farbinformation in dem erfindungsgemäßen Verfahren noch weitere Bildinformation verwendet, beispielsweise die dem Umgebungsbild zu entnehmenden Fahrbahnränder, sowie die folgenden Annahmen getroffen:
- a) Gelbe Markierungen sind zwischen zwei Fahrspuren angeordnet, was üblicherweise der Fall ist.
- b) Die äußeren weißen Markierungen an den äußeren linken und rechten Seiten der üblicherweise aus mehreren Fahrbahnen bestehenden Straßen können in Kraft sein, selbst wenn gelbe Markierungen in der Umgebung vorhanden sind. Falls gelbe Markierungen in der näheren Umgebung der äußeren weißen Markierungen vorhanden sein sollten, so werden die weißen Markierungen als nicht zu beachten gewertet.
-
Bei dem erfindungsgemäßen Verfahren zur Erkennung von Fahrbahnmarkierungen, insbesondere im Baustellenbereich, wobei die Fahrbahnmarkierungen in Form von Bildkoordinaten in HSI-Darstellung (HSI = Farbton-Sättigung-Intensität) vorliegen, die aus einem farbigen Umgebungsbild eines Kraftfahrzeugs ermittelt werden, werden in einem ersten Schritt aus einem Sättigungshistogramm der Fahrbahnmarkierungen die Sättigungswerte oberhalb einer vorgegebenen ersten Schwelle bestimmt und es wird eine gelbe Fahrbahnmarkierungen anzeigende erste Marke gesetzt, wenn die Anzahl der oberhalb der Schwelle liegenden Sättigungswerte größer als ein vorgegebener Wert ist, wobei alle Fahrbahnmarkierungen mit einem niedrigen Sättigungmittelwert und mit Farbtonmittelwerten, die nicht im gelben Farbtonbereich liegen, also weiße Fahrbahnmarkierungen, als nicht gesichert gekennzeichnet werden. Wird die oben genannte Bedingung nicht erfüllt, so wird keine erste Marke gesetzt. Eine Marke setzen heißt wie üblich, dass eine logische Variable den Wert „1“ oder „wahr“ erhält.
-
Die zur Durchführung des Verfahrens notwendigen Fahrbahnmarkierungen werden durch ein in der Einleitung beschriebenes Verfahren ermittelt und an das Verfahren übergeben. Diese an das Verfahren übergebenen Daten bestehen aus den detaktierten Fahrbahnmarkierungen in Bildkoordinaten als Gruppen vertikaler Segmente, vertikale Begrenzungen der Straßenoberfläche, durchschnittliche Farbtonwerte, Sättigungswerte und Intensitätswerte der Straßenoberfläche und die Farbton-, Sättigungs- und Intensitätsquellbilder, die sich aus dem aufgenommenen farbigen Bild, üblicherweise ein RGB-Bild, ergeben.
-
Vorzugsweise beträgt die erste Schwelle 10%, insbesondere 15% des maximalen Sättigungswertes. Dabei kann die Schwelle in Abhängigkeit von der Kamera variieren.
-
Vorzugsweise wird in einem zweiten Schritt ein Farbtonhistogramm der detektierten Fahrbahnmarkierungen betrachtet, wenn keine erste Marke gesetzt ist, also wenn im ersten Schritt nicht eindeutig ermittelt wurde, dass gelbe Fahrbahnmarkierungen vorhanden sind. Das Farbtonhistogramm wird folglich analysiert, wenn die Sättigungsdaten zwischen der ersten Schwelle und einer zweiten vorgegebenen Schwelle liegen, wobei die zweite Schwelle kleiner als die erste Schwelle ist. Es wird auf das Vorhandensein gelber Fahrbahnmarkierungen geschlossen und die eine gelbe Fahrbahnmarkierung anzeigende erste Marke wird gesetzt, wenn die Anzahl der Farbtonwerte zwischen dunklem Orange und Gelb größer als ein zweiter vorgegebener Wert ist, wobei alle Fahrbahnmarkierungen mit einem niedrigen Sättigungsmittelwert und mit Farbtonmittelwerten, die nicht im gelben Farbtonbereich liegen, also weiße Fahrbahnmarkierungen, als nicht gesichert gekennzeichnet werden, und ansonsten das Vorhandensein gelber Fahrbahnmarkierungen ausgeschlossen wird.
-
Vorzugsweise wird im dem Fall, in dem das Vorhandensein gelber Markierungen im ersten und zweiten Schritt ausgeschlossen wurde, in einem dritten Schritt die Mittelwerte für Farbton und Sättigung aller betrachteten Fahrbahnmarkierungen berechnet. Es werden die gewichteten Abweichungen für Farbton und Sättigung der einzelnen Fahrbahnmarkierungen von den Mittelwerten berechnet, wobei auf eine gelbe Fahrbahnmarkierung geschlossen wird, wenn die gewichteten Abweichungen größer als ein vorgegebenes Maß für eine Markierung ist.
-
Vorzugsweise müssen die Abweichungen für die Sättigungswerte größer oder gleich 50% betragen und der Farbton der betrachteten Fahrbahnmarkierung muß Im gelben Bereich liegen. Insbesondere kann eine zweite Marke gesetzt werden, wenn der dritte Schritt das Vorhandensein gelber Fahrbahnmarkierungen ergibt. Diese zweite Marke sagt aus, dass eine nicht ausreichende Qualität der Detektion der Fahrbahnmarkierungen vorliegt, d.h. eine gesicherte Differenzierung der Fahrbahnmarkierungen ist nicht möglich, solange keine höhere Detektionsqualität bezüglich der Eingabedaten vorliegt.
-
Vorzugsweise werden in dem Fall des Vorhandenseins gelber Markierungen, d.h. die erste Marke ist gesetzt, in einem vierten Schritt diejenigen weißen Fahrbahnmarkierungen, die sich am Straßenrand befinden, wieder als vertrauenswürdig eingestuft, wenn der Abstand zwischen der weißen Fahrbahnmarkierung und dem Straßenrand kleiner als ein vorgegebenes Maß ist und die weiße Fahrbahnmarkierung sich auf der Straße befindet.
-
Vorzugsweise werden in dem Fall der Existenz von mindestens zwei gelben Fahrbahnmarkierungen die mittleren Abstände der als unsicher betrachteten weißen Fahrbahnmarkierungen zu den gelben Fahrbahnmarkierungen bestimmt und diejenigen weißen Fahrbahnmarkierungen werden als ungültig eingestuft bzw. die Einstufung unsicher wird beibehalten, deren mittlerer Abstand zu einer gelben Fahrbahnmarkierung kleiner als ein vorgegebener Wert ist.
-
Ferner wird vorzugsweise eine weiße, als unsicher eingestufte Fahrbahnmarkierung als ungültig eingestuft bzw. die Einstufung als unsicher wird beibehalten, wenn sie zwischen zwei gelben Fahrbahnmarkierungen verläuft.
-
Ein erfindungsgemäßes Fahrerassistenzsystem eines Kraftfahrzeugs zur Durchführung des ober erläuterten Verfahrens umfaßt eine Einrichtung zur Aufnahme eines farbigen Umgebungsbildes des Kraftfahrzeugs und eine Steuer- und Recheneinrichtung, Insbesondere kann die Einrichtung zur Aufnahme eines farbigen Umgebungsbildes eine Videokamera sein, die Umgebungsbilder in Fahrrichtung des Kraftfahrzeugs aufzeichnet.
-
Eine bevorzugte Ausführungsform der Erfindung wird nachfolgend anhand der Zeichnungen erläutert.
- 1a zeigt eine typische Verkehrssituation in einem Baustellenbereich bei Tag,
- 1b zeigt eine typische Verkehrssituation bei Nacht,
- 2a zeigt ein Histogramm der H, S und I Komponenten einer Verkehrssituation mit nur weißen Markierungen bei Tag
- 2b zeigt ein Histogramm der H, S und I Komponenten einer Verkehrssituation mit weißen und gelben Markierungen bei Tag,
- 2c zeigt ein Histogramm der H, S und I Komponenten einer Verkehrssituation mit nur weißen Markierungen bei Nacht,
- 2d zeigt ein Histogramm der H, S und I Komponenten einer Verkehrssituation mit weißen und gelben Markierungen bei Nacht, und
- 3 zeigt ein Ablaufdiagramm des erfindungsgemäßen Verfahrens,
-
1a zeigt eine typische Verkehrssituation in einem Baustellenbereich bei Tag, wobei weiße Markierungen 1 und gelbe Markierungen 2 sich auf der Fahrbahn befinden. Die beiden gelben Markierungen 2 definieren die einzige Fahrspur im Baustellenbereich, die ferner nach rechts durch eine Leitplanke 3 und nach links durch Verkehrszeichen begrenzt ist.
-
Eine vergleichbare Verkehrssituation in einer Baustelle bei Nacht mit weißen und gelben Markierungen 1, 2 zeigt die 1b, wobei auch hier noch zusätzliche Verkehrszeichen 4 angeordnet sind.
-
2a zeigt ein typisches Histogramm der H, S und I-Komponenten für eine Verkehrssituation, in der nur weiße Markierungen auf der Fahrbahn vorliegen. Dabei Ist der S-Verlauf punktiert, der H-Verlauf strichpunktiert und der I-Verlauf durchgezogen dargestellt, wobei horizontal die auf 0...255 skalierten mittleren H, S, I-Werte und vertikal der prozentuale Anteil bezogen auf die Gesamtzahl an Segmenten dargestellt ist.
-
2b zeigt ein typisches Histogramm der H, S und I-Komponenten für eine Verkehrssituation, in der weiße und gelbe Markierungen auf der Fahrbahn vorliegen, d.h. eine Situation in einem Baustellenbereich.
-
2c und 2d zeigen Histogramme der H, S und I-Komponenten bei Nacht, wobei In 2c nur weiße Markierungen auf der Fahrbahn aufgebracht sind, während 2d weiße und gelbe Markierungen bei Nacht betrifft.
-
Der Vergleich zwischen den 2a und 2b bzw. 2c und 2d zeigt, dass für weiße Markierungen Sättigungwerte Sw im niedrigen Bereich vorliegen, während oberhalb einer Schwelle von 10% des Maximalwertes Sättigungswerte Sg nur im Fall gelber Markierungen auftreten. Ferner erkennt man in den 2b und 2d den Farbtonpeak Hg für die gelbe Markierungen. Für die Intensitäten gilt, dass die Intensitätswerte für weiß Iw und für gelb Ig eng beieinander liegen, wobei deren Lage noch eine Funktion der Beleuchtung und der Kameraausrichtung ist.
-
3 beschreibt den Ablauf des erfindungsgemäßen Verfahrens. Das Verfahren beginnt mit der Übernahme 10 der Markierungsdaten in HSI-Darstellung. Diese Daten werden durch ein In der Einleitung angesprochenen bekanntes Verfahrens ermittelt.
-
Die Daten werden im Abschnitt 11 einer Gelb/Weiß-Separation unterzogen. Dazu werden die Histogramme für Farbton und Sättigung der ermittelten Markierungen bestimmt und die Anzahl der Sättigungswerte größer als 15% des Maximalwertes bestimmt. Falls die Anzahl signifikant Ist, d.h. größer als eine vorgegebene Schwelle, wird im Abschnitt 12 eine Marke gesetzt, die das Vorhandensein gelber Markierungen anzeigt.
-
Falls die Sättigungsdaten zu nahe an der Schwelle liegen, wird das Farbtonhistogramm analysiert. Falls die Anzahl der Farbtondaten im Bereich dunkles Orange und Gelb größer als ein vorgegebener Wert ist, so wird ebenfalls auf das Vorhandensein gelber Markierungen geschlossen und die erste Marke gesetzt. Werden keine oder eine nicht ausreichende Anzahl von „gelben“ Farbtondaten ermittelt, so wird keine erste Marke 12 gesetzt und es wird im Abschnitt 11 die Aussage getroffen, dass keine gelben Markierungen vorhanden sind.
-
Wurden im Abschnitt 11 gelbe Markierungen gefunden, d.h. die erste Marke gesetzt, so werden alle gefundenen weißen Markierungen, das sind solche mit entsprechenden Farbton und Sättigungswerten vergleichbar zu den 2a und 2c, als nicht gesichert, d.h. unsicher oder ungültig, markiert.
-
Im Abschnitt 13 wird abgefragt, ob die Gelb/Weiß-Separation 11 gelbe Markierungen aufgefunden hat. Ist das Ergebnis „Nein“, was auch sein kann, wenn die Markierungen nicht kontinuierlich oder alt sind, so wird im Abschnitt 14 ein Algorithmus mit größerer Sensitivität bezüglich gelber Markierungen eingesetzt. Dabei wird für die betrachtete Markierung geprüft, ob deren H- und S-Werte von den H- und S-Mittelwerten für alle detektierten Markierungen abweichen. Mit anderen Worten, es wird die gewichtete Abweichung der H- und S-Werte eines Markierungssegments oder Abschnitts von den Mittelwerten für alle Markierungen berechnet. Diese Funktion arbeitet zufriedenstellend, wenn die Anzahl von gelben Markierungssegmenten weniger als 10% aller Markierungssegmente beträgt. In diesen Fällen weicht die H- und S-Werte von den Mittelwerten ab. Ist die Abweichung größer als ein vorgegebener Wert und ergibt eine weitere Überprüfung, dass die Farbe der betrachteten Markierung, d.h. der H-Wert, nahe an Gelb liegt, so wird geschlossen, dass die untersuchte Markierungen gelb ist und es wird geschlossen, dass die Detektion, d.h. die Markierungsdaten 12, ungenau war.
-
Ist die Abfrage im Abschnitt 13 „Ja“, d.h. die erste (gelbe) Marke ist gesetzt, so werden die Markierungsdaten Im Abschnitt 16 „Position auf der Straße“ weiter untersucht, da festgestellt werden muß, welche als unsicher markierten weißen Markierungen beim Vorhandensein gelber Markierungen gültig oder ungültig sind.
-
Dazu werden im Abschnitt 16 Ergebnisse des Straßendetektionsverfahrens, welches die Markierungsdaten liefert, verwendet, da dieser Algorithmus die seitliche Erstreckung der Straße liefert. Bekannt sind daher die lateralen Koordinaten der Straße. Es wird daher der Abstand oder Offset zwischen den Straßenrändern und der Position der seitlichen weißen Markierung berechnet. Ist das Ergebnis negativ, d.h. der Offset ist kleiner als ein vorgegebener Wert, so wird die weiße Markierung als gültig zurückgestuft. Falls nicht, so wird die als unsicher eingestufte weiße Markierung als ungültig eingestuft bzw. die unsichere Einstufung beibehalten.
-
Der nachfolgende Abschnitt
17 „Relative Position“ untersucht den Fall, in dem eine weiße Markierung nahe zu einer gelben Markierung ist. In diesem Fall wird sie als ungültig eingestuft bzw. die Einstufung als unsicher beibehalten. Der Abschnitt
17 wird in Verkehrssituationen verwendet, in denen mindestens zwei gelbe Markierungen aufgefunden wurden und berechnet relative Abstände. Dies kann beispielsweise durch ein Schätzen des mittleren Abstands zwischen den Fahrbahnmarkierungen über eine Funktion
geschehen, wobei dx der relative Abstand in dem Bild (ausgedrückt in Pixeln) und y die vertikale Bildposition ist. Mit dieser Abstandsdefinition kann die Distanz zur nächsten gelben Markierung für alle weißen Markierungen geprüft werden. Die Differenz wird dann mit 40% des minimalen Abstandes der gelben Markierung bei der y-Position in dem Bild verglichen. Ist der Abstand kleiner, so wird die betrachtete weiße Markierung als ungültig eingestuft. Trifft dies nicht zu, so wird in einem weiteren Schritt geprüft, ob die weiße Markierung von Gelben Markierungen umgeben Ist. Ist dies der Fall, so wird die Markierung als ungültig eingestuft bzw. die Einstufung als unsicher beibehalten.
-
Die Ausgangsdaten 18 sind daher die gelben und weißen Fahrbahnmarkierungen mit einem ermittelten Gültigkeitswert, d.h. 0 = ungültig und 255 = gültig.
-
Bezugszeichenliste
-
- 1
- weiße Markierungen
- 2
- gelbe Markierungen
- 3
- Leitplanke
- 4
- Verkehrszeichen
- 10
- Fahrbahnmarkierungsdaten
- 11
- Gelb/Weiß-Separation
- 12
- erste Marke
- 13
- Abfrage, ob gelbe Markierungen vorhanden sind
- 14
- Bestimmen gelber Markierungen
- 15
- zweite Marke
- 16
- Bestimmung weißer Randmarkierungen
- 17
- Bestimmung ungültiger weißer Mittenmarkierungen
- 18
- Ausgabe der bearbeiteten Fahrbahnmarkierungen
- S
- Sättigungsverlauf
- H
- Farbtonverlauf
- I
- Intensitätsverlauf
- Y
- Ja
- N
- Nein
- Sw
- Sättigungswert weiße Markierung
- Sg
- Sättigungswert gelbe Markierung
- Hg
- Farbtonwert gelb
- Iw
- Intensitätswert weiß
- Ig
- Intensitätswert gelb