-
Die
Erfindung betrifft ein Verfahren und eine Vorrichtung zur Fahrspurerkennung
gemäß Anspruch
1 bzw. 8.
-
Systeme,
die auf maschinellem Sehen basieren und in modernen Fahrerassistenzsystemen für die Erkennung
von (Fahr-)Spurmarkierungen zum Einsatz kommen, konzentrieren sich
bei der Bildverarbeitung in der Regel auf die Erkennung von Hell-Dunkel Übergängen, die
insbesondere bei hellen Spurmarkierungen und dunklen Straßenbelägen auftreten.
Diese Systeme können
natürlich
nur dann gut funktionieren, wenn Spurmarkierungen auf einer Straße sichtbar
sind und Hell-Dunkel-Übergänge in den
mit einer Kamera erfassten Bildern der Straße auftreten.
-
Es
gibt jedoch auch Fälle,
bei denen keine oder keine für
ein maschinelles Sehen erkennbare Spurmarkierung vorhanden ist,
aber eine Unterstützung
eines Fahrers durch ein Fahrerassistenzsystem trotzdem erwünscht ist.
Beispiele solcher Fälle
sind Fahrten in Autobahnbaustellen, Fahrten neben einer Begrenzungsmauer
und Fahrten auf kleinen Landstraßen. Insbesondere bei solchen
Fällen
versagen häufig
die auf die Erkennung von Hell-Dunkel-Übergängen ausgelegten
Bildverarbeitungsalgorithmen, da entweder zu wenige oder gar keine
für eine
zufriedenstellende Spurerkennung erforderliche Hell-Dunkel-Übergänge in den
mit einer Kamera erfassten Bildfolgen auftreten. Darüber hinaus
können
mehrer erkannte Spurmarkierungen zu einem nicht eindeutig interpretierbaren
Fahrspurverlauf führen.
Ein Beispiel sind hiefür
parallel auftretende gelbe und weiße Spurmarkierungen in Baustellen.
-
Aufgabe
der vorliegenden Erfindung ist es nun, ein Verfahren und eine Vorrichtung
zur Fahrspurerkennung vorzuschlagen, die auch für Fälle ohne ausreichende Fahrspurmarkierungen
eingesetzt werden können.
-
Diese
Aufgabe wird durch ein Verfahren zur Fahrspurerkennung mit den Merkmalen
nach Anspruch 1 und eine entsprechende Vorrichtung mit den Merkmalen
nach Anspruch 8 gelöst.
Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
-
Ein
wesentlicher Gedanke der Erfindung besteht darin, eine Fahrspurerkennung
nicht nur auf Basis von einzelnen Bildeigenschaften wie Spurmarkierungen
und den entsprechenden Hell-Dunkel-Übergängen, sondern auf Grundlage
von multiplen Bildeigenschaften durchzuführen, um auch bei den eingangs
geschilderten Situationen eine Fahrspurerkennung zu ermöglichen.
Die multiplen Bildeigenschaften sind insbesondere besonders auffällige Eigenschaften
in Bildern einer Fahrspur, die in der Regel nicht auf herkömmliche
Fahrspurmarkierungen zurückzuführen sind,
aber trotzdem für
eine Fahrspurerkennung bedeutsame Informationen liefern können. Insbesondere
die im Folgenden aufgelisteten Eigenschaften fallen unter die Kategorie „multiple Bildeigenschaften” im Sinne
der vorliegenden Erfindung:
- • Kontrastsprünge: Eine
Fahrbahn weist häufig aufgrund
ihrer Regelmäßigkeit
kaum Kontrast auf. Dies gilt jedoch nicht für den Bereich neben der Fahrbahn.
- • Sprünge in der
Anzahl von Features: Features sind markante Bildpunkte (z. B. Ecken)
mit hoher Gradienteninformation. Sie können leicht in Folgebildern
wiedergefunden werden und eigenen sich damit zur Berechnung des
optischen Flusses mit Monokameras oder zur Stereovision. Mit Feature
basierten Verfahren kann eine deutliche Rechenzeitreduktion erreicht
werden. Auf einer Straßenoberfläche lassen
sich aufgrund der Regelmäßigkeit
kaum Features finden. Dies gilt nicht für den Straßenrand. Im Gras können z.
B. beliebig viele Features gewonnen werden.
- • Sprünge in der
Standartabweichung der Helligkeit nebeneinander liegender Pixel:
Auch hier kommt zum tragen, dass Pixel, die einen Teil der Fahrbahnoberfläche darstellen
meist genauso hell sind wie ihre Nachbarpixel. Auch dies gilt nicht
für Fahrbahnränder. Neben
der Asphaltierten Strecke springen die Helligkeitswerte deutlich stärker.
- • Regelmäßige Muster:
Wird ein Muster, das im Bild neben dem Fahrschlauch gefunden wurde
im weiteren Verlauf immer wieder gefunden, kann davon ausgegangen
werden, dass es sich um eine Fahrbahnbegrenzung, wie z. B. eine
Baustellenleitwand oder eine Leitplanke handelt. Vorraussetzung
dafür ist,
dass das Muster genügend
verwertbare Eigenschaften wie Hell-Dunkel Übergänge oder das Vorhandensein
von Features besitzt. Des Weiteren muss ein recht großer Bereich aus
dem Bild ausgeschnitten werden. Wird nur ein Teil davon wieder im
Bild gefunden, muss der Ausschnitt entsprechend verkleinert werden.
Ein Besonderes Merkmal hierbei sind parallel verlaufende Linien
in variierendem Abstand.
-
Die
vorliegende Erfindung betrifft nun gemäß einer Ausführungsform
ein Verfahren zur Fahrspurerkennung, bei dem mindestens ein Bild
einer Sequenz von digitalisierten Bildern mit den folgenden Schritten verarbeitet
wird:
- – Ermitteln
von multiplen Bildeigenschaften, und
- – Erkennen
einer Fahrspur auf Basis der ermittelten multiplen Bildeigenschaften.
-
Das
Verfahren kann als Algorithmus in einem Programm implementiert werden,
das beispielsweise in einem Fahrerassistenzsystem von einem Prozessor
ausgeführt
wird und zur Analyse von Bildern einer Videokamera dient. Abhängig von
der Analyse kann das Fahrerassistenzsystem Signale ausgeben, die entweder
zur Warnung eines Fahrers oder auch zur aktiven Unterstützung eines
Fahrers durch Eingriff in die Fahrzeugsteuerung vorgesehen sein
können. Insbesondere
kann das Fahrerassistenzsystem einen Fahrer in Situationen unterstützen, in
denen keine Fahrspurmarkierungen vorhanden sind, und insbesondere
die Fahrspur schwer zu erkennen ist.
-
Insbesondere
können
mit dem Verfahren folgende multiple Bildeigenschaften ermittelt
werden:
Kontrastsprünge;
Sprünge in der
Anzahl von Features in einer Sequenz von Bildern;
Sprünge in der
Standardabweichung der Helligkeit nebeneinander liegender Pixel;
ein
regelmäßiges Muster
neben einem Fahrschlauch in einer Sequenz von Bildern.
-
Die
oben erwähnten
multiplen Bildeigenschaften können
trotz fehlender Fahrspurmarkierungen zumindest eine Erkennung eines
Fahrspurrandbereichs oder -Begrenzungsbereichs ermöglichen.
-
Das
Erkennen einer Fahrspur kann einen oder mehrere der folgenden Schritte
aufweisen:
Erkennen eines Bereichs neben der Fahrspur anhand
von ermittelten Kontrastsprüngen;
Erkennen
eines Bereichs neben der Fahrspur anhand von ermittelten Sprüngen in
der Anzahl von Features;
Erkennen eines Bereichs neben der
Fahrspur anhand von ermittelten Sprüngen in der Standardabweichung
der Helligkeit nebeneinander liegender Pixel;
Erkennen eines
Bereichs zur Begrenzung der Fahrspur anhand von einem in einer Sequenz
von Bildern ermittelten regelmäßigen Muster.
-
Insbesondere
kann das Erkennen eines Bereichs neben der Fahrspur anhand von ermittelten Kontrastsprüngen folgende
Schritte aufweisen:
- – Ermitteln von Kontrastsprüngen in
jedem Bild der Sequenz von digitalisierten Bildern und
- – Klassifizieren
von Bereichen mit ermittelten Kontrastsprüngen als Bereiche neben der
Fahrspur.
-
Insbesondere
kann das Erkennen eines Bereichs neben der Fahrspur anhand von ermittelten Sprüngen in
der Anzahl von Features folgende Schritte aufweisen:
- – Ermitteln
der Anzahl von Features in jedem Bild der Sequenz von digitalisierten
Bildern,
- – Ermitteln
von Sprüngen
in den ermittelten Anzahlen der Features in aufeinanderfolgenden
Bildern und
- – Klassifizieren
von Bereichen mit ermittelten Sprüngen in den Anzahlen der Features
in aufeinanderfolgenden Bildern als Bereiche neben der Fahrspur.
-
Insbesondere
kann das Erkennen eines Bereichs neben der Fahrspur anhand von ermittelten Sprüngen in
der Standardabweichung der Helligkeit nebeneinander liegender Pixel
folgende Schritte aufweisen:
- – Ermitteln
der Standardabweichung der Helligkeit nebeneinander liegender Pixel
in jedem Bild der Sequenz von digitalisierten Bildern,
- – Ermitteln
von Sprüngen
in den Standardabweichungen der Helligkeit nebeneinander liegender Pixel
in aufeinanderfolgenden Bildern und
- – Klassifizieren
von Bereichen mit ermittelten Sprüngen in den Standardabweichungen
der Helligkeit nebeneinander liegender Pixel als Bereiche neben
der Fahrspur.
-
Insbesondere
kann das Erkennen eines Bereichs zur Begrenzung einer Fahrspur anhand
von einem in einer Sequenz von Bildern ermittelten regelmäßigen Muster
folgende Schritte aufweisen:
- – Festlegen
von mindestens einem Bereich in Bildern der Sequenz von digitalisierten
Bildern
- – Suchen
nach etwa parallel verlaufenden Linien in einem festgelegten Bereich,
- – Klassifizieren
eines Bereichs als Begrenzung einer Fahrspur, wenn sich im Bereich
etwa parallel verlaufende Linien befinden.
-
Eine
weitere Ausführungsform
der Erfindung betrifft eine Vorrichtung zur Fahrspurerkennung, die zum
Verarbeiten von mindestens einem Bild einer Sequenz von digitalisierten
Bildern ausgebildet ist und folgendes aufweist:
- – Mittel
zum Ermitteln von multiplen Bildeigenschaften, und
- – Mittel
zum Erkennen einer Fahrspur auf Basis der ermittelten multiplen
Bildeigenschaften.
-
Die
Vorrichtung kann insbesondere zum Durchführen eines Verfahrens nach
der Erfindung und wie oben beschrieben ausgebildet sein.
-
Eine
weitere Ausführungsform
der Erfindung betrifft ferner ein Fahrerassistenzsystem für ein Fahrzeug
mit einer Vorrichtung nach der Erfindung und wie vorstehend beschrieben.
-
Weitere
Vorteile und Anwendungsmöglichkeiten
der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung
in Verbindung mit dem/den in der/den Zeichnung(en) dargestellten Ausführungsbeispiel(en).
-
In
der Beschreibung, in den Ansprüchen,
in der Zusammenfassung und in der/den Zeichnung(en) werden die in
der hinten angeführten
Liste der Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen
verwendet.
-
Die
Zeichnung(en) zeigt/zeigen in
-
1 eine
vereinfachte Darstellung eines Bildes einer Szene mit einer Fahrspur,
wobei das Bild multiple Bildeigenschaften aufweist, die erfindungsgemäß zur Fahrspurerkennung
ausgewertet werden;
-
2 ein
Flussdiagramm einer Ausführungsform
des Verfahrens zur Fahrspurerkennung gemäß der Erfindung; und
-
3 ein
Blockschaltbild eines Ausführungsbeispielsweise
einer Vorrichtung zur Fahrspurerkennung gemäß der Erfindung.
-
Im
Folgenden können
gleiche und/oder funktional gleiche Elemente mit den gleichen Bezugszeichen
versehen sein. Die im Folgenden angegebenen absoluten Werte und
Maßangaben
sind nur beispielhafte Werte und stellen keine Einschränkung der
Erfindung auf derartige Dimensionen dar.
-
1 zeigt
ein Bild einer schematisch dargestellten Szene, das von einer Videokamera
eines Fahrerassistenzsystems zur Fahrspurerkennung erfasst wurde,
die in einem Fahrzeug beispielsweise hinter dem Rückspiegel
angebracht ist. Das Fahrerassistenzsystem kann dazu ausgebildet
und vorgesehen sein, einen Fahrer beim Spurhalten zu unterstützen, indem
es ihm eine erkannte Fahrspur auf einer Anzeige anzeigt, oder ihn
akustisch, optisch oder haptisch beim Verlassen einer erkannten
Fahrspur warnt, oder aktiv in die Fahrzeugsteuerung, insbesondere
die Lenkung eingreift, um ein Verlassen der Fahrspur zu vermeiden.
-
Die
im Bild schematisch gezeigte Szene stellt eine Situation dar, bei
der sich das Fahrzeug auf einer Fahrspur bewegt, die keine typischen
Fahrspurmarkierungen aufweist, die ansonsten zur automatischen Fahrspurerkennung
von Fahrerassistenzsystemen ausgewertet werden. Wie eingangs erläutert wurde,
haben derartige Fahrerassistenzsysteme bei solchen Situationen aufgrund
der fehlenden Markierungen häufig
Probleme, eine Fahrspur zuverlässig
zu erkennen. Die Fahrbahn ist im Bild durch den rechten und linken
Fahrbahnrand 20 bzw. 22 begrenzt. Die Fahrbahnränder 20 und 22 können insbesondere
unbefestigte Ränder
einer Baustelle oder Landstraße
sein.
-
Um
eine Fahrspur auch bei einer derartigen Fahrbahn erkennen zu können, werden
nach der Erfindung multiple Bildeigenschaften in den von der Videokamera
des Fahrerassistenzsystems erfassten Bildern ausgewertet. Als multiple
Bildeigenschaften werden insbesondere Kontrastsprünge, Sprünge in der
Anzahl von Features, Sprünge
in der Standardabweichung der Helligkeit nebeneinander liegender Pixel
sowie regelmäßige Muster
ermittelt. Wie bereits oben erwähnt
werden als Features insbesondere markante Bildeigenschaften ausgewertet,
die leicht in Folgebildern wiedergefunden werden können.
-
Kontrastsprünge treten
bei Landstraßen oder
Baustellen häufig
im Fahrbahnrandbereich oder neben der Fahrspur bzw. Fahrbahn auf.
In 1 sind die Fahrbahnränder 20 und 22 bzw.
Fahrbahnrandbereiche sehr unregelmäßig und weisen daher deutliche
Kontrastsprünge
auf, die für
eine Fahrspurerkennung detektiert werden können. Weiterhin lassen sich
in 1 Features detektieren. In 1 sind Features
durch die rechteckigen gestrichelten Boxen gekennzeichnet. Als Features
sind an den Fahrbahnrändern
im Bild Grasbüschel 10,
markante Fahrbahnausbuchtungen 12 und Grasflecken 14 identifiziert und
markiert. Diese Bildeigenschaften können in aufeinanderfolgenden
Bildern einer Sequenz von Bildern algorithmisch leicht wiedergefunden
und als Erkennungspunkte für
die automatische Fahrspurerkennung markiert werden. Weiterhin können für diese
Features auch Sprünge
in der Standardabweichung der Helligkeit nebeneinander liegender
Pixel detektiert werden, da in aufeinander folgenden Bildern die
Helligkeitswerte stark springen, insbesondere an den unregelmäßigen Fahrbahnrändern 20 und 22,
aber auch in den mit gestrichelten Boxen markierten Bereichen.
-
Weiterhin
können
zur Fahrspurerkennung regelmäßige Muster
ausgewertet werden, wie die in 1 gezeigten
Baustellenabsperrpoller 18 oder Leitplanken. Hierzu werden
Bereiche wie der Bereich 16 aus dem Bild ausgeschnitten
und auf regelmäßig wiederkehrende
Muster in aufeinanderfolgenden Bildern einer Sequenz von Bildern
untersucht. Als besonderes Merkmal können insbesondere nahezu parallel
verlaufende Linien in variierendem Abstand detektiert werden. Es
soll nach Fahrspurbegrenzungen, wie Leitplanken und oder Barrieren
gesucht werden. Da bietet es sich an, nach den eindeutigsten Eigenschaften
zu suchen. Dies sind z. B. bei einer Leitplanke, die obere Kannte,
die obere Wulst, die mittlere Vertiefung. Dadurch entstehen mehrere ”Kannten” im Bild,
die parallel verlaufen. Die Erkennung eines regelmäßigen Musters
am Beispiel einer Leitplanke kann hierbei wie folgt durchgeführt werden:
im Fall einer Leitplanke in einem Bild ist klar, dass die Teile
der Leitplanke, die weiter weg vom eigenen Fahrzeug sind, im Bild
kleiner sind. Wird nun ein Bildbereich an der Seite des Bildes ausgeschnitten,
so muss der Bereich, den wiedergefunden werden soll, kleiner sein als
der Ursprüngliche,
da er weiter weg ist. Wird ein Bereich gefunden, der ähnlich aussieht,
aber größer ist,
so kann dieser verworfen werden.
-
2 zeigt
ein Flussdiagramm eines Algorithmus zur Fahrspurerkennung gemäß der Erfindung,
der beispielsweise als Programmmodul in ein Fahrerassistenzsystem
implementiert sein kann, das zur automatischen Fahrspurerkennung
ausgebildet ist. Im Wesentlichen weist der Algorithmus zwei Schritte
auf: in Schritt S10 werden in Bildersequenzen multiple Bildeigenschaften
erfasst und im darauffolgenden Schritt S12 werden die erfassten
multiplen Bildeigenschaften für
eine Fahrspurerkennung ausgewertet. Schritt S10 umfasst mehrere
Unterschritte: im Schritt S100 werden Kontrastsprünge in Bildern ermittelt;
im Schritt S102 werden Sprünge
in der Anzahl von Features in Bildern ermittelt; im Schritt S104 werden
Sprünge
in der Standardabweichung der Helligkeit nebeneinander liegender
Pixel ermittelt; und im Schritt S106 werden regelmäßige Muster
in Bildern ermittelt. Die so ermittelten multiplen Bildeigenschaften
werden in den Bildern markiert und im Schritt S12 für die Fahrspurerkennung
ausgewertet. Ein Teilschritt S120 der Auswertung dient hierbei zur Erkennung
eines Bereichs neben der Fahrspur und ein weiterer Teilschritt S122
zur Erkennung einer Fahrspurbegrenzungsbereichs. In den Teilschritten S120
und S122 werden die markierten Bereich klassifiziert als Bereiche
neben der Fahrspur (in 1 z. B. 10, 12 und 14)
oder als Fahrspurbegrenzungsbereiche (in 1 z. B. 16).
Die mit diesen Teilschritten klassifizierten Bereiche werden dann
ggf. mit weiteren algorithmisch erkannten und klassifizierten Bereichen
in den Bildern zum Erkennen eines Fahrschlauches 24 (1)
und von dessen Begrenzungen 26 und 28 verwendet.
-
3 zeigt
schließlich
eine erfindungsgemäße Vorrichtung 100 zur
Fahrspurerkennung, die beispielsweise als Hardwaremodul implementiert
sein kann. Der Vorrichtung werden digitale Videodaten mit einer
Sequenz digitaler Bilder 102 einer Videokamera zugeführt. Die
Videodaten umfassen für
die Fahrspurerkennung auszuwertende Bilder. Erkennungsmittel 104,
beispielsweise in Form eines speziellen Videochips oder ASIC (Application
Specific Integrated Circuit), ermitteln multiple Bildeigenschaften
in den empfangen Bildern. Die ermittelten multiplen Bildeigenschaften
werden an Fahrspurerkennungsmittel 106, die beispielsweise
durch einen entsprechend programmierten Prozessor oder ASIC implementiert
sein können,
weitergegeben, die anhand der erhaltenen Bildeigenschaften eine
Fahrspurerkennung durchführen
und eine erkannte Fahrspur als Fahrspurdaten 108 zur weiteren
Verarbeitung insbesondere durch ein Fahrerassistenzsystem ausgeben.
-
- 10
- Grasbüschel
- 12
- Fahrbahnausbuchtung
- 14
- Grasfleck
- 16
- regelmäßige Muster
- 18
- Baustellenabsperrpoller
- 20
- rechter
Fahrbahnrand
- 22
- linker
Fahrbahnrand
- 24
- erkannter
Fahrschlauch
- 26
- linke
Fahrschlauchbegrenzung
- 28
- rechte
Fahrschlauchbegrenzung
- 100
- Fahrspurerkennungsvorrichtung
- 102
- digitale
Videodaten mit einer Sequenz digitaler Bilder
- 104
- Erkennungsmittel
für multiple
Bildeigenschaften
- 106
- Fahrspurerkennungsmittel
- 108
- Fahrspurdaten
- S10-S12,
S100-S106, S120-S122
- Verfahrensschritte